CN112286876A - 日志文件抓取方法、设备及计算机可读存储介质 - Google Patents
日志文件抓取方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112286876A CN112286876A CN202011184662.0A CN202011184662A CN112286876A CN 112286876 A CN112286876 A CN 112286876A CN 202011184662 A CN202011184662 A CN 202011184662A CN 112286876 A CN112286876 A CN 112286876A
- Authority
- CN
- China
- Prior art keywords
- log
- request
- thread
- log file
- grabbing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000009193 crawling Effects 0.000 claims description 8
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及信息处理技术领域，公开了一种日志文件抓取方法、设备及计算机可读存储介质，该方法包括：若执行队列中存在log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；所述log抓取请求完成后，整合所述log抓取请求对应的子log文件，获得目标log文件，将所述目标log文件返回至所述log抓取请求指定的路径。由此，通过多个线程循环交替处理log抓取请求，然后将获得的log文件拼接整合后返回至指定的路径，由此降低了log抓取的并发度和文件读取频率，节约了资源开销。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种日志文件抓取方法、设备及计算机可读存储介质。
背景技术
当前在安卓操作系统中，一般通过logcat(日志查看)命令的方式抓取log(日志)信息。在通过logcat命令进行log抓取时，即使待抓取的log信息都存储在同一个缓存区，也需要为每一个log信息的请求设置对应的log抓取线程，由此会产生高的log抓取并发度和高的文件读取频率，进而导致高的内存使用率、资源开销也比较大。
发明内容
本发明提供一种日志文件抓取方法、设备及计算机可读存储介质，旨在降低log抓取的并发度和文件读取频率，节约资源开销。
为实现上述目的，本发明提供一种日志文件抓取方法，所述方法包括：
若执行队列中存在日志log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；
整合所述log抓取请求对应的子log文件，获得目标log文件；
将所述目标log文件返回至所述log抓取请求指定的路径。
可选地，所述预先设置的多个线程包括第一线程和第二线程，所述循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至所述相应线程对应的存储空间，包括：
启动所述第一线程，当达到预设的第一交替条件时，启动第二线程并结束所述第一线程，将所述第一线程抓取到的第一子log文件保存至第一存储空间；
若达到预设的第二交替条件，则启动所述第二线程并结束所述第一线程，将所述第二线程抓取到的第二子log文件保存至第二存储空间；
循环交替运行所述第一线程和所述第二线程，直到完成所述执行队列中的各个所述log抓取请求。
可选地，所述整合所述log抓取请求的目标子log文件，获得目标log文件，包括：
基于所述log抓取请求中的请求时间点确定待整合的目标子log文件，所述目标子log文件包括所述第一子log文件和/或第二子log文件；
将所述目标子log文件按时间顺序进行拼接整合，获得所述目标log文件。
可选地，所述第一交替条件包括：所述第一线程的抓取时长达到第一预设时长、log生成时间点与请求时间点中的起始抓取时间点或结束抓取时间点相同；
所述第二交替条件包括：所述第二线程的抓取时长达到第二预设时长、log生成时间点与请求时间点中的起始抓取时间点或结束抓取时间点相同；
其中，所述log生成时间点是指正在抓取的log文件的log生成时间点。
可选地，所述log抓取请求中的请求时间点确定待拼接的目标子log文件，包括：
将log生成时间在所述log抓取请求中指定的起始抓取时间点与结束抓取时间点之间的第一子log文件，和/或第二子log文件确定为待拼接的目标子log文件。
可选地，所述若执行队列中存在log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间，之后还包括：
实时记录所述log抓取请求的执行进度，将已完成的log抓取请求进行标记。
可选地，所述若执行队列中存在日志log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间，之前还包括：
将接收到的所述log抓取请求生成请求队列，并将请求时间点添加至执行队列，以供所述执行队列进行执行进度的管理。
可选地，所述将所述目标log文件返回至所述log抓取请求指定的路径，之后还包括：
将已完成的所述log抓取请求从所述请求队列和所述执行队列中移除。
此外，为实现上述目的，本发明还提供一种日志文件抓取设备，所述日志文件抓取设备包括处理器，存储器以及存储在所述存储器中的日志文件抓取程序，所述日志文件抓取程序被所述处理器运行时，实现如上所述的日志文件抓取方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志文件抓取程序，所述日志文件抓取程序被处理器运行时实现如上所述日志文件抓取方法的步骤。
相比现有技术，本发明一种日志文件抓取方法、设备及计算机可读存储介质，该方法包括：若执行队列中存在log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至所述各个线程对应的存储空间；在所述执行队列中记录各个所述log抓取请求的执行进度，并将执行进度达到完成的log抓取请求标记为已完成log抓取请求；整合所述已完成log抓取请求的目标子log文件，获得目标log文件，并通过回调接口将所述目标log文件返回至所述已完成log抓取请求指定的路径。由此，通过多个线程循环交替处理log抓取请求，然后将获得的log文件拼接整合后返回至指定的路径，由此降低了log抓取的并发度和文件读取频率，节约了资源开销。
附图说明
图1是本发明各实施例涉及的日志文件抓取设备的硬件结构示意图；
图2是本发明日志文件抓取方法第一实施例的流程示意图；
图3是本发明日志文件抓取方法第一实施例的第一场景示意图；
图4是本发明日志文件抓取方法第一实施例的第二场景示意图；
图5是本发明日志文件抓取装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例主要涉及的日志文件抓取设备是指能够实现网络连接的网络连接设备，所述日志文件抓取设备可以是移动终端、服务器、云平台等。
参照图1，图1是本发明各实施例涉及的日志文件抓取设备的硬件结构示意图。本发明实施例中，日志文件抓取设备可以包括处理器1001(例如中央处理器CentralProcessing Unit、CPU)，通信总线1002，输入端口1003，输出端口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；输入端口1003用于数据输入；输出端口1004用于数据输出，存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种可读计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块、应用程序模块以及日志文件抓取程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的日志文件抓取程序，并执行本发明实施例提供的日志文件抓取方法。
本发明实施例提供了一种日志文件抓取方法。
参照图2，图2是本发明日志文件抓取方法第一实施例的流程示意图。
本实施例中，所述日志文件抓取方法应用于日志文件抓取设备，所述方法包括：
步骤S101，若执行队列中存在日志log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；
log(日志)是指系统所指定对象的某些操作和其操作结果按时间有序的集合。log文件就是日志文件，log文件记录了系统与用户之间交互的信息，是自动捕获人与系统终端之间交互的类型、内容或时间的数据收集方法；对网络搜索而言，log是用户在搜索信息期间与网络搜索引擎发生互动的电子记录。当系统出现异常时，技术人员可以根据log进行分析获得异常原因进而进行修复。
所述步骤S101之前还包括：将接收到的所述log抓取请求生成请求队列，并将请求时间点添加至执行队列，以供所述执行队列进行执行进度的管理。
所述log抓取请求可以由技术人员发出，也可以由应用程序主动触发。当前很多应用程序设置了运行异常则自动上报log的程序，这些应用程序在运行异常后会自动生成log抓取请求。
将接收到的一个或多个log抓取请求生成请求队列，并生成对应的执行队列，其中，所述执行队列包括所述log抓取请求的请求时间点。所述请求时间点包括目标log文件的起始抓取时间点和结束抓取时间点。此外所述log抓取请求中还指定了目标log文件的存放路径。例如若在一段时间内接收到log抓取请求1：抓取14:50-15:02生成的log文件的；log抓取请求2：抓取14:57-15:13生成的log文件的；log抓取请求3：抓取15:12-15:20生成的log文件的。由此，所述执行队列包括各个所述log抓取请求的编号、起始抓取时间点、结束抓取时间点以及存放路径。所述执行队列监管并记录各个log抓取请求的执行进度，以便所述执行队列进行执行进度的管理。
进一步地，若所述第一线程或所述第二线程在执行的过程中有接入的新的log抓取请求，则将所述新的log抓取请求加入所述请求队列中，并将所述新的log抓取请求添加至所述执行队列中，一般地可以将新的log抓取请求添加至所述执行队列的队尾，以供顺序执行。
本实施例中，预设抓取log的多个线程以及所述多个线程对应的存储空间，例如可以设置两个线程：第一线程和第二线程，并将所述第一线程对应的存储空间设置为第一存储空间，将所述第二线程对应的存储空间设置为第二存储空间。所述第一存储空间与所述第二存储空间可以是所述日志文件抓取设备的磁盘空间，并且所述第一存储空间与所述第二存储空间相互独立。若所述第一线程和所述第二线程抓取到的log文件都存入同一个存储空间，则该存储空间会被频繁读写，使得存储空容易被写满并且负荷过大。因此本实施例为每一个线程设置对应的存储空间，进而可以保证存储空间的稳定性。
如此，所述请求队列中包括一个或多个log抓取请求，所述执行队列中包括所述请求队列中的各个log抓取请求，预先设置的线程根据所述执行队列进行log文件的抓取，并将抓取到的子log文件进行文件整合，然后将整合后的log文件通过回调接口返回至指定的路径。具体见图3，图3是本发明日志文件抓取方法第一实施例的第一场景示意图。
基于此，若所述执行队列中存在一个或多个日志log抓取请求，则执行所述步骤S101，具体地：启动所述第一线程，当达到预设的第一交替条件时，启动第二线程并结束所述第一线程，将所述第一线程抓取到的第一子log文件保存至第一存储空间；若达到预设的第二交替条件，则启动所述第二线程并结束所述第一线程，将所述第二线程抓取到的第二子log文件保存至第二存储空间；循环交替运行所述第一线程和所述第二线程，直到完成所述执行队列中的各个所述log抓取请求。其中，所述第一交替条件包括：所述第一线程的抓取时长达到第一预设时长、log生成时间点与请求时间点相同；所述第二交替条件包括：所述第二线程的抓取时长达到第二预设时长、log生成时间点与请求时间点相同。其中，所述log生成时间点是指正在抓取的log文件的log生成时间点，所述请求时间点是指所述log抓取请求中指定的起始抓取时间点和结束抓取时间点。在实际应用中，可以将所述第一交替条件与所述第二交替条件设置成相同或者不相同。
本实施例中所述第一交替条件和所述第二交替条件基于时间点设定，其中所述第一预设时长、所述第二预设时长根据需要设定，例如设置为5s、10s等，并且所述第一预设时长与所述第二预设时长可以相同或者不相同。可以理解地，所述第一线程或所述第二线程在对应的抓取时长内可以抓取到一段时间的log文件，并且抓取的log文件有时间标签。但是不同的log抓取请求所要求的目标log文件的生成的起始抓取时间点和结束抓取时间点可能会不相同，若仅仅以第一线程或第二线程的抓取时长为交替条件，则各个线程在循环交替抓取过程中抓取到的各个子log文件的生成时间可能与log抓取请求所要求的不一致，因此将抓取请求所要求的目标log文件的生成的起始抓取时间点和结束抓取时间也作为交替条件，并基于所述预设时长、起始抓取时间点、结束抓时间综合确定交替条件对应的交替时间点。
参照图4，图4是本发明日志文件抓取方法第一实施例的第二场景示意图。图4以时间轴表示记录的log文件，图4中log抓取请求1、log抓取请求2和log抓取请求3都需要抓取都在14:50-15:20间生成的log文件。其中，log抓取请求1的起始抓取时间点和结束抓取时间点分别是14:50，15:02；log抓取请求2的起始抓取时间点和结束抓取时间点分别是14:57，15:13；log抓取请求3的起始抓取时间点和结束抓取时间点分别是15:12，15:20。假设所述第一线程和所述第二线程在各自的预设时长内刚好抓取到时长为5min的log文件，则以14:50为第一线程开始运行的时间点，在14:50-15:20间，每5min为一个交替时间点，并且各个log抓取请求的起始抓取时间点和结束抓取时间点也是交替时间点，由于以预设时长确定交替时间点和以起始抓取时间点和结束抓取时间点确定的交替时间点有多个重合的时间点，因此对应的交替条件对应的时间点可以为14:50，14:55，14:57，15:02，15:07，15:12，15:13，15:18，15:20。由此，将这三个log抓取请求分解成了多个抓取区间。图4中的A、B、C、D、E、F、G、H分别表示对应区间的子log文件，其中A、C、E、G是所述第一线程抓取的第一子log文件，存储于预设的第一存储空间；B、D、F、H是所述第二线程抓取的第二子log文件，存储于预设的第二存储空间。由此将获取到的子log文件存入不同的存储空间，可以保护存储空间，降低对所述读取空间的读写频率，并防止存储空间被占满。
可以理解地，在其它实施例中可以只设置一个线程，也可以设置三个或三个以上的线程。若只设置一个线程，则由这一个线程碎片化抓取log文件。若是三个或者三个以上的线程，则由设置的所述三个或者三个以上的线程交替执行log文件的抓取任务。
随着各个线程的执行，各个log抓取请求逐渐完成，为了更好的进行抓取管理，在线程开始log抓取后执行如下操作：实时记录所述log抓取请求的执行进度，将已完成的log抓取请求进行标记。也即，在所述执行队列中记录各个所述log抓取请求的执行进度，并将执行进度达到完成的log抓取请求标记为已完成log抓取请求。
具体地，将未开始执行的log抓取请求的执行进度标记为0，在所述第一线程或所述第二线程进行抓取的过程中没交替一次则更新一次各个log抓取请求的执行进度。参照图4，当所述第一线程抓取到子log文件A，则可以将所述log抓取请求1的执行进度标记为41.7％，当第一线程抓取到子log文件B,则可以将所述log抓取请求1的执行进度标记为58.3％；当所述第一线程抓取到子log文件C，则可以将所述log抓取请求1的执行进度标记为已完成。
当存在执行进度达到完成的log抓取请求时，也即，所述log抓取请求完成后，则执行步骤S102，整合所述log抓取请求对应的目标子log文件，获得目标log文件。
具体地，基于所述已完成请求时间点确定待整合的一个或多个目标子log文件，所述目标子log文件包括一个或多个所述第一子log文件和/或一个或多个第二子log文件；将所述目标子log文件按时间顺序进行拼接整合，获得所述目标log文件。本实施例中，将log生成时间在所述起始抓取时间点与所述结束抓取时间点之间的一个或多个第一子log文件，和/或一个或多个第二子log文件确定为待拼接的一个或多个目标子log文件。
继续参照图4，log抓取请求1的起始抓取时间点和结束抓取时间点分别是14:50，15:02，因此log文件生成时间在14:50-15:02内的子log文件A、B、C就是log抓取请求1的待拼接的目标子log文件，并且目标子log文件A、C是由第一线程抓取的，存储在第一存储空间中；目标子log文件B是由第二线程抓取的，存储在第二存储空间中，因此将目标子log文件A、B、C按ABC的顺序进行拼接，获得由目标子log文件A、B、C整合后的与所述log抓取请求1对应的目标子log文件。继续参照图4可知，log文件生成时间在14:57-15:13内的子log文件C、D、E、F就是log抓取请求2的待拼接的目标子log文件；log文件生成时间在15:12-15:20内的子log文件F、G、H就是log抓取请求3的待拼接的目标子log文件。
当获得所述log抓取请求的目标log文件后，根据预设命名规则对所述目标log文件重命名后获得最终的log文件。
进一步地，执行所述步骤S103：将所述目标log文件返回至所述log抓取请求指定的路径。其中，所述指定的路径可以是本地磁盘也可以指定的云存储路径。例如，若是某个应用程序的服务器需要请求移动终端A的log文件，则可以将指定的路径设置为云存储路径。
可以理解地，在其它场景下，也可以不执行文件整合的操作，直接将子目标log文件返回至指定的路径。
可以理解地，所述步骤S101-S103是连续执行的循环步骤，在执行所述步骤S102或步骤S103时，所述步骤S101仍然在进行；在执行所述步骤S103时，所述步骤S101和\或所述步骤S102仍然在进行。
进一步地，将所述已完成log抓取请求从所述请求队列和所述执行队列中移除。若某个log抓取请求已完成，则将对应的log抓取请求移除，以保证所述请求队列和所述执行队列中不存在冗余的log抓取请求。
本方案通过上述步骤，若执行队列中存在log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；整合所述log抓取请求对应的子log文件，获得目标log文件，将所述目标log文件返回至所述log抓取请求指定的路径。由此，通过多个线程循环交替处理log抓取请求，然后将获得的log文件拼接整合后返回至指定的路径，由此降低了log抓取的并发度和文件读取频率，节约了资源开销。
此外，本实施例还提供一种日志文件抓取装置。参照图5，图5为本发明日志文件抓取装置第一实施例的功能模块示意图。
本实施例中，所述日志文件抓取装置为虚拟装置，存储于图1所示的日志文件抓取设备的存储器1005中，以实现日志文件抓取程序的所有功能：用于若执行队列中存在一个或多个日志log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；用于整合所述log抓取请求的子log文件，获得目标log文件，用于将所述目标log文件返回至所述log抓取请求指定的路径。
具体地，参照图5，所述日志文件抓取装置包括：
交替抓取模块10，用于若执行队列中存在一个或多个日志log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；
整合模块20，用于整合所述log抓取请求的子log文件，获得目标log文件；
返回模块30，用于将所述目标log文件返回至所述log抓取请求指定的路径。
进一步地，所述交替抓取模块还用于：
启动所述第一线程，当达到预设的第一交替条件时，启动第二线程并结束所述第一线程，将所述第一线程抓取到的第一子log文件保存至第一存储空间；
若达到预设的第二交替条件，则启动所述第二线程并结束所述第一线程，将所述第二线程抓取到的第二子log文件保存至第二存储空间；
循环交替运行所述第一线程和所述第二线程，直到完成所述执行队列中的各个所述log抓取请求。
进一步地，所述整合模块还用于：
基于所述log抓取请求中的请求时间点确定待整合的目标子log文件，所述目标子log文件包括所述第一子log文件和/或第二子log文件；
将所述目标子log文件按时间顺序进行拼接整合，获得所述目标log文件。
进一步地，所述整合模块还用于：
将log生成时间在所述log抓取请求中指定的起始抓取时间点与结束抓取时间点之间的第一子log文件，和/或第二子log文件确定为待拼接的目标子log文件。
进一步地，所述交替抓取模块还用于：
实时记录所述log抓取请求的执行进度，将已完成的log抓取请求进行标记。
进一步地，所述整合模块还用于：
将接收到的所述log抓取请求生成请求队列，并将请求时间点添加至执行队列，以供所述执行队列进行执行进度的管理。
进一步地，所述交替抓取模块还用于：
将已完成的所述log抓取请求从所述请求队列和所述执行队列中移除。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志文件抓取程序，所述日志文件抓取程序被处理器运行时实现如上所述日志文件抓取方法的步骤，此处不再赘述。
相比现有技术，本发明提出的一种日志文件抓取方法、设备及计算机可读存储介质，该方法包括：若执行队列中存在log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；整合所述log抓取请求对应的子log文件，获得目标log文件，将所述目标log文件返回至所述log抓取请求指定的路径。由此，通过多个线程循环交替处理log抓取请求，然后将获得的log文件拼接整合后返回至指定的路径，由此降低了log抓取的并发度和文件读取频率，节约了资源开销。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种日志文件抓取方法，其特征在于，所述方法包括：
若执行队列中存在日志log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间；
整合所述log抓取请求对应的子log文件，获得目标log文件；
将所述目标log文件返回至所述log抓取请求指定的路径。
2.根据权利要求1所述的方法，其特征在于，所述预先设置的多个线程包括第一线程和第二线程，所述循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间，包括：
启动所述第一线程，当达到预设的第一交替条件时，启动第二线程并结束所述第一线程，将所述第一线程抓取到的第一子log文件保存至第一存储空间；
若达到预设的第二交替条件，则启动所述第二线程并结束所述第一线程，将所述第二线程抓取到的第二子log文件保存至第二存储空间；
循环交替运行所述第一线程和所述第二线程，直到完成所述执行队列中的各个所述log抓取请求。
3.根据权利要求2所述的方法，其特征在于，所述整合所述log抓取请求的目标子log文件，获得目标log文件，包括：
基于所述log抓取请求中的请求时间点确定待整合的目标子log文件，所述目标子log文件包括所述第一子log文件和/或第二子log文件；
将所述目标子log文件按时间顺序进行拼接整合，获得所述目标log文件。
4.根据权利要求2所述的方法，其特征在于，所述第一交替条件包括：所述第一线程的抓取时长达到第一预设时长、log生成时间点与请求时间点中的起始抓取时间点或结束抓取时间点相同；
所述第二交替条件包括：所述第二线程的抓取时长达到第二预设时长、log生成时间点与请求时间点中的起始抓取时间点或结束抓取时间点相同；
其中，所述log生成时间点是指正在抓取的log文件的log生成时间点。
5.根据权利要求3所述的方法，其特征在于，所述基于所述log抓取请求中的请求时间点确定待拼接的目标子log文件，包括：
将log生成时间在所述log抓取请求中指定的起始抓取时间点与结束抓取时间点之间的第一子log文件，和/或第二子log文件确定为待拼接的目标子log文件。
6.根据权利要求1所述的方法，其特征在于，所述若执行队列中存在log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间，之后还包括：
实时记录所述log抓取请求的执行进度，将已完成的log抓取请求进行标记。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述若执行队列中存在日志log抓取请求，则循环交替运行预先设置的多个线程，并将各个线程抓取到的子log文件保存至相应线程对应的存储空间，之前还包括：
将接收到的所述log抓取请求生成请求队列，并将请求时间点添加至执行队列，以供所述执行队列进行执行进度的管理。
8.根据权利要求7所述的方法，其特征在于，所述将所述目标log文件返回至所述log抓取请求指定的路径，之后还包括：
将已完成的所述log抓取请求从所述请求队列和所述执行队列中移除。
9.一种日志文件抓取设备，其特征在于，所述日志文件抓取设备包括处理器，存储器以及存储在所述存储器中的日志文件抓取程序，所述日志文件抓取程序被所述处理器运行时，实现如权利要求1-8中任一项所述的日志文件抓取方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志文件抓取程序，所述日志文件抓取程序被处理器运行时实现如权利要求1-8中任一项所述日志文件抓取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011184662.0A CN112286876A (zh) | 2020-10-29 | 2020-10-29 | 日志文件抓取方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011184662.0A CN112286876A (zh) | 2020-10-29 | 2020-10-29 | 日志文件抓取方法、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112286876A true CN112286876A (zh) | 2021-01-29 |
Family
ID=74352494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011184662.0A Pending CN112286876A (zh) | 2020-10-29 | 2020-10-29 | 日志文件抓取方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112286876A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113126928A (zh) * | 2021-04-22 | 2021-07-16 | 北京百度网讯科技有限公司 | 文件移动方法及装置、电子设备和介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120317112A1 (en) * | 2011-06-08 | 2012-12-13 | Hitachi, Ltd. | Operation log management system and operation log management method |
| US20160098342A1 (en) * | 2014-10-05 | 2016-04-07 | YScope Inc. | Systems and processes for computer log analysis |
| CN108733543A (zh) * | 2017-04-24 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 一种日志分析的方法、装置、电子设备和可读存储介质 |
| CN110825598A (zh) * | 2019-09-23 | 2020-02-21 | 武汉智美互联科技有限公司 | 一种日志实时处理方法及系统 |
| CN111061690A (zh) * | 2019-11-22 | 2020-04-24 | 武汉达梦数据库有限公司 | 一种基于rac的数据库日志文件读取方法和装置 |
| CN111078523A (zh) * | 2019-12-25 | 2020-04-28 | 惠州Tcl移动通信有限公司 | 日志获取方法、装置、存储介质及电子设备 |
| CN111290919A (zh) * | 2020-02-27 | 2020-06-16 | 平安国际智慧城市科技股份有限公司 | 日志文件生成方法、装置、计算机设备和存储介质 |
-
2020
- 2020-10-29 CN CN202011184662.0A patent/CN112286876A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120317112A1 (en) * | 2011-06-08 | 2012-12-13 | Hitachi, Ltd. | Operation log management system and operation log management method |
| US20160098342A1 (en) * | 2014-10-05 | 2016-04-07 | YScope Inc. | Systems and processes for computer log analysis |
| CN108733543A (zh) * | 2017-04-24 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 一种日志分析的方法、装置、电子设备和可读存储介质 |
| CN110825598A (zh) * | 2019-09-23 | 2020-02-21 | 武汉智美互联科技有限公司 | 一种日志实时处理方法及系统 |
| CN111061690A (zh) * | 2019-11-22 | 2020-04-24 | 武汉达梦数据库有限公司 | 一种基于rac的数据库日志文件读取方法和装置 |
| CN111078523A (zh) * | 2019-12-25 | 2020-04-28 | 惠州Tcl移动通信有限公司 | 日志获取方法、装置、存储介质及电子设备 |
| CN111290919A (zh) * | 2020-02-27 | 2020-06-16 | 平安国际智慧城市科技股份有限公司 | 日志文件生成方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李娟: "分布式应用软件的日志分析系统的设计与实现", 信息科技 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113126928A (zh) * | 2021-04-22 | 2021-07-16 | 北京百度网讯科技有限公司 | 文件移动方法及装置、电子设备和介质 |
| CN113126928B (zh) * | 2021-04-22 | 2024-01-23 | 北京百度网讯科技有限公司 | 文件移动方法及装置、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109033123B (zh) | 基于大数据的查询方法、装置、计算机设备和存储介质 | |
| CN107105009B (zh) | 基于Kubernetes系统对接工作流引擎的作业调度方法和装置 | |
| US8468146B2 (en) | System and method for creating search index on cloud database | |
| CN110753084B (zh) | 上链数据读取方法、缓存服务器及计算机可读存储介质 | |
| CN112346829A (zh) | 一种用于任务调度的方法及设备 | |
| WO2020010724A1 (zh) | 前端静态资源的管理方法、装置、计算机设备及存储介质 | |
| US10013288B2 (en) | Data staging management system | |
| CN112235396B (zh) | 内容处理链路调整方法、装置、计算机设备和存储介质 | |
| CN110209736A (zh) | 区块链数据处理的装置、方法及存储介质 | |
| CN116450287A (zh) | 业务容器存储容量的管理方法、装置、设备及可读介质 | |
| CN107526636B (zh) | 资源识别方法及装置 | |
| CN113568604B (zh) | 风控策略的更新方法、装置及计算机可读存储介质 | |
| CN112286876A (zh) | 日志文件抓取方法、设备及计算机可读存储介质 | |
| CN112306957A (zh) | 获取索引节点号的方法、装置、计算设备和存储介质 | |
| US9405786B2 (en) | System and method for database flow management | |
| US20170286440A1 (en) | Method, business processing server and data processing server for storing and searching transaction history data | |
| CN107958414B (zh) | 一种清除cics系统长交易的方法及系统 | |
| US8832176B1 (en) | Method and system for processing a large collection of documents | |
| CN112764897B (zh) | 任务请求的处理方法、装置、系统及计算机可读存储介质 | |
| CN112818021B (zh) | 数据请求处理方法、装置、计算机设备和存储介质 | |
| CN106339385B (zh) | 抓取网页的系统、网页抓取节点分配方法、抓取网页的方法 | |
| CN110011832B (zh) | 一种计划任务的配置下发方法及装置 | |
| CN111045787A (zh) | 一种快速继续实验方法及系统 | |
| WO2013161056A1 (ja) | プロセス処理装置、方法及びプログラム | |
| KR102209594B1 (ko) | 응용 프로그램의 블록 입출력 정보를 수집하는 수집 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |