CN108427626A - 日志文本处理方法、装置及存储介质 - Google Patents
日志文本处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108427626A CN108427626A CN201810011139.4A CN201810011139A CN108427626A CN 108427626 A CN108427626 A CN 108427626A CN 201810011139 A CN201810011139 A CN 201810011139A CN 108427626 A CN108427626 A CN 108427626A
- Authority
- CN
- China
- Prior art keywords
- daily record
- text
- record text
- vernier
- increment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种日志文本处理方法、装置及计算机可读存储介质,该方法包括以下步骤:获取日志文件路径,打开日志文件,利用游标对当前日志文本进行定位;利用所述游标定时对日志文本增量进行追踪;利用所述游标按行提取满足查询参数的日志文本段落;对提取的日志文本段落进行统计,输出预定统计项目的统计结果。利用本发明,可以实现对日志文本增量的追踪,对满足查询参数的日志文本的快速提取以及对日志各统计项目的及时统计。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种日志文本处理方法、装置及存储介质。
背景技术
日志可以记录运行中的系统或软件的各项信息,包括请求时间、请求者IP(Internet Protocol,网协)地址、请求类型、数据传输字节数和状态代码等。实际工作中,日志最关键的部分往往是最新生成的几行或几百行文本,利用最新生成的日志文本可以判断系统或软件的运行状况,这就对日志文本增量的追踪、查询和提取提出了较高的要求。
Flume是现有技术中最常用的日志采集技术,它一般使用Spooling DirectorySource或Exec Source来提取日志,但Spooling Directory Source不支持对提取的日志文本进行追加,在有新的日志内容产生时,只能通过新建日志文件的方式来提取新的日志内容,如果采用这种方式来提取日志文本增量,将会在日志目录下产生非常多的小文件;而Exec Source提取日志文本增量时的可靠性较低,容易出现提取失败的情况。
发明内容
为解决现有技术存在的不足,本发明提供一种日志文本处理方法、装置及计算机可读存储介质,可以利用游标对日志文本进行追踪和提取,从而准确地统计日志的各个统计项目。
为实现上述目的,本发明提供一种日志文本处理方法,应用于电子装置,该方法包括:
文本定位步骤:获取日志文件路径,打开日志文件,将游标指向当前日志文本的最后一行,将当前日志文本的行数记为游标基准值;
增量追踪步骤:设置定时执行值,定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值;
查询提取步骤:设置查询参数,利用游标从日志文本中按行提取满足查询参数的日志文本段落;及
统计步骤:对提取的日志文本段落进行统计,输出预定统计项目的统计结果。
优选地,所述文本定位步骤中,所述游标在初始时指向当前日志文本的第一行,被逐行推进直至指向当前日志文本的最后一行。
优选地,所述游标基准值的变化量等于所述日志文本增量的行数。
优选地,所述查询参数包括时间段和关键字。
优选地,所述统计步骤之后为文本输出控制步骤:设置文本输出开关,将满足预设条件的日志文本序列化并存入数据库。
优选地,所述预定统计项目包括数据传输总量以及日志文本增量的行数。
为实现上述目的,本发明还提供一种电子装置,该电子装置包括存储器和处理器,所述存储器中包括日志文本处理程序,该日志文本处理程序被所述处理器执行时实现如下步骤:
文本定位步骤:获取日志文件路径,打开日志文件,将游标指向当前日志文本的最后一行,将当前日志文本的行数记为游标基准值;
增量追踪步骤:设置定时执行值,定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值;
查询提取步骤:设置查询参数,利用游标从日志文本中按行提取满足查询参数的日志文本段落;及
统计步骤:对提取的日志文本段落进行统计,输出预定统计项目的统计结果。
优选地,所述文本定位步骤中,所述游标在初始时指向当前日志文本的第一行,被逐行推进直至指向当前日志文本的最后一行。
优选地,所述游标基准值的变化量等于所述日志文本增量的行数。
优选地,所述查询参数包括时间段和关键字。
优选地,所述统计步骤之后为文本输出控制步骤:设置文本输出开关,将满足预设条件的日志文本序列化并存入数据库。
优选地,所述预定统计项目包括数据传输总量以及日志文本增量的行数。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中包括日志文本处理程序,该日志文本处理程序被处理器执行时,实现如下步骤:
文本定位步骤:获取日志文件路径,打开日志文件,将游标指向当前日志文本的最后一行,将当前日志文本的行数记为游标基准值;
增量追踪步骤:设置定时执行值,定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值;
查询提取步骤:设置查询参数,利用游标从日志文本中按行提取满足查询参数的日志文本段落;及
统计步骤:对提取的日志文本段落进行统计,输出预定统计项目的统计结果。
优选地,所述文本定位步骤中,所述游标在初始时指向当前日志文本的第一行,被逐行推进直至指向当前日志文本的最后一行。
优选地,所述游标基准值的变化量等于所述日志文本增量的行数。
优选地,所述查询参数包括时间段和关键字。
优选地,所述统计步骤之后为文本输出控制步骤:设置文本输出开关,将满足预设条件的日志文本序列化并存入数据库。
优选地,所述预定统计项目包括数据传输总量以及日志文本增量的行数。
本发明提出的日志文本处理方法、电子装置及计算机可读存储介质,利用游标对当前日志文本进行定位,对日志文本增量进行追踪,对满足查询参数的日志文本进行提取,根据提取的日志文本对日志各统计项目进行统计。由于追踪日志文本增量的定时执行值可以自由设置,游标的使用不会对日志文本的内容产生影响,故本发明能够无侵入地对日志文本进行追踪,精确提取查询结果,实现对日志文本灵活、高效地处理。
附图说明
图1为本发明电子装置较佳实施例的运行环境示意图;
图2为图1中日志文本处理程序的程序模块图;
图3为本发明日志文本处理方法第一较佳实施例的流程图;
图4为本发明日志文本处理方法第二较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
本领域的技术人员知道,本发明的实施方式可以实现为一种方法、装置、设备、系统或计算机程序产品。因此,本发明可以具体实现为完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
下面将参考若干具体实施例来描述本发明的原理和精神。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1所示,为本发明电子装置较佳实施例的运行环境示意图。
该电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备。
该电子装置1包括存储器11、处理器12、网络接口13及通信总线14。所述网络接口13可选地可以包括标准的有线接口和无线接口(如WI-FI接口)。通信总线14用于实现上述组件之间的连接通信。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中,所述可读存储介质可以是所述电子装置1的内部存储单元,例如该电子装置1的硬盘。在另一些实施例中,所述可读存储介质也可以是所述电子装置1的外部存储器11,例如所述电子装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
在本实施例中,所述存储器11的可读存储介质用于存储日志文本处理程序10、日志文件,以及处理器12执行日志文本处理程序10的程序代码应用到的其他数据以及最后输出的数据等。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行日志文本处理程序10等。
图1仅示出了具有组件11-14以及日志文本处理程序10的电子装置1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该电子装置1还可以包括用户接口,用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等。可选地,用户接口还可以包括标准的有线接口、无线接口。
可选地,该电子装置1还可以包括显示器,显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)显示器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地,该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,所述触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,所述触摸传感器可以为单个传感器,也可以为例如阵列布置的多个传感器。用户可以通过触摸所述触控区域启动日志文本处理程序10。
此外,该电子装置1的显示器的面积可以与所述触摸传感器的面积相同,也可以不同。可选地,将显示器与所述触摸传感器层叠设置,以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
该电子装置1还可以包括射频(Radio Frequency,RF)电路、传感器和音频电路等等,在此不再赘述。
在图1所示的电子装置1较佳实施例的运行环境示意图中,包含可读存储介质的存储器11中可以包括操作系统、日志文本处理程序10和日志文件等。处理器12执行存储器11中日志文本处理程序10时实现如下步骤:
文本定位步骤:获取日志文件路径,打开日志文件,将游标指向当前日志文本的最后一行,将当前日志文本的行数记为游标基准值;
增量追踪步骤:设置定时执行值,定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值;
查询提取步骤:设置查询参数,利用游标从日志文本中按行提取满足查询参数的日志文本段落;及
统计步骤:对提取的日志文本段落进行统计,输出预定统计项目的统计结果。
具体原理请参照下述图2关于日志文本处理程序10的程序模块图及图3、图4关于日志文本处理方法较佳实施例的流程图的介绍。
参照图2所示,为图1中日志文本处理程序10的程序模块图。在本实施例中,日志文本处理程序10被分割为多个模块,该多个模块被存储于存储器11中,并由处理器12执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
所述日志文本处理程序10可以被分割为:定位模块110、追踪模块120、查询提取模块130及统计模块140。
定位模块110,用于对当前日志文本进行定位。日志文件的存放路径可以有多种选择,不同的包管理器(Package Manager)会把日志文件放到不同的位置,但都可以通过配置文件获取日志文件的存放路径,从而打开日志文件。很多程序不具备操作一个集合的能力,而日志的数据量往往很大,因此需要用游标逐行操作。打开日志文件后,定位模块110利用OPEN语句打开游标,使游标指向当前日志文本的第一行,然后利用FETCH语句将游标推进至当前日志文本的最后一行,将当前日志文本的行数记为游标基准值,最后利用CLOSE语句关闭游标。所述游标基准值的最小值,即游标基准值的初始值,记为0。可以理解的是,所述游标相当于一个指针,具有操作多行日志文本的能力,能将多行日志文本一次一行或一次多行地处理完毕。在另一实施例中,也可以用游标FOR循环代替OPEN、FETCH和CLOSE语句来控制游标。
追踪模块120,用于定时对日志文本增量进行追踪,得到日志文本增量的行数。日志是可以实时更新的,随时可能生成日志文本增量,对当前日志文本进行定位后,设置定时执行值,追踪模块120定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值。所述定时执行值的单位为秒,例如,假设定时执行值为60秒,则追踪模块120每隔60秒将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值。可以理解的是,所述游标基准值的变化量等于所述日志文本增量的行数。
查询提取模块130,用于按行提取满足查询参数的日志文本。由于日志可以记录请求时间等操作信息,也可以记录状态代码等反馈信息,故所述查询参数可以包括时间段和关键字。当查询参数为时间段时,查询提取模块130控制游标,将该时间段内生成的日志文本逐行提取出来;当查询参数为关键字时,查询提取模块130控制游标,将包含该关键字的日志文本逐行提取出来;当查询参数为时间段和关键字相结合时,查询提取模块130控制游标,将该时间段内生成的日志文本中包含该关键字的日志文本逐行提取出来。
可以理解的是,在使用游标对当前日志文本进行定位,对日志文本增量进行追踪,对满足查询参数的日志文本段落进行提取时,游标作为一种外部工具,并未对日志的生成产生任何影响,也不会改变日志文本的内容。
统计模块140,用于对提取的日志文本段落进行统计,输出预定统计项目的统计结果。日志的格式可由用户自定义,用户通过自定义日志格式获取想要得到的记录信息,从这些记录信息中可以统计出日志各统计项目的统计结果。日志中的记录信息可以包括请求者IP地址、数据传输字节数、状态代码、网络协议名称及版本等,所述预定统计项目可以包括数据传输总量和日志文本增量的行数,还可以包括独立访客数(Unique Visitor,UV)、请求成功数、请求失败数、请求失败原因、数据传输被打断的次数等等。例如,可以通过游标基准值的变化量统计日志文本增量行数,可以根据数据传输字节数统计某时间段内的数据传输总量,可以根据请求者IP地址统计UV,可以利用状态代码统计出请求成功数、请求失败数及请求失败原因等。可以理解的是,此处的数据传输包括数据上传和数据下载。
具体地,在本实施例中,所述日志为网站访问日志,该网站访问日志的每行文本都记录有状态代码,状态代码也叫错误代码,是为网站服务器所接收的每个请求分配的三位数代码,用于表示请求是否成功以及遇到的错误类型。当状态代码为200时,表示网站服务器成功响应了浏览器的请求,一切正常;当状态代码为400时,表示浏览器发起的请求是错误的,例如请求包含语法错误等;当状态代码为404时,表示网站服务器找不到浏览器请求的网页。如果查询提取模块130提取了某时间段内的日志文本增量,那么统计模块140可以利用状态代码统计出该时间段内网站服务器处理浏览器请求成功的次数、失败的次数以及网站服务器处理浏览器请求失败的原因;如果查询提取模块130以关键字为查询参数,例如,查询参数为200,提取出状态代码为200的所有日志,那么统计模块140可以利用状态代码统计出网站服务器成功响应浏览器请求的总次数。上述关于利用状态代码统计请求成功数、请求失败数及请求失败原因的解释仅是提供部分例子,未能穷举。网站运维人员可以根据统计模块140输出的统计结果判断网站服务器的运行状态是否正常。
在本实施例中,网站访问日志的每行文本还记录了网站服务器发送给客户端的字节数,即客户端从网站服务器下载的数据量,统计模块140将这些值相加即可统计出服务器在某段时间内,例如一天、一周或者一个月内服务器发送数据的总量。另外,通过将网站服务器发送给客户端的字节数与对应文件的大小作对比,统计模块140可以判断出数据传输过程中是否被打断,并统计出某时间段内数据传输被打断的次数。类似地,统计模块140可以利用日志记录的信息输出其他预定统计项目的统计结果,供开发人员、运维人员等参考。
参照图3所示,为本发明日志文本处理方法第一较佳实施例的流程图。电子装置1的处理器12执行存储器11中存储的日志文本处理程序10时实现日志文本处理方法的如下步骤:
步骤S10,获取日志文件路径,打开日志文件,利用定位模块110将游标指向当前日志文本的最后一行,对当前日志文本进行定位。日志文件的存放路径可以通过配置文件来获取,打开日志文件后,定位模块110通过OPEN语句打开游标,将游标指向当前日志文本的第一行,然后通过FETCH语句将游标推进至当前日志文本的最后一行,将当前日志文本的行数记为游标基准值,完成对当前日志文本的定位工作。在另一实施例中,可以通过游标FOR循环来控制游标,代替所述OPEN语句和FETCH语句。
步骤S20,设置定时执行值,利用追踪模块120定时将所述游标推进至日志文本增量的最后一行,定时对日志文本增量进行追踪。所述定时执行值的单位为秒,假设定时执行值为60秒,则追踪模块120每隔60秒将所述游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值,即游标基准值的变化量等于日志文本增量的行数,实现对日志文本增量的定期追踪。在一个实施例中,表示日志文本增量的行数的数值一直显示在显示器上,并以定时执行值为周期,周期性更新该数值。
步骤S30,设置查询参数,利用查询提取模块130按行提取满足查询参数的日志文本段落。所述查询参数可以是时间段,也可以是关键字,因此可以利用查询提取模块130提取到某个时间段的日志文本新增行,也可以提取到含有某些关键字的日志文本行。
为了便于表述,我们把满足查询参数的日志文本称为结果集(result set).根据用户设置的查询参数,查询提取模块130控制游标指向结果集的第一行,从结果集中提取该行日志文本,然后将游标推进至结果集的下一行,直至提取所有满足查询参数的日志文本行,即整个结果集。
步骤S40,利用统计分析模块140对提取的日志文本段落进行统计分析,输出预定统计项目的统计结果。所述预定统计项目包括数据传输总量、日志文本增量的行数、独立访客数、请求成功数、请求失败数、请求失败原因、数据传输被打断的次数等等。统计分析的具体方法及作用请参照上述关于统计分析模块140的详细介绍。
本实施例提出的日志文本处理方法,利用游标对当前日志文本进行定位,对日志文本增量进行追踪,对满足查询参数的日志文本进行精确提取,根据提取的日志文本对预定统计项目进行统计,得到数据传输总量、日志文本增量的行数、独立访客数、请求成功数、请求失败数、请求失败原因、数据传输被打断的次数等统计结果。由于追踪日志文本增量的定时执行值可以自由设置,游标的使用不会对日志文本的内容造成影响,本发明能够无侵入地对日志文本进行追踪,精确提取查询结果,实现对日志文本灵活、高效地处理。
参照图4所示,为本发明日志文本处理方法第二较佳实施例的流程图。
与第一较佳实施例相比,本实施例增加了文本输出控制步骤,用户可以通过控制文本输出开关,决定是否输出提取的日志文本。在本实施例中,步骤S10-步骤S40与第一实施例中步骤S10-步骤S40内容相同,在此不再赘述。
步骤S50,设置文本输出开关,自动判断提取的日志文本是否满足预设条件。所述文本输出开关可以理解为一个条件转移指令,所述预设条件可以是多种多样的,例如状态代码为408、500、504等,这些状态代码表示请求超时或者服务器错误,这些状态代码所在的日志文本行中记录的其他信息可能对运维人员排除故障或提高服务器运行状况提供帮助。所述预设条件还可以是数据传输字节数的范围,当日志记录的数据传输字节数在该范围之内时,则该行日志文本满足预设条件。例如,假设所述预设条件为数据传输字节数在400-500兆字节之间,这样的数据传输量对应的日志文本行记录的是客户端发出某些特定请求时对应的信息。可以理解的是,所述预设条件可以是能够通过日志文本记录的信息判断是否满足的任意条件,目的是筛选出日志文本中相对更具价值的部分。
步骤S60,将提取的满足预设条件的日志文本序列化并存入数据库。由于日志的数据量往往非常庞大,提取的日志文本的利用价值也不同,通过设置文本输出开关,自动输出满足预设条件的日志文本,并将其序列化和存入数据库,以提高日志文本数据的安全性。不满足预设条件的日志文本仍保留在原始日志文件中,但为了节约存储资源,这些日志文本可能在一段时间后被删除或被后续的日志文本增量所覆盖。可以理解的是,将日志文件中相对更具价值的部分,即满足预设条件的日志文本序列化并存入数据库的原因是多方面的,不仅仅是为了节约存储资源和提高日志文本数据的安全性。例如,普通文件在顺序访问时固然具有优势,但是在文件很大或随机访问数据时面临很多困难,限制了访问速度和提取速度。综上所述,在日志文本处理过程中增加文本输出控制步骤的优势是可想而知的。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括日志文件、日志文本处理程序10等,所述日志文本处理程序10被处理器12执行时实现如下操作:
文本定位步骤:获取日志文件路径,打开日志文件,将游标指向当前日志文本的最后一行,将当前日志文本的行数记为游标基准值;
增量追踪步骤:设置定时执行值,定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值;
查询提取步骤:设置查询参数,利用游标从日志文本中按行提取满足查询参数的日志文本段落;及
统计步骤:对提取的日志文本段落进行统计,输出预定统计项目的统计结果。
本发明之计算机可读存储介质的具体实施方式与上述日志文本处理方法以及电子装置1的具体实施方式大致相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种日志文本处理方法,应用于电子装置,其特征在于,该方法包括:
文本定位步骤:获取日志文件路径,打开日志文件,将游标指向当前日志文本的最后一行,将当前日志文本的行数记为游标基准值;
增量追踪步骤:设置定时执行值,定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值;
查询提取步骤:设置查询参数,利用游标从日志文本中按行提取满足查询参数的日志文本段落;及
统计步骤:对提取的日志文本段落进行统计,输出预定统计项目的统计结果。
2.根据权利要求1所述的日志文本处理方法,其特征在于,所述文本定位步骤中,所述游标在初始时指向当前日志文本的第一行,被逐行推进直至指向当前日志文本的最后一行。
3.根据权利要求1所述的日志文本处理方法,其特征在于,所述游标基准值的变化量等于所述日志文本增量的行数。
4.根据权利要求1所述的日志文本处理方法,其特征在于,所述查询参数包括时间段和关键字。
5.根据权利要求1所述的日志文本处理方法,其特征在于,所述统计步骤之后为文本输出控制步骤:设置文本输出开关,将满足预设条件的日志文本序列化并存入数据库。
6.根据权利要求1至5中任意一项所述的日志文本处理方法,其特征在于,所述预定统计项目包括数据传输总量以及日志文本增量的行数。
7.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中包括日志文本处理程序,该日志文本处理程序被所述处理器执行时实现如下步骤:
文本定位步骤:获取日志文件路径,打开日志文件,将游标指向当前日志文本的最后一行,将当前日志文本的行数记为游标基准值;
增量追踪步骤:设置定时执行值,定时将游标推进至日志文本增量的最后一行,并根据日志文本增量的行数更新游标基准值;
查询提取步骤:设置查询参数,利用游标从日志文本中按行提取满足查询参数的日志文本段落;及
统计步骤:对提取的日志文本段落进行统计,输出预定统计项目的统计结果。
8.根据权利要求7所述的电子装置,其特征在于,所述文本定位步骤中,所述游标在初始时指向当前日志文本的第一行,被逐行推进直至指向当前日志文本的最后一行。
9.根据权利要求7至8中任意一项所述的电子装置,其特征在于,所述预定统计项目包括数据传输总量以及日志文本增量的行数。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括日志文本处理程序,所述日志文本处理程序被处理器执行时,实现如权利要求1至6中任一项所述的日志文本处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810011139.4A CN108427626A (zh) | 2018-01-05 | 2018-01-05 | 日志文本处理方法、装置及存储介质 |
PCT/CN2018/089870 WO2019134341A1 (zh) | 2018-01-05 | 2018-06-05 | 日志文本处理方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810011139.4A CN108427626A (zh) | 2018-01-05 | 2018-01-05 | 日志文本处理方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108427626A true CN108427626A (zh) | 2018-08-21 |
Family
ID=63155848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810011139.4A Pending CN108427626A (zh) | 2018-01-05 | 2018-01-05 | 日志文本处理方法、装置及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108427626A (zh) |
WO (1) | WO2019134341A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344070A (zh) * | 2018-10-10 | 2019-02-15 | 郑州云海信息技术有限公司 | 一种目标定位方法、装置、系统及计算机可读存储介质 |
CN109542890A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技(深圳)有限公司 | 数据修改方法、装置、计算机设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1645336A (zh) * | 2005-01-20 | 2005-07-27 | 上海复旦光华信息科技股份有限公司 | 基于模板的异构日志信息自动提取与分析方法 |
CN107038162A (zh) * | 2016-02-03 | 2017-08-11 | 滴滴(中国)科技有限公司 | 基于数据库日志的实时数据查询方法和系统 |
US20170288956A1 (en) * | 2016-03-29 | 2017-10-05 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Node configuration assignment using a mobile communication device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102053923B (zh) * | 2009-11-05 | 2013-06-12 | 北京金山软件有限公司 | 一种日志数据的存储方法及存储装置 |
US8612390B2 (en) * | 2011-05-02 | 2013-12-17 | Microsoft Corporation | Lightweight caching of transaction log for sequential access |
CN105590259A (zh) * | 2015-11-04 | 2016-05-18 | 中国银联股份有限公司 | 交易系统的诊断装置和方法 |
CN106649627B (zh) * | 2016-12-06 | 2019-09-17 | 杭州迪普科技股份有限公司 | 一种日志查找的方法和装置 |
CN107341258B (zh) * | 2017-07-12 | 2020-03-13 | 中国工商银行股份有限公司 | 一种日志数据采集方法及系统 |
-
2018
- 2018-01-05 CN CN201810011139.4A patent/CN108427626A/zh active Pending
- 2018-06-05 WO PCT/CN2018/089870 patent/WO2019134341A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1645336A (zh) * | 2005-01-20 | 2005-07-27 | 上海复旦光华信息科技股份有限公司 | 基于模板的异构日志信息自动提取与分析方法 |
CN107038162A (zh) * | 2016-02-03 | 2017-08-11 | 滴滴(中国)科技有限公司 | 基于数据库日志的实时数据查询方法和系统 |
US20170288956A1 (en) * | 2016-03-29 | 2017-10-05 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Node configuration assignment using a mobile communication device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344070A (zh) * | 2018-10-10 | 2019-02-15 | 郑州云海信息技术有限公司 | 一种目标定位方法、装置、系统及计算机可读存储介质 |
CN109542890A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技(深圳)有限公司 | 数据修改方法、装置、计算机设备及存储介质 |
CN109542890B (zh) * | 2018-10-11 | 2024-01-26 | 平安科技(深圳)有限公司 | 数据修改方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2019134341A1 (zh) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10152488B2 (en) | Static-analysis-assisted dynamic application crawling architecture | |
CN108363602B (zh) | 智能ui界面布局方法、装置、终端设备及存储介质 | |
CN104850546B (zh) | 移动媒介信息的展示方法和系统 | |
CN108304410A (zh) | 一种异常访问页面的检测方法、装置及数据分析方法 | |
CN109146539A (zh) | 用户画像的更新方法及装置 | |
CN109767110A (zh) | 一种风险控制系统优化方法、装置、设备及存储介质 | |
CN106600082A (zh) | 业务系统中任务的处理方法、装置及业务体系构建系统 | |
CN111782317A (zh) | 页面的测试方法和装置、存储介质和电子装置 | |
CN109522467A (zh) | 一种基于大数据平台的标签时间的分析方法及装置 | |
CN111866158A (zh) | 路由方法、装置、计算机设备和存储介质 | |
CN108427626A (zh) | 日志文本处理方法、装置及存储介质 | |
CN114253866B (zh) | 恶意代码检测的方法、装置、计算机设备及可读存储介质 | |
CN107294905B (zh) | 一种识别用户的方法及装置 | |
CN112671878B (zh) | 一种区块链的信息订阅方法、装置、服务器和存储介质 | |
WO2020093613A1 (zh) | 页面数据的处理方法及装置、存储介质、计算机设备 | |
CN110413974A (zh) | 表格模板配置及装置、表格导出方法及装置 | |
CN109660587A (zh) | 基于随机数的数据推送方法、装置、存储介质及服务器 | |
CN108304310A (zh) | 一种日志分析方法及计算设备 | |
US20190026649A1 (en) | System and method for generating a file execution record of address tuples | |
CN114968725A (zh) | 任务依赖关系校正方法、装置、计算机设备及存储介质 | |
US11562121B2 (en) | AI driven content correction built on personas | |
CN113468443A (zh) | 页面返回方法、装置、设备及存储介质 | |
CN111475505B (zh) | 一种数据采集的方法及设备 | |
CN114201376A (zh) | 基于人工智能的日志解析方法、装置、终端设备及介质 | |
CN104376021A (zh) | 文件推荐系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180821 |
|
RJ01 | Rejection of invention patent application after publication |