CN102780726A - 一种基于web平台的日志分析方法及系统 - Google Patents

一种基于web平台的日志分析方法及系统 Download PDF

Info

Publication number
CN102780726A
CN102780726A CN2011101236291A CN201110123629A CN102780726A CN 102780726 A CN102780726 A CN 102780726A CN 2011101236291 A CN2011101236291 A CN 2011101236291A CN 201110123629 A CN201110123629 A CN 201110123629A CN 102780726 A CN102780726 A CN 102780726A
Authority
CN
China
Prior art keywords
log
daily record
collection
module
log server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101236291A
Other languages
English (en)
Other versions
CN102780726B (zh
Inventor
张立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU ZHONGWEI TECHNOLOGY SOFTWARE SYSTEM Co.,Ltd.
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201110123629.1A priority Critical patent/CN102780726B/zh
Priority to PCT/CN2011/081062 priority patent/WO2012155455A1/zh
Publication of CN102780726A publication Critical patent/CN102780726A/zh
Application granted granted Critical
Publication of CN102780726B publication Critical patent/CN102780726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875—Monitoring of systems including the internet

Abstract

本发明公开了一种基于WEB平台的日志分析方法及系统，日志采集模块定时采集网络上各台设备产生的日志，日志采集模块将所述采集的日志上传到日志服务器，所述日志服务器对所述日志进行索引和统计归类得到索引数据和统计归类数据。本发明通过提供一个完整的日志采集、搜索、浏览、分析、备份、下载的日志集中处理平台，解决了现有技术中只是对各台设备的日志进行简单地采集、没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案的问题。

Description

一种基于WEB平台的日志分析方法及系统
技术领域
本发明涉及日志管理，特别涉及一种基于WEB平台的日志采集、分析、搜索方法及系统。
背景技术
目前处理网络中各台设备的业务日志、操作系统日志、数据库日志的方式是各台设备单独备份，查看日志时需要连接各台设备获取日志，然后人工分析日志内容。这种处理方式严重影响维护人员的工作效率和故障的快速定位和排除，而且在这种工作方式下很难对大量的日志信息进行信息统计和审计的工作。
现有环境下有一些工具可以对网络中的各台设备的日志进行简单的采集工作，但是没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案。
发明内容
本发明的目的在于提供一种基于WEB平台的日志分析方法及系统，解决了以下技术问题：一、维护人员工作效率不高、故障很难快速定位和排除；二、对大量的日志信息进行统计和审计比较困难；三、仅是对各台设备的日志进行简单地采集，没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案。
根据本发明的一个方面，提供了一种基于WEB平台的日志分析方法，包括以下步骤：
A、日志采集模块定时采集网络上各台设备产生的日志；
B、日志采集模块将所述采集的日志上传到日志服务器；
C、所述日志服务器对所述日志进行索引和统计归类得到索引数据和统计归类数据。
优选的，所述方法在步骤C之后还包括以下步骤：
D、所述日志服务器根据用户输入的搜索条件从所述索引数据中搜索符合所述搜索条件的日志。
优选的，所述步骤C还包括以下步骤：
所述日志服务器将所述日志进行压缩备份。
其中，所述步骤A具体为：
所述日志服务器通过网络与网络上各台设备建立连接；
安装所述设备上的日志采集模块定时将所述设备产生的日志文件的列表发送给所述日志服务器；
所述日志服务器从所述日志文件列表中选择需要采集的日志名称并发送给所述设备；
所述日志采集模块根据所选日志名称采集日志。
其中，所述步骤B具体为：
所述日志采集模块通过FTP或者SYSLOG的方式将所述采集的日志上传给所述日志服务器；
所述日志服务器保存所述采集的日志。
其中，所述步骤C具体为：
所述日志服务器按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引，得到索引数据；
所述日志服务器按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计，得到分类统计数据。
根据本发明的另一个方面，提供了一种基于WEB平台的日志分析系统，所述系统包括：
日志采集模块，用于定时采集网络上各台设备产生的日志并将所述采集的日志上传到日志服务器；
日志分析模块，用于对所述采集的日志进行索引和统计归类得到索引数据和统计归类数据。
优选的，该系统还包括：
日志搜索模块，用于从所述索引数据中搜索符合搜索条件的日志；
日志备份下载模块，用于对所述采集的日志进行压缩备份并下载。
优选的，所述日志采集模块通过FTP或者SYSLOG的方式定时将所述采集的日志上传给所述日志服务器。
优选的，
所述日志服务器按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引，得到索引数据；
所述日志服务器按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计，得到分类统计数据。
与现有技术相比较，本发明的有益效果在于：一、提高了维护人员的工作效率，使其能快速定位故障并排除；二、对大量的日志信息进行统计和审计；三、不仅仅简单的采集日志，同时提供搜索、浏览、分析、备份、下载的整套解决方案。
附图说明
图1是本发明实施例提供的基于WEB平台的日志分析方法的流程图；
图2是本发明实施例提供的基于WEB平台的日志分析系统的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1是本发明实施例提供的基于WEB平台的日志分析方法的流程图，如图1所示，该方法包括以下步骤：
步骤S101，设备配置。
设备配置由用户通过日志系统的WEB管理平台完成。录入的设备信息包括设备的描述信息、采集需要用到的参数信息等，用户可以在管理平台上以列表的方式查看所有的设备信息。
设备信息具体如下：
Figure BDA0000061015910000031
步骤S102，日志采集。
日志采集分为两种方式：FTP(File Transfer Protocol，文件传输协议)和SYSLOG(System Log，系统日志)，这两种方式可以通过系统配置进行切换。
FTP方式采集的流程为：日志服务器通过设备IP与安装在设备上的代理程序即日志采集模块通讯，通过代理程序获取设备上的日志文件列表。然后日志服务器过滤需要采集的日志文件，并将文件名发送给代理程序，由代理程序调用操作系统命令通过FTP的PUT方式将日志文件主动上传至日志服务器。日志服务器将采集上来的日志文件按设备进行分文件夹保存，一个设备生成一个文件夹。FTP采集方式由日志服务器主动发起采集任务，因此需要避免日志的重复采集问题。日志服务器通过日志文件名和日志文件最后修改时间来标识日志文件的采集状态。完成采集后，日志服务器将该信息保存进入数据库，下次采集之前通过此信息判断该日志文件是否已经完成采集。如果设备上的该日志文件的修改时间和数据库中的该日志文件的最后修改时间一致，则不再采集，否则重新采集并在数据库中保存日志文件的采集状态信息，同时删除日志目录中此日志文件名对应的文件，并将新采集到的日志文件保存在日志目录下该设备对应的文件夹中。
SYSLOG方式由设备主动上报日志内容。日志服务器运行后，自动打开SYSLOG服务，各设备通过SYSLOG客户端主动向日志服务器上传日志。SYSLOG采集的保存方式与FTP一样，但由于各设备只上传具体的日志内容，文件名由日志服务器来生成，因此不存在日志重复问题。
步骤S103，日志分析。
日志分析有两个工作：一是将具体的日志内容进行索引，以方便对日志内容进行快速搜索，二是将日志内容按照一定的分类标准进行分类信息统计，如日志级别，日志时间等分类标准。
日志索引和搜索基于开源的Lucene搜索工具库进行开发，采用Lucene内置的标准分析器对日志内容进行分析、索引和搜索。日志索引共包含5个分析域，具体如下：
Figure BDA0000061015910000041
Figure BDA0000061015910000051
日志按照一定的分类进行信息统计后，统计信息会保存进入数据库。用户从日志系统的WEB管理平台可以看到统计信息的图标等信息，如柱状图和饼状图等。
步骤S104，日志搜索。
用户通过日志系统的WEB管理平台可以按照各种条件对日志进行搜索。搜索条件以表单的方式在页面上展示，用户根据具体的情况选择不同的条件组合进行搜索。日志服务器根据用户输入的检索条件从索引数据中进行检索。日志搜索结果以列表的方式在页面上展现给用户。由于日志量非常大，所以展示所有数据在大部分情况下没有意义，因此日志系统按照时间的倒序分页展示，且最大不超过整数(INT)类型的最大值。用户可以选择的搜索条件如下表所示：
用户通过点击搜索列表中的具体的日志条目可以浏览该条日志的上下文信息，浏览行数可以通过系统进行配置。点击的日志条目会在日志上下文中高亮展示。
步骤S105，日志备份。
系统采用定时任务，按照配置的备份周期进行备份。备份按照设备进行分类，压缩方式为zip。备份后用户可以通过日志系统的WEB管理平台浏览所有的备份文件，并可以对备份的日志文件进行下载、删除、浏览基本信息等操作。
图2是本发明实施例提供的基于WEB平台的日志分析系统的结构示意图，如图2所示，该系统包括日志采集模块1、日志分析模块2、日志搜索模块3、日志备份下载模块4、存储模块5、设备管理模块6、系统配置模块7、用户管理模块8、Web管理平台9、接口模块10、设备11、日志服务器12。其中日志采集模块1用于采集各设备的日志；日志分析模块2用于分析采集到的日志；日志搜索模块3用于根据检索条件搜索日志；日志备份下载模块4用于下载日志并备份；存储模块5用于存储系统配置信息、日志采集信息和日志；设备管理模块6用于配置并管理设备信息；系统配置模块7用于配置系统信息；用户管理模块8用于管理使用该日志系统的用户；WEB管理平台9用于用户操作该日志系统；接口模块10用于日志服务器12和设备11上的日志采集模块1进行通讯；设备11用于产生日志，设备11可以是多个；日志服务器12用于存放日志和运行各种软件程序。
系统工作时，首先部署WEB应用。本系统基于TOMCAT应用服务器部署WEB应用。日志分析模块2、日志搜索模块3、日志备份下载模块4、存储模块5、设备管理模块6、系统配置模块7、用户管理模块8、Web管理平台9、接口模块10存放并运行在日志服务器12上。日志采集模块1存放并运行在设备11上，设备11可以为多台。
用户通过系统配置模块7进行系统配置。系统基于TOMCAT应用服务器部署WEB应用。用户登录WEB管理平台9并进入系统配置页面之后，通过系统配置模块7对系统进行配置，比如设置日志的保存目录、日志系统采集的时间间隔、日志的采集方式等。用户也可以采用系统默认的配置方式。
用户通过设备管理模块6完成设备信息录入。用户登录WEB管理平台9，并进入设备管理页面，录入设备信息并保存。具体的设备信息包括设备名称、IP地址、用户名、操作系统、日志目录。其中设备名称用来标示需要进行日志统一管理的设备的名称。IP地址是设备11在网络中的IP地址。日志服务器12采集设备11上的日志时，需要知道设备11的具体IP地址从而进行连接。用户名是登录设备操作系统的用户名。操作系统是设备11的操作系统类型，比如是Windows系统或者是Linux系统等。日志目录是需要采集的日志在设备11上的保存目录，该目录可以为多个。用户配置完设备信息后，还可以在WEB管理平台9上以列表的方式查看所有的设备信息。
用户通过日志采集模块1周期性的定时采集设备上的日志。
日志采集分为两种方式：FTP(File Transfer Protocol，文件传输协议)和SYSLOG(System Log，系统日志)，这两种方式可以通过系统配置进行切换。
FTP方式采集的流程为：接口模块10根据系统的定时器周期性地通过设备IP与安装在设备11上的日志采集模块2即代理程序通讯，通过代理程序获取设备11上的日志文件列表。然后接口模块10过滤需要采集的日志文件，并将文件名发送给设备11的代理程序，由代理程序调用操作系统命令通过FTP的PUT方式将日志文件主动上传至日志服务器12。接口模块10将采集上来的日志文件在系统设置的日志保存目录中按设备进行分文件夹保存，一个设备生成一个文件夹。FTP采集方式由日志服务器12主动发起采集任务，因此需要避免日志的重复采集问题。接口模块10通过日志文件名和日志文件最后修改时间来标识日志文件的采集状态。完成采集后，将该信息保存进入数据库。下次采集之前，通过此信息判断该日志文件是否已经完成采集。如果设备11上的日志文件的修改时间和数据库中的日志文件的最后修改时间一致，则不再采集，否则重新采集并在数据库中保存日志文件的采集状态信息，同时删除日志保存目录中此日志文件名对应的文件，并将新采集到的日志文件保存在日志保存目录中与设备相对应的文件夹。
SYSLOG方式采集的流程为：日志系统运行后，如果系统配置模块7设置的采集方式是SYSLOG方式，则日志服务器12自动打开SYSLOG服务，设备11通过SYSLOG客户端主动向日志服务器12上传日志，接口模块10将日志保存在日志保存目录下的设备对应的文件夹中。SYSLOG采集的保存方式与FTP一样，由于设备只上传具体的日志内容，文件名由日志服务器12来生成并保存在数据库中，因此不存在日志重复采集问题。
用户通过日志分析模块2周期性地分析日志。日志分析模块2读取日志采集模块2采集上来的日志内容，针对固定格式的日志内容进行统计归类并进行索引以提供快速搜索使用。以上的工作有系统定时器定时按一定周期执行。
日志分析模块2主要完成两个工作：一是将具体的日志内容进行索引，以方便对日志内容进行快速搜索，二是将日志内容按照一定的分类标准进行分类信息统计。
日志索引基于开源的Lucene搜索工具库进行开发，采用Lucene内置的标准分析器对日志内容进行分析、索引。日志索引共包含五个分析域，分别为文件名、时间、级别、错误码和日志内容。其中，前四个分析域的类型都是“保存”，日志内容分析域的类型是“分析、保存”。Lucene搜索工具库根据分析域及分析域的类型生成日志索引。
日志分类统计是按照一定的分类对日志数据进行信息统计。比如按照日志级别或日志时间等分类标准，对日志数据进行信息统计，得到的日志分类统计信息保存进入数据库。
日志分析模块2每执行一个周期的日志索引、日志分类统计之后，用户就可以通过WEB的管理平台9进行日志的分析统计报表查看。用户进入WEB管理平台9的分析统计页面，输入分析统计条件，WEB管理平台9调用日志分析模块2，日志分析模块2从存储模块5中读取之前保存的分类统计信息或者索引信息，并以数据的形式或者图表的形式显示出来，比如柱状图或饼状图等。
用户通过日志搜索模块3根据搜索条件搜索日志。用户就可以通过WEB的管理平台9按照各种搜索条件进行日志的快速搜索。搜索条件以表单的方式在页面上展示，用户根据具体的情况选择不同的条件组合进行搜索。日志搜索模块3根据用户输入的搜索条件从索引数据中检索到符合搜索条件的日志。日志搜索结果以列表的方式在页面上展现给用户。由于日志量非常大，所以展示所有数据在大部分情况下没有意义，因此日志搜索模块3按照时间的倒序分页展示，且最大不超过INT类型的最大值。用户通过点击搜索列表中的具体的日志条目可以浏览该条日志的上下文信息，浏览行数可以通过系统配置模块进行配置。点击的日志条目会在日志上下文中高亮展示。
用户可以选择的搜索条件如下表所示：日志文件、开始时间、结束时间、错误码、日志级别、关键字。其中，日志文件表示需要在哪些日志文件中进行搜索；开始时间是在开始时间之后打印的日志中进行搜索；结束时间是在结束时间之前打印的日志中进行搜索；错误码是根据日志的具体错误码进行搜索；日志级别是根据日志的具体级别进行搜索；关键字是在日志内容中搜索与关键字匹配的内容，关键字会被分析器分析并按照前匹配加80％相似度模糊匹配两种方式进行搜索。
用户还可以通过日志搜索模块3查看错误日志快速解决方案。用户登录WEB管理平台9的搜索页面，输入搜索条件并提交之后，搜索的日志如果是错误日志，还可以点击查看错误日志快速解决方案，对网络内的设备11进行监控和故障的快速定位排除。
用户通过日志备份下载模块4备份并管理备份文件。日志备份下载模块4根据配置的备份周期定时对日志保存目录下的日志文件按照设备进行分类压缩备份，压缩方式为zip。备份后，用户可以通过WEB管理平台9浏览所有的备份文件，并可以对备份的日志文件进行下载、删除、浏览基本信息等操作。
综上所述，本发明通过提供一个完整的日志采集、搜索、浏览、分析、备份、下载的日志集中处理平台，解决了以下问题：维护日志的人员工作效率不高、故障很难快速定位和排除；对大量的日志信息进行统计和审计比较困难；仅是对各台设备的日志进行简单地采集，没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案。
尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (10)

1.一种基于WEB平台的日志分析方法，其特征在于，包括以下步骤：
A、日志采集模块定时采集网络上各台设备产生的日志；
B、日志采集模块将所述采集的日志上传到日志服务器；
C、所述日志服务器对所述日志进行索引和统计归类得到索引数据和统计归类数据。
2.根据权利要求1所述的方法，其特征在于，所述方法在步骤C之后还包括以下步骤：
D、所述日志服务器根据用户输入的搜索条件从所述索引数据中搜索符合所述搜索条件的日志。
3.根据权利要求1所述的方法，其特征在于，所述步骤C还包括以下步骤：
所述日志服务器将所述日志进行压缩备份。
4.根据权利要求1所述的方法，其特征在于，所述步骤A具体为：
所述日志服务器通过网络与网络上各台设备建立连接；
安装所述设备上的日志采集模块定时将所述设备产生的日志文件的列表发送给所述日志服务器；
所述日志服务器从所述日志文件列表中选择需要采集的日志名称并发送给所述设备；
所述日志采集模块根据所选日志名称采集日志。
5.根据权利要求1所述的方法，其特征在于，所述步骤B具体为：
所述日志采集模块通过FTP或者SYSLOG的方式将所述采集的日志上传给所述日志服务器；
所述日志服务器保存所述采集的日志。
6.根据权利要求1所述的方法，其特征在于，所述步骤C具体为：
所述日志服务器按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引，得到索引数据；
所述日志服务器按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计，得到分类统计数据。
7.一种基于WEB平台的日志分析系统，该系统包括：
日志采集模块，用于定时采集网络上各台设备产生的日志并将所述采集的日志上传到日志服务器；
日志分析模块，用于对所述采集的日志进行索引和统计归类得到索引数据和统计归类数据。
8.根据权利要求7所述的系统，其特征在于，该系统还包括：
日志搜索模块，用于从所述索引数据中搜索符合搜索条件的日志；
日志备份下载模块，用于对所述采集的日志进行压缩备份并下载。
9.根据权利要求7所述的系统，其特征在于，所述日志采集模块通过FTP或者SYSLOG的方式定时将所述采集的日志上传给所述日志服务器。
10.根据权利要求7所述的系统，其特征在于，
所述日志服务器按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引，得到索引数据；
所述日志服务器按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计，得到分类统计数据。
CN201110123629.1A 2011-05-13 2011-05-13 一种基于web平台的日志分析方法及系统 Active CN102780726B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110123629.1A CN102780726B (zh) 2011-05-13 2011-05-13 一种基于web平台的日志分析方法及系统
PCT/CN2011/081062 WO2012155455A1 (zh) 2011-05-13 2011-10-20 一种基于web平台的日志分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110123629.1A CN102780726B (zh) 2011-05-13 2011-05-13 一种基于web平台的日志分析方法及系统

Publications (2)

Publication Number Publication Date
CN102780726A true CN102780726A (zh) 2012-11-14
CN102780726B CN102780726B (zh) 2016-12-07

Family

ID=47125479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110123629.1A Active CN102780726B (zh) 2011-05-13 2011-05-13 一种基于web平台的日志分析方法及系统

Country Status (2)

Country Link
CN (1) CN102780726B (zh)
WO (1) WO2012155455A1 (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970363A (zh) * 2012-11-21 2013-03-13 用友软件股份有限公司 远程日志下载系统和远程日志下载方法
CN103152391A (zh) * 2013-01-31 2013-06-12 杭州华三通信技术有限公司 一种日志输出方法和装置
CN103259677A (zh) * 2013-04-22 2013-08-21 杭州泰联科技有限公司 一种实现ac设备日志有效应用的方法
CN103744890A (zh) * 2013-12-23 2014-04-23 清华大学 日志分离方法及装置
CN103856354A (zh) * 2014-03-07 2014-06-11 浪潮电子信息产业股份有限公司 一种集群存储系统日志统一管理实现方法
CN103914485A (zh) * 2013-01-07 2014-07-09 上海宝信软件股份有限公司 一种远程收集和检索展示应用系统日志的系统及方法
CN104065521A (zh) * 2014-07-18 2014-09-24 国家电网公司 一种电力网络设备日志和配置文件的采集、分析和发布系统及其方法
CN104104734A (zh) * 2014-08-04 2014-10-15 浪潮(北京)电子信息产业有限公司 日志分析方法和装置
CN104750811A (zh) * 2015-03-30 2015-07-01 浪潮通信信息系统有限公司 一种移动通信数据文件多线程实时采集方法
CN104951529A (zh) * 2015-06-16 2015-09-30 焦点科技股份有限公司 一种针对网站日志的交互式分析方法
CN105045905A (zh) * 2015-08-07 2015-11-11 北京思特奇信息技术股份有限公司 一种基于全文检索的日志维护方法及系统
CN105224440A (zh) * 2015-09-02 2016-01-06 上海斐讯数据通信技术有限公司 一种日志采集管理方法及系统
CN105242969A (zh) * 2015-11-11 2016-01-13 浪潮(北京)电子信息产业有限公司 一种基于SSHxcute类库的多服务器执行命令的方法
CN105243147A (zh) * 2015-10-22 2016-01-13 浪潮(北京)电子信息产业有限公司 一种MySQL数据库慢查询日志的管理方法及系统
CN105335277A (zh) * 2014-06-27 2016-02-17 可牛网络技术（北京）有限公司 一种故障信息处理方法及装置、终端
CN105550264A (zh) * 2015-12-09 2016-05-04 苏州天平先进数字科技有限公司 用户日志收集和处理系统以及方法
CN105550265A (zh) * 2015-12-09 2016-05-04 苏州天平先进数字科技有限公司 一种准实时用户日志收集和处理方法
CN105574096A (zh) * 2015-12-10 2016-05-11 惠州Tcl移动通信有限公司 一种日志信息获取并上传分析的方法及系统
CN105589786A (zh) * 2015-12-10 2016-05-18 浪潮(北京)电子信息产业有限公司 一种Windows日志的管理方法及装置
CN105787135A (zh) * 2016-04-11 2016-07-20 久盈世纪（北京）科技有限公司 一种用于数据库日志备份的方法与设备
WO2016146080A1 (zh) * 2015-03-18 2016-09-22 中兴通讯股份有限公司 一种大数据处理方法、装置及系统
WO2016150111A1 (zh) * 2015-03-25 2016-09-29 中兴通讯股份有限公司 一种基于来电提醒的数据处理方法、装置及系统
CN106209455A (zh) * 2016-07-11 2016-12-07 税友软件集团股份有限公司 一种跨系统弱耦合的关联业务故障定位方法及系统
CN106294132A (zh) * 2016-07-29 2017-01-04 深圳创维－Rgb电子有限公司 一种管理日志的方法及装置
CN106294672A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种日志实时展现和查询的方法与系统
CN106815123A (zh) * 2015-12-01 2017-06-09 北京神州泰岳软件股份有限公司 一种日志数据的图形展现方法和图像展现装置
CN106850295A (zh) * 2017-02-04 2017-06-13 郑州云海信息技术有限公司 一种私有化云平台的日志采集监控方法
CN107197040A (zh) * 2017-07-03 2017-09-22 北京大生在线科技有限公司 用于远程课件系统的在线远程日志处理方法及系统
CN107451034A (zh) * 2017-08-17 2017-12-08 浪潮软件股份有限公司 一种大数据集群日志管理装置、方法及系统
CN107783880A (zh) * 2017-09-01 2018-03-09 郑州云海信息技术有限公司 一种服务器系统的日志分析方法、装置及服务器系统
CN107784050A (zh) * 2016-12-14 2018-03-09 平安科技（深圳）有限公司 日志信息查找方法及装置
CN108062323A (zh) * 2016-11-08 2018-05-22 北京国双科技有限公司 一种日志读取方法及装置
CN108268353A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 查看错误日志的方法和装置
CN108829537A (zh) * 2018-04-06 2018-11-16 长沙开雅电子科技有限公司 一种备份系统日志上报管理方法
CN109218401A (zh) * 2018-08-08 2019-01-15 平安科技（深圳）有限公司 日志采集方法、系统、计算机设备和存储介质
CN109522177A (zh) * 2017-09-20 2019-03-26 阿里巴巴集团控股有限公司 一种任务日志处理系统、方法以及装置
CN109684291A (zh) * 2018-12-21 2019-04-26 北京奇安信科技有限公司 一种文件数据采集方法、系统、电子设备和介质
CN109947707A (zh) * 2019-02-28 2019-06-28 上海浪潮云计算服务有限公司 一种基于Solr的用于Insight HD平台的日志收集分析系统及方法
CN110597687A (zh) * 2019-08-27 2019-12-20 厦门亿联网络技术股份有限公司 一种日志处理方法和装置
CN110968561A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 日志存储方法和分布式系统
CN112035331A (zh) * 2020-11-04 2020-12-04 北京爱奇艺智能科技有限公司 用于虚拟现实设备的日志采集方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428740B1 (ko) * 2012-12-27 2014-08-08 부산대학교 산학협력단 웹 서버 로그를 이용한 행위 모델 자동 생성 시스템 및 방법
CN104579771B (zh) * 2014-12-31 2018-04-27 上海格尔软件股份有限公司 一种对用户登录登出应用系统的行为轨迹的分析方法
CN105119762A (zh) * 2015-09-23 2015-12-02 普元信息技术股份有限公司 云平台基于日志实现交易回放和重做的系统及方法
CN106339303A (zh) * 2016-08-23 2017-01-18 浪潮电子信息产业股份有限公司 一种运行日志异常分析方法
CN107870842B (zh) * 2016-09-28 2021-05-04 平安科技（深圳）有限公司 一种日志管理方法及系统
CN107818150B (zh) * 2017-10-23 2021-11-26 中国移动通信集团广东有限公司 一种日志审计方法及装置
CN108509326B (zh) * 2018-04-09 2021-08-27 四川长虹电器股份有限公司 一种基于nginx日志的服务状态统计方法及系统
US11853450B2 (en) 2019-11-05 2023-12-26 Saudi Arabian Oil Company Detection of web application anomalies using machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138762A1 (en) * 2000-12-01 2002-09-26 Horne Donald R. Management of log archival and reporting for data network security systems
CN101043375A (zh) * 2007-03-15 2007-09-26 华为技术有限公司 分布式系统日志收集方法及系统
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
CN101197694B (zh) * 2006-12-04 2011-05-11 中兴通讯股份有限公司 一种通讯系统日志集中统计、处理系统及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1150717C (zh) * 2001-06-21 2004-05-19 华为技术有限公司 综合网管设备日志管理系统
CN101163046A (zh) * 2007-11-22 2008-04-16 北京金山软件有限公司 一种分布式网站日志数据采集方法和分布式网站系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138762A1 (en) * 2000-12-01 2002-09-26 Horne Donald R. Management of log archival and reporting for data network security systems
CN101197694B (zh) * 2006-12-04 2011-05-11 中兴通讯股份有限公司 一种通讯系统日志集中统计、处理系统及其方法
CN101043375A (zh) * 2007-03-15 2007-09-26 华为技术有限公司 分布式系统日志收集方法及系统
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李佳蕾: "《Windows下基于主机的安全日志服务器》", 《网络安全技术与应用》 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970363A (zh) * 2012-11-21 2013-03-13 用友软件股份有限公司 远程日志下载系统和远程日志下载方法
CN103914485A (zh) * 2013-01-07 2014-07-09 上海宝信软件股份有限公司 一种远程收集和检索展示应用系统日志的系统及方法
CN103914485B (zh) * 2013-01-07 2017-05-03 上海宝信软件股份有限公司 一种远程收集和检索展示应用系统日志的系统及方法
CN103152391A (zh) * 2013-01-31 2013-06-12 杭州华三通信技术有限公司 一种日志输出方法和装置
CN103152391B (zh) * 2013-01-31 2016-08-10 杭州华三通信技术有限公司 一种日志输出方法和装置
CN103259677A (zh) * 2013-04-22 2013-08-21 杭州泰联科技有限公司 一种实现ac设备日志有效应用的方法
CN103259677B (zh) * 2013-04-22 2016-07-06 杭州全维通信服务有限公司 一种实现ac设备日志有效应用的方法
CN103744890A (zh) * 2013-12-23 2014-04-23 清华大学 日志分离方法及装置
CN103744890B (zh) * 2013-12-23 2017-02-01 清华大学 日志分离方法及装置
CN103856354A (zh) * 2014-03-07 2014-06-11 浪潮电子信息产业股份有限公司 一种集群存储系统日志统一管理实现方法
CN105335277A (zh) * 2014-06-27 2016-02-17 可牛网络技术（北京）有限公司 一种故障信息处理方法及装置、终端
CN104065521B (zh) * 2014-07-18 2017-09-29 国家电网公司 一种电力网络设备日志和配置文件的采集、分析和发布系统及其方法
CN104065521A (zh) * 2014-07-18 2014-09-24 国家电网公司 一种电力网络设备日志和配置文件的采集、分析和发布系统及其方法
CN104104734A (zh) * 2014-08-04 2014-10-15 浪潮(北京)电子信息产业有限公司 日志分析方法和装置
WO2016146080A1 (zh) * 2015-03-18 2016-09-22 中兴通讯股份有限公司 一种大数据处理方法、装置及系统
CN106162675A (zh) * 2015-03-25 2016-11-23 中兴通讯股份有限公司 一种基于来电提醒的数据处理方法、装置及系统
WO2016150111A1 (zh) * 2015-03-25 2016-09-29 中兴通讯股份有限公司 一种基于来电提醒的数据处理方法、装置及系统
CN104750811A (zh) * 2015-03-30 2015-07-01 浪潮通信信息系统有限公司 一种移动通信数据文件多线程实时采集方法
CN104951529A (zh) * 2015-06-16 2015-09-30 焦点科技股份有限公司 一种针对网站日志的交互式分析方法
CN104951529B (zh) * 2015-06-16 2016-08-17 焦点科技股份有限公司 一种针对网站日志的交互式分析方法
CN105045905B (zh) * 2015-08-07 2018-11-30 北京思特奇信息技术股份有限公司 一种基于全文检索的日志维护方法及系统
CN105045905A (zh) * 2015-08-07 2015-11-11 北京思特奇信息技术股份有限公司 一种基于全文检索的日志维护方法及系统
CN105224440A (zh) * 2015-09-02 2016-01-06 上海斐讯数据通信技术有限公司 一种日志采集管理方法及系统
CN105243147A (zh) * 2015-10-22 2016-01-13 浪潮(北京)电子信息产业有限公司 一种MySQL数据库慢查询日志的管理方法及系统
CN105242969A (zh) * 2015-11-11 2016-01-13 浪潮(北京)电子信息产业有限公司 一种基于SSHxcute类库的多服务器执行命令的方法
CN106815123B (zh) * 2015-12-01 2020-11-20 北京神州泰岳软件股份有限公司 一种日志数据的图形展现方法和图像展现装置
CN106815123A (zh) * 2015-12-01 2017-06-09 北京神州泰岳软件股份有限公司 一种日志数据的图形展现方法和图像展现装置
CN105550264A (zh) * 2015-12-09 2016-05-04 苏州天平先进数字科技有限公司 用户日志收集和处理系统以及方法
CN105550265A (zh) * 2015-12-09 2016-05-04 苏州天平先进数字科技有限公司 一种准实时用户日志收集和处理方法
CN105589786A (zh) * 2015-12-10 2016-05-18 浪潮(北京)电子信息产业有限公司 一种Windows日志的管理方法及装置
CN105574096A (zh) * 2015-12-10 2016-05-11 惠州Tcl移动通信有限公司 一种日志信息获取并上传分析的方法及系统
CN105787135A (zh) * 2016-04-11 2016-07-20 久盈世纪（北京）科技有限公司 一种用于数据库日志备份的方法与设备
CN106209455A (zh) * 2016-07-11 2016-12-07 税友软件集团股份有限公司 一种跨系统弱耦合的关联业务故障定位方法及系统
CN106294132A (zh) * 2016-07-29 2017-01-04 深圳创维－Rgb电子有限公司 一种管理日志的方法及装置
CN106294132B (zh) * 2016-07-29 2019-02-01 深圳创维－Rgb电子有限公司 一种管理日志的方法及装置
CN106294672A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种日志实时展现和查询的方法与系统
CN108062323B (zh) * 2016-11-08 2021-10-15 北京国双科技有限公司 一种日志读取方法及装置
CN108062323A (zh) * 2016-11-08 2018-05-22 北京国双科技有限公司 一种日志读取方法及装置
CN107784050A (zh) * 2016-12-14 2018-03-09 平安科技（深圳）有限公司 日志信息查找方法及装置
CN108268353A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 查看错误日志的方法和装置
CN106850295A (zh) * 2017-02-04 2017-06-13 郑州云海信息技术有限公司 一种私有化云平台的日志采集监控方法
CN107197040A (zh) * 2017-07-03 2017-09-22 北京大生在线科技有限公司 用于远程课件系统的在线远程日志处理方法及系统
CN107451034A (zh) * 2017-08-17 2017-12-08 浪潮软件股份有限公司 一种大数据集群日志管理装置、方法及系统
CN107783880A (zh) * 2017-09-01 2018-03-09 郑州云海信息技术有限公司 一种服务器系统的日志分析方法、装置及服务器系统
CN109522177A (zh) * 2017-09-20 2019-03-26 阿里巴巴集团控股有限公司 一种任务日志处理系统、方法以及装置
CN108829537A (zh) * 2018-04-06 2018-11-16 长沙开雅电子科技有限公司 一种备份系统日志上报管理方法
CN109218401B (zh) * 2018-08-08 2021-08-31 平安科技（深圳）有限公司 日志采集方法、系统、计算机设备和存储介质
CN109218401A (zh) * 2018-08-08 2019-01-15 平安科技（深圳）有限公司 日志采集方法、系统、计算机设备和存储介质
CN110968561A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 日志存储方法和分布式系统
CN110968561B (zh) * 2018-09-30 2024-02-13 北京国双科技有限公司 日志存储方法和分布式系统
CN109684291B (zh) * 2018-12-21 2021-05-14 奇安信科技集团股份有限公司 一种文件数据采集方法、系统、电子设备和介质
CN109684291A (zh) * 2018-12-21 2019-04-26 北京奇安信科技有限公司 一种文件数据采集方法、系统、电子设备和介质
CN109947707A (zh) * 2019-02-28 2019-06-28 上海浪潮云计算服务有限公司 一种基于Solr的用于Insight HD平台的日志收集分析系统及方法
CN110597687A (zh) * 2019-08-27 2019-12-20 厦门亿联网络技术股份有限公司 一种日志处理方法和装置
CN110597687B (zh) * 2019-08-27 2022-07-22 厦门亿联网络技术股份有限公司 一种日志处理方法和装置
CN112035331A (zh) * 2020-11-04 2020-12-04 北京爱奇艺智能科技有限公司 用于虚拟现实设备的日志采集方法

Also Published As

Publication number Publication date
CN102780726B (zh) 2016-12-07
WO2012155455A1 (zh) 2012-11-22

Similar Documents

Publication Publication Date Title
CN102780726A (zh) 一种基于web平台的日志分析方法及系统
CN101192227B (zh) 一种基于分布式计算网络的日志文件分析方法和系统
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN102750326A (zh) 一种基于精简策略的集群系统的日志管理优化方法
CN105512201A (zh) 数据收集和加工方法及装置
CN102411533A (zh) 一种集群存储系统的日志管理优化方法
CN106250424A (zh) 一种日志上下文内容的搜索方法、装置及系统
WO2014031616A1 (en) Enterprise data processing
CN104714984A (zh) 一种数据库优化的方法和装置
CN105045905B (zh) 一种基于全文检索的日志维护方法及系统
CN107403005A (zh) 一种网站监控方法及装置
CN103209087A (zh) 分布式日志统计处理方法和系统
CN112181931A (zh) 一种大数据系统链路追踪方法及电子设备
CN103177022A (zh) 一种恶意文件搜索方法及装置
CN111367760A (zh) 日志采集方法及装置、计算机设备、存储介质
CN105528275A (zh) 数据库安全检查方法
CN104933042B (zh) 基于大数据量的数据库表采集优化技术
Murugesan et al. Audit log management in MongoDB
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN105426407A (zh) 一种基于内容分析的web数据采集方法
CN106326280A (zh) 数据处理方法、装置及系统
CN108763281A (zh) 一种基于etl的业务智能分析平台及系统
CN107729206A (zh) 告警日志的实时分析方法、系统和计算机处理设备
CN112685370B (zh) 一种日志采集方法、装置、设备和介质
CN105471676A (zh) 一种端口扫描ip网址活跃度统计系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
CB03 Change of inventor or designer information

Inventor after: Song Xiaomei

Inventor after: Liu Qingtao

Inventor after: Lv Chengwei

Inventor after: Yu Yunxia

Inventor before: Zhang Li

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20161031

Address after: 276200 Shandong city of Linyi Province Hong Lu Liu Mengyin County No. 111

Applicant after: State Grid Shandong electric power company Mengyin power supply company

Address before: 518057 Nanshan District Guangdong high tech Industrial Park, South Road, science and technology, ZTE building, Ministry of Justice

Applicant before: ZTE Corporation

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170816

Address after: 226001 Jiangsu Province, Nantong City Chongchuan District Gongnong Road, No. 5 Asia-Pacific Building, Room 302, podium

Patentee after: Nantong Zhongxin Computer Technology Co., Ltd.

Address before: 276200 Shandong city of Linyi Province Hong Lu Liu Mengyin County No. 111

Patentee before: State Grid Shandong electric power company Mengyin power supply company

TR01 Transfer of patent right
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201217

Address after: 226001 Room 302, podium, Asia Pacific Building, No.5 Gongnong Road, Chongchuan District, Nantong City, Jiangsu Province

Patentee after: JIANGSU ZHONGWEI TECHNOLOGY SOFTWARE SYSTEM Co.,Ltd.

Address before: 226001 Room 302, podium, Asia Pacific Building, No.5 Gongnong Road, Chongchuan District, Nantong City, Jiangsu Province

Patentee before: Nantong Zhongxin Computer Technology Co.,Ltd.