CN102915269B - 一种b/s软件系统的通用日志分析方法 - Google Patents
一种b/s软件系统的通用日志分析方法 Download PDFInfo
- Publication number
- CN102915269B CN102915269B CN201210349778.4A CN201210349778A CN102915269B CN 102915269 B CN102915269 B CN 102915269B CN 201210349778 A CN201210349778 A CN 201210349778A CN 102915269 B CN102915269 B CN 102915269B
- Authority
- CN
- China
- Prior art keywords
- analysis
- log
- user
- information
- daily record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 70
- 230000004044 response Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 238000013386 optimize process Methods 0.000 claims description 3
- 230000000246 remedial effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000002354 daily effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
Abstract
本发明提供一种B/S软件系统的通用日志分析方法，建立一种日志分析方法，用于系统的继承、测试、技术支持和开发，并为软件使用者提供分析数据。本发明的重要特性包括：创新的日志服务器；简化的日志文件；海量日志数据的集中管理分析；直观全面的日志分析界面；能够记录更多的数据，并可以查询详细的内容；根据特定条件进行明确详细的查询；能够快速定位问题；易于集成到现有的系统中。
Description
技术领域
本发明涉及计算机软件领域，包括数据库，数据的存储及展现，具体地说是通过对海量数据的分析，提供一种B/S软件系统的通用日志分析方法。
背景技术
随着现代企业越来越多的应用管理软件来管理企业相关资源和日常事务，日志分析对实时检测系统的状态就显得尤为重要。很多应用管理软件都将日志输出到文件中，很多没有用的信息将值得注意的信息淹没。并且这些日志文件只能由专业的人员耗费大量的时间进行查看分析，对于企业管理人员或普通用户没有任何的价值。
目前，已经存在的一些日志分析工具都是对特定格式的日志文件进行采集和分析，但这些产品大部分的瓶颈都是需要安装到单独的分析服务器上，有些产品还需要付费使用，增加软件使用者的费用负担，在处理海量的日志数据时速度慢。同时，对于每天批量增长的日志数据不能及时有效的进行采集分析，导致对软件的整体分析效率不高。
所以，有必要采用一种廉价高效的日志分析方法，快速处理海量的日志文件，并从中提取重要的数据信息，提高日志的分析效率，给用户带来更好的决策分析。
发明内容
本发明的目的是提供一种B/S软件系统的通用日志分析方法。
本发明的目的是按以下方式实现的，该分析方法允许嵌入到软件系统中对软件系统的每一次操作都作详细记录的日志信息，并对海量的日志数据进行集中管理分析和根据特定的条件进行详细明确的查询，日志分析方法包括以下内容：
日志采集用户访问信息；日志采集服务器处理信息；日志采集数据库访问信息；日志数据存储；日志数据分析；精粒度的接口设计；日志分析界面；
其中：
1）日志采集用户访问信息
用户通过浏览器访问系统应用软件，每次访问都会发送一个HTTP请求，日志采集获取到HTTP请求信息，并记录到日志文件，形成一条请求信息日志数据；
2）日志采集服务器处理信息
系统应用软件在收到用户发送的HTTP请求后，查找合适的处理器进行处理，日志采集获取处理器的活动信息，并记录到日志文件，形成一条业务处理日志数据；
3）日志采集数据库访问信息
系统应用软件调用内部的处理器与数据库进行通信时，日志采集获取数据库的读写信息，记录到日志文件，形成一条数据库通信日志数据；
4）日志数据存储
采集到的日志信息，经过解析后，批量存储到日志分析系统；
5）日志数据分析
在日志分析系统上，对现有数据进行多维度的分析，将一条请求信息分解成不同的层次，并分析出各层次的时间消耗占比数据，提供给用户直观数据；
日志分析系统在获取到一个HTTP请求信息时，在线程变量中记录该请求信息内码，当请求被分配给处理器后，处理器开始业务逻辑作业，并从线程变量中获取HTTP请求信息内码，记录到业务逻辑处理日志中，处理器在读写数据库操作时，同时将线程变量中的HTTP请求信息内码记录到数据库通信日志中，直到服务器响应完成，线程终止，这样，各个层次的日志数据被关联起来，为上述的日志分析提供帮助；
6）精粒度的接口设计
日志分析中提供了各种精粒度的接口，每个接口都代表了一组相关服务，应用软件系统可以通过实现多个不同接口来创建复合接口，实现多继承功能，有效的集成到现有系统中，构建松耦合软件系统；
7）日志分析界面
日志分析界面主要从以下几个方面展现分析结果：
（1）客户端请求响应耗时排名，从用户发送请求到接收到服务器响应所需要的时间进行分析，可以详细的查看哪一个请求的响应时间较长，方便开发人员对这种请求进行优化处理；
（2）操作业务模块排名，以操作的业务模块为关注点，对该模块在一个时间段内的访问次数进行分析，从而查看到哪些业务模块是用户经常操作访问的业务；
（3）用户常操作的业务分析，以用户为关注点，查看此用户在一个时间段内经常访问哪些业务；
（4）用户访问次数分析，用于分析用户的登录频率及访问业务的频率或某个时间点上用户的访问量信息；
（5）IP访问次数分析，用于分析不同IP登录系统的频率及访问不同业务的频率；
（6）HTTP响应分析，对服务器响应用户的每次请求，记录响应代码，并从中分析出服务器响应出错次数，使软件开发人员能够及时进行补救措施；
（7）SQL执行耗时分析，着重分析数据库的读写速度，以及所执行SQL的质量；
（8）业务访问分析，统计应用系统的总体访问情况，查看哪些业务的访问量比较大，并对访问量较大的业务进行最长耗时和平均耗时的分析；
（9）从未访问业务分析，统计应用系统中哪些业务没有被访问过，给企业管理者提供决策信息。
本发明的目的有益效果是：是对日志文件进行简化，记录对分析软件系统性能和业务操作相关的信息，通过数据列表或者图标形式，将海量的日志文件信息以更直观的方式展现出来，从而方便开发人员提高软件系统的运行效率，也为用户查看业务模块的使用情况提供方便。用户可以根据自己的需要，输入查询条件，进行详细明确的查询，快速定位问题；
（1）本发明不需要安装第三方日志分析软件，节省成本；
（2）日志分析可以从客户端请求、业务逻辑处理以及数据库读写层面进行分析；
（3）日志分析可以让开发人员更快更准的查找问题，并且提供重点修改方向；
（4）日志分析可以给企业管理者提供决策信息。
附图说明
图1是日志分析系统工作示意图；
图2是数据采集及各层日志数据间的关系图；
图3是各层次日志数据耗时占比分析图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明的B/S软件系统的通用日志分析方法，包括：日志采集用户访问信息；日志采集服务器处理信息；日志采集数据库访问信息；日志数据存储；日志数据分析；精粒度的接口设计；日志分析界面；
其中：
1）日志采集用户访问信息
用户通过浏览器访问系统应用软件，每次访问都会发送一个HTTP请求，日志采集获取到HTTP请求信息，并记录到日志文件，形成一条请求信息日志数据；
2）日志采集服务器处理信息
系统应用软件在收到用户发送的HTTP请求后，查找合适的处理器进行处理，日志采集获取处理器的活动信息，并记录到日志文件，形成一条业务处理日志数据；
3）日志采集数据库访问信息
系统应用软件调用内部的处理器与数据库进行通信时，日志采集获取数据库的读写信息，记录到日志文件，形成一条数据库通信日志数据；
4）日志数据存储
以上采集到的日志信息，经过解析后，批量存储到日志分析系统。如附图1日志分析系统工作示意图所示；
5）日志数据分析
在日志分析系统上，对现有数据进行多维度的分析，将一条请求信息分解成不同的层次，并分析出各层次的时间消耗占比数据，提供给用户直观数据；
日志分析系统在获取到一个HTTP请求信息时，在线程变量中记录该请求信息内码，当请求被分配给处理器后，处理器开始业务逻辑作业，并从线程变量中获取HTTP请求信息内码，记录到业务逻辑处理日志中，处理器在读写数据库操作时，同时将线程变量中的HTTP请求信息内码记录到数据库通信日志中，直到服务器响应完成，线程终止。这样，各个层次的日志数据被关联起来，为上述的日志分析提供帮助；
各层次的日志数据关系如附图二数据采集及各层日志数据间的关系所示。各层次的时间消耗占比数据分析如图3所示；
6）精粒度的接口设计
日志分析中提供了各种精粒度的接口，每个接口都代表了一组相关服务，应用软件系统可以通过实现多个不同接口来创建复合接口，实现多继承功能，有效的集成到现有系统中，构建松耦合软件系统；
7）日志分析界面
日志分析界面主要从以下几个方面展现分析结果：
客户端请求响应耗时排名，从用户发送请求到接收到服务器响应所需要的时间进行分析，可以详细的查看哪一个请求的响应时间较长，方便开发人员对这种请求进行优化处理。
操作业务模块排名，以操作的业务模块为关注点，对该模块在一个时间段内的访问次数进行分析，从而查看到哪些业务模块是用户经常操作访问的业务。
用户常操作的业务分析，以用户为关注点，查看此用户在一个时间段内经常访问哪些业务。
用户访问次数分析，可以分析用户的登录频率及访问业务的频率。某个时间点上，用户的访问量等信息。
IP访问次数分析，可以分析不同IP登录系统的频率及访问不同业务的频率。
HTTP响应分析，对服务器响应用户的每次请求，记录响应代码，并从中分析出服务器响应出错次数，使软件开发人员能够及时进行补救措施。
SQL执行耗时分析，着重分析数据库的读写速度，以及所执行SQL的质量。
业务访问分析，统计应用系统的总体访问情况，查看哪些业务的访问量比较大，并对访问量较大的业务进行最长耗时和平均耗时的分析。
从未访问业务分析，统计应用系统中哪些业务没有被访问过，给企业管理者提供决策信息。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种B／S软件系统的通用日志分析方法，其特征在于，分析方法允许嵌入到软件系统中，对软件系统的每一次操作都对日志信息作详细记录，并对海量的日志数据进行集中管理分析和根据特定的条件进行详细明确的查询，日志分析方法包括以下内容：
日志采集用户访问信息；日志采集服务器处理信息；日志采集数据库访问信息；日志数据存储；日志数据分析；精粒度的接口设计；日志分析界面；其中：
1)日志采集用户访问信息
用户通过浏览器访问系统应用软件，每次访问都会发送一个HTTP请求，日志采集获取到HTTP请求信息，并记录到日志文件，形成一条请求信息日志数据；
2)日志采集服务器处理信息
系统应用软件在收到用户发送的HTTP请求后，查找合适的处理器进行处理，日志采集获取处理器的活动信息，并记录到日志文件，形成一条业务处理日志数据；
3)日志采集数据库访问信息
系统应用软件调用内部的处理器与数据库进行通信时，日志采集获取数据库的读写信息，记录到日志文件，形成一条数据库通信日志数据；
4)日志数据存储
采集到的日志信息，经过解析后，批量存储到日志分析系统；
5)日志数据分析
在日志分析系统上，对现有数据进行多维度的分析，将一条请求信息分解成不同的层次，并分析出各层次的时间消耗占比数据，提供给用户直观数据；
日志分析系统在获取到一个HTTP请求信息时，在线程变量中记录该请求信息的内码，当请求被分配给处理器后，处理器开始业务逻辑作业，并从线程变量中获取HTTP请求信息内码，记录到业务逻辑处理日志中，处理器在读写数据库操作时，同时将线程变量中的HTTP请求信息内码记录到数据库通信日志中，直到服务器响应完成，线程终止，这样，各个层次的日志数据被关联起来，为上述的日志分析提供帮助；
6)精粒度的接口设计
日志分析中提供了各种精粒度的接口，每个接口都代表了一组相关服务，应用软件系统可以通过实现多个不同接口来创建复合接口，实现多继承功能，有效的集成到现有系统中，构建松耦合软件系统；
7)日志分析界面
日志分析界面主要从以下几个方面展现分析结果：
(1)客户端请求响应耗时排名，从用户发送请求到接收到服务器响应所需要的时间进行分析，可以详细的查看哪一个请求的响应时间较长，方便开发人员对这种请求进行优化处理；
(2)操作业务模块排名，以操作的业务模块为关注点，对该模块在一个时间段内的访问次数进行分析，从而查看到哪些业务模块是用户经常操作访问的业务；
(3)用户常操作的业务分析，以用户为关注点，查看此用户在一个时间段内经常访问哪些业务；
(4)用户访问次数分析，用于分析用户的登录频率及访问业务的频率或某个时间点上用户的访问量信息；
(5)IP访问次数分析，用于分析不同IP登录系统的频率及访问不同业务的频率；
(6)HTTP响应分析，对服务器响应用户的每次请求，记录响应代码，并从中分析出服务器响应出错次数，使软件开发人员能够及时进行补救措施；
(7)SQL执行耗时分析，着重分析数据库的读写速度，以及所执行SQL的质量；
(8)业务访问分析，统计应用系统的总体访问情况，查看哪些业务的访问量比较大，并对访问量较大的业务进行最长耗时和平均耗时的分析；
(9)从未访问业务分析，统计应用系统中哪些业务没有被访问过，给企业管理者提供决策信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210349778.4A CN102915269B (zh) | 2012-09-20 | 2012-09-20 | 一种b/s软件系统的通用日志分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210349778.4A CN102915269B (zh) | 2012-09-20 | 2012-09-20 | 一种b/s软件系统的通用日志分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102915269A CN102915269A (zh) | 2013-02-06 |
| CN102915269B true CN102915269B (zh) | 2016-07-27 |
Family
ID=47613642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210349778.4A Active CN102915269B (zh) | 2012-09-20 | 2012-09-20 | 一种b/s软件系统的通用日志分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102915269B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103475535A (zh) * | 2013-08-23 | 2013-12-25 | 汉柏科技有限公司 | 云计算服务器日志管理系统 |
| CN103678092B (zh) * | 2013-12-30 | 2017-01-25 | 北京网康科技有限公司 | 日志分析方法及系统 |
| KR101594701B1 (ko) * | 2014-10-20 | 2016-02-16 | 삼성에스디에스 주식회사 | 이상 접속 검출 장치 및 방법 |
| CN106445943B (zh) * | 2015-08-06 | 2020-09-08 | 南京中兴新软件有限责任公司 | 一种日志的展示方法及装置 |
| CN105930329A (zh) * | 2015-12-28 | 2016-09-07 | 中国银联股份有限公司 | 一种交易日志分析方法及装置 |
| CN106961358A (zh) * | 2017-05-11 | 2017-07-18 | 国网山东省电力公司信息通信公司 | 基于日志的Web应用系统集群运行状态监测方法及其系统 |
| CN107704526A (zh) * | 2017-09-15 | 2018-02-16 | 平安科技（深圳）有限公司 | 数据的存储方法、装置、计算机设备及存储介质 |
| CN107818041A (zh) * | 2017-10-24 | 2018-03-20 | 南京航空航天大学 | Secondo系统文件读写检测软件 |
| CN107800591B (zh) * | 2017-11-07 | 2022-01-21 | 南威软件股份有限公司 | 一种统一日志数据的分析方法 |
| CN107819623A (zh) * | 2017-11-08 | 2018-03-20 | 平安科技（深圳）有限公司 | 应用性能分析方法及装置 |
| CN110177153A (zh) * | 2019-06-14 | 2019-08-27 | 郑州悉知信息科技股份有限公司 | 一种日志收集系统 |
| CN111177078A (zh) * | 2019-12-18 | 2020-05-19 | 广州华多网络科技有限公司 | 日志处理方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101197694A (zh) * | 2006-12-04 | 2008-06-11 | 中兴通讯股份有限公司 | 一种通讯系统日志集中统计、处理系统及其方法 |
| CN102654886A (zh) * | 2012-05-08 | 2012-09-05 | 上海互联网软件有限公司 | 一种b/s结构系统的数据抓取系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102754410A (zh) * | 2009-11-20 | 2012-10-24 | 阿尔卡特朗讯 | 加速服务器与客户端集合之间的数据文件的分配 |
-
2012
- 2012-09-20 CN CN201210349778.4A patent/CN102915269B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101197694A (zh) * | 2006-12-04 | 2008-06-11 | 中兴通讯股份有限公司 | 一种通讯系统日志集中统计、处理系统及其方法 |
| CN102654886A (zh) * | 2012-05-08 | 2012-09-05 | 上海互联网软件有限公司 | 一种b/s结构系统的数据抓取系统 |
Non-Patent Citations (2)
| Title |
|---|
| Web日志数据挖掘模型研究;冯凌等;《计算机集成制造系统》;20050831;第11卷(第8期);第1073-1075、1137页 * |
| 分布式I/O日志收集系统的设计与实现;詹玲等;《计算机工程与应用》;20101231;第46卷(第36期);第88-90页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102915269A (zh) | 2013-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102915269B (zh) | 一种b/s软件系统的通用日志分析方法 | |
| US9590880B2 (en) | Dynamic collection analysis and reporting of telemetry data | |
| US11782989B1 (en) | Correlating data based on user-specified search criteria | |
| US9495640B1 (en) | Inferring application type based on input-output characteristics of application storage resources | |
| Liu et al. | Understanding diverse usage patterns from large-scale appstore-service profiles | |
| US20170286499A1 (en) | Query-Triggered Processing of Performance Data and Log Data from an Information Technology Environment | |
| CN102999314A (zh) | 立即延迟跟踪器工具 | |
| US20130121580A1 (en) | Analysis of service delivery processes based on interrogation of work assisted devices | |
| CN104765689A (zh) | 一种接口性能数据实时监制方法和装置 | |
| Pickerill et al. | PHANTOM: Curating GitHub for engineered software projects using time-series clustering | |
| US11036701B2 (en) | Data sampling in a storage system | |
| US20160139961A1 (en) | Event summary mode for tracing systems | |
| US20200201867A1 (en) | Inserting annotations for application tracing | |
| US10049370B2 (en) | Transforming cloud service measurements into anonymized extramural business rankings | |
| CN107786641A (zh) | 一种分布式多系统用户行为日志的采集方法 | |
| US11627193B2 (en) | Method and system for tracking application activity data from remote devices and generating a corrective action data structure for the remote devices | |
| JP5519436B2 (ja) | システム安定度を分析する情報分析装置、情報分析方法、情報分析システムおよびプログラム | |
| US11593451B2 (en) | System and method for comparing zones for different versions of a website based on performance metrics | |
| US20130219163A1 (en) | Systems and methods for scheduling changes | |
| CN107181800B (zh) | 一种状态监测媒体数据的Web实时共享实现方法 | |
| US11550866B2 (en) | Techniques for crowdsourced metadata | |
| Fritchey et al. | Creating a Baseline | |
| Liu et al. | Mining behavioral patterns from millions of android users | |
| CN114240224A (zh) | 业务策略生成方法及装置 | |
| Kesavulu et al. | Usage Analytics: A Process to Extract and Analyse Usage Data to Understand User Behaviour in Cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road Applicant after: Tide software incorporated company Address before: 250100 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036 Applicant before: Langchao Qilu Software Industry Co., Ltd., Shandong |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |