CN114826944A - 一种基于ELK和canal技术的网站运营分析系统及方法 - Google Patents
一种基于ELK和canal技术的网站运营分析系统及方法 Download PDFInfo
- Publication number
- CN114826944A CN114826944A CN202210419424.6A CN202210419424A CN114826944A CN 114826944 A CN114826944 A CN 114826944A CN 202210419424 A CN202210419424 A CN 202210419424A CN 114826944 A CN114826944 A CN 114826944A
- Authority
- CN
- China
- Prior art keywords
- data
- website
- access log
- module
- canal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 238000005516 engineering process Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 238000007619 statistical method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims abstract description 15
- 238000012800 visualization Methods 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims description 29
- 238000013500 data storage Methods 0.000 claims description 14
- 230000005856 abnormality Effects 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- Environmental & Geological Engineering (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种基于ELK和canal技术的网站运营分析系统及方法，其中的基于ELK和canal技术的网站运营分析系统包括：网站访问日志数据采集模块，用于实时采集网站访问日志数据至MySQL数据库中；数据同步存储模块，用于同步MySQL数据库中的网站访问日志数据、网站栏目数据以及经处理融合后的数据至Elasticsearch库中；数据监控模块，用于监控网站访问日志数据的异常情况并进行异常处理。本发明基于ELK和canal技术的网站运营分析系统及其运营分析方法对网站访问数据和栏目数据两类数据进行采集、监控预警、处理融合，统计分析和可视化，能够为网站运营者提供个性化、细粒度、安全性高的流量统计分析量化信息，提升网站运营服务能力，增强市场竞争力。
Description
技术领域
本发明涉及网站运营领域，具体涉及一种基于ELK和canal的网站运营分析系统。
背景技术
当前各类网站发展迅速，对于网站运营者来说，及时、高效、准确地掌握所运营网站的流量情况、用户特征和内容偏好是提升网站运营实力和市场竞争力的核心需求。网站流量指标有浏览量(PV)、访问次数、访客数(UV)、新访客数、IP数、跳出率(％)等；用户特征如活跃性、地域分布、浏览器偏好、终端偏好、操作系统偏好等；内容偏好如栏目偏好、页面偏好、页面模块偏好等。其中结合用户行为偏好的个性化细粒度流量统计，以及流量的监测预警是网站运营工作的核心。目前大多数网站的运营方式是依赖第三方流量分析平台如百度统计、谷歌分析等，网站运营者需要在第三方平台进行注册，获得网站唯一ID，在需要流量统计的页面植入javascript代码，实现该网站页面的用户访问数据的收集、统计和分析，网站运营者通过登录第三方平台查看该网站流量情况。这种模式具有以下缺点：(1)脚本维护工作量大。需要每个页面进行添加，针对大多已发布的静态页面来说，需要全部重新发布才能生效；(2)由于收集的访问信息针对页面级URL，无法跟网站栏目结构相关连，因此无法进行基于网站内容的个性化细粒度流量统计；(3)网站流量数据存储于第三方平台，数据安全性无法保证，且一旦第三方平台出现故障，则会带来大量用户访问数据中断和丢失问题；(4)第三方平台通常有大量的站点流量统计任务，因此在流量统计的时间范围上有诸多限制，比如最大统计时间范围为365天等。
发明内容
本发明所要解决的技术问题在于，提供一种网站运营分析系统及方法，以实现对所运营的一个或者多个网站的实时访问数据和网站栏目数据的采集、监控、处理融合、统计分析和可视化，实现个性化统计分析和监测预警，为网站运营者提供有效的量化信息，提升网站运营服务能力，增强市场竞争力。
为了解决上述技术问题，本发明提出了一种基于ELK和canal技术的网站运营分析系统及方法的技术方案。ELK是分布式搜索引擎Elasticsearch、日志采集工具Logstash和数据可视化分析平台Kibana的开源技术组合，主要应用于实时数据的检索和分析场合。
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Elasticsearch是当前流行的企业级搜索引擎，能够达到实时搜索，提供了功能强大的度量指标聚合、桶聚合、管道聚合等聚合查询功能。
Logstash是一个完全开源的工具，它可以对网站的日志进行收集、过滤，并将其存储供以后使用。
Kibana是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供日志分析友好的Web界面，可以汇总、分析和搜索重要数据日志。
canal是一个开源java框架，工作原理就是把自己伪装成MySQLslave，模拟MySQLslave的交互协议向MySQLMater发送dump协议，MySQLmater收到canal发送过来的dump请求，开始推送binarylog给canal，然后canal解析binarylog，再发送到存储目的地，比如MySQL，Kafka，ElasticSearch等等。
其中该方案的一种基于ELK和canal技术的网站运营分析系统，包括：
网站访问日志数据采集模块，用于实时采集网站访问日志数据至MySQL数据库中；
数据同步存储模块，用于同步MySQL数据库中的网站访问日志数据和网站已有的栏目数据至Elasticsearch中，用于存储处理融合后的数据至Elasticsearch库中；
数据监控模块，用于监控网站访问日志数据和融合数据的异常情况并进行异常处理；
数据统计分析模块，用于提供融合数据的多维度统计分析查询接口，如基于日期和基于访问内容的多维度定制统计，统计指标主要是某一个网站的浏览量、访问次数、访客数、新访客数、IP数、平均访问页数、跳出率(％)、平均访问时长等。基于访问内容的统计，主要是基于栏目、子栏目或其他特定模块等的统计。
可视化模块，用于可视化展示数据统计分析结果和监控数据信息，并提供交互功能，供运营者进行个性化定制统计分析。
所述数据同步存储模块包括：
网站访问日志数据同步存储单元，用于对网站访问日志数据进行实时同步存储，从MySQL数据库同步至Elasticsearch库中；
网站栏目数据同步存储单元，用于对网站栏目数据进行增量同步，从MySQL数据库同步至Elasticsearch库中；
融合数据存储单元，用于将Elasticsearch库中的网站访问日志数据和网站栏目数据进行处理、融合，并将融合数据存储至Elasticsearch库中。
所述网站访问日志数据同步存储单元采用Kibana完成基于Elasticsearch的网站访问日志数据的索引构建，采用时效性较强且轻量的canal完成网站访问日志数据的实时同步存储。
所述网站栏目数据同步存储单元采用Kibana完成基于Elasticsearch的网站栏目数据的索引构建，采用Logstash完成网站栏目数据的增量同步存储。
所述融合数据存储单元利用Kibana完成基于Elasticsearch的融合数据索引构建，通过执行数据处理融合程序完成融合数据的写入。
所述数据统计分析模块，采用Elasticsearch检索聚合完成融合数据的统计分析。
优选的，所述网站访问日志数据采集模块的输出端电性连接有网站访问日志数据同步存储单元，所述网站访问日志数据同步存储模块的输出端电性连接有融合数据存储单元、数据监控模块。
优选的，所述网站栏目数据输出端连接有网站栏目数据同步存储单元，所述网站栏目数据同步存储单元的输出端电性连接有融合数据存储单元，所述融合数据存储单元的输出端电性连接有数据监控模块、数据统计分析模块。
优选的，所述数据监控模块的输出端电性连接有网站访问日志数据同步存储单元、融合数据存储单元、可视化模块。
优选的，所述数据统计分析模块的输出端电性连接有可视化模块。
优选的，所述可视化模块的输出端电性连接有数据统计分析模块、数据监控模块。
相应的，本发明的基于ELK和canal技术的网站运营分析方法包括：
A：实时采集网站访问日志数据至MySQL数据库中；
B1：将所述存储于所述MySQL数据库中的网站访问日志数据，经过canal技术实时同步存储至Elasticsearch库的相应索引中；
B2：将网站已有栏目数据，经过Logstash技术定期同步存储至Elasticsearch库中的相应索引中；
B3：将所述Elasticsearch库中的所述网站访问日志数据和所述网站栏目数据经数据处理融合模块进行处理、融合后，存储至Elasticsearch库中的融合数据索引中；
C：对所述Elasticsearch中的网站访问日志数据和融合数据进行异常监控，如发现异常，及时进行处理；
D:基于所述无异常的融合数据，根据用户需求编写数据统计分析接口，供运营者在可视化界面上查看检索；
E：根据用户的需求，展示所述数据统计分析结果和网站流量监测信息。
优选的，步骤B3中所述的数据融合方式为周期性执行融合程序。
优选的，步骤C中所述的数据监控方式为周期性执行监控程序。
附图说明
图1是本发明基于ELK和canal技术的网站运营分析系统的组成结构图；
图2是本发明图1中网站访问日志数据采集模块业务流程图；
图3是本发明图1中数据同步模块的业务流程图。
具体实施方式
本发明的核心思想是，首先，利用canal和Logstash数据同步技术将网站访问日志数据和网站栏目数据分别同步存储于Elasticsearch库中，同时将两类数据进行处理融合，融合数据存储于Elasticsearch库中，同时对网站访问日志数据和融合数据进行数据异常监控并进行异常处理；然后基于Elasticsearch的检索聚合实现融合数据的统计分析，包括个性化定制统计分析；最后，将统计分析数据和监测数据在可视化界面进行展示。
为了使本发明的技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明做进一步详细说明。
图1是本发明基于ELK和canal技术的网站运营分析系统的实施例的组成结构图。主要包括：网站访问日志数据采集模块，数据同步存储模块，数据监控模块，数据统计分析模块和可视化模块。其中，数据存储模块包括网站访问日志数据同步存储单元、网站栏目数据同步存储单元和融合数据存储单元。各模块功能如下：
网站访问日志数据采集模块，将网站运行服务器记录的网站访问日志数据经配置后存储至MySQL数据库中。网站运行服务器通常是apache或者tomcat服务器。网站访问日志数据通常包括：客户端信息(如客户端ip地址、user_agent)、请求响应信息(如远程主机名pc_name、访问页面url、请求状态码code、环境变量referer、请求时间request_time、请求方法request_method、响应大小size)、协议信息(请求协议protocal、请求端口port)等。
数据同步存储模块，利用canal技术将所述MySQL数据库中存储的网站访问日志数据同步至Elasticsearch库中，利用Logstash技术将网站已有的栏目数据同步至Elasticsearch库中，将Elasticsearch库中的网站访问日志数据和网站栏目数据进行处理、融合，并将融合数据存储至Elasticsearch库中。常见的数据处理如统计指标的计算(如基于客户端ip计算所在城市、基于user_agent得出客户端操作系统和浏览器等信息)等。融合后的数据包含用户类型、地域、来源、终端、所述网站栏目等信息。canal技术可以保证网站访问日志数据同步的实时性，而网站栏目数据，其变动频率相对较低，利用Logstash定期同步即可，由于执行数据处理、融合需要一定时间，因此处理融合程序可基于程序执行时间定期执行。
数据监控模块，实时监控网站访问日志数据和融合数据的异常情况，一旦发现异常，立即进行异常处理，常见异常数据如网络爬虫数据，常见异常数据处理如删除异常数据。
数据统计分析模块，基于融合数据索引，结合用户个性化统计需求，利用Elasticsearch和Kibana技术，构建多维度数据个性化统计分析接口。个性化统计需求，如可分为基于日期和基于内容的多维度统计，统计指标主要是某一个网站的浏览量、访问次数、访客数、新访客数、IP数、平均访问页数、跳出率(％)、平均访问时长等。具体来说，基于日期的统计可以是按时、按日、按周和按月，同时还可以基于一定条件进行过滤，如用户类型、地域、来源、终端、内容等。基于内容的统计，可以选择任意一个时间范围和网站，进行基于用户类型、地域、来源、终端、内容等条件的一个条件查询或者多个条件对比查询。具体条件查询分别是：
用户类型，分为新用户和老用户；地域，分为世界上所有国家和中国所有省份；来源，指该网站的所有外链和搜索引擎；终端，分为终端类型、操作系统类型、操作系统版本和浏览器类型，其中终端类型分为PC和移动端，操作系统类型包括主流的windows、Linux、Android、IOS等，操作系统版本包括windows7等,浏览器类型包括IE、chrome等；内容，分为网站所有栏目和具体URL，其中栏目可具体细化至子栏目，以及页面中的某一个模块。
可视化模块，通过可视化界面，展示数据统计分析结果和监控数据信息，并提供交互功能，供运营者进行个性化定制统计分析。基于所述数据统计分析模块提供的基于日期和内容的多维度个性化统计分析接口，运营者可以在界面上进行交互操作。
图2是本实施例基于ELK和canal技术的网站运营分析系统中网站访问日志数据采集模块业务流程图。网站访问者在网站页面触发特定事件后，网站运行服务器根据配置信息生成网站访问日志数据并写入指定MySQL数据库中。
图3是本实施例基于ELK和canal技术的网站运营分析系统中数据同步模块的业务流程图。根据canal配置，MySQL中网站访问日志数据被同步存储至Elasticsearch库中；根据Logstash配置，MySQL中网站栏目数据被同步存储至Elasticsearch库中；数据处理融合服务，读取存储于Elasticsearch库中的网站访问日志数据和网站栏目数据，进行处理融合，并将融合数据写入Elasticsearch库中。图中a1～a2是网站访问日志数据同步流程；b1～b2是网站栏目数据同步流程；c1～c3是数据处理融合流程。其中a1～a2、b1～b2与c1～c3三者之间为异步执行。
本实施例基于ELK和canl技术的网站运营分析方法的具体流程如下：
A：实时采集网站访问日志数据至MySQL数据库中；
B1：将所述存储于所述MySQL数据库中的网站访问日志数据，经过canal技术实时同步存储至Elasticsearch库的相应索引中；
B2：将网站已有栏目数据，经过Logstash技术定期同步存储至Elasticsearch库中的相应索引中；
B3：将所述Elasticsearch库中的所述网站访问日志数据和所述网站栏目数据经数据处理融合模块进行处理、融合后，存储至Elasticsearch库中的融合数据索引中；
C：对所述Elasticsearch中的网站访问日志数据和融合数据进行异常监控，如发现异常，及时进行处理；
D:基于所述无异常的融合数据，根据用户需求编写数据统计分析接口，供运营者在可视化界面上查看检索；
E：根据用户的需求，展示所述数据统计分析结果和网站流量监测信息。
优选的，步骤B3中所述的数据融合方式为周期性执行融合程序。
优选的，步骤C中所述的数据监控方式为周期性执行监控程序。
本发明有益效果
1、canal和Logstash两种数据同步技术，分别同步采集用户访问数据和网站栏目数据至Elasticsearch库中，为个性化细粒度定制统计提供数据源，同时基于canal的实时同步技术，为网站流量监测及预警提供了依据。
2、基于Kibana技术，建立基于个性化细粒度定制统计的Elasticsearch融合数据索引，基于Elasticsearch的聚合查询功能，深度融合了一个或多个网站用户访问数据和网站栏目数据，提供了一个或多个网站不同维度的基于时间和内容的个性化定制统计功能，为网站精细化运营提供数据基础。
3、网站流量数据被存储在网站运营者内网数据库中，完全属于网站运营者，不存在网站流量数据因第三方平台故障引发的数据安全问题。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种基于ELK和canal技术的网站运营分析系统，其特征在于，包括：
网站访问日志数据采集模块，用于实时采集网站访问日志数据至MySQL数据库中；
数据同步存储模块，用于同步MySQL数据库中的网站访问日志数据和网站已有的栏目数据至Elasticsearch中，存储处理融合后的数据至Elasticsearch库中；
数据监控模块，用于监控网站访问日志数据和融合数据的异常情况并进行异常处理；
数据统计分析模块，用于提供融合数据的多维度统计分析查询接口；
可视化模块，用于可视化展示数据统计分析结果和监控数据信息，并提供交互功能。
2.根据权利要求1所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述数据同步存储模块包括：
网站访问日志数据同步存储单元，用于对网站访问日志数据进行实时同步存储，从MySQL数据库同步至Elasticsearch库中；
网站栏目数据同步存储单元，用于对网站栏目数据进行增量同步，从MySQL数据库同步至Elasticsearch库中；
融合数据存储单元，用于将Elasticsearch库中的网站访问日志数据和网站栏目数据进行处理、融合，并将融合数据存储至Elasticsearch库中。
3.根据权利要求2所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述网站访问日志数据同步存储单元采用Kibana完成基于Elasticsearch的网站访问日志数据的索引构建，采用canal完成网站访问日志数据的实时同步存储。
4.根据权利要求3所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述网站栏目数据同步存储单元采用Kibana完成基于Elasticsearch的网站栏目数据的索引构建，采用Logstash完成网站栏目数据的增量同步存储。
5.根据权利要求4所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述融合数据存储单元利用Kibana完成基于Elasticsearch的融合数据索引构建。
6.根据权利要求5所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述数据统计分析模块，采用Elasticsearch检索聚合完成融合数据的统计分析。
7.根据权利要求6所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述网站访问日志数据采集模块的输出端电性连接有网站访问日志数据同步存储单元，所述网站访问日志数据同步存储模块的输出端电性连接有融合数据存储单元、数据监控模块。
8.根据权利要求7所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述网站栏目数据输出端连接有网站栏目数据同步存储单元，所述网站栏目数据同步存储单元的输出端电性连接有融合数据存储单元，所述融合数据存储单元的输出端电性连接有数据监控模块、数据统计分析模块。
9.根据权利要求8所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述数据监控模块的输出端电性连接有网站访问日志数据同步存储单元、融合数据存储单元、可视化模块。
10.根据权利要求9所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述数据统计分析模块的输出端电性连接有可视化模块。
11.根据权利要求10所述的一种基于ELK和canal技术的网站运营分析系统，其特征在于，所述可视化模块的输出端电性连接有数据统计分析模块、数据监控模块。
12.一种基于ELK和canal技术的网站运营分析方法，其特征在于，应用于权利要求1-11所述一种基于ELK和canal技术的网站运营分析方法，包括：
A：实时采集网站访问日志数据至MySQL数据库中；
B1：将所述存储于所述MySQL数据库中的网站访问日志数据，经过canal技术实时同步存储至Elasticsearch库的相应索引中；
B2：将网站已有栏目数据，经过Logstash技术定期同步存储至Elasticsearch库中的相应索引中；
B3：将所述Elasticsearch库中的所述网站访问日志数据和所述网站栏目数据经数据处理融合模块进行处理、融合后，存储至Elasticsearch库中的融合数据索引中；
C：对所述Elasticsearch中的网站访问日志数据和融合数据进行异常监控，如发现异常，及时进行处理；
D:基于所述无异常的融合数据，根据用户需求编写数据统计分析接口，供运营者在可视化界面上查看检索；
E：根据用户的需求，展示所述数据统计分析结果和网站流量监测信息。
13.根据权利要求12要求的一种基于ELK和canal技术的网站运营分析方法，其特征在于，步骤B3中所述的数据融合方式为周期性执行处理融合程序。
14.根据权利要求12要求的一种基于ELK和canal技术的网站运营分析方法，其特征在于，步骤C中所述的数据监控方式为周期性执行监控程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210419424.6A CN114826944A (zh) | 2022-04-20 | 2022-04-20 | 一种基于ELK和canal技术的网站运营分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210419424.6A CN114826944A (zh) | 2022-04-20 | 2022-04-20 | 一种基于ELK和canal技术的网站运营分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114826944A true CN114826944A (zh) | 2022-07-29 |
Family
ID=82506369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210419424.6A Pending CN114826944A (zh) | 2022-04-20 | 2022-04-20 | 一种基于ELK和canal技术的网站运营分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114826944A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010078638A (ko) * | 2000-02-09 | 2001-08-21 | 곽동욱 | 웹 접속 횟수 계측 시스템 및 그 방법과 이를 이용한 광고시스템 및 그 방법 |
| CN101226550A (zh) * | 2008-01-28 | 2008-07-23 | 中国工商银行股份有限公司 | 电子银行网站客户行为及信息处理方法及系统 |
| CN103001796A (zh) * | 2012-11-13 | 2013-03-27 | 北界创想（北京）软件有限公司 | 服务端处理网络日志数据的方法及装置 |
| CN107592305A (zh) * | 2017-08-30 | 2018-01-16 | 苏州朗动网络科技有限公司 | 一种基于elk和redis的防刷方法及系统 |
| CN110489445A (zh) * | 2019-08-02 | 2019-11-22 | 四川宏力信息科技有限责任公司 | 一种基于多形态复合的海量数据快速查询方法 |
| CN113672668A (zh) * | 2021-08-27 | 2021-11-19 | 工银科技有限公司 | 大数据场景下的日志实时处理方法及装置 |
-
2022
- 2022-04-20 CN CN202210419424.6A patent/CN114826944A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010078638A (ko) * | 2000-02-09 | 2001-08-21 | 곽동욱 | 웹 접속 횟수 계측 시스템 및 그 방법과 이를 이용한 광고시스템 및 그 방법 |
| CN101226550A (zh) * | 2008-01-28 | 2008-07-23 | 中国工商银行股份有限公司 | 电子银行网站客户行为及信息处理方法及系统 |
| CN103001796A (zh) * | 2012-11-13 | 2013-03-27 | 北界创想（北京）软件有限公司 | 服务端处理网络日志数据的方法及装置 |
| CN107592305A (zh) * | 2017-08-30 | 2018-01-16 | 苏州朗动网络科技有限公司 | 一种基于elk和redis的防刷方法及系统 |
| CN110489445A (zh) * | 2019-08-02 | 2019-11-22 | 四川宏力信息科技有限责任公司 | 一种基于多形态复合的海量数据快速查询方法 |
| CN113672668A (zh) * | 2021-08-27 | 2021-11-19 | 工银科技有限公司 | 大数据场景下的日志实时处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105243159B (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫系统 | |
| Suneetha et al. | Identifying user behavior by analyzing web server access log file | |
| US9590880B2 (en) | Dynamic collection analysis and reporting of telemetry data | |
| CN109862064B (zh) | 一种用于设备远程监控的组态方法及装置 | |
| CN106021079A (zh) | 一种基于用户频繁访问序列模型的Web应用性能测试方法 | |
| CN105468737A (zh) | 一种网络服务大数据分析方法、云计算平台及挖掘系统 | |
| US20020188890A1 (en) | System and method for testing an application | |
| CN104426713A (zh) | 网络站点访问效果数据的监测方法和装置 | |
| CN102724059A (zh) | 基于MapReduce的网站运行状态监控与异常检测 | |
| CA3059738A1 (en) | Behaviour data processing method, device, electronic device and computer readable medium | |
| CN103092936B (zh) | 一种物联网动态页面实时信息采集方法 | |
| CN101582090A (zh) | 一种基于web分析的分布式处理方法和系统 | |
| CN104767653A (zh) | 一种网络接口监控的方法和装置 | |
| US7716632B2 (en) | Automated software robot generator | |
| CN109408763B (zh) | 一种对不同模板的简历进行管理的方法及系统 | |
| Reddy et al. | Preprocessing the web server logs: an illustrative approach for effective usage mining | |
| CN112486789A (zh) | 一种日志分析系统、方法及装置 | |
| CN110825641B (zh) | 一种基于模拟数据生成器的微服务应用测试系统 | |
| Koçi et al. | A data-driven approach to measure the usability of web apis | |
| RU2691834C1 (ru) | Способ управления данными веб-сайта | |
| CN104750812A (zh) | 一种基于网页标签分析的数据自动采集方法 | |
| Suguna et al. | User interest level based preprocessing algorithms using web usage mining | |
| CN114826944A (zh) | 一种基于ELK和canal技术的网站运营分析系统及方法 | |
| CN116028192A (zh) | 一种多源异构数据采集方法、装置和存储介质 | |
| CN115309802A (zh) | 用户分布热力图获取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |