CN114996335A - 一种iptv日志实时聚类分析方法 - Google Patents
一种iptv日志实时聚类分析方法 Download PDFInfo
- Publication number
- CN114996335A CN114996335A CN202210928457.3A CN202210928457A CN114996335A CN 114996335 A CN114996335 A CN 114996335A CN 202210928457 A CN202210928457 A CN 202210928457A CN 114996335 A CN114996335 A CN 114996335A
- Authority
- CN
- China
- Prior art keywords
- log
- real
- time
- iptv
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000007619 statistical method Methods 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000007621 cluster analysis Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 39
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及一种IPTV日志实时聚类分析方法，包括实时采集IPTV平台服务器上的原始日志数据，对所述原始日志数据解析为结构化日志，并写入消息队列集群，对所述结构化日志数据进行实时聚类，得日志聚类结果，对所述日志聚类结果进行实时统计分析，得日志分析结果，将所述日志分析结果写入分布式存储，对存储的日志分析结果进行图表展示和异常告警。本发明通过实时采集各个IPTV系统平台原始日志数据后，通过流处理中间件对结构化日志进行实时聚类，将获得的日志聚类结果进行实时统计分析，从而实现IPTV日志的实时采集和聚类分析，用于故障的实时检测和业务核心数据的实时计算。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种IPTV日志实时聚类分析方法。
背景技术
随着我国社会经济的蓬勃发展，以及网络技术的飞速进步，IPTV已经成为家庭用户普遍使用的电视观看方式，承担着网络新媒体宣传主阵地的重要职责，是我国政府丰富人民群众文化生活、传播主流价值的重要途径，因此保障IPTV系统稳定性，及时发现异常并高效快速定位异常原因，实时检测业务核心数据，尤为重要。
日志是一种半结构化的文本数据，网络设备、系统及服务程序等在运行时都会产生日志，在IPTV系统也是如此，日志记录着时间、用户、参数、错误码、行为及系统状态等相关运行信息，是技术人员查找软件异常的重要手段，也是分析用户行为的主要数据来源。
申请号为CN109151464A的中国专利公开了基于大数据流处理的IPTV机顶盒故障实时检测方法，针对机顶盒上报的日志，通过采集、转发，写入kafka队列，在spark集群进行实时统计分析机顶盒错误代码，最后进行图表展示。其存在以下缺点：只能处理机顶盒日志，不支持IPTV其他系统平台日志，并且其需要改变现有IPTV系统架构，日志分析内容也仅限于统计机顶盒错误码数量，对于其他故障相关的日志没有分析能力，也不支持分析用户实时开机数、用户行为轨迹等核心业务指标。
申请号为CN107404658A的中国专利公开了一种交互式网络电视系统及用户数据实时获取方法，其具体公开了实时采集IPTV服务器上符合设定格式的日志信息，并对日志进行存储和查询。其存在以下缺点：技术方案非常笼统，对日志分析计算的内容没有说明，从实施例中看，仅能进行用户相关指标的统计分析，无法从日志中分析定位系统故障，技术框架没有使用消息队列中间件传输日志，不能够支撑海量的日志数据实时分析。
申请号为CN107404658A的中国专利公开了一种IPTV-EPG运行日志采集系统及方法，其主要是通过在JS运行日志采集模块、在WEB后台运行日志采集模块、EPG运行日志上报模块等上报日志，推送到web界面端供开发人员查看。其存在以下缺点：仅提供了日志查看的方案，没有对日志进一步分析。同时日志采集模块会改变现有的IPTV系统架构。
由于IPTV系统架构各不相同，运营商、机顶盒等厂商不一，使得这些分布零散、格式各异的海量日志进行统一采集、汇总和分析利用的难度很大。
发明内容
为克服所述不足，本发明的目的在于提供一种IPTV日志实时聚类分析方法及系统，从而实现IPTV日志的实时采集和聚类分析，用于故障的实时检测和业务核心数据的实时计算。
本发明解决其技术问题所采用的技术方案是：一种IPTV日志实时聚类分析方法，包括：
S1、实时采集IPTV平台服务器上的原始日志数据；
S2、对所述原始日志数据解析为结构化日志，并写入消息队列集群；
S3、对所述结构化日志数据进行实时聚类，得日志聚类结果；
S4、对所述日志聚类结果进行实时统计分析，得日志分析结果；
S5、将所述日志分析结果写入分布式存储，支持查询；
S6、对存储的日志分析结果进行图表展示和异常告警。
本发明具有以下有益效果：本发明通过实时采集各个IPTV系统平台原始日志数据后，将日志数据结构化解析并写入消息队列集群，通过流处理中间件对结构化日志进行实时聚类，将获得的日志聚类结果进行实时统计分析，分析结果写入分布式存储，最后将日志聚类分析结果进行图表展示和异常告警，从而实现IPTV日志的实时采集和聚类分析，用于故障的实时检测和业务核心数据的实时计算。
附图说明
图1为本发明的流程示意图。
图2为本发明的日志聚类的流程图。
图3为本发明的实时采集流程图。
图4为本发明的一种实施例的流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
根据图1、图2、图3所示的一种IPTV日志实时聚类分析方法，包括：
S1、实时采集IPTV平台服务器上的原始日志数据，其中，IPTV平台包括但不限于百途、星红安等主流以及自研的IPTV平台，来自用户机顶盒、平台软件的原始日志等存储在各平台服务器上，在IPTV系统平台服务器中每个有日志产生的节点，部署日志采集工具，采集每个日志文件的最新日志内容，然后转发到消息中间件，其中消息中间件为消息队列集群，IPTV平台服务器部署日志采集工具，通过日志采集工具进行实时采集，日志采集工具包括但不限于Filebeat、Flume、Logstash等；
S2、对所述原始日志数据解析为结构化日志，并写入消息队列集群，消息队列集群作为消息队列中间件，对采集的的每个日志文件的最新日志内容进行保存和处理；
S3、对所述结构化日志数据进行实时聚类，得日志聚类结果；
S4、对所述日志聚类结果进行实时统计分析，得日志分析结果；
S5、将所述日志分析结果写入分布式存储，支持查询；
S6、对存储的日志分析结果进行图表展示和异常告警。
具体地，所述S1中日志采集工具进行实时采集的步骤为：
采集前，输入历史文件大小，校验文件大小，读取位置值，若位置值超出历史文件大小，则将文件指针移到文件末尾，定位到文件末尾，从文件尾开始读，若文件变小，则将文件指针移到文件开头，从文件头开始读；
采集时，将文件指针移位到文件指定位置进行内容读取，获得当前文件大小，判断当前文件大小如果当前文件不小于历史文件大小，则更新历史文件大小，使历史文件大写等于当前文件的大小，然后每次读取一行，解析每行内容，如果读取的行line是空行，则直接休眠1s，如果读取的行line不是空行，则获取当前文件指针位置offset，保存offset值，异步执行告警同步，然后休眠1s，休眠1s后继续获取当前文件大小处，判断当前文件大小，进行循环读取，直至当前文件小于历史文件大小，则将位置值即offset值置零，并保存offset值，读取结束；
采集后，记录每次读取完毕的文件大小以及文件已读取的文件指针位置；
通过本申请中的日志采集工具进行实时采集，能够实时读取正在改变的日志文件，获得最新的日志内容，不受日志文件切割、覆盖等影响，能够解决现有技术方案，例如linux命令tail-f因日志文件被切割、覆盖导致日志读取失败的问题。
具体地，所述S2中对所述原始日志数据解析为结构化日志采用的步骤为：将半结构化的原始日志，通过正则匹配解析为时间、来源、用户、日志级别、错误代码、内容、系统状态等结构化日志，写入消息队列集群，例如原始日志为：
[16/Jun/2022:13:54:57 +0800] -- 10.23.236.60 -- gdltaaa1 -- INFO -- "GET/authbilling/loginAPK_loginUncheck.do
userid=531200045209&activeIp=&mac=DC%34B%3ADD%3AD9%3ACF%3A3F&time=16371648062&riddle=3cb58fdbba39dd2ec02b0b5cde4dadf9 HTTP/1.1" 200 14- okhttp/3.8.0；
结构化日志为：
{"time": "2022-06-16T05:54:57.000Z",
"ip": "10.23.236.60",
"hostname": "gdltaaa1",
"label": "authority",
"userid": "531200045209",
"level": "INFO",
"status": "200",
"content":"GET /authbilling/loginAPK_loginUncheck.do
userid=531200045209&activeIp=&mac=DC%34B%3ADD%3AD9%3ACF%3A3F&time=16371648062&riddle=3cb58fdbba39dd2ec02b0b5cde4dadf9 HTTP/1.1"}；
所述消息队列集群对结构化日志数据进行缓存和传输，其中消息队列集群包括但不限于Kafka、RabbitMQ、RocketMQ等。
具体地，所述S3中日志聚类的步骤包括：
S301、对所述结构化日志进行清洗，剔除日志中的异常数据，具体的为过滤掉不符合特定格式的日志数据；
S302、对剔除异常后的日志内容进行文本分词，因为日志文本多是英文，所以根据空格、标点符号、英文语法、英文简写等规则进行分词，例如S2中结构化后的日志内容被分词如下列表：
['GET', '/authbilling/loginAPK_loginUncheck.do', '
', 'userid=531200045209', '&', 'activeIp=', '&', 'mac=DC%34B%3ADD%3AD9%3ACF%3A3F', '&','time=16371648062', '&', 'riddle=3cb58fdbba39dd2ec02b0b5cde4dadf9', 'HTTP/1.1']；
S303、对文本分词结果进行分词处理，得到分词处理结果，具体的包括停用词剔除、符号字符剔除、变量词替换、词干提取等处理，例如将S302中得到的文本分词结果被处理为：
['get', 'authbil', 'login', 'apk', 'login', 'uncheck', 'userid', 'activeip', 'mac', 'time', 'riddl', 'http']；
S304、对所述分词处理结果转换为词向量，首先采集一定数量的历史日志，进行分词处理后建立词库并编号，词向量为所述词在词库中的编号，词库中不存在的所述词，则把所述词追加到词库中，例如S303中分词处理结果的词向量为：[1, 153, 25, 127, 5, 71,212, 28, 132, 316, 292, 65]；
S305、对所述历史日志提取词向量，然后进行编码，任意两个编码词向量间计算余弦相似性，通过阈值判定生成聚类模型，阈值设置为0.8；
其中，词向量进行编码的步骤为：首先计算两个词向量的并集，然后创建两个与并集等长的0向量作为A和B的编码词向量，编码词向量中存在并集元素的位置赋值为1，例如，对于A=[1,2,3]和B=[2,3,4,5]这组日志词向量，编码后的向量为A=[1,1,1,0,0]、B=[0,1,1,1,1]；
所述余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，余弦值越接近1，就表明两个向量夹角越接近0度，也就是这两个向量越相似，因此本申请通过计算两个向量夹角的大小，来判断日志文本的相似程度，两个日志编码词向量A、B的相似度计算公式如下：
经过所述日志聚类后，同一类别结构化日志求交集，生成日志聚类结果，例如：
日志A=”Systemd Started Session 221533 of user root”，
日志B=”Systemd starting session 223223 of user test”，
A和B作为同一类别，此类别的日志模式为”system start session <session>user <userid>”, 其中<session>和<userid>为变量。
具体地，所述S4中对所述日志聚类结果进行实时统计分析具体方法为：对结构化日志的来源、用户、日志级别、错误代码，以及聚类后的日志类别、日志模式等维度，在时间窗口内统计计数，得到例如1分钟内某类错误码数量、某类异常日志数量，用以异常告警和故障定位，也可得到例如实时开机用户数量、某频道观看数量、用户城市分布等核心业务指标。
具体地，所述S3中结构化日志数据进行实时聚类及S4中日志聚类结果进行实时统计分析在Flink或者Spark集群上通过实时流处理实现。
具体地，所述流处理选择时间窗口或者数量窗口处理方式，首先加载聚类模型，然后分析原始日志、格式化处理、分词、提取词向量、编码词向量，如果出现新词不在词库中，立刻更新词库，最后预测类别，即将日志编码向量与聚类模型中的编码向量计算余弦相似度，根据阈值判定是否属于同一类，若无相似类别，则在聚类模型中增加新的类别。
具体地，所述S5中将日志分析结果，即日志分析的日志聚类结果、统计分析结果等写入分布式存储，包括但不限于ElasticSearch、HDFS等，支持RESTful的查询接口。
具体地，所述S6中将所述日志聚类结果和统计分析结果，以图、表等形式展示日志各维度的统计分布、时序趋势等，统计指标超过设定阈值的，进行多种渠道的告警。
如图4所示的一种实施例采用的一种IPTV日志实时聚类分析方法，包括：
IPTV用户的机顶盒将日志数据发送到IPTV平台服务器中，IPTV平台服务器包括多个Nignx服务器、Tomcat服务器，Nignx服务器、Tomcat服务器中均部署日志采集工具Filebeat，对IPTV平台服务器的日志数据进行实时采集；
采集到的原始日志数据解析为结构化日志，并发送到Kafka集群中进行缓存和传输，传输到Flink集群中进行实时聚类、统计分析，得到日志分析结果后，再写入到分布式存储ElasticSearch集群中，将结果数据形成日志分析图表，统计指标超过设定阈值的，发送到异常告警平台进行报警。
本发明不局限于所述实施方式，任何人应得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
本发明未详细描述的技术、形状、构造部分均为公知技术。
Claims (8)
1.一种IPTV日志实时聚类分析方法，其特征在于：包括，
S1、实时采集IPTV平台服务器上的原始日志数据；
S2、对所述原始日志数据解析为结构化日志，并写入消息队列集群；
S3、对所述结构化日志数据进行实时聚类，得日志聚类结果；
S4、对所述日志聚类结果进行实时统计分析，得日志分析结果；
S5、将所述日志分析结果写入分布式存储，支持查询；
S6、对存储的日志分析结果进行图表展示和异常告警。
2.根据权利要求1所述的一种IPTV日志实时聚类分析方法，其特征在于：在所述IPTV平台服务器上部署日志采集工具，通过日志采集工具实时采集IPTV平台服务器上的原始日志数据。
3.根据权利要求1所述的一种IPTV日志实时聚类分析方法，其特征在于：所述S2中对所述原始日志数据解析为结构化日志是，将半结构化的原始日志，通过正则匹配解析为时间、来源、用户、日志级别、错误代码、内容、系统状态的结构化日志，写入消息队列集群。
4.根据权利要求1所述的一种IPTV日志实时聚类分析方法，其特征在于：所述S3中日志聚类的步骤包括，
S301、对所述结构化日志进行清洗，剔除日志中的异常数据，具体的为过滤掉不符合特定格式的日志数据；
S302、对剔除异常后的日志内容进行文本分词；
S303、对文本分词结果进行分词处理，得到分词处理结果；
S304、对所述分词处理结果转换为词向量，首先采集一定数量的历史日志，进行分词处理后建立词库并编号，词向量为所述词在词库中的编号，词库中不存在的所述词，则把所述词追加到词库中；
S305、对所述历史日志提取词向量，然后进行编码，任意两个编码词向量间计算余弦相似性，通过阈值判定生成聚类模型。
5.根据权利要求4所述的一种IPTV日志实时聚类分析方法，其特征在于：所述词向量进行编码的步骤为，首先计算两个词向量的并集，然后创建两个与并集等长的0向量作为A和B的编码词向量，编码词向量中存在并集元素的位置赋值为1。
6.根据权利要求1所述的一种IPTV日志实时聚类分析方法，其特征在于：所述S4中对所述日志聚类结果进行实时统计分析具体方法为，对结构化日志的来源、用户、日志级别、错误代码，以及聚类后的日志类别、日志模式，在时间窗口内统计计数，得到一定时间内某类错误码数量、某类异常日志数量，用以异常告警和故障定位。
7.根据权利要求1所述的一种IPTV日志实时聚类分析方法，其特征在于：所述S3中结构化日志数据进行实时聚类及S4中日志聚类结果进行实时统计分析消息队列集群上通过实时流处理实现。
8.根据权利要求7所述的一种IPTV日志实时聚类分析方法，其特征在于：所述流处理选择时间窗口或者数量窗口处理方式，首先加载聚类模型，然后消费原始日志、格式化处理、分词、提取词向量、编码词向量，如果出现新词不在词库中，立刻更新词库，最后预测类别，即将日志编码向量与模型中的编码向量计算余弦相似度，根据阈值判定是否属于同一类，若无相似类别，则在聚类模型中增加新的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210928457.3A CN114996335B (zh) | 2022-08-03 | 2022-08-03 | 一种iptv日志实时聚类分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210928457.3A CN114996335B (zh) | 2022-08-03 | 2022-08-03 | 一种iptv日志实时聚类分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114996335A true CN114996335A (zh) | 2022-09-02 |
| CN114996335B CN114996335B (zh) | 2022-11-01 |
Family
ID=83021803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210928457.3A Active CN114996335B (zh) | 2022-08-03 | 2022-08-03 | 一种iptv日志实时聚类分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114996335B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116542558A (zh) * | 2023-04-27 | 2023-08-04 | 上海数禾信息科技有限公司 | 业务指标计算方法、装置、计算机设备和存储介质 |
| CN116542558B (zh) * | 2023-04-27 | 2024-06-04 | 上海数禾信息科技有限公司 | 业务指标计算方法、装置、计算机设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399289A (zh) * | 2013-07-25 | 2013-11-20 | 安徽中兴继远信息技术股份有限公司 | 一种用于用电信息采集系统的自动化测试方法 |
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN104714878A (zh) * | 2013-12-11 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 一种收集日志数据的方法及装置 |
| CN106569936A (zh) * | 2016-09-26 | 2017-04-19 | 深圳盒子支付信息技术有限公司 | 一种实时采集滚动日志的方法及系统 |
| CN109151464A (zh) * | 2018-11-14 | 2019-01-04 | 江苏鸿信系统集成有限公司 | 基于大数据流处理的iptv机顶盒故障实时检测方法 |
| US20190065343A1 (en) * | 2017-08-29 | 2019-02-28 | Fmr Llc | Automated Log Analysis and Problem Solving Using Intelligent Operation and Deep Learning |
| CN111343484A (zh) * | 2018-12-19 | 2020-06-26 | 飞思达技术（北京）有限公司 | 基于人工智能的iptv/ott智能质量告警方法 |
| WO2021093364A1 (zh) * | 2019-11-15 | 2021-05-20 | 苏州浪潮智能科技有限公司 | 一种日志采集方法、装置、系统及计算机可读存储介质 |
| CN113918412A (zh) * | 2021-09-22 | 2022-01-11 | 上海漫道科技有限公司 | 一种实时异常日志分析方法及系统 |
-
2022
- 2022-08-03 CN CN202210928457.3A patent/CN114996335B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399289A (zh) * | 2013-07-25 | 2013-11-20 | 安徽中兴继远信息技术股份有限公司 | 一种用于用电信息采集系统的自动化测试方法 |
| CN104714878A (zh) * | 2013-12-11 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 一种收集日志数据的方法及装置 |
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN106569936A (zh) * | 2016-09-26 | 2017-04-19 | 深圳盒子支付信息技术有限公司 | 一种实时采集滚动日志的方法及系统 |
| US20190065343A1 (en) * | 2017-08-29 | 2019-02-28 | Fmr Llc | Automated Log Analysis and Problem Solving Using Intelligent Operation and Deep Learning |
| CN109151464A (zh) * | 2018-11-14 | 2019-01-04 | 江苏鸿信系统集成有限公司 | 基于大数据流处理的iptv机顶盒故障实时检测方法 |
| CN111343484A (zh) * | 2018-12-19 | 2020-06-26 | 飞思达技术（北京）有限公司 | 基于人工智能的iptv/ott智能质量告警方法 |
| WO2021093364A1 (zh) * | 2019-11-15 | 2021-05-20 | 苏州浪潮智能科技有限公司 | 一种日志采集方法、装置、系统及计算机可读存储介质 |
| CN113918412A (zh) * | 2021-09-22 | 2022-01-11 | 上海漫道科技有限公司 | 一种实时异常日志分析方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 程亚辉: ""IPTV网络安全综合保障体系建设"", 《广播电视信息》 * |
| 陈刚等: "铁路局信息系统状态诊断与辅助管理决策系统的研究", 《铁路计算机应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116542558A (zh) * | 2023-04-27 | 2023-08-04 | 上海数禾信息科技有限公司 | 业务指标计算方法、装置、计算机设备和存储介质 |
| CN116542558B (zh) * | 2023-04-27 | 2024-06-04 | 上海数禾信息科技有限公司 | 业务指标计算方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114996335B (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110928718B (zh) | 一种基于关联分析的异常处理方法、系统、终端及介质 | |
| CN112416724B (zh) | 告警处理方法、系统、计算机设备和存储介质 | |
| CN111475612A (zh) | 预警事件图谱的构建方法、装置、设备及存储介质 | |
| CN111027615A (zh) | 基于机器学习的中间件故障预警方法和系统 | |
| CN110689148A (zh) | 一种基于ar技术的计量设备故障检测方法 | |
| CN115981984A (zh) | 一种设备故障检测方法、装置、设备及存储介质 | |
| CN113254255B (zh) | 一种云平台日志的分析方法、系统、设备及介质 | |
| CN112306787B (zh) | 报错日志处理方法、装置、电子设备和智能音箱 | |
| CN108280021A (zh) | 一种基于机器学习的日志等级分析方法 | |
| CN111581057B (zh) | 一种通用日志解析方法、终端设备及存储介质 | |
| CN114996335B (zh) | 一种iptv日志实时聚类分析方法 | |
| CN112732655B (zh) | 针对无格式日志的在线解析方法及系统 | |
| CN112068979B (zh) | 一种业务故障确定方法及装置 | |
| CN110956030B (zh) | 变电站远动机组态配置信息比对方法及系统 | |
| CN114969334B (zh) | 异常日志检测方法、装置、电子设备及可读存储介质 | |
| CN110795606A (zh) | 一种日志解析规则的生成方法 | |
| CN115525235A (zh) | 一种基于存储结构的数据运算方法及系统 | |
| CN115827777A (zh) | 一种多数据源的自适应同步与差异识别方法、装置及设备 | |
| EP4105813A1 (en) | Method for analyzing data consisting of a large number of individual messages, computer program product and computer system | |
| JP2018005554A (ja) | 故障木作成装置 | |
| CN111953544B (zh) | 一种服务器的故障检测方法、装置、设备及存储介质 | |
| CN113992537B (zh) | 在线转码的日志管理方法、系统、设备及存储介质 | |
| CN117272198B (zh) | 一种基于商旅行程业务数据的异常用户生成内容识别方法 | |
| US20230088986A1 (en) | Topic clustering and event detection | |
| CN113239205B (zh) | 数据标注方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |