CN109831316A - 海量日志实时分析系统、实时分析方法及可读存储介质 - Google Patents
海量日志实时分析系统、实时分析方法及可读存储介质 Download PDFInfo
- Publication number
- CN109831316A CN109831316A CN201811543513.1A CN201811543513A CN109831316A CN 109831316 A CN109831316 A CN 109831316A CN 201811543513 A CN201811543513 A CN 201811543513A CN 109831316 A CN109831316 A CN 109831316A
- Authority
- CN
- China
- Prior art keywords
- execution unit
- operational module
- time
- real
- unit quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种海量日志实时分析系统、实时分析方法及可读存储介质,根据收集到的数据流量信息和处理速度信息确定每个工作模块的最佳执行单元数量;若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同,则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。由于本发明通过获取最优执行单元数量对工作模板中的执行单元数量进行实时调整,在计算能力有限的情况下能最大程度地提升日志实时计算的数据处理能力及资源利用率。
Description
技术领域
本发明涉及分布式数据处理领域,尤其涉及一种海量日志实时分析系统、实时分析方法及计算机可读存储介质。
背景技术
当前,数据密集型业务已经得到了广泛的应用,典型的数据密集型业务包括金融服务、网络监控、电信数据管理、Web应用等等。对于电信行业来说,日志数据是非常重要的数据,日志是带有时间戳且基于时间序列的机器数据,由设备和系统产生且种类不一,对于电信行业的信息系统,主要包括操作行为日志、设备运行日志、网络访问日志、运行维护日志等。日志数据里记录了软、硬件和生产环境的关键信息,如主机设备、网络设备、业务系统等的运行情况和业务人员的网络访问行为。可以通过日志数据的分析监控系统运行状况,定位存在的故障,为运维人员带来非常大的便利。目前,电信行业的日志分析系统每天采集日志超过10亿多条,高峰时期的日志采集量为每15分钟超过1亿条左右。
目前国内外常见的海量日志分析技术依靠Hadoop分布式计算平台进行工作,Hadoop主要核心有分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce(并行计算框架),作为一个分布式的计算框架,请参考图1。在获得日志数据之后,分布式计算平台通过MapReduce进行日志解析过滤等处理,并将数据存储在HDFS中,等待每项MapReduce任务执行完毕后,本地服务器从HDFS上下载分析结果,并展现在Web交互界面。这种方法的优点在于海量数据处理能力优越,但是对日志采用的是离线批处理,实时性较差。
发明内容
本发明解决的问题是提供一种海量日志实时分析系统、实时分析方法,对日志数据处理速度快,即使是高峰时间,也能及时的完成日志数据的处理。
为解决上述问题,本发明实施例提供了一种海量日志实时分析系统,包括:日志采集单元、日志分拆和存储单元、实时计算统计单元,其中,
所述日志采集单元,对系统日志进行采集和预处理;
所述日志分拆和存储单元,对采集到系统日志进行分拆,并存储为日志数据;
所述实时计算统计单元,对接收到的日志数据进行实时计算,包括控制模块和若干工作模块,每一个工作模块根据自身的执行单元数量,调用对应数目的执行单元来对接收到的日志数据进行实时计算;所述控制模块,收集所述每个工作模块的处理速度信息,以及具有逻辑上下游关系的工作模块间的数据流量信息;根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量;若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同,则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。
可选的,当一个工作模块的最佳执行单元数量小于对应工作模块的执行单元数量时,工作模块根据对应的最佳执行单元数量为对应工作模块删除至少一个执行单元,或者,当一个工作模块的最佳执行单元数量大于对应工作模块的执行单元数量时,对应的工作模块增加至少一个执行单元,使得对应工作模块的当前的执行单元数量与所述工作模块的最佳执行单元数量相同。
可选的,根据日志数据到达时间和日志数据平均处理时间来确定所述每个工作模块的最佳执行单元数量;其中,所述日志数据到达时间表示日志数据到达所述每个工作模块的时间,所述日志数据平均处理时间表示所述每个工作模块的执行单元处理所述日志数据的平均时间。
可选的,所述工作节点的最佳执行单元数量等于所述日志数据平均处理时间与所述日志数据到达时间的比值。
可选的,所述日志分拆和存储单元对采集到系统日志进行分拆,包括:对采集到的系统日志进行多维度拆分,每一个维度拆分后的日志数据对应后续的多个工作模块。
可选的,所述日志数据包括操作行为日志、设备运行日志、网络访问日志、运行维护日志其中的一种或多种。
可选的,还包括:数据展示单元,用于对实时计算统计后的结果进行展示。
本发明实施例还提供了一种海量日志实时分析方法,包括:
对系统日志进行采集和预处理;
对采集到系统日志进行分拆,并存储为日志数据;
对接收到的日志数据进行实时计算,其中,多个工作模块根据自身的执行单元数量,调用对应数目的执行单元来对接收到的日志数据进行实时计算;控制模块,收集所述每个工作模块的处理速度信息,以及逻辑上下游关系的工作模块间的数据流量信息;根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的优化执行单元数量;若确定所述每个工作模块的优化执行单元数量与所述每个工作模块的执行单元数量不相同,则按照所述每个工作模块的优化执行单元数量对所述每个工作模块的执行单元数量进行调整。
可选的,当所述每个工作模块的优化执行单元数量小于所述每个工作模块的执行单元数量时,工作模块根据所述每个工作模块的优化执行单元数量为所述每个工作模块删除至少一个执行单元,或者,当所述工作模块的优化执行单元数量大于该工作模块的执行单元数量时,工作模块增加至少一个执行单元,使得所述每个工作模块的当前的执行单元数量与所述每个工作模块的优化执行单元数量相同。
可选的,还包括:对实时计算统计后的结果进行展示。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述的海量日志实时分析方法。
与现有技术相比,本技术方案具有以下优点:
由于本发明通过获取最优执行单元数量对工作模板中的执行单元数量进行实时调整,在计算能力有限的情况下能最大程度地提升日志实时计算的数据处理能力及资源利用率。
附图说明
图1是现有技术的Hadoop分布式计算平台的结构示意图;
图2是本发明实施例的海量日志实时分析系统的结构示意图;
图3是本发明实施例的海量日志实时分析方法的流程示意图。
具体实施方式
下面结合附图,通过具体实施例,对本发明的技术方案进行清楚、完整的描述。
请参考图2,本发明实施例提供了一种海量日志实时分析系统,包括:日志采集单元100、日志拆分和存储单元200、实时计算统计单元300、数据展示单元400,其中,
所述日志采集单元100,对系统日志进行采集和预处理;
所述日志分拆和存储单元200,对采集到系统日志进行分拆,并存储为日志数据;
所述实时计算统计单元300,对接收到的日志数据进行实时计算,包括控制模块和若干工作模块,每一个工作模块根据自身的执行单元数量,调用对应数目的执行单元来对接收到的日志数据进行实时计算;所述控制模块,收集所述每个工作模块的处理速度信息,以及具有逻辑上下游关系的工作模块间的数据流量信息;根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量;若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同,则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。
所述数据展示单元400,用于对实时计算统计后的结果进行展示。
具体的,所述日志采集模块整合了logstash、kafka、toprowMQ,实现信息系统中主机输出日志、网络日志以及应用系统日志的采集和预处理功能。
其中,内网日志采集由logstash和kafka集群实现。logstash主要实现日志的采集和预处理,kafka集群负责实现海量日志的分类缓存。所述日志的采集主要分为两类,一是直接在主机上安装logstash进行相关日志采集,二是通过日志收集服务器上的logstah收集由rsyslog或SNMP(简单网络管理协议,Simple Network Management Protocol)发送过来的日志。由于一般情况下海量日志价值密度低,格式多样,logstash对收集到的日志通过grok使用正则表达式对字符串进行过滤、截取,确保数据内容的可读性与可查询性,减少日志的传输量和存储压力。最后将处理后的日志输出到kafka集群。
针对日志数据并发量大,数据生成速度不同导致丢失的现象,系统采用构建高可用kafka集群的方式实现日志数据的缓存,保证传输速度的一致性和数据完整性。Kafka通过水平扩展能够实现高吞吐率,通过将不同的消息发布到不同的topics上,实现日志数据的分类缓存,降低日志分析的复杂度。
外网日志采集在内网采集技术的基础上,采用toprowMQ加强隔离装置的解决方案,实现了外网日志到内网统一日志系统的安全高效传输。在现有的行业中,实行内外网物理隔离的安全策略,内外网信息的传输需要通过强隔离装置,但是强隔离装置降低了数据的传输效率,容易导致数据的丢失的缺点。为了保证外网日志的安全高效传输,海量日志实时分析系统提出toprowMQ加强隔离装置的解决方案。通过在强隔离装置两侧引入toprowMQ消息队列中间件,通过缓存的机制防止外网日志丢失,保证数据的安全。充分利用强隔离装置的带宽,保证外网日志传输的效率。在logstash处理外网日志之后,通过反向隔离装置过滤,将外网日志数据传输至内网Kafka集群,实现外网数据无缝接入。由于隔离装置在数据传输速度与日志采集系统的不一致,系统通过加入toprowMQ保证数据传输的一致性。
所述日志分拆和存储单元200,对采集到的系统日志进行分拆,并存储为日志数据。
所述日志分拆和存储单元200从Kafka集群获取采集到的系统日志,且通过由Elasticsearch集群完成日志数据的拆分和存储,ElasticSearch是一种基于Lucene的分布式搜索引擎。在日志数据导入Elasticsearch集群后,利用JSON作为文档序列化的格式对系统日志进行多维度分拆,并以文档的形式进行存储,所述每一个维度拆分后的日志数据对应后续的多个工作模块。因为每一个工作模块中的执行单元计算不同种类的日志数据的平均处理时间是不一样的,通过对于日志数据进行提前拆分,便于后续获得日志数据平均处理时间。集群中包含master节点、client节点和data节点:master节点用于维护元数据、管理集群其余节点状态;client节点接收data节点上汇聚的查询结果,并返回给用户;data节点则负责数据的导入和查询。
所述实时计算统计单元300,包括控制模块和若干工作模块。所述控制模块为一个或多个,且每一个控制模块控制若干个工作模块。所述控制模块收集所述每个工作模块的处理速度信息,以及具有逻辑上下游关系的工作模块间的数据流量信息,确定所述每个工作模块的最佳执行单元数量,当所述每个工作模块的最佳执行单元数量与对应工作模块的实际的执行单元数量不符合时,指示工作模块调整执行单元的数量。
根据日志数据到达时间和日志数据平均处理时间来确定所述每个工作模块的最佳执行单元数量,在本实施例中,所述工作节点的最佳执行单元数量等于所述日志数据平均处理时间与所述日志数据到达时间的比值(自然数),在其它实施例中,所述最佳执行单元数量也可以为约等于所述日志数据平均处理时间与所述日志数据到达时间的比值;其中,所述日志数据到达时间表示日志数据到达所述每个工作模块的时间,所述日志数据平均处理时间表示所述每个工作模块的执行单元处理所述日志数据的平均时间。
所述工作模块包括多个执行单元,利用所述执行单元对日志数据进行处理。当一个工作模块的最佳执行单元数量小于对应工作模块的执行单元数量时,所述控制模块指示工作模块删除至少一个执行单元,或者,当一个工作模块的最佳执行单元数量大于对应工作模块的执行单元数量时,所述控制模块指示对应的工作模块增加至少一个执行单元,使得对应工作模块的当前的执行单元数量与所述工作模块的最佳执行单元数量相同。
所述数据展示单元400包括日志全文检索、分类统计、告警管理、应用管理、系统监控和系统管理等功能,并且用时间直方图、百分比饼状图、趋势图、字段数值等功能对实时计算统计后的结果进行展示。
本发明实施例还提供了一种海量日志实时分析方法,请参考图3,包括:
步骤S101,对系统日志进行采集和预处理;
步骤S102,对采集到系统日志进行分拆,并存储为日志数据;
步骤S103,对接收到的日志数据进行实时计算,其中,多个工作模块根据自身的执行单元数量,调用对应数目的执行单元来对接收到的日志数据进行实时计算;控制模块,收集所述每个工作模块的处理速度信息,以及逻辑上下游关系的工作模块间的数据流量信息;根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的优化执行单元数量;若确定所述每个工作模块的优化执行单元数量与所述每个工作模块的执行单元数量不相同,则按照所述每个工作模块的优化执行单元数量对所述每个工作模块的执行单元数量进行调整。
步骤S104,对实时计算统计后的结果进行展示。
其中,当所述每个工作模块的优化执行单元数量小于所述每个工作模块的执行单元数量时,工作模块根据所述每个工作模块的优化执行单元数量为所述每个工作模块删除至少一个执行单元,或者,当所述工作模块的优化执行单元数量大于该工作模块的执行单元数量时,工作模块增加至少一个执行单元,使得所述每个工作模块的当前的执行单元数量与所述每个工作模块的优化执行单元数量相同。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是设置于上述各实施例中的电子装置中的存储器。该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述图3所示实施例中描述的海量日志实时分析方法。进一步的,该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的多个实施例中,应该理解到,所揭露的电子装置和方法,可以通过其它的方式实现。例如,以上所描述的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口,模块的间接耦合或通信链接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
Claims (10)
1.一种海量日志实时分析系统,其特征在于,包括:日志采集单元、日志分拆和存储单元、实时计算统计单元,其中,
所述日志采集单元,对系统日志进行采集和预处理;
所述日志分拆和存储单元,对采集到系统日志进行分拆,并存储为日志数据;
所述实时计算统计单元,对接收到的日志数据进行实时计算,包括控制模块和若干工作模块,每一个工作模块根据自身的执行单元数量,调用对应数目的执行单元来对接收到的日志数据进行实时计算;所述控制模块,收集所述每个工作模块的处理速度信息,以及具有逻辑上下游关系的工作模块间的数据流量信息;根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量;若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同,则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。
2.如权利要求1所述的海量日志实时分析系统,其特征在于,当一个工作模块的最佳执行单元数量小于对应工作模块的执行单元数量时,工作模块根据对应的最佳执行单元数量为对应工作模块删除至少一个执行单元,或者,当一个工作模块的最佳执行单元数量大于对应工作模块的执行单元数量时,对应的工作模块增加至少一个执行单元,使得对应工作模块的当前的执行单元数量与所述工作模块的最佳执行单元数量相同。
3.如权利要求2所述的海量日志实时分析系统,其特征在于,根据日志数据到达时间和日志数据平均处理时间来确定所述每个工作模块的最佳执行单元数量;其中,所述日志数据到达时间表示日志数据到达所述每个工作模块的时间,所述日志数据平均处理时间表示所述每个工作模块的执行单元处理所述日志数据的平均时间。
4.如权利要求2所述的海量日志实时分析系统,其特征在于,所述每个工作节点的最佳执行单元数量等于所述日志数据平均处理时间与所述日志数据到达时间的比值。
5.如权利要求1所述的海量日志实时分析系统,其特征在于,所述日志分拆和存储单元对采集到系统日志进行分拆,包括:对采集到的系统日志进行多维度拆分,每一个维度拆分后的日志数据对应后续的多个工作模块。
6.如权利要求1所述的海量日志实时分析系统,其特征在于,所述日志数据包括操作行为日志、设备运行日志、网络访问日志、运行维护日志其中的一种或多种。
7.如权利要求1所述的海量日志实时分析系统,其特征在于,还包括:数据展示单元,用于对实时计算统计后的结果进行展示。
8.一种海量日志实时分析方法,其特征在于,包括:
对系统日志进行采集和预处理;
对采集到系统日志进行分拆,并存储为日志数据;
对接收到的日志数据进行实时计算,每一个工作模块根据自身的执行单元数量,调用对应数目的执行单元来对接收到的日志数据进行实时计算;控制模块收集所述每个工作模块的处理速度信息,以及具有逻辑上下游关系的工作模块间的数据流量信息;根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量;若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同,则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。
9.如权利要求8所述的海量日志实时分析方法,其特征在于,还包括:对实时计算统计后的结果进行展示。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求8~9任一项所述的海量日志实时分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811543513.1A CN109831316A (zh) | 2018-12-17 | 2018-12-17 | 海量日志实时分析系统、实时分析方法及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811543513.1A CN109831316A (zh) | 2018-12-17 | 2018-12-17 | 海量日志实时分析系统、实时分析方法及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109831316A true CN109831316A (zh) | 2019-05-31 |
Family
ID=66859562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811543513.1A Pending CN109831316A (zh) | 2018-12-17 | 2018-12-17 | 海量日志实时分析系统、实时分析方法及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109831316A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110881030A (zh) * | 2019-10-25 | 2020-03-13 | 北京明朝万达科技股份有限公司 | 基于logstash的记录web服务管理员操作日志的方法及装置 |
CN111352903A (zh) * | 2020-03-13 | 2020-06-30 | 京东方科技集团股份有限公司 | 日志管理平台、日志管理方法、介质以及电子设备 |
CN112069048A (zh) * | 2020-09-09 | 2020-12-11 | 北京明略昭辉科技有限公司 | 日志处理方法、装置及存储介质 |
CN113010483A (zh) * | 2020-11-20 | 2021-06-22 | 云智慧(北京)科技有限公司 | 一种海量日志管理方法和系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488670A (zh) * | 2009-02-20 | 2009-07-22 | 中兴通讯股份有限公司 | 电源系统控制方法及装置 |
CN103729229A (zh) * | 2011-12-31 | 2014-04-16 | 华茂云天科技(北京)有限公司 | 弹性计算服务系统 |
CN104780092A (zh) * | 2014-01-13 | 2015-07-15 | 阿里巴巴集团控股有限公司 | 文件传输方法和装置及服务器系统 |
CN106844483A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技(北京)有限公司 | 一种日志数据流处理方法 |
US20170251007A1 (en) * | 2016-02-29 | 2017-08-31 | Soliton Systems K.K. | Automated computer behavioral analysis system and methods |
CN107205248A (zh) * | 2016-03-17 | 2017-09-26 | 中国移动通信集团内蒙古有限公司 | 一种资源分配方法及系统 |
CN107704594A (zh) * | 2017-10-13 | 2018-02-16 | 东南大学 | 基于SparkStreaming的电力系统日志数据实时处理方法 |
CN107878227A (zh) * | 2017-10-23 | 2018-04-06 | 深圳奥特迅电力设备股份有限公司 | 一种分段计算充电模块数量的方法 |
-
2018
- 2018-12-17 CN CN201811543513.1A patent/CN109831316A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488670A (zh) * | 2009-02-20 | 2009-07-22 | 中兴通讯股份有限公司 | 电源系统控制方法及装置 |
CN103729229A (zh) * | 2011-12-31 | 2014-04-16 | 华茂云天科技(北京)有限公司 | 弹性计算服务系统 |
CN104780092A (zh) * | 2014-01-13 | 2015-07-15 | 阿里巴巴集团控股有限公司 | 文件传输方法和装置及服务器系统 |
US20170251007A1 (en) * | 2016-02-29 | 2017-08-31 | Soliton Systems K.K. | Automated computer behavioral analysis system and methods |
CN107205248A (zh) * | 2016-03-17 | 2017-09-26 | 中国移动通信集团内蒙古有限公司 | 一种资源分配方法及系统 |
CN106844483A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技(北京)有限公司 | 一种日志数据流处理方法 |
CN107704594A (zh) * | 2017-10-13 | 2018-02-16 | 东南大学 | 基于SparkStreaming的电力系统日志数据实时处理方法 |
CN107878227A (zh) * | 2017-10-23 | 2018-04-06 | 深圳奥特迅电力设备股份有限公司 | 一种分段计算充电模块数量的方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110881030A (zh) * | 2019-10-25 | 2020-03-13 | 北京明朝万达科技股份有限公司 | 基于logstash的记录web服务管理员操作日志的方法及装置 |
CN111352903A (zh) * | 2020-03-13 | 2020-06-30 | 京东方科技集团股份有限公司 | 日志管理平台、日志管理方法、介质以及电子设备 |
CN112069048A (zh) * | 2020-09-09 | 2020-12-11 | 北京明略昭辉科技有限公司 | 日志处理方法、装置及存储介质 |
CN113010483A (zh) * | 2020-11-20 | 2021-06-22 | 云智慧(北京)科技有限公司 | 一种海量日志管理方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109831316A (zh) | 海量日志实时分析系统、实时分析方法及可读存储介质 | |
CN107256219B (zh) | 应用于自动列车控制系统海量日志的大数据融合分析方法 | |
CN107577805A (zh) | 一种面向日志大数据分析的业务服务系统 | |
CN111885040A (zh) | 分布式网络态势感知方法、系统、服务器及节点设备 | |
CN107886238A (zh) | 一种基于海量数据分析的业务流程管理系统及方法 | |
CN106651633A (zh) | 一种基于大数据技术的用电信息采集系统及其采集方法 | |
CN112349404A (zh) | 基于云-边-端架构的多中心医疗设备大数据云平台 | |
CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
CN111400326A (zh) | 一种智慧城市数据管理系统及其方法 | |
CN104111996A (zh) | 基于hadoop平台的医保门诊大数据抽取系统及方法 | |
CN111221831B (zh) | 一种对广告效果数据实时处理的计算系统 | |
CN106484709A (zh) | 一种日志数据的审计方法和审计装置 | |
KR20150112357A (ko) | 센서 데이터 처리 시스템 및 방법 | |
CN102521781A (zh) | 一种基于独立监控服务的跨安全区的设备统一监控方法及其监控系统 | |
CN104778188A (zh) | 一种分布式设备日志采集方法 | |
CN110427298A (zh) | 一种分布式日志的自动特征提取方法 | |
CN112181960A (zh) | 一种基于AIOps的智能运维框架系统 | |
CN111259073A (zh) | 基于日志、流量和业务访问的业务系统运行状态智能研判系统 | |
CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
CN109800133A (zh) | 一种统一监控告警的方法、一站式监控告警平台及系统 | |
CN107465694B (zh) | 基于消息队列的openstack租户操作行为审计方法及系统 | |
CN102866942A (zh) | 一种基于贝叶斯推断的软件服务质量监控方法及系统 | |
CN105763384A (zh) | 银行卡交换中心的运营保障系统 | |
CN107426017A (zh) | 一种通过采集交换机网络流量进行数据分析的方法 | |
CN114297290A (zh) | 一种电力营销数据共享应用平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |
|
RJ01 | Rejection of invention patent application after publication |