CN109684422A - 一种基于人工智能的大数据平台的单指标预测和预警方法 - Google Patents
一种基于人工智能的大数据平台的单指标预测和预警方法 Download PDFInfo
- Publication number
- CN109684422A CN109684422A CN201811618372.5A CN201811618372A CN109684422A CN 109684422 A CN109684422 A CN 109684422A CN 201811618372 A CN201811618372 A CN 201811618372A CN 109684422 A CN109684422 A CN 109684422A
- Authority
- CN
- China
- Prior art keywords
- data
- log
- layer
- platform
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims description 29
- 238000003860 storage Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000007418 data mining Methods 0.000 claims abstract description 12
- 238000013500 data storage Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000012800 visualization Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000013450 outlier detection Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 5
- 238000010223 real-time analysis Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000000547 structure data Methods 0.000 claims description 4
- 241000282813 Aepyceros melampus Species 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000009472 formulation Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了人工智能技术领域的一种基于人工智能的大数据平台的单指标预测，包括以下步骤：(1)第一层是数据交换中心，负责数据的采集工作，作为大数据的基础语料并做数据挖掘；(2)第二层是数据存储，负责存储采集到的数据；(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；(4)第四层是数据展示，负责对挖掘好的数据进行展示；(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，本发明对大数据平台的指标提前进行预警，提高故障运维的效率，减少重大故障造成的损失，提升了对海量数据的处理能力。
Description
技术领域
本发明公开了一种基于人工智能的大数据平台的单指标预测和预警方法，具体为人工智能技术领域。
背景技术
近年来网络管理领域内陆续提出了各种基于性能指标的设备告警方案，部分解决了故障管理的相关问题，但在目前的实际环境下90％的故障问题不能通过哦传统设备告警反映，大量的故障类型没有得到覆盖，在这种情况下，维护工作面临诸多困难，如果能够实现提前对指标的预测和故障的发生并有效避免故障所造成的危害，便能够实现故障事前预警的目标，完成流量运营需要引入互联网、网络信令等海量数据，现有仓库存储和性能接近饱和，面对如此海量数据，一方面传统经仓库计算压力大无法承载，另一方面传统经分仓库的扩展性弱，且成本很高，为此，我们提出了一种基于人工智能的大数据平台的单指标预测和预警方法投入使用，以解决上述问题。
发明内容
本发明的目的在于提供一种基于人工智能的大数据平台的单指标预测和预警方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于人工智能的大数据平台的单指标预测，包括以下步骤：
(1)第一层是数据交换中心，负责数据的采集工作，包括SCADA、智能巡检、6C数据中心、维调系统和综合系统，收集这些系统的数据作为大数据的基础语料，并在这些基础语料上做数据挖掘；
(2)第二层是数据存储，负责存储采集到的数据，数据采集工具将不同类型的数据采集并传输到大数据应用平台分布式存储区域中；
(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；
(4)第四层是数据展示，负责对挖掘好的数据进行展示，通过大数据应用平台的全量数据采集与处理能力，将数据采集到大数据应用平台的存储区域进行保存；
(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，主数据仓库主要负责传统结构化数据业务处理，大数据平台负责存储和处理非结构化数据，将处理后的分析结果导入传统仓库，并兼容传统仓库应用。
本发明还提供一种基于人工智能的大数据平台的单指标预测和预警方法，包括如下步骤：
通过采集模块使用Flume Agent采集各网络设备中的日志信息，使用独立编写的Kafka消息生成器将离线/过期日志读取并发送，形成日志数据流，原始日志信息纳入分布式消息队列Kafka缓存和管理；
通过结构化模块使用编辑距离计算日志的相似度，根据相似度将日志分类形成日志模式，对日志进行MD5编码，根据时间粒度统计不同时段内的日志模式频数内存级数；
异常检出模块通过综合时序模型检出指定日志模式的时序异常；通过全局异常检测算法检出日志全局异常；
故障预警模块预警信息短信通知API、信息邮件通知API和故障系统记录API；
可视化模块使用独立线程聚合Redis中的指标数据，形成图表中的原信息，结合业务场景的日志可视化方案，使用Html+Css+Javascript日志可视化方案。
优选的，对于日志的异常检测分为实时日志数据流构建、实时日志模式提取和基于网元日志的异常检测，所述实时日志模式提取是根据异常检测算法的输入要求形成结构化的数据输入，在分析端使用分布式处理技术完成实时日志模式提取，并根据全局异常检测算法和综合时序模型的具体输入生成聚合、转换后的结构化输入，所述基于网元日志的异常检测通过综合时序分析模型根据用户配置的日志模式抽取各个时间单元内的日志模式数据并形成时间序列进行综合时序分析和异常检出。
优选的，所述实时日志数据流构建包括日志采集、实时分析、结果存储和前端呈现，所述日缓存与志采集对于生产环境中实时产生的网元日志，使用Flume实时日志采集技术进行日志数据的收集；所述实时分析经过Flume的采集和发送形成的待处理的消息缓存于Kafka中供Storm消费，Storm计算集群是实时日志分析的核心，基于该结构设计的流处理模式异常检测算法能够对高并发环境下的设备日志进行实时分析并形成数据挖掘结果；所述结果存储持久化于Redis数据库中便于可视化模式调用；所述前端呈现通过对Redis的读取操作，前端模块可以获取Storm集群分析产生的结果数据，并将数据进行动态渲染最终形成各种形式的呈现方案。
优选的，所述混搭模型数据中心包括RDB平台和大数据平台，所述RDB平台负责承载交叉计算和标准数据能力，且RDB平台包括汇总层、信息层和展现层，所述汇总层实现对数据交叉计算处理，所述信息层提供标准的数据服务，所述展现层提供展现数据，所述大数据平台负责承载流量新增业务存储和数据汇总计算，且大数据平台包括接口层、基础层和汇总层，所述接口层实现全部数据采集和清理，所述基础层实现数据的存储，所述汇总层实现对数据汇总处理。
优选的，所述数据存储在数据存储层选用关系型数据库、分布式文件系统和内存级数据库实现信息存储，通过Hive和Impala分布式查询中间件快速查询海量数据，并根据业务逻辑对数据进行切片、钻取和聚合从而形成中间数据，进一步分析异常检测算法，根据运维经验录入已知的业务规则和故障日志模式，拓展异常监测的覆盖范围。
优选的，所述数据处理采用Hadoop、Spark、Hive和Pig处理工具，再采用R语言、Spark MLIB对处理结果进行数据挖掘。
与现有技术相比，本发明的有益效果是：本发明实现了对海量原始网元日志中蕴藏的故障信息的数据挖掘，当网络设备出现故障时，通过短信、邮件和系统呈现的方式给予用户充分的反馈，提前进行预警，提高故障运维的效率，减少重大故障造成的损失，通过RDB平台和大数据平台的融合，实现数据服务化、功能组件化和应用积木化，提升了对海量数据的处理能力。
附图说明
图1为本发明单指标预测整体架构图；
图2为本发明人工智能大数据预警示意图；
图3为本发明数据存储示意图；
图4为本发明混搭数据模型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于人工智能的大数据平台的单指标预测，用于提高故障预警和运维的效率，减少故障造成的损失，并且提升对海量数据的处理能力，如图1所示，包括以下步骤：
(1)第一层是数据交换中心，负责数据的采集工作，包括但不限于SCADA、智能巡检、6C数据中心、维调系统和综合系统，收集这些系统的数据作为大数据的基础语料，并在这些基础语料上做数据挖掘；
(2)第二层是数据存储，负责存储采集到的数据，数据采集工具能够实现将不同类型的数据采集并传输到大数据应用平台分布式存储区域中，比如HDFS、HBASE等；
(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；数据处理采用Hadoop、Spark、Hive和Pig处理工具，再采用R语言、Spark MLIB对处理结果进行数据挖掘。
(4)第四层是数据展示，负责对挖掘好的数据进行展示，通过大数据应用平台的全量数据采集与处理能力，将数据采集到大数据应用平台的存储区域进行保存，以支持数据可视化工具及业务门户进行数据应用；
(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，主数据仓库主要负责传统结构化数据业务处理，大数据平台负责存储和处理非结构化数据，将处理后的分析结果导入传统仓库，并兼容传统仓库应用。
不影响生产系统的语言、短信等传统业务，按原有流程入库主数据仓库进行计算处理预测，大数据平台与传统仓库各司其职，大数据平台负责海量存储及离线计算，主数据仓库负责数据汇总展现，主仓库将汇总后的师徒数据传给大数据平台，满足大数据量的即席查询预测需求，而大数据凭条处理后的小规模分析数据传回仓库，仓库应用层展现，并且具有高效低成本的优点，主数据仓库负责高效及时地汇总和展现数据，海量数据计算平台利用大数据技术处理结构化和非结构化数据，实现低成本存储数据，及对海量数据的高效分析、挖掘和预测。
一种基于人工智能的大数据平台的单指标预测和预警方法，如图2所示，包括如下步骤：
通过采集模块使用Flume Agent采集各网络设备中的日志信息，使用独立编写的Kafka消息生成器将离线/过期日志读取并发送，形成日志数据流，原始日志信息纳入分布式消息队列Kafka缓存和管理；
通过结构化模块使用编辑距离计算日志的相似度，根据相似度将日志分类形成日志模式，对日志进行MD5编码，根据时间粒度统计不同时段内的日志模式频数内存级数；
异常检出模块通过综合时序模型检出指定日志模式的时序异常；通过全局异常检测算法检出日志全局异常；
故障预警模块预警信息短信通知API、信息邮件通知API和故障系统记录API；
可视化模块使用独立线程聚合Redis中的指标数据，形成图表中的原信息，结合业务场景的日志可视化方案，使用Html+Css+Javascript日志可视化方案。
异常检出模块由综合时序模型异常发现和全局异常发现两个子模块完成，全局异常发现模块在系统运行之初就能够对网元设备的日志进行宏观的统计和监控，并根据日志的分布特征检出全局异常，综合时序模型异常发现具有冷启动的特点，其数据挖掘分析工作基于特定的日志模式时序分布，随着系统的持续运行，数据分析人员能够基于模式化的日志挖掘出更多的业务结论，从而反向反馈到综合时序异常发现模块中，该模块会将新的日志模式加入到异常检出的分析目标中来，保证类似故障再次发生时能够及时发现异常并提前做出预警，能够包含更多条件下的日志规则和模式，从而覆盖更多的故障日志类型。
为了对日志的异常检测，将异常检测分为实时日志数据流构建、实时日志模式提取和基于网元日志的异常检测，实时日志模式提取是根据异常检测算法的输入要求形成结构化的数据输入，在分析端使用分布式处理技术完成实时日志模式提取，并根据全局异常检测算法和综合时序模型的具体输入生成聚合、转换后的结构化输入，基于网元日志的异常检测通过综合时序分析模型根据用户配置的日志模式抽取各个时间单元内的日志模式数据并形成时间序列进行综合时序分析和异常检出。
为了能够将更好的生成Flume、Kafka消息生成器跟别将实时网元日志和离线网元日志的转化，将实时日志数据流构建方案包括日志采集、实时分析、结果存储和前端呈现，日缓存与志采集对于生产环境中实时产生的网元日志，使用Flume实时日志采集技术进行日志数据的收集；实时分析经过Flume的采集和发送形成的待处理的消息缓存于Kafka中供Storm消费，Storm计算集群是实时日志分析的核心，基于该结构设计的流处理模式异常检测算法能够对高并发环境下的设备日志进行实时分析并形成数据挖掘结果；结果存储持久化于Redis数据库中便于可视化模式调用；前端呈现通过对Redis的读取操作，前端模块可以获取Storm集群分析产生的结果数据，并将数据进行动态渲染最终形成各种形式的呈现方案。
为了提高大数据平台低成本的存储能力，如图3所示，混搭模型数据中心包括RDB平台和大数据平台，RDB平台负责承载交叉计算和标准数据能力，且RDB平台包括汇总层、信息层和展现层，汇总层实现对数据交叉计算处理，信息层提供标准的数据服务，展现层提供展现数据，大数据平台负责承载流量新增业务存储和数据汇总计算，且大数据平台包括接口层、基础层和汇总层，接口层实现全部数据采集和清理，基础层实现数据的存储，汇总层实现对数据汇总处理。
为了保证海量数据分析环境下的实用性，以大规模网络设备日志为基础的故障预警方法实现依次数据的存储、分析和应用功能，如图4所示，数据存储在数据存储层选用关系型数据库、分布式文件系统和内存级数据库实现信息存储，分布式文件系统用于支持原始日志数据和模式化日志数据的存储，保证全网日志信息的完整性，便于后续的问题归因和故障追溯并作为异常检测算法准确性验证信息来源，内存级数据库用于支持中间数据的缓存工作，能够支持天粒度的日志模式分类结果和异常指数分析结果暂存，在数据分析层通过Hive和Impala分布式查询中间件快速查询海量数据，并根据业务逻辑对数据进行切片、钻取和聚合从而形成中间数据，进一步分析异常检测算法，一方面将各类网络设备中的日志数据集中起来形成上层分析的基础，另一方面由后台模块管理用户信息，并对外提供交互界面，使其能够动态调整故障发现策略，在数据应用层根据运维经验录入已知的业务规则和故障日志模式，拓展异常监测的覆盖范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种基于人工智能的大数据平台的单指标预测，包括以下步骤：
(1)第一层是数据交换中心，负责数据的采集工作，包括SCADA、智能巡检、6C数据中心、维调系统和综合系统，收集这些系统的数据作为大数据的基础语料，并在这些基础语料上做数据挖掘；
(2)第二层是数据存储，负责存储采集到的数据，数据采集工具将不同类型的数据采集并传输到大数据应用平台分布式存储区域中；
(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；
(4)第四层是数据展示，负责对挖掘好的数据进行展示，通过大数据应用平台的全量数据采集与处理能力，将数据采集到大数据应用平台的存储区域进行保存；
(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，主数据仓库主要负责传统结构化数据业务处理，大数据平台负责存储和处理非结构化数据，将处理后的分析结果导入传统仓库，并兼容传统仓库应用。
2.根据权利要求1所述的基于人工智能的大数据平台的单指标预测和预警方法，包括如下步骤：
通过采集模块使用Flume Agent采集各网络设备中的日志信息，使用独立编写的Kafka消息生成器将离线/过期日志读取并发送，形成日志数据流，原始日志信息纳入分布式消息队列Kafka缓存和管理；
通过结构化模块使用编辑距离计算日志的相似度，根据相似度将日志分类形成日志模式，对日志进行MD5编码，根据时间粒度统计不同时段内的日志模式频数内存级数；
异常检出模块通过综合时序模型检出指定日志模式的时序异常；通过全局异常检测算法检出日志全局异常；
故障预警模块预警信息短信通知API、信息邮件通知API和故障系统记录API；
可视化模块使用独立线程聚合Redis中的指标数据，形成图表中的原信息，结合业务场景的日志可视化方案，使用Html+Css+Javascript日志可视化方案。
3.根据权利要求2所述的一种基于人工智能的大数据平台的单指标预测和预警方法，其特征在于：对于日志的异常检测分为实时日志数据流构建、实时日志模式提取和基于网元日志的异常检测，所述实时日志模式提取是根据异常检测算法的输入要求形成结构化的数据输入，在分析端使用分布式处理技术完成实时日志模式提取，并根据全局异常检测算法和综合时序模型的具体输入生成聚合、转换后的结构化输入，所述基于网元日志的异常检测通过综合时序分析模型根据用户配置的日志模式抽取各个时间单元内的日志模式数据并形成时间序列进行综合时序分析和异常检出。
4.根据权利要求3所述的一种基于人工智能的大数据平台的单指标预测和预警方法，其特征在于：所述实时日志数据流构建包括日志采集、实时分析、结果存储和前端呈现，所述日缓存与志采集对于生产环境中实时产生的网元日志，使用Flume实时日志采集技术进行日志数据的收集；所述实时分析经过Flume的采集和发送形成的待处理的消息缓存于Kafka中供Storm消费，Storm计算集群是实时日志分析的核心，基于该结构设计的流处理模式异常检测算法能够对高并发环境下的设备日志进行实时分析并形成数据挖掘结果；所述结果存储持久化于Redis数据库中便于可视化模式调用；所述前端呈现通过对Redis的读取操作，前端模块可以获取Storm集群分析产生的结果数据，并将数据进行动态渲染最终形成各种形式的呈现方案。
5.根据权利要求1所述的一种基于人工智能的大数据平台的单指标预测和预警方法，其特征在于：所述混搭模型数据中心包括RDB平台和大数据平台，所述RDB平台负责承载交叉计算和标准数据能力，且RDB平台包括汇总层、信息层和展现层，所述汇总层实现对数据交叉计算处理，所述信息层提供标准的数据服务，所述展现层提供展现数据，所述大数据平台负责承载流量新增业务存储和数据汇总计算，且大数据平台包括接口层、基础层和汇总层，所述接口层实现全部数据采集和清理，所述基础层实现数据的存储，所述汇总层实现对数据汇总处理。
6.根据权利要求1所述的一种基于人工智能的大数据平台的单指标预测和预警方法，其特征在于：所述数据存储在数据存储层选用关系型数据库、分布式文件系统和内存级数据库实现信息存储，通过Hive和Impala分布式查询中间件快速查询海量数据，并根据业务逻辑对数据进行切片、钻取和聚合从而形成中间数据，进一步分析异常检测算法，根据运维经验录入已知的业务规则和故障日志模式，拓展异常监测的覆盖范围。
7.根据权利要求1所述的一种基于人工智能的大数据平台的单指标预测和预警方法，其特征在于：所述数据处理采用Hadoop、Spark、Hive和Pig处理工具，再采用R语言、SparkMLIB对处理结果进行数据挖掘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811618372.5A CN109684422A (zh) | 2018-12-28 | 2018-12-28 | 一种基于人工智能的大数据平台的单指标预测和预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811618372.5A CN109684422A (zh) | 2018-12-28 | 2018-12-28 | 一种基于人工智能的大数据平台的单指标预测和预警方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109684422A true CN109684422A (zh) | 2019-04-26 |
Family
ID=66190825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811618372.5A Pending CN109684422A (zh) | 2018-12-28 | 2018-12-28 | 一种基于人工智能的大数据平台的单指标预测和预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109684422A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110297869A (zh) * | 2019-05-30 | 2019-10-01 | 北京百度网讯科技有限公司 | 一种ai数据仓库平台及操作方法 |
| CN110350993A (zh) * | 2019-08-19 | 2019-10-18 | 浙江原初数据科技有限公司 | 一种大数据场景下基于联网监测的黑广播自动发现方法 |
| CN110413431A (zh) * | 2019-08-05 | 2019-11-05 | 吉林吉大通信设计院股份有限公司 | 一种针对于大数据平台故障的智能识别预警装置及方法 |
| CN110943882A (zh) * | 2019-11-12 | 2020-03-31 | 浙江原初数据科技有限公司 | 一种基于联网监测的黑广播实时识别系统及其识别方法 |
| CN111241154A (zh) * | 2020-01-02 | 2020-06-05 | 浙江吉利新能源商用车集团有限公司 | 一种基于大数据的蓄电池故障预警方法及系统 |
| CN111666191A (zh) * | 2020-06-09 | 2020-09-15 | 贝壳技术有限公司 | 数据质量监控方法、装置、电子设备及存储介质 |
| CN111723145A (zh) * | 2020-07-06 | 2020-09-29 | 四川奥达测控装置有限公司 | 一种基于北斗的大数据应用信息云平台 |
| CN111767192A (zh) * | 2020-06-30 | 2020-10-13 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的业务数据检测方法、装置、设备和介质 |
| CN112380221A (zh) * | 2020-11-20 | 2021-02-19 | 上海新炬网络信息技术股份有限公司 | 一种hadoop采集系统的运行方法 |
| CN112485396A (zh) * | 2020-11-12 | 2021-03-12 | 电子科技大学中山学院 | 一种基于大数据的水产养殖水质监测系统 |
| CN113128837A (zh) * | 2021-03-22 | 2021-07-16 | 中铁电气化勘测设计研究院有限公司 | 一种轨道交通供电系统的大数据分析系统 |
| CN115190519A (zh) * | 2022-07-08 | 2022-10-14 | 唐尚禹 | 面向工业应用智能双发选收的工业应用通信方法及系统 |
-
2018
- 2018-12-28 CN CN201811618372.5A patent/CN109684422A/zh active Pending
Non-Patent Citations (4)
| Title |
|---|
| 刘巍等: "基于智能牵引供电系统大数据平台的供电设备寿命预测研究", 《铁道机车车辆》 * |
| 张轶: "RDB平台和大数据平台混搭式的数据中心设计", 《计算机技术与发展》 * |
| 李洋等: "基于Hadoop与Storm的日志实时处理系统研究", 《西南师范大学学报(自然科学版) 》 * |
| 章铎: "《基于大数据挖掘的故障预警研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110297869A (zh) * | 2019-05-30 | 2019-10-01 | 北京百度网讯科技有限公司 | 一种ai数据仓库平台及操作方法 |
| CN110413431A (zh) * | 2019-08-05 | 2019-11-05 | 吉林吉大通信设计院股份有限公司 | 一种针对于大数据平台故障的智能识别预警装置及方法 |
| CN110350993B (zh) * | 2019-08-19 | 2021-07-09 | 浙江原初数据科技有限公司 | 一种大数据场景下基于联网监测的黑广播自动发现方法 |
| CN110350993A (zh) * | 2019-08-19 | 2019-10-18 | 浙江原初数据科技有限公司 | 一种大数据场景下基于联网监测的黑广播自动发现方法 |
| CN110943882A (zh) * | 2019-11-12 | 2020-03-31 | 浙江原初数据科技有限公司 | 一种基于联网监测的黑广播实时识别系统及其识别方法 |
| CN110943882B (zh) * | 2019-11-12 | 2022-03-01 | 浙江原初数据科技有限公司 | 一种基于联网监测的黑广播实时识别系统及其识别方法 |
| CN111241154A (zh) * | 2020-01-02 | 2020-06-05 | 浙江吉利新能源商用车集团有限公司 | 一种基于大数据的蓄电池故障预警方法及系统 |
| CN111241154B (zh) * | 2020-01-02 | 2024-04-12 | 浙江吉利远程新能源商用车集团有限公司 | 一种基于大数据的蓄电池故障预警方法及系统 |
| CN111666191A (zh) * | 2020-06-09 | 2020-09-15 | 贝壳技术有限公司 | 数据质量监控方法、装置、电子设备及存储介质 |
| CN111666191B (zh) * | 2020-06-09 | 2023-09-29 | 贝壳技术有限公司 | 数据质量监控方法、装置、电子设备及存储介质 |
| CN111767192A (zh) * | 2020-06-30 | 2020-10-13 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的业务数据检测方法、装置、设备和介质 |
| CN111767192B (zh) * | 2020-06-30 | 2022-10-14 | 深圳赛安特技术服务有限公司 | 基于人工智能的业务数据检测方法、装置、设备和介质 |
| CN111723145A (zh) * | 2020-07-06 | 2020-09-29 | 四川奥达测控装置有限公司 | 一种基于北斗的大数据应用信息云平台 |
| CN112485396A (zh) * | 2020-11-12 | 2021-03-12 | 电子科技大学中山学院 | 一种基于大数据的水产养殖水质监测系统 |
| CN112380221A (zh) * | 2020-11-20 | 2021-02-19 | 上海新炬网络信息技术股份有限公司 | 一种hadoop采集系统的运行方法 |
| CN113128837A (zh) * | 2021-03-22 | 2021-07-16 | 中铁电气化勘测设计研究院有限公司 | 一种轨道交通供电系统的大数据分析系统 |
| CN115190519A (zh) * | 2022-07-08 | 2022-10-14 | 唐尚禹 | 面向工业应用智能双发选收的工业应用通信方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684422A (zh) | 一种基于人工智能的大数据平台的单指标预测和预警方法 | |
| CN107256219B (zh) | 应用于自动列车控制系统海量日志的大数据融合分析方法 | |
| CN104156296B (zh) | 智能监控大规模数据中心集群计算节点的系统和方法 | |
| US20160358106A1 (en) | Electrical transformer failure prediction | |
| CN107577588A (zh) | 一种海量日志数据智能运维系统 | |
| CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
| CN112130999B (zh) | 一种基于边缘计算的电力异构数据处理方法 | |
| CN105069690A (zh) | 一种电网运行数据处理方法 | |
| CN109710731A (zh) | 一种基于Flink的数据流多向处理系统 | |
| CN108964269A (zh) | 配电网运维与综合管理系统 | |
| CN107918830A (zh) | 一种基于大数据技术的配电网运行状态评估系统及方法 | |
| CN109753385A (zh) | 一种面向流计算系统异常监控的恢复方法及系统 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN107357804A (zh) | 互联网金融海量日志的分析系统及方法 | |
| CN109446230A (zh) | 一种光伏发电影响因素的大数据分析系统及方法 | |
| CN111737325A (zh) | 一种基于大数据技术的电力数据分析方法和装置 | |
| CN114969161A (zh) | 数据处理方法和装置、数据中台系统 | |
| CN106649765A (zh) | 基于大数据技术的智能电网全景数据分析方法 | |
| CN112116790B (zh) | 一种基于流式框架的cors预警监控系统 | |
| CN108628897A (zh) | 基于快数据和大数据技术架构的运维管理方法 | |
| CN107862459B (zh) | 一种基于大数据的计量设备状态评估方法及系统 | |
| CN113962806A (zh) | 金融产品的回测方法及其回测装置、电子设备 | |
| CN106649034B (zh) | 一种可视化智能运维方法及平台 | |
| CN103368790B (zh) | 一种针对电子交易系统的性能延迟监测方法及其系统 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |
|
| RJ01 | Rejection of invention patent application after publication |