CN117688464B - 一种基于多源传感器数据的隐患分析方法及系统 - Google Patents

一种基于多源传感器数据的隐患分析方法及系统 Download PDF

Info

Publication number
CN117688464B
CN117688464B CN202410154707.1A CN202410154707A CN117688464B CN 117688464 B CN117688464 B CN 117688464B CN 202410154707 A CN202410154707 A CN 202410154707A CN 117688464 B CN117688464 B CN 117688464B
Authority
CN
China
Prior art keywords
data
hidden danger
sensor
time
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410154707.1A
Other languages
English (en)
Other versions
CN117688464A (zh
Inventor
何冰
王浩洋
王媚
陆峰
王欣庭
刘龙飞
张伟
范羿鸣
李泽池
黄泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shanghai Electric Power Co Ltd
Original Assignee
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Shanghai Electric Power Co Ltd filed Critical State Grid Shanghai Electric Power Co Ltd
Priority to CN202410154707.1A priority Critical patent/CN117688464B/zh
Publication of CN117688464A publication Critical patent/CN117688464A/zh
Application granted granted Critical
Publication of CN117688464B publication Critical patent/CN117688464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明公开了一种基于多源传感器数据的隐患分析方法及系统，所述方法包括：根据传感器的数据开放情况，对物联网多源传感器进行数据采集；对采集的数据进行指数归一化预处理，得到预处理数据，进而合成二级深度信息指标实时数据，并采用动态ARIMA模型得到所述指标实时数据的趋势数据；构建隐患判断基础库，并分进程对合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析。本发明的多源传感器数据处理和分析方式，能够更好地应对复杂多变的情况，提高风险检测的准确性和全面性。

Description

一种基于多源传感器数据的隐患分析方法及系统
技术领域
本发明属于数据处理技术领域，涉及一种基于多源传感器数据的隐患分析方法及系统。
背景技术
目前电力相关的物联网传感器平台已在逐步规范建设中，各类传感器也在持续进行部署，随着物联网建设逐步规模化、常态化，实际运维管控过程中存在以下问题：1) 物联网传感器生成的数据量巨大，需要有效的数据管理和处理策略，如数据存储、传输、清洗、分析等；2)不同类型、不同厂商的传感器可能使用不同的数据格式和通信协议，这使得数据集成和标准化变得复杂，确保数据互通和使用是艰巨的任务；3)大规模部署物联网传感器需要监控、维护和管理。更换电池、升级软件等都需要额外的人力和资源投入，甚至还有可能因为物联网技术升级，某些传感器和技术需要迭代更新，在此过程中如果发生故障，可能会影响稳定性，造成数据缺失，不便于数据的使用；4)物联网传感器生成了大量数据，但如果无法从中快速提取有价值的信息，那么这些数据可能只是浪费。
传统使用物联网数据的方式大多为：通过物联网传感器实时监测设备、系统或环境的状态，并使用标准协议汇聚，最终接入大屏进行实时监控与反馈，采用监控人员人工监控或者通过一些程序进行阈值判断来进行告警和风险提示。此类发现风险和隐患的机制依赖于事前预设的阈值和监控人员的经验，但无法保证也无法涵盖所有潜在的风险情况。例如在温度传感器上设定了一些标准的阈值，如温度超过某个值就会触发警报。然而，这个阈值是基于过去的经验设定的，在夏天或者用电量激增的情况下，某些传感器温度升高可能是正常现象，但由于传统阈值的设定，系统误将这种情况视为异常并发出警报。或者某个关键设备实际上正在经历一种新的故障模式，该模式并未在过去的数据中出现过。由于传统方法只关注已知和确定的阈值，会错失了识别这种新型故障的机会，从而导致了生产中断和损失。另外，目前巡检中发现风险和隐患的时间性要求多为及时发现即可，缺少趋势预测；由于物联网传感器的数据量大，可能部分传感器数据还未实时回传，或者因为传感器损坏，在缺失某些数据的情况下无法做出预判，难以判断是否有风险和隐患正在形成并进行告警。
发明内容
为解决现有技术中存在的不足，本发明提供一种基于多源传感器数据的隐患分析方法及系统，能够更好地应对复杂多变的情况，提高风险检测的准确性和全面性。
本发明采用如下的技术方案。
一种基于多源传感器数据的隐患分析方法，包括以下步骤：
步骤1：根据传感器的数据开放情况，对物联网多源传感器进行数据采集；
步骤2：对步骤1采集的数据进行指数归一化预处理，得到预处理数据，进而合成二级深度信息指标实时数据，并采用动态ARIMA模型得到所述指标实时数据的趋势数据；
步骤3：构建隐患判断基础库，并分进程对步骤2合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析。
优选地，步骤1中，当物联网传感器开放接口或支撑通讯协议时，采用接口或通讯协议进行数据采集；当物联网传感器只能使用原有平台进行连接和运维时，采用爬虫程序获取传感器数据；当物联网传感器平台只有图像显示时，采用架设摄像头的方式进行图像识别，以实现数据采集。
优选地，步骤1采集的数据包括传感器类型、电压等级、线路名称、杆塔号、采集时间、位置、横向倾斜角、纵向倾斜角、温度、湿度、风速、风向、气压、雨强、雨量。
优选地，步骤2中，所述指数归一化的公式为： Xnorm= X2-Xmin2 / Xmax2-Xmin2，其中Xnorm为指数归一化后的数据，Xmax、Xmin为原始数据点X的最大、最小值。
优选地，步骤2中，对步骤1采集的数据还进行清洗、缓存内置标准化以及独热编码预处理。
优选地，步骤2中合成的二级深度信息指标实时数据包括：
风速和风向的极性r =，其中，u 表示风速在东西方向上的分量，v 表示风速在南北方向上的分量；
相对湿度RH= （实际水汽含量 / 饱和水汽含量） × 100% ，其中，实际水汽含量是空气中实际存在的水汽量，饱和水汽含量是在给定温度下，空气可以容纳的最大水汽量；
气压的变化率= (P2 - P1) / Δt，其中，P1为初始时间点的气压值，P2 为结束时间点的气压值，Δt 是初始与结束时间点之间的时间间隔；
降水总量= 雨强 × 时间，其中，雨强表示单位时间内单位面积上的降水量，时间表示观测或累积的时间段；
温湿指数WBGT=0.7Tw+0.2Tg+0.1Td，其中，Tw表示潮湿球温度，Tg 表示黑球温度，Td表示自然湿度温度；
季节性特征量：为采集时间所在的年份、月份、季节对应的采集数据；
地理位置相关特征量：为位置信息所在的城市、地区对应的采集数据；
综合倾斜角=，其中θx、θy分别为横向倾斜角和纵向倾斜角。
优选地，步骤3中，隐患判断基础库的构建方式为：
采用聚类算法对历史上每次隐患时通过步骤1-2处理并记录的传感器数据进行聚类，并对每一聚类簇中的数据所对应的实际隐患进行统计和排序，完成隐患判断基础库构建。
优选地，步骤3中，分进程对步骤2合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析，具体包括：
第一进程针对步骤2合成的二级深度信息指标实时数据，计算其与隐患判断基础库中各聚类簇簇心的相似度，选择相似度值最小的聚类簇，该聚类簇的对应的隐患排序即为该二级深度信息指标实时数据的隐患排序；计算实时数据相应的趋势数据与隐患判断基础库中各聚类簇簇心的相似度，得到对应的隐患排序；根据隐患排序结果进行告警，其中采用加权欧氏距离衡量所述相似度；
第二进程对于单个传感器的预处理数据，将每项数值都进行一次对应阈值判断，若存在数值超出对应阈值，则判断对应传感器为异常传感器；同时，对于单个传感器的预处理数据，将每项数值连续化并对当前数据点求斜率，若存在斜率不满足预设条件，则判断对应传感器为异常传感器。
优选地，步骤3还包括：对所述相似度数据进行记录和拟合，根据拟合方程预测潜在的隐患。
优选地，第二进程判断出异常传感器时，进行传感器异常告警，同时从隐患判断基础库中滤除该异常传感器的数据，此时第一进程对滤除异常传感器数据的实时数据及其趋势数据进行隐患分析。
一种基于多源传感器数据的隐患分析系统，包括：
数据采集模块，用于根据传感器的数据开放情况，对物联网多源传感器进行数据采集；
数据处理模块，用于对采集的数据进行指数归一化预处理，得到预处理数据，进而合成二级深度信息指标实时数据，并采用动态ARIMA模型得到所述指标实时数据的趋势数据；
数据分析模块，用于构建隐患判断基础库，并分进程对合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析。
一种终端，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行所述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法的步骤。
本发明的有益效果在于，与现有技术相比：
1.本发明根据传感器的数据开放情况，对物联网多源传感器进行数据采集，并进行数据清洗、指数归一化，缓存内置标准化等处理，以便于将所有数据汇聚转化为多维度向量进行分析。其中本发明提出的指数归一化方法可以放大每个传感器的数据变动范围，增加传感器数据的敏感度，缓存内置标准化将标准化信息缓存在缓存中，可以大幅提高数据处理速度，特别是在大规模数据集和实时数据流的情况下，极大的提高了判断隐患的速度。
2. 本发明将预处理的传感器数据作为一级基础信息，对其进行二级深度特征信息分析，构建得到二级深度信息指标实时数据，更符合传感器状态特征，根据季节性特征或者地理位置相关特征，对指标进行了筛选和优化，避免了单一一级基础信息阈值的误报。
3.本发明的使用的动态ARIMA模型可以在短时间（几个小时内）进行趋势预测，并且由于每个传感器分别进行趋势预测，故此整体趋势相对可靠。本发明动态ARIMA模型允许在较短的时间内（几个小时内）对数据进行趋势预测，并且具有较好的可解释性，可以帮助用户理解趋势预测的基础和原因，从而对实时决策和应用非常有用，并且可以针对每个传感器进行独立趋势预测，可提高了整体趋势预测的可靠性。
4.本发明采用全量历史隐患数据建立隐患判断基础库，有效使用历史隐患和风险记录，使用隐患判断基础库和即时传感器数据以及传感器的趋势数据进行比对，充分利用了历史隐患库里的全特征记录，并可在运行过程中对隐患判断基础库进行更新迭代。本发明通过将不同来源的数据综合使用，可以更全面地理解系统的状态，包括历史情况和即时情况。并且基础库的自动化更新和迭代允许系统持续学习和适应，而无需手动干预，通过实时数据的比对，基础库可以不断完善和调整，可以为决策支持提供更全面的信息。这有助于提前预警潜在隐患和降低风险。
5.本发明通过阈值和数据连续化之后求导的斜率来判断可疑传感器，然后筛选掉可疑传感器产生的数据，同时也过滤掉全数据基础特征库中和可疑传感器一样维度的维度数据，再进行比较，可有效防止隐患和风险误报，并在传感器失灵的情况下保证隐患和风险的识别。
6.本发明采用双进程分析，其中第一进程处理指标实时数据，计算相似度，从而得到隐患排序，与此同时，第二进程实时处理单个传感器数据，通过阈值判断和斜率计算，及时检测异常传感器,发现单个传感器异常并滤除后，仍可对相关数据进行分析获得趋势数据，有助于在实时的野外和复杂环境中及时作出决策和提供警告，并且如其中一个进程或者某种类型的传感器遇到问题或失败，另一个进程仍然可以继续工作,这提高了系统的容错性，确保即使某一部分出现问题，整体系统仍能够正常运行。
7. 本发明通过加权欧氏距离衡量实时数据相应的趋势数据与隐患判断基础库中各聚类簇簇心的量相似度并对其进行排序得到对应的隐患排序，根据隐患排序结果进行告警，还根据加权欧式距离进行拟合，通过轨迹方程和时间预测潜在的隐患。不同于传统欧式距离只能判断实时数据，本发明通过欧式距离的轨迹拟合方程捕捉实时数据与隐患分类聚类中心之间的更复杂的趋势，而不仅仅是简单的欧式距离计算，其允许系统更灵活地适应实际变化并能提供时间预测，针对重大隐患分类还可以进行单传感器的单独计算。其创造性在于：
综合多特征信息：加权欧氏距离允许对每个特征维度应用不同的权重。考虑了多个特征的权重，综合多特征信息，使得相似度计算更全面，能够综合多方面的信息，而不仅仅是简单地考虑距离，有助于更好地反映数据之间的相似性关系；
隐患排序带来的个性化的监管： 隐患排序允许个性化的传感器监管，不同系统，季节，环境具有不同的特征和隐患分类，隐患排序的方法能够根据具体环境的特点进行个性化的设计和应用；
优先处理高风险隐患： 隐患排序可以帮助识别和优先处理高风险的区域或数据点，通过对潜在隐患进行排序，可以确保对可能性较高的问题区域进行更及时和有效的干预，从而降低潜在风险；
拟合方程可以通过调整参数来优化性能，可更好地适应不同的数据模式和实时变化，提高隐患判断的准确性；
权重个性化定制： 通过调整权重向量，可以根据具体问题和需求对相似性的度量进行个性化定制，这意味着在不同的应用场景下，可以更好地适应不同的特征权重需求；因为电力行业作为国家基础行业，影响民生，社会安全，国家战略和经济发展和国家安全，故此定制化以及优先处理高风险是必要的。
附图说明
图1是一种基于多源传感器数据的隐患分析方法流程框图；
图2是一种基于多源传感器数据的隐患分析方法原理及系统架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。
如图1-2所示，本发明实施例1提供一种基于多源传感器数据的隐患分析方法，对多源传感器数据进行汇聚并对数据清洗等处理，采用机器学习算法建模分析，最终预测风险和隐患，并及时预警提醒，在本发明优选但非限制性的实施方式中，所述方法包括以下步骤：
步骤1：根据传感器的数据开放情况，对物联网多源传感器进行数据采集；
进一步优选地，数据采集模块可以从多种来源获取数据，包括直接获取传感器数据、传感器平台的接口API、数据库、日志文件、爬虫或数据抓取、摄像头识别等。采集完成后形成原始数据库保存。
具体的，当物联网传感器为通用传感器，可开放接口时，可采用传感器直接和采集模块连接。支撑各种协议时，如MQTT（Message Queuing Telemetry Transport）、CoAP（Constrained Application Protocol）或HTTP（Hypertext Transfer Protocol）等，可通过网络将传感器数据传输到采集模块。
当物联网传感器只能使用原有平台连接和运维，难以和采集模块进行接口对接时，本模块使用Python语言自定义的爬虫程序获取数据，通常设置为定期获取传感器数据，通过定时任务或调度程序，以确保数据的及时更新。
当物联网传感器平台防止爬虫或者物联网传感器没有自有数据平台，无法接口对接，只有图像显示时，可采用架设摄像头进行图像识别来采集数据。
在本实施例中，目前传感器接口运行良好，对接了倾斜，温度和微气象传感器，分别获得三种数据：
1）传感器类型,电压等级,线路名称,杆塔号,采集时间,位置,横向倾斜角,纵向倾斜角;
2）传感器类型,电压等级,线路名称,杆塔号,采集时间，温度，湿度;
3）传感器类型,电压等级,线路名称,杆塔号,采集时间，风速,风向,气温,湿度,气压,雨强,雨量。
步骤2：对步骤1采集的数据进行指数归一化预处理，得到预处理数据，进而合成二级深度信息指标实时数据，并采用差分整合移动平均自回归模型（AutoregressiveIntegrated Moving Average model，ARIMA）得到所述指标实时数据的趋势数据；
进一步优选地，对步骤1采集的数据还进行清洗、缓存内置标准化、独热编码预处理；
（1）数据处理模块先进行数据预处理，包括：通过对原始数据的仔细清洗，有效解决数据质量问题，如错误数据、缺失值和重复项等。其中包括但不限于剔除不合规的数据，填充缺失数值，以及智能地合并和处理重复出现的数据点，以确保最终的数据集具备高质量和一致性。接下来进行数据转换。即将数据格式进行转换，使其适合用于后续的分析工作。其中包括对数据进行归一化，确保不同特征具有相同的尺度，以避免某些特征对模型产生过大影响。同时，也会进行标准化操作，以使数据分布符合标准，满足后续机器学习算法的要求。此外，对于分类数据，通常需要进行独热编码，将其转换为二进制格式，以便机器学习模型能够理解和处理。进一步优选地，采用指数归一化以放大每个传感器的数据变动范围，增加传感器数据的敏感度，采用缓存内置标准化将标准化信息缓存在缓存中，以大幅提高数据处理速度，特别是在大规模数据集和实时数据流的情况下，提高判断隐患的速度。
1）数据处理模块先通过对原始数据的清洗，解决数据中包含错误、缺失值、重复项等问题。包括去除错误数据、填充缺失值、合并重复项等操作，以确保数据的质量和一致性。清洗之后，进行数据转换，对数据进行格式转换、指数归一化、缓存内置标准化、独热编码等处理，再通过特征工程工作，以使数据适用于分析或建模。
2）指数归一化，这个方法主要针对变化较小的数据，可更好的体现数据变化的幅度，公式为Xnorm= X2-Xmin2 / Xmax2-Xmin2，其中Xnorm为指数归一化后的数据，Xmax、Xmin为原始数据点X的最大、最小值。
3）缓存内置标准化是本发明数据预处理中的一项重要步骤，有助于快速消除不同特征之间的量纲差异，使得数据更适合于某些分析或建模方法，同时可以帮助识别异常值。所述缓存内置标准化的公式为： Z= (X-μ)/σ，其中μ 是前一日原始数据均值的缓存值，σ是前一日原始数据的标准差缓存值，Z为标准化后的数据；即缓存内置标准化使用的也是标准化的公式： Z= (X-μ)/σ，其中μ 是均值，σ 是标准差，Z为标准化后的数据，但标准化公式计算其中标准差和均值都比较耗费资源故此把这两个值的计算单独放在每天晚上12点进行计算，把结果放在缓存数据中，最终实时使用的是前一天的计算结果数据。
4）独热编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都对应独立的寄存器位，并且在任意时候只有一位有效。
（2）数据经过以上处理之后，通过人工分析进行二级深度信息的组合，形成一级基础信息和二级深度信息的特征，即二级深度信息指标实时数据；
本实施例中，对于上文采集的三种传感器数据，经过清洗和转换，可以合成如下二级深度信息和指标：
1）风速和风向的极性表示：其由风速和风向组合成，合成公式为：r =，其中：r 表示合成风速，即风速和风向的极性表示，即极坐标中的极径，u 表示风速在东西方向上的分量，v 表示风速在南北方向上的分量；
2）温度和湿度的相对湿度：其由温度和湿度合成，合成公式为：相对湿度RH= （实际水汽含量 / 饱和水汽含量） × 100% ，其中：RH 表示相对湿度，以百分比表示，实际水汽含量是空气中实际存在的水汽量，饱和水汽含量是在给定温度下，空气可以容纳的最大水汽量。饱和水汽含量随温度而变化;
3）气压的变化率：其由不同时间点的气压值合成，合成公式为：气压变化率 = (P2- P1) / Δt，其中：气压变化率表示单位时间内的气压变化。P1为初始时间点的气压值。P2为结束时间点的气压值，Δt 是初始与结束两个时间点之间的时间间隔（通常以小时或分钟为单位）;
4）通过雨强合成降水总量：其合成公式为：降水总量 = 雨强 × 时间，其中：降水总量表示在一定时间内的累积降水量，通常以毫米为单位。雨强表示单位时间内单位面积上的降水量，通常以毫米/小时为单位。时间表示观测或累积的时间段，通常以小时为单位;
5）温湿指数：其由气温和湿度合成，合成公式为：WBGT=0.7Tw+0.2Tg+0.1Td 其中：Tw 代表潮湿球温度，Tg 代表黑球温度，Td 代表自然湿度温度；
6）季节性特征量：为采集时间所在的年份、月份、季节对应的采集数据，例如采集时间为7月时，其对应的季节性特征量的指标实时数据是夏季指标：夏季气温、降雨量等；如是冬季指标，则是降雪量和日照时数等；
7）地理位置相关特征量：为位置信息所在的城市、地区对应的采集数据，例如位置信息为上海某区时，其对应的地理位置相关特征量的指标实时数据是上海某区的气温、湿度、风速、空气质量指数、降雨量等；
8）综合倾斜角：其由横向倾斜角和纵向倾斜角组合成，合成公式为：倾斜角度的综合特征可以通过欧拉角组合而成，综合倾斜角=，其中θx、θy分别为横向倾斜角和纵向倾斜角。
具体实施时，还可根据实际需求扩展二级深度信息指标。
（3）对二级深度信息指标实时数据采用动态ARIMA模型计算趋势数据，并予以保存。
进一步优选地，通过动态ARIMA模型求出二级深度信息指标实时数据半个小时、一个小时、三个小时、五个小时、八个小时的时间点数据，作为趋势数据进行保存。
如上述3）计算得到了气压的变化率，即将气压差值除以时间间隔，以得到气压的变化率。可以根据变化率，采用ARIMA来捕捉时间序列数据中的趋势。在动态ARIMA模型中，根据变化率进行上述所有数据半个小时、一个小时、三个小时、五个小时、8个小时的时间点数据的预测，作为趋势数据进行保存。动态ARIMA模型的具体参数和窗口长度可以根据数据特性进行调整。
其中ARIMA模型的表达式如下：
，
其中，Y t 表示时间步t的二级深度信息指标实时数据的趋势数据，Y t-1、Y t-2、Y t-p 表示时间步t-1、t-2、t-p的二级深度信息指标实时数据的趋势数据； c为常数项， 、 、/>、/>表示时间步t、t-1、t-2、t-q的白噪声误差，/>，/>，/>表示模型1、2、p阶的自回归系数，θ 1 ，θ 2 ，θ q 表示模型1、2、q阶的滑动平均系数，p和q表示相应的阶数。
在多源传感器数据采集实践中，p表示在过去的时间步中保持的自回归性质。较大的 p值表示传感器数据在时间上具有较长的相关性；q表示多源传感器数据中的随机波动，即预测误差的滑动平均项。较大的q值可能表示多源传感器数据的波动性较强。
使用滚动预测，即在每个时间步都重新估计模型参数，以适应数据的动态变化。同时考虑引入与传感器相关的外部变量，例如电力负荷指标，天气指标、日期、特殊事件等。这样可以使模型更具灵活性，更好地适应不同的外部影响。
以上述7）中的地理位置相关特征量中的温度指标为例，使用动态ARIMA模型进行预测。给定数据Y 0 =20℃, Y 1 =22℃, Y 2 =24℃, 并且设置p=2和q=2,考虑过去两个时间步的自回归和滑动平均项，动态ARIMA模型的形式将是：（1）
Y t 表示时间步t的二级深度信息指标实时数据的趋势数据，在每个时间步都重新估计模型参数c t , ,/> ,θ 1t ,θ 2t ，使用已经训练好的模型对未来的温度数据进行预测。由于负荷的动态变化，自回归系数/> ,/>用于捕捉观测值的趋势和周期性变化，例如在某一时间段内传感器测量值的增长或下降趋势；θ 1t ,θ 2t 当前观测值受到过去预测误差的影响程度，θ it (i=1,2)用于考虑传感器测量误差或随机变动。
实际应用中，选择合适的参数需要进行模型诊断、检验残差等步骤,使用统计软件或编程语言（如Python中的statsmodels库）来实现。与传统的动态ARIMA模型相比，动态ARIMA模型更加适应不同的数据模式。其他湿度、风速、空气质量指数、降雨量等数据也可以采用类似的动态ARIMA模型来处理，以获得更准确的半个小时后的预测数据。
步骤3：构建隐患判断基础库，并分进程对步骤2合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析。
进一步优选地，隐患判断基础库的构建方式为：
采用聚类算法对历史上每次隐患时通过步骤1-2处理并记录的传感器数据进行聚类，并对每一聚类簇中的数据所对应的实际隐患进行统计和排序，完成隐患判断基础库构建。
数据分析模块先使用历史隐患数据库（注：历史上每次人工确认的隐患发生时，相关数据都已经在前2个模块通过步骤1-2处理后予以保存）让智能程序进行有监督学习。例如使用机器学习中的k-means聚类算法对历史上每次隐患时通过步骤1-2处理并记录的数据进行聚类，得到K=3个簇，对每个形成的簇，根据历史隐患记录计算该类隐患的排序：如针对簇1，历史记录显示A类隐患发生数量较多，B类隐患次之，C类隐患最少，则排序为(A, B,C)，对簇2和簇3同样进行排序得到其的历史隐患排序，形成隐患判断基础库。
具体实施时，在监督学习之前，需要先根据目前传感器以及业务当前隐患分类进行K值确定，其中电力行业通用为10个分类333个安全隐患，但可以根据当前情况（如近期某种安全隐患频发，某种隐患造成影响大等因素）结合人工综合判断确定，再根据k-means聚类算法采用历史隐患记录对K个类别进行分别筛选，判断历史隐患记录中每个隐患的归属，对每个簇心的特征向量和历史记录的隐患数据进行比对，判定簇心和此分类的隐患排序，若此类数据中A类隐患发生数量>B类隐患发生数量> C类隐患发生数量,则排序为(A,B,C)，最终根据K个簇心，K个分类以及K个分类中的隐患排序形成基础特征库。
上述的K-means对数据进行聚类，即将数据点划分成多个簇，使每个簇内的数据点彼此相似，而不同簇之间的数据点差异较大。K-means通过最小化簇内数据点与其所属中心点之间的距离之和，最终获得K个簇心和K个分类。
在平台日常运营时，数据分析模块分为2个不同进程进行分析，即分进程对步骤2合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析，具体包括：
第一进程不间断分析步骤2合成的二级深度信息指标实时数据，计算其与隐患判断基础库中各聚类簇簇心的相似度（可通过加权欧氏距离衡量相似度），比如有三个聚类簇，则将得到三个相似度值，选择相似度值最小的聚类簇，该聚类簇的对应的隐患排序即为该二级深度信息指标实时数据的隐患排序，如排序结果为：(A,B,C)；
同理，计算实时数据相应的趋势数据与隐患判断基础库中各聚类簇簇心的相似度，得到对应的隐患排序，如排序结果为：(A, C,B)；
根据上述的两个隐患排序结果进行告警，告警内容是：当前隐患可能性为：A＞B＞C，未来隐患可能性为：A＞C＞B。
所述加权欧氏距离的计算公式为：
，
其中：D(x, y) 是加权欧氏距离，x 和 y 是待比较的两个数据点；xi 和 yi 分别是数据点 x 和 y 在第 i 个特征上的取值；如实时数据的特征向量为X=(x1,x2,x3......Xn)而隐患判断基础库中某个分类的特征向量为Y=(y1,y2,y3......yn)，xi可指某一种传感器的指标实时数据，yi 表示隐患判断基础库中与该传感器相关的历史数据。这些数据可以包括同一传感器在不同时间点记录的数值或特征;n 是特征的数量；wi 是第 i个特征的权重。
假设实时数据的特征向量为X=(x1,x2,x3)而隐患判断基础库中某个分类的特征向量为Y=(y1,y2,y3)，同时给定了对应维度的权重向量 W=(w1,w2,w3)。则计算加权欧氏距离的步骤如下：
计算每个维度上的加权差值：w1×(x1-y1)，w2×(x2-y2)，w3×(x3-y3)，对这些加权差值进行平方求和：(w1×(x1-y1))2+(w2×(x2-y2))2+(w3×(x3-y3))2。将平方和求平方根，得到加权欧氏距离。这样的计算可以帮助衡量实时数据与历史隐患分类的特征信息之间的相似度或差异度。
进一步优选地，本发明还将传感器计算得出的实时数据的欧氏距离记录下来。这些欧氏距离值反映了不同时间点实时数据与历史隐患分类的特征信息之间的相似度或差异度。为了更全面地理解实时数据的趋势，采用线性拟合方法，通过计算轨迹方程，寻找其中最接近轨迹的点，并获得相应的时间参数。线性拟合能够有效地捕捉数据的趋势，提供对未来变化的预测。通过找到最接近轨迹的点，可以确定在当前时刻数据中具有最大隐患潜在性的特征组合。获得的时间参数将提供关于隐患预测的时间框架，能够更准确地估计未来可能出现的隐患情况。
假设有三个传感器，它们分别测量了某个特征的数值，并且希望使用欧氏距离计算实时数据相对于隐患分类聚类中心的距离，并拟合轨迹方程。
例如假设有三个传感器的实时数据如表1所示：表1
传感器1 传感器2 传感器3 时间
12 8 15 第一个采集数据时间点
10 7 14 第二个采集数据时间点
13 9 16 第三个采集数据时间点
11 6 12 第四个采集数据时间点
现在，假设隐患分类的聚类中心为 (8, 5, 10)，本发明可以使用欧氏距离的计算公式，考虑权重（w1, w2, w3），其中权重反映了每个传感器对于隐患判断的重要性。假设权重为 w1=0.4, w2=0.3, w3=0.3。
计算得到：加权欧氏距离： [4.07430976 2.75680975 5.05964426 2.25831796]；
然后计算二次拟合方程得到：。
在本实施例中，使用了时间作为自变量，即 x 表示时间，这里可以理解为传感器的采集周期。因此，拟合方程描述了实时数据与隐患分类聚类中心之间的关系，其中随着时间的变化，f(x) 表示相对应的加权欧氏距离。通过这个方程，可以预测在未来某个传感器采集的时间点上，实时数据与隐患分类聚类中心之间的加权欧氏距离。通过二次拟合方程进行时间维度的分析实时数据的趋势，并可能用于预测潜在的隐患。通过二次函数求解，可以得到本函数的最小值，最小值即为欧式距离最小，出现在抛物线的顶点处。计算得到本方程的最小值约为 2.967。则经过2.967个时间周期后，隐患出现的可能最高。
除了上述判断，数据分析模块通过另外一个进程再对每一个传感器的单独数值进行阈值和斜率判断：
第二进程首先判断实时传感器中是否存在可疑传感器，其中判断可疑（异常）传感器有如下几种方式：
1） 超过阈值范围，如温度超过60摄氏度或者低于-10摄氏度，倾斜角，湿度等参数高于或者低于设置值，则判断为异常传感器，
2 ）对于离散数据先进行连续化，求导得斜率，斜率超过阈值也判断为可疑传感器。如将温度，湿度，倾斜角等参数进行连续化，再对当前点求得斜率，如果斜率高于或者低于设置值，则判断为异常传感器。
发现异常传感器之后，在实时数据和隐患判断基础库中都过滤异常传感器数据，此时第一进程对滤除异常传感器数据的实时数据及其趋势数据进行隐患分析。
综上所述，本发明对目前市面广泛安装的物联网传感器，各类数据，系统接口和参数进行汇聚，进行智能处理和分析，具体是指汇聚多源传感器产生的一级基础信息，然后经过分类和计算得出各类二级深度信息，同时根据现存异常隐患库的特征进行有监督学习，最终特征比对以及趋势比对，在短时间内预判和识别异常和隐患的发生，及时通知用户进行处理。本发明基于机器学习分析历史数据和实时数据，识别出异常模式的特征，甚至是未知的模式；本发明可注意到异常的数据变化与其他因素之间的关联，从而判断这不是一个真正的需要告警的故障情况，与此同时，采用趋势判断，可发现新型故障模式的迹象，从而提前采取措施防止进一步损失。使用本发明，在以下几个方面可提供更好的帮助：预测性运维： 通过分析物联网传感器收集的数据，可以识别潜在的风险和隐患。基于这些数据，可以制定维护计划，预测隐患，并在隐患发生之前进行维护和处理。数据驱动决策： 物联网数据可以用来支持决策制定。通过对数据的分析，管理层可以基于事实和趋势做出更明智的决策，从而提高相关系统的稳定性。
本发明实施例2提供一种基于多源传感器数据的隐患分析系统，包括：
数据采集模块，用于根据传感器的数据开放情况，对物联网多源传感器进行数据采集；
数据采集模块进行数据采集时可以使用多种方法进行采集，即：可支持通用传感器，提供了开放接口，允许传感器直接连接到数据采集模块；也可以通过多种通信协议（包括MQTT、CoAP和HTTP）或者使用传感器平台协议进行接口对接；还可以通过自主方式进行对接（即使用Python语言自定义的爬虫程序来定期获取传感器数据，或者，当物联网传感器只提供图像显示而没有数据平台无法对接时，可使用架设摄像头进行图像识别来采集数据）。
数据处理模块，用于对采集的数据进行指数归一化预处理，得到预处理数据，进而合成二级深度信息指标实时数据，并采用动态ARIMA模型得到所述指标实时数据的趋势数据；
数据处理模块对数据采集模块采集的数据进行清洗、指数归一化、内置标准化、独热编码后得到预处理数据，合成二级深度信息指标实时数据，并采用动态ARIMA模型得到所述指标实时数据的趋势数据；
数据处理模块进行数据格式转换，以适应后续的分析工作。这包括数据指数归一化、内置标准化、独热编码等操作，以确保数据在使用不同的机器学习算法时能够被正确理解和处理。并且根据传感器数据和人工经验，数据处理模块可以合成多个深度信息和指标，如风速和风向的极性表示、温度和湿度的相对湿度、气压的变化率、雨强和雨量的降水总量等。并且模块通过微分运算计算了一些数据的变化率，例如计算气压变化率。最后本模块用动态ARIMA模型得到趋势数据，如半个小时、一个小时、三个小时、五个小时和八个小时的时间点数据并保存。
数据分析模块，用于构建隐患判断基础库，并分进程对合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析。
数据分析模块的分析流程为：
首先使用K-means聚类算法对历史数据进行分析，形成K个类别。每个簇心的特征向量与历史隐患记录比对，判定簇心的归属类别。形成隐患判断基础库，用于后续隐患判断。然后分进程对合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析。
一种终端，包括处理器及存储介质；所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据所述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法的步骤。
本发明的有益效果在于，与现有技术相比：
1.本发明根据传感器的数据开放情况，对物联网多源传感器进行数据采集，并进行数据清洗、指数归一化，缓存内置标准化等处理，以便于将所有数据汇聚转化为多维度向量进行分析。其中本发明提出的指数归一化方法可以放大每个传感器的数据变动范围，增加传感器数据的敏感度，缓存内置标准化将标准化信息缓存在缓存中，可以大幅提高数据处理速度，特别是在大规模数据集和实时数据流的情况下，极大的提高了判断隐患的速度。
2. 本发明将预处理的传感器数据作为一级基础信息，对其进行二级深度特征信息分析，构建得到二级深度信息指标实时数据，更符合传感器状态特征，根据季节性特征或者地理位置相关特征，对指标进行了筛选和优化，避免了单一一级基础信息阈值的误报。
3.本发明的使用的动态ARIMA模型可以在短时间（几个小时内）进行趋势预测，并且由于每个传感器分别进行趋势预测，故此整体趋势相对可靠。本发明动态ARIMA模型允许在较短的时间内（几个小时内）对数据进行趋势预测，并且具有较好的可解释性，可以帮助用户理解趋势预测的基础和原因，从而对实时决策和应用非常有用，并且可以针对每个传感器进行独立趋势预测，可提高了整体趋势预测的可靠性。
4.本发明采用全量历史隐患数据建立隐患判断基础库，有效使用历史隐患和风险记录，使用隐患判断基础库和即时传感器数据以及传感器的趋势数据进行比对，充分利用了历史隐患库里的全特征记录，并可在运行过程中对隐患判断基础库进行更新迭代。本发明通过将不同来源的数据综合使用，可以更全面地理解系统的状态，包括历史情况和即时情况。并且基础库的自动化更新和迭代允许系统持续学习和适应，而无需手动干预，通过实时数据的比对，基础库可以不断完善和调整，可以为决策支持提供更全面的信息。这有助于提前预警潜在隐患和降低风险。
5.本发明通过阈值和数据连续化之后求导的斜率来判断可疑传感器，然后筛选掉可疑传感器产生的数据，同时也过滤掉全数据基础特征库中和可疑传感器一样维度的维度数据，再进行比较，可有效防止隐患和风险误报，并在传感器失灵的情况下保证隐患和风险的识别。
6.本发明采用双进程分析，其中第一进程处理指标实时数据，计算相似度，从而得到隐患排序，与此同时，第二进程实时处理单个传感器数据，通过阈值判断和斜率计算，及时检测异常传感器,发现单个传感器异常并滤除后，仍可对相关数据进行分析获得趋势数据，有助于在实时的野外和复杂环境中及时作出决策和提供警告，并且如其中一个进程或者某种类型的传感器遇到问题或失败，另一个进程仍然可以继续工作,这提高了系统的容错性，确保即使某一部分出现问题，整体系统仍能够正常运行。
7. 本发明通过加权欧氏距离衡量实时数据相应的趋势数据与隐患判断基础库中各聚类簇簇心的量相似度并对其进行排序得到对应的隐患排序，根据隐患排序结果进行告警，还根据加权欧式距离进行拟合，通过轨迹方程和时间预测潜在的隐患。不同于传统欧式距离只能判断实时数据，本发明通过欧式距离的轨迹拟合方程捕捉实时数据与隐患分类聚类中心之间的更复杂的趋势，而不仅仅是简单的欧式距离计算，其允许系统更灵活地适应实际变化并能提供时间预测，针对重大隐患分类还可以进行单传感器的单独计算。其创造性在于：
综合多特征信息：加权欧氏距离允许对每个特征维度应用不同的权重。考虑了多个特征的权重，综合多特征信息，使得相似度计算更全面，能够综合多方面的信息，而不仅仅是简单地考虑距离，有助于更好地反映数据之间的相似性关系；
隐患排序带来的个性化的监管： 隐患排序允许个性化的传感器监管，不同系统，季节，环境具有不同的特征和隐患分类，隐患排序的方法能够根据具体环境的特点进行个性化的设计和应用；
优先处理高风险隐患： 隐患排序可以帮助识别和优先处理高风险的区域或数据点，通过对潜在隐患进行排序，可以确保对可能性较高的问题区域进行更及时和有效的干预，从而降低潜在风险；
拟合方程可以通过调整参数来优化性能，可更好地适应不同的数据模式和实时变化，提高隐患判断的准确性；
权重个性化定制： 通过调整权重向量，可以根据具体问题和需求对相似性的度量进行个性化定制，这意味着在不同的应用场景下，可以更好地适应不同的特征权重需求；因为电力行业作为国家基础行业，影响民生，社会安全，国家战略和经济发展和国家安全，故此定制化以及优先处理高风险是必要的。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于多源传感器数据的隐患分析方法，其特征在于：
所述方法包括以下步骤：
步骤1：根据传感器的数据开放情况，对物联网多源传感器进行数据采集，采集的数据包括传感器类型、电压等级、线路名称、杆塔号、采集时间、位置、横向倾斜角、纵向倾斜角、温度、湿度、风速、风向、气压、雨强、雨量；
步骤2：对步骤1采集的数据进行指数归一化预处理，得到预处理数据，进而合成二级深度信息指标实时数据，并采用动态ARIMA模型得到所述指标实时数据的趋势数据，其中，合成的二级深度信息指标实时数据包括：
风速和风向的极性，其中，u 表示风速在东西方向上的分量，v 表示风速在南北方向上的分量；
相对湿度RH= （实际水汽含量 / 饱和水汽含量） × 100% ，其中，实际水汽含量是空气中实际存在的水汽量，饱和水汽含量是在给定温度下，空气可以容纳的最大水汽量；
气压的变化率= (P2 - P1) / Δt，其中，P1为初始时间点的气压值，P2 为结束时间点的气压值，Δt 是初始与结束时间点之间的时间间隔；
降水总量= 雨强 × 时间，其中，雨强表示单位时间内单位面积上的降水量，时间表示观测或累积的时间段；
温湿指数WBGT=0.7Tw+0.2Tg+0.1Td，其中，Tw表示潮湿球温度，Tg 表示黑球温度，Td表示自然湿度温度；
季节性特征量：为采集时间所在的年份、月份、季节对应的采集数据；
地理位置相关特征量：为位置信息所在的城市、地区对应的采集数据；
综合倾斜角=，其中θx、θy分别为横向倾斜角和纵向倾斜角；
步骤3：构建隐患判断基础库，并分进程对步骤2合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析，其中分进程对步骤2合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析，具体包括：
第一进程针对步骤2合成的二级深度信息指标实时数据，计算其与隐患判断基础库中各聚类簇簇心的相似度，选择相似度值最小的聚类簇，该聚类簇的对应的隐患排序即为该二级深度信息指标实时数据的隐患排序；计算实时数据相应的趋势数据与隐患判断基础库中各聚类簇簇心的相似度，得到对应的隐患排序；根据隐患排序结果进行告警，其中采用加权欧氏距离衡量所述相似度；
第二进程对于单个传感器的预处理数据，将每项数值都进行一次对应阈值判断，若存在数值超出对应阈值，则判断对应传感器为异常传感器；同时，对于单个传感器的预处理数据，将每项数值连续化并对当前数据点求斜率，若存在斜率不满足预设条件，则判断对应传感器为异常传感器；
第二进程判断出异常传感器时，进行传感器异常告警，同时从隐患判断基础库中滤除该异常传感器的数据，此时第一进程对滤除异常传感器数据的实时数据及其趋势数据进行隐患分析。
2.根据权利要求1所述的一种基于多源传感器数据的隐患分析方法，其特征在于：
步骤1中，当物联网传感器开放接口或支撑通讯协议时，采用接口或通讯协议进行数据采集；当物联网传感器只能使用原有平台进行连接和运维时，采用爬虫程序获取传感器数据；当物联网传感器平台只有图像显示时，采用架设摄像头的方式进行图像识别，以实现数据采集。
3.根据权利要求1所述的一种基于多源传感器数据的隐患分析方法，其特征在于：
步骤2中，所述指数归一化的公式为： Xnorm= X2−Xmin2 / Xmax2−Xmin2，其中Xnorm为指数归一化后的数据，Xmax、Xmin为原始数据点X的最大、最小值。
4.根据权利要求1所述的一种基于多源传感器数据的隐患分析方法，其特征在于：
步骤2中，对步骤1采集的数据还进行清洗、缓存内置标准化以及独热编码预处理。
5.根据权利要求1所述的一种基于多源传感器数据的隐患分析方法，其特征在于：
步骤2中，通过动态ARIMA模型求出二级深度信息指标实时数据半个小时、一个小时、三个小时、五个小时、八个小时的时间点数据，作为趋势数据进行保存。
6.根据权利要求1所述的一种基于多源传感器数据的隐患分析方法，其特征在于：
步骤3中，隐患判断基础库的构建方式为：
采用聚类算法对历史上每次隐患时通过步骤1-2处理并记录的传感器数据进行聚类，并对每一聚类簇中的数据所对应的实际隐患进行统计和排序，完成隐患判断基础库构建。
7.根据权利要求1所述的一种基于多源传感器数据的隐患分析方法，其特征在于：
步骤3还包括：对相似度数据进行记录和拟合，根据拟合方程预测潜在的隐患。
8.一种基于多源传感器数据的隐患分析系统，利用权利要求1-7任一项所述方法，其特征在于：所述系统包括：
数据采集模块，用于根据传感器的数据开放情况，对物联网多源传感器进行数据采集；
数据处理模块，用于对采集的数据进行指数归一化预处理，得到预处理数据，进而合成二级深度信息指标实时数据，并采用动态ARIMA模型得到所述指标实时数据的趋势数据；
数据分析模块，用于构建隐患判断基础库，并分进程对合成的二级深度信息指标实时数据及其趋势数据、单个传感器的预处理数据进行隐患分析。
9.一种终端，包括处理器及存储介质；其特征在于：
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202410154707.1A 2024-02-04 2024-02-04 一种基于多源传感器数据的隐患分析方法及系统 Active CN117688464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410154707.1A CN117688464B (zh) 2024-02-04 2024-02-04 一种基于多源传感器数据的隐患分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410154707.1A CN117688464B (zh) 2024-02-04 2024-02-04 一种基于多源传感器数据的隐患分析方法及系统

Publications (2)

Publication Number Publication Date
CN117688464A CN117688464A (zh) 2024-03-12
CN117688464B true CN117688464B (zh) 2024-04-19

Family

ID=90137508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410154707.1A Active CN117688464B (zh) 2024-02-04 2024-02-04 一种基于多源传感器数据的隐患分析方法及系统

Country Status (1)

Country Link
CN (1) CN117688464B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741526A (zh) * 2005-09-05 2006-03-01 北京启明星辰信息技术有限公司 网络异常流量的检测方法及系统
CN105261240A (zh) * 2015-09-30 2016-01-20 中国民用航空总局第二研究所 一种基于聚类分析的扇区运行性能综合检测方法及系统
CN107895202A (zh) * 2017-10-24 2018-04-10 天津大学 基于多视角风速模式挖掘的短期风速预测方法
CN108074022A (zh) * 2016-11-10 2018-05-25 中国电力科学研究院 一种基于集中运维的硬件资源分析与评估方法
CN109951491A (zh) * 2019-03-28 2019-06-28 腾讯科技（深圳）有限公司 网络攻击检测方法、装置、设备及存储介质
WO2020093637A1 (zh) * 2018-11-09 2020-05-14 平安科技（深圳）有限公司 设备状态预测方法、系统、计算机装置及存储介质
CN111178553A (zh) * 2019-12-16 2020-05-19 北京航天智造科技发展有限公司 一种基于arima和lstm算法的工业设备健康趋势分析方法及系统
CN112131212A (zh) * 2020-09-29 2020-12-25 合肥城市云数据中心股份有限公司 基于集成学习技术面向混合云场景的时序数据异常预测方法
CN115775045A (zh) * 2022-11-29 2023-03-10 南瑞集团有限公司 一种基于历史相似日和实时多维研判的光伏平衡预测方法
CN116633682A (zh) * 2023-07-14 2023-08-22 深圳齐杉科技有限公司 一种基于安全产品风险威胁的智能识别方法及系统
CN116777281A (zh) * 2023-06-26 2023-09-19 国网江苏省电力有限公司电力科学研究院 一种基于arima模型的电力设备质量趋势预测方法及装置
CN117171661A (zh) * 2023-11-03 2023-12-05 山东鸿远新材料科技股份有限公司 一种化工厂污水处理监控方法及系统
CN117436004A (zh) * 2023-12-20 2024-01-23 深圳市鸿明机电有限公司 电机性能实时监测系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12067251B2 (en) * 2022-04-11 2024-08-20 Dell Products, L.P. Data automation and predictive modeling for planning and procuring solid state drive replacements

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741526A (zh) * 2005-09-05 2006-03-01 北京启明星辰信息技术有限公司 网络异常流量的检测方法及系统
CN105261240A (zh) * 2015-09-30 2016-01-20 中国民用航空总局第二研究所 一种基于聚类分析的扇区运行性能综合检测方法及系统
CN108074022A (zh) * 2016-11-10 2018-05-25 中国电力科学研究院 一种基于集中运维的硬件资源分析与评估方法
CN107895202A (zh) * 2017-10-24 2018-04-10 天津大学 基于多视角风速模式挖掘的短期风速预测方法
WO2020093637A1 (zh) * 2018-11-09 2020-05-14 平安科技（深圳）有限公司 设备状态预测方法、系统、计算机装置及存储介质
CN109951491A (zh) * 2019-03-28 2019-06-28 腾讯科技（深圳）有限公司 网络攻击检测方法、装置、设备及存储介质
CN111178553A (zh) * 2019-12-16 2020-05-19 北京航天智造科技发展有限公司 一种基于arima和lstm算法的工业设备健康趋势分析方法及系统
CN112131212A (zh) * 2020-09-29 2020-12-25 合肥城市云数据中心股份有限公司 基于集成学习技术面向混合云场景的时序数据异常预测方法
CN115775045A (zh) * 2022-11-29 2023-03-10 南瑞集团有限公司 一种基于历史相似日和实时多维研判的光伏平衡预测方法
CN116777281A (zh) * 2023-06-26 2023-09-19 国网江苏省电力有限公司电力科学研究院 一种基于arima模型的电力设备质量趋势预测方法及装置
CN116633682A (zh) * 2023-07-14 2023-08-22 深圳齐杉科技有限公司 一种基于安全产品风险威胁的智能识别方法及系统
CN117171661A (zh) * 2023-11-03 2023-12-05 山东鸿远新材料科技股份有限公司 一种化工厂污水处理监控方法及系统
CN117436004A (zh) * 2023-12-20 2024-01-23 深圳市鸿明机电有限公司 电机性能实时监测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ARIMA-RVM的信息安全风险估计;魏节敏;;激光杂志;20150425(04);全文 *

Also Published As

Publication number Publication date
CN117688464A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN110647539B (zh) 一种用于车辆故障的预测方法和系统
EP3902992B1 (en) Scalable system and engine for forecasting wind turbine failure
CN112085621B (zh) 一种基于K-Means-HMM模型的分布式光伏电站故障预警算法
CN112462734B (zh) 一种工业生产设备故障预测分析方法及模型
US20210372667A1 (en) Method and system for detecting inefficient electric water heater using smart meter reads
CN115796434A (zh) 一种用于配电网的管控方法、装置、电子设备及存储介质
CN113866455A (zh) 基于深度学习的桥梁加速度监测数据异常检测方法、系统和装置
CN115146230A (zh) 一种古建筑健康监测系统、方法及设备
KR20190082715A (ko) 상관도를 고려한 데이터 분류 방법 및 이 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독가능한 저장매체
CN117521800A (zh) 一种基于知识图谱的输电线路智能巡检方法
CN117113157B (zh) 一种基于人工智能的台区用电故障检测系统
CN112882898B (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN112016739B (zh) 故障检测方法、装置、电子设备及存储介质
KR101997580B1 (ko) 상관도를 고려한 데이터 분류 방법 및 이 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독가능한 저장매체
CN117494009A (zh) 基于绝缘材料热解分析的电气设备状态评估方法及云平台
CN117824588A (zh) 一种建筑安全监测倾斜传感器采样优化与预警方法
CN117494040A (zh) 一种基于多要素融合的输电线路覆冰预警方法及系统
CN117688464B (zh) 一种基于多源传感器数据的隐患分析方法及系统
CN116591911A (zh) 一种面向海上风机发电机组的智能检测运维系统及方法
US12066472B2 (en) Calculating energy loss during an outage
CN116192612A (zh) 一种基于日志分析的系统故障监测和预警系统及方法
CN113469228A (zh) 一种基于数据流时空特征的电力负荷异常值辨识方法
Indhumathi et al. IoT-Enabled Weather Monitoring and Rainfall Prediction using Machine Learning Algorithm
CN118447459B (zh) 基于深度学习的滑坡堆积体监控方法及系统
CN117892213B (zh) 一种风力发电机叶片覆冰侦测与预警的诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant