CN116413395A - 一种环境异常智能检测方法 - Google Patents

一种环境异常智能检测方法 Download PDF

Info

Publication number
CN116413395A
CN116413395A CN202310671652.7A CN202310671652A CN116413395A CN 116413395 A CN116413395 A CN 116413395A CN 202310671652 A CN202310671652 A CN 202310671652A CN 116413395 A CN116413395 A CN 116413395A
Authority
CN
China
Prior art keywords
air quality
data
sensors
fluctuation
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310671652.7A
Other languages
English (en)
Other versions
CN116413395B (zh
Inventor
高晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ruicheng Data Technology Co ltd
Original Assignee
Shandong Ruicheng Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ruicheng Data Technology Co ltd filed Critical Shandong Ruicheng Data Technology Co ltd
Priority to CN202310671652.7A priority Critical patent/CN116413395B/zh
Publication of CN116413395A publication Critical patent/CN116413395A/zh
Application granted granted Critical
Publication of CN116413395B publication Critical patent/CN116413395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种环境异常智能检测方法。方法包括：获取检测区域内，每个空气质量传感器的位置数据、以及实时采集的空气质量检测数据；选出波动数据，并计算噪声程度；噪声程度的计算过程为：根据该空气质量传感器与其邻近的若干空气质量传感器的位置关系计算关联度；基于该空气质量传感器的波动数据与其邻近的若干空气质量传感器的对应空气质量检测数据计算对应的离群因子；根据所述关联度、各离群因子波动数据的噪声程度；根据噪声程度计算平滑权重，噪声程度与平滑权重为反相关关系；去噪后完成检测。本发明实现了消除时序数据中噪声点的同时保证异常数据点的显著，可以更加准确的进行环境检测。

Description

一种环境异常智能检测方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种环境异常智能检测方法。
背景技术
在工业园区中，为保证工作环境安全，需要对厂区的环境进行检测。在通过空气质 量进行环境异常智能检测的过程中，需要通过厂区中全部的空气质量传感器数据进行环境 异常智能检测。空气质量传感器所检测的污染物为常用的六项空气污染物，包括二氧化氮（
Figure SMS_1
）、二氧化硫（
Figure SMS_2
）、一氧化碳（
Figure SMS_3
）、臭氧（
Figure SMS_4
）和颗粒物（
Figure SMS_5
、
Figure SMS_6
）。
现有技术中，通过空气质量传感器进行环境异常智能检测的方法为基于空气质量传感器所采集的检测数据建立时序数据集，通过数据集建立基于聚类算法的异常检测模型，例如：通过采集到的数据集进行CBLOF（Cluster-based Local Outlier Factor，基于聚类的局部因子检测法）异常检测，进而检测到空气质量传感器数据中的异常数据点，并且随着传感器数据的不断采集，将新采集到的数据点放入模型中，根据数据点与最近的簇类中心点的距离作为数据点的异常程度，以此进行环境异常的预警。
现有的环境异常智能检测方法中，由于传感器的空气质量检测数据存在着噪声值，因此，为保证异常检测模型能够准确地检测到园区中的环境异常，在采集到空气质量传感器的数据之后且在进行异常检测之前，需要对每个传感器的时序数据进行数据清洗，将其中的噪声点进行消除。现有技术中对于噪声数据点的消除所采用的常用方法是通过时序数据的WMA（加权移动平均）方法，以时序平滑来消除噪声。
然而，在现有的空气质量检测传感器的时序数据噪声消除的过程中采用一致的平滑标准，会将异常数据点同样进行平滑处理，会导致在后的异常检测中降低异常数据点在CBLOF中的离群程度；并且对于空气质量检测数据进行WMA的默认权重，无法准确地将空气质量时序数据进行噪声消除，最终导致环境检测的准确性降低。
发明内容
本发明的目的在于提供一种环境异常智能检测方法，用于解决现有环境检测准确性低的问题。
为解决上述技术问题，本发明提供了一种环境异常智能检测方法，包括以下步骤：
（1）获取检测区域内，每个空气质量传感器的位置数据、以及实时采集的空气质量检测数据；
（2）在空气质量检测数据中选出每个空气质量传感器的若干组波动数据，并计算每个空气质量传感器的每组波动数据的噪声程度；对于某个空气质量传感器的若干组波动数据，噪声程度的计算过程为：
计算该空气质量传感器与其他各个空气质量传感器之间的距离值，将所述距离值按照从小到大的顺序进行排序，并将排序得到的序列中前若干个距离值对应的其他空气质量传感器作为该空气质量传感器的邻近的若干空气质量传感器；
根据该空气质量传感器与其邻近的若干空气质量传感器的位置关系计算该空气质量传感器的波动数据与其邻近的若干空气质量传感器的对应空气质量检测数据的关联度；
基于该空气质量传感器的波动数据计算该空气质量传感器的波动数据的离群因子，基于其邻近的若干空气质量传感器的对应空气质量检测数据计算其邻近的若干空气质量传感器的对应空气质量检测数据的离群因子；
根据所述关联度、该空气质量传感器的波动数据的离群因子、其邻近的若干空气质量传感器的对应空气质量检测数据的离群因子计算该空气质量传感器的各组波动数据的噪声程度；
（3）根据各空气质量传感器的各组波动数据的噪声程度计算各空气质量传感器的各组波动数据的平滑权重，噪声程度与平滑权重为反相关关系；
（4）根据所述平滑权重对空气质量检测数据进行数据去噪处理，根据去噪处理后的空气质量检测数据以及环境异常智能检测模型完成环境异常智能检测。
进一步地，步骤（2）中，还包括基于该空气质量传感器的波动数据与其邻近的若干空气质量传感器的对应空气质量检测数据计算影响因子，根据影响因子优化其邻近的若干空气质量传感器的对应空气质量检测数据的离群因子的步骤。
进一步地，步骤（3）中，平滑权重的计算过程为：
Figure SMS_7
；
其中，
Figure SMS_10
为第
Figure SMS_13
个空气质量传感器的第
Figure SMS_15
组波动数据的第k个数据点的平滑权重；
Figure SMS_9
为第
Figure SMS_12
个空气质量传感器的第
Figure SMS_14
组波动数据的第k个数据点的噪声程度；
Figure SMS_16
为第
Figure SMS_8
个空气 质量传感器的第
Figure SMS_11
组波动数据的第k个数据点对应的平滑的窗口内的第a个数据点的噪声 程度；L为平滑的窗口长度。
进一步地，步骤（2）中，噪声程度的计算过程为：
Figure SMS_17
其中，
Figure SMS_19
为第
Figure SMS_23
个空气质量传感器的第
Figure SMS_26
组波动数据的第k个数据点的噪声程度；
Figure SMS_20
为第
Figure SMS_25
个空气质量传感器的第
Figure SMS_28
组波动数据的第k个数据点的离群因子；
Figure SMS_32
为优 化后的其邻近的若干空气质量传感器中的第
Figure SMS_18
个空气质量传感器的第
Figure SMS_24
组空气质量检测数 据的第k个数据点的离群因子；
Figure SMS_29
为第
Figure SMS_31
个空气质量传感器的波动数据与其邻近的若干空 气质量传感器中的第
Figure SMS_21
个空气质量传感器的对应空气质量检测数据的关联度；
Figure SMS_22
为其邻近 的若干空气质量传感器的数量；
Figure SMS_27
为调整因子；
Figure SMS_30
为线性归一化函数，e为自然常数，| | 为取绝对值符号。
进一步地，步骤（2）中，关联度的计算过程为：
Figure SMS_33
其中，
Figure SMS_37
为第
Figure SMS_40
个空气质量传感器的波动数据与其邻近的若干空气质量传感器中 的第
Figure SMS_44
个空气质量传感器的对应空气质量检测数据的关联度；
Figure SMS_35
为线性归一化函数；
Figure SMS_41
为第
Figure SMS_43
个空气质量传感器与其邻近的若干空气质量传感器中的第
Figure SMS_47
个空气质量传感器 之间的空间距离；
Figure SMS_34
为第
Figure SMS_38
个空气质量传感器的第
Figure SMS_42
组波动数据；
Figure SMS_45
为其邻近的若干空气 质量传感器中的第
Figure SMS_36
个空气质量传感器对应的第
Figure SMS_39
组空气质量检测数据；
Figure SMS_46
为动态 时间规整距离函数；
Figure SMS_48
为波动数据总组数。
进一步地，步骤（2）中，离群因子是根据各数据点的局部平均链接距离计算得到。
进一步地，影响因子的计算过程为：
Figure SMS_49
其中，
Figure SMS_52
为其邻近的若干空气质量传感器中的第
Figure SMS_55
个空气质量传感器对应的第
Figure SMS_58
组 空气质量检测数据的第k个数据点的K时序序列邻域中的第n个数据点的影响因子；
Figure SMS_53
为第
Figure SMS_56
个空气质量传感器的第
Figure SMS_59
组波动数据的第k个数据点的局部平均链接距离；
Figure SMS_61
为 其邻近的若干空气质量传感器中的第
Figure SMS_50
个空气质量传感器对应的第
Figure SMS_54
组空气质量检测数据 的第k个数据点的K时序序列邻域中的第n个数据点的局部平均链接距离；
Figure SMS_57
为归 一化函数，| |为取绝对值符号，
Figure SMS_60
为取最大值符号，
Figure SMS_51
为取最小值符号。
进一步地，数据去噪处理的方法为加权移动平均方法。
进一步地，环境异常智能检测模型为隐马尔可夫模型。
进一步地，还包括根据隐马尔可夫模型进行环境预测的步骤。
本发明具有如下有益效果：本发明在得到每个空气质量传感器的位置关系以及所采集的空气质量检测数据之后，首先，选出波动数据，基于相邻传感器之间的关联度可以初步判断波动数据为异常数据还是噪声数据，也即关联度大，波动数据为噪声数据的可能性大，接着基于波动数据以及相邻传感器对应数据计算出相应数据的离群因子，最后基于离群因子的差异以及关联度确定波动数据的噪声程度，根据噪声程度确定平滑权重，如果噪声程度高，说明波动数据为噪声数据，那么在平滑过程中降低波动数据的平滑权重，这样可以降低噪声数据的影响，如果噪声程度低，说明波动数据为异常数据，那么在平滑过程中提高波动数据的平滑权重，这样可以提高异常数据的影响，实现了消除时序数据中噪声点的同时保证异常数据点的显著，可以更加准确的进行环境检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的环境异常智能检测方法的流程图；
图2为本发明噪声程度的计算流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。另外，本文所涉及公式中的所有参数或者指标均为归一化之后的消除了量纲影响的数值。
本发明的主要构思在于：基于现有的数据平滑处理过程中噪声数据和异常数据权重不准确导致环境检测不准确的问题，经研究发现，在园区中出现空气污染时，不止是一个空气质量检测传感器会出现数值上的变化，对于空气污染辐射范围会根据污染源与空气流动情况先后出现多个传感器数据上的变化，因此本发明根据每个空气质量传感器的波动数据与其邻近的若干空气质量传感器对应的空气质量检测数据的关联程度以及离群因子计算出每个空气质量传感器的波动数据中每个数据点的噪声程度，基于每个数据点的噪声程度确定每个数据点的平滑权重，实现噪声程度越大，平滑权重越小，噪声程度越小，平滑权重越大，进而利用计算好的平滑权重进行数据处理，实现了消除时序数据中噪声点的同时保证异常数据点的显著，可以更加准确的进行环境检测。
本实施例提出的一种环境异常智能检测方法，如图1所示，包括以下步骤：
S01.获取检测区域内，每个空气质量传感器的位置数据、以及实时采集的空气质量检测数据。
本发明所针对的具体场景为：在一个区域的环境检测中，在不同的位置设置多个空气质量传感器，以实现该区域中不同位置的空气质量检测。
设置多个空气质量传感器的原因在于，当监测区域中出现空气质量异常时，受到影响的不止是单一的空气质量传感器，而是对于一个范围内的空气质量传感器都有影响，因此，通过不同位置的空气质量传感器所采集的数据可以更加准确的进行噪声点数据与异常数据的区分。
因此，本发明在工业园区中，为保证对于整个园区的环境监测，需要在园区中布置多个空气质量传感器，以对园区空气中的常规污染物含量进行检测。对于园区中的空气质量传感器，通过对园区进行数字化建模，获取到园区的平面图并确定每一个空气质量检测传感器的空间位置，并且采集每一个空气质量检测传感器的检测时序数据。
其中传感器的空间位置关系可以通过园区二维平面作为衡量区域，对于每一个传 感器检测到的多维数据（每一种污染物为一个维度）本发明以其中的
Figure SMS_62
含量数据为例，对 于每一个污染物都可以建立一个环境异常智能检测模型，进而共同形成一个环境异常智能 检测方法。
至此，获取到空气质量传感器的空间位置与空气中
Figure SMS_63
含量时序数据。
S02.在步骤S01的数据中，选出每个空气质量传感器的若干组波动数据，并计算每个空气质量传感器的每组波动数据的噪声程度。
本步骤中，如图2所示，对于某个空气质量传感器采集的若干组波动数据，每组波动数据的噪声程度的计算过程如下：
S021.计算该空气质量传感器的波动数据与其邻近的若干空气质量传感器的对应空气质量检测数据的关联度（这里的对应是指时序上对应）。
对于园区内的传感器集合为
Figure SMS_64
，其中集合中的每一个元素即为一个空气质量传感 器的坐标位置，如第
Figure SMS_65
个传感器的坐标即为
Figure SMS_66
，那么在整个集合
Figure SMS_67
中即可获取空气质 量传感器之间的空间距离。
本发明中，假设一个园区中存在
Figure SMS_70
个空气质量传感器，对于第
Figure SMS_72
个传感器，确定该 传感器的
Figure SMS_74
个最近邻传感器（也即与第
Figure SMS_69
个传感器邻近的若干空气质量传感器的数量为
Figure SMS_73
）， 本发明中
Figure SMS_76
，（
Figure SMS_77
值可以根据实际场景中的园区内空气质量传感器数量与园区大小进 行调整）。为了确定该第i个传感器的
Figure SMS_68
个最近邻传感器，计算该第i个传感器与其他各个空 气质量传感器之间的距离值，将这些距离值按照从小到大的顺序进行排序，并将排序得到 的序列中前
Figure SMS_71
个距离值对应的其他空气质量传感器作为该第i个传感器的邻近的若干空气 质量传感器。设第
Figure SMS_75
个空气质量传感器邻近的若干空气质量传感器为空气质量传感器组合
Figure SMS_78
，关联度的计算过程为：
Figure SMS_79
其中，
Figure SMS_88
为第
Figure SMS_83
个空气质量传感器的波动数据与空气质量传感器组合
Figure SMS_95
中的第
Figure SMS_84
个 空气质量传感器的对应空气质量检测数据的关联度，
Figure SMS_94
为第
Figure SMS_87
个空气质量传感器与空气 质量传感器组合
Figure SMS_97
中的第
Figure SMS_82
个空气质量传感器之间的空间距离，此处的空间距离为二者在 园区平面模型的坐标系中的欧氏距离；
Figure SMS_96
为第
Figure SMS_80
个空气质量传感器的第
Figure SMS_93
组波动数据，也 即第
Figure SMS_85
个空气质量传感器中的第
Figure SMS_99
个波动子序列（波动区间的时序数据）；
Figure SMS_89
为空气质量传 感器组合
Figure SMS_100
中的第
Figure SMS_86
个空气质量传感器对应的第
Figure SMS_98
组空气质量检测数据，同样为时序数据的 子序列；
Figure SMS_91
为波动数据总组数；
Figure SMS_101
为动态时间规整距离函数；
Figure SMS_81
为线性归一化函 数，用于对空气质量传感器组合
Figure SMS_92
中的每一个空气质量传感器所计算出的括号内的数值进 行线性归一化，其线性归一化方法为
Figure SMS_90
。
本发明中设定
Figure SMS_103
，即在第
Figure SMS_107
个传感器的历史时序数据中选出（人工标注）
Figure SMS_109
个波动区间，首先，通过第
Figure SMS_104
个传感器以及空气质量传感器组合
Figure SMS_105
中的第
Figure SMS_108
个传感器的历史时 序数据中相同区间中的时序数据进行
Figure SMS_111
距离衡量，将
Figure SMS_102
个波动子序列之间的
Figure SMS_106
距离 均值作为两个传感器的波动相似性的衡量；接着，对于全部
Figure SMS_110
个空间位置最近邻传感器之 间的波动相似性与空间欧氏距离之间的比值作为传感器之间关联性的衡量；最后通过归一 化获取两个传感器之间的关联度。
从关联度的计算公式可以看出，通过传感器之间的异常波动距离与空间位置欧氏 距离的衡量获取到的传感器之间的关联度，进而当出现空气污染时，可以根据关联度在传 感器之间进行异常数据点偏移的判断，当第i个传感器的波动数据与空气质量传感器组合
Figure SMS_112
中的第
Figure SMS_113
个空气质量传感器的对应空气质量检测数据的关联度大时，则说明第i个传感器 的波动数据可能为异常数据点，当关联度小时，表明第i个传感器的波动数据偏移在空气质 量传感器组合
Figure SMS_114
中没有相似的数据点偏移，则说明第i个传感器的波动数据可能为噪声数 据点。
S022.计算该空气质量传感器的波动数据的离群因子、以及其邻近的若干空气质量传感器的对应空气质量检测数据的离群因子。
设第
Figure SMS_116
个空气质量传感器的第
Figure SMS_118
组波动数据的第k个数据点为imk，空气质量传感器 组合
Figure SMS_120
中的第
Figure SMS_117
个空气质量传感器对应的第
Figure SMS_119
组空气质量检测数据的第k个数据点为jmk，第 k个数据点为imk的K时序序列邻域（这里的K时序序列邻域也即某个数据点时序上的邻域数 据点的数量，一般K=10）中的第n个数据点为in，第k个数据点为jmk的K时序序列邻域中的第 n个数据点为jn，第
Figure SMS_121
个空气质量传感器的第
Figure SMS_122
组波动数据的第k个数据点的离群因子
Figure SMS_115
的计算过程为：
Figure SMS_123
其中，
Figure SMS_124
为第
Figure SMS_125
个空气质量传感器的第
Figure SMS_126
组波动数据的第k个数据点的局部平 均链接距离；
Figure SMS_127
为第k个数据点imk的K时序序列邻域中的第n个数据点in的局部平均链 接距离。
Figure SMS_128
也即数据点in是属于第i个空气质量传感器的第
Figure SMS_129
组波动数据集合im 内，关于局部平均链接距离的计算为现有技术，这里不做过多赘述。
空气质量传感器组合
Figure SMS_130
中的第
Figure SMS_131
个空气质量传感器的第
Figure SMS_132
组空气质量检测数据的 第k个数据点的离群因子
Figure SMS_133
的计算过程为：
Figure SMS_134
其中，
Figure SMS_137
为空气质量传感器组合
Figure SMS_139
中的第
Figure SMS_142
个空气质量传感器对应的第
Figure SMS_136
组 空气质量检测数据的第k个数据点的局部平均链接距离；
Figure SMS_140
为第k个数据点jmk的K时序 序列邻域中的第n个数据点jn的局部平均链接距离；
Figure SMS_143
也即数据点jn是属于空气 质量传感器组合
Figure SMS_144
中的第
Figure SMS_135
个空气质量传感器对应的第
Figure SMS_138
组空气质量检测数据集合
Figure SMS_141
内。
关于
Figure SMS_146
，由于在实际场景中，存在着污染物扩散过程中的时间差异，也就是会 出现对于第
Figure SMS_151
个传感器中的第
Figure SMS_154
组波动数据，在空气质量传感器组合
Figure SMS_148
中的第
Figure SMS_152
个传感器采 集到的数据中的
Figure SMS_155
个数据点中才出现对应的波动。那么在通过
Figure SMS_157
之间对应的第
Figure SMS_145
组数 据点进行衡量时，就会出现错误判断，为解决这个问题，就需要在对比的过程中在一个范围 内进行变化对应数据点的判断。在第
Figure SMS_149
个传感器的数据点imk通过空气质量传感器组合
Figure SMS_153
的 第
Figure SMS_156
个传感器的数据点jmk获取噪声程度进行判断的过程中，对于空气质量传感器组合
Figure SMS_147
中 的第
Figure SMS_150
个传感器中数据点jmk附近的数据点也需要进行判断，从而消除因为时间差异带来的 噪声程度不准确。
对于
Figure SMS_159
，通过其
Figure SMS_161
距离邻域中数据点各自的
Figure SMS_164
距离邻域中的连通情况进行判 断。当出现空气质量传感器组合
Figure SMS_160
中第
Figure SMS_162
个传感器数据点jmk的
Figure SMS_163
距离邻域中的数据点的局 部平均链接距离与第
Figure SMS_165
个传感器数据点imk的局部平均链接距离相近的数据点时，则说明两 个传感器的时序数据中出现了因为空气污染物扩散的时间差异，那么在这个情况下就需要 通过平均链接距离相近的数据点在计算
Figure SMS_158
离群因子的过程中进行更高程度的参考。
因此需要通过差异相近进行平均链接距离的影响因子的计算，进而对
Figure SMS_166
进行 优化，优化后的空气质量传感器组合
Figure SMS_167
中的第
Figure SMS_168
个空气质量传感器的第
Figure SMS_169
组空气质量检测数 据的第k个数据点的离群因子
Figure SMS_170
的计算过程为：
Figure SMS_171
Figure SMS_172
其中，
Figure SMS_173
为第k个数据点jmk的K时序序列邻域中的第n个数据点jn的影响因子；
Figure SMS_174
为归一化函数；| |为取绝对值符号；
Figure SMS_175
为取最大值符号，
Figure SMS_176
为取最小值符 号；
Figure SMS_177
表示数据点imk的局部平均链接距离减去数据点jmk的K时序序列 邻域中每个数据点的局部平均链接距离的最大值；
Figure SMS_178
表示数据点imk的 局部平均链接距离减去数据点jmk的K时序序列邻域中每个数据点的局部平均链接距离的 最小值，上述公式是对数据点jn的影响因子归一化的过程。
相较于直接通过数据点imk与数据点jmk进行
Figure SMS_179
离群因子的衡量，基于上述的离 群因子优化，通过影响因子可以消除因为实际场景中因为空气中污染物的传播时间差异导 致的数据点噪声程度判断不准确的问题。
S023.根据步骤S021计算的关联度、以及步骤S022计算的离群因子计算该空气质量传感器的各组波动数据的噪声程度。
Figure SMS_180
其中，
Figure SMS_182
为第
Figure SMS_185
个空气质量传感器的第
Figure SMS_187
组波动数据的第k个数据点的噪声程度，
Figure SMS_183
为调整因子，取值
Figure SMS_186
，保证分母不为
Figure SMS_188
；
Figure SMS_189
为空气质量传感器组合
Figure SMS_181
中空气质量传感器 的数量，此处根据设定
Figure SMS_184
；e为自然常数，| |为取绝对值符号。
上述噪声程度的公式中，通过相邻近的传感器对应数据点之间
Figure SMS_190
离群因子的差 异与传感器之间的关联度的比值作为差异衡量。当
Figure SMS_191
与
Figure SMS_192
越接 近，则说明该数据点越可能为异常数据点；也就是
Figure SMS_193
越接近于
Figure SMS_194
，则说明 该数据点越可能为异常数据点，而与
Figure SMS_195
差异越大，则说明该数据点越可能为噪声数据点。
因为在实际场景中空气中污染物的扩散会因为风向存在着一个方向性，所以对于
Figure SMS_196
近邻中的关联传感器就不是全部都有关联，所以在上式中通过前
Figure SMS_197
个传感器的
Figure SMS_198
归一化数值之和作为数据点的噪声程度。
基于通过传感器之间的对应数据点的离群因子差异与传感器空间关联度的相似 关系进行数据点噪声程度的衡量，在后续过程中通过该噪声程度对数据点的
Figure SMS_199
的滑窗 中的数据点权重分布进行衡量，相较于传统的
Figure SMS_200
中数据点权重根据正弦函数进行加权 可以更有针对性地将噪声数据点进行平滑同时保留时序数据中的异常数据点。
S03.根据步骤S02计算出的各空气质量传感器的各组波动数据的噪声程度计算各空气质量传感器的各组波动数据的平滑权重。
在进行时序数据的平滑去噪时，则可以根据数据点的噪声程度对
Figure SMS_201
滑窗内数 据点的平滑权重进行获取，噪声程度与平滑权重为反相关关系，噪声程度高的数据点，则进 行更小权重的选取，从而降低平滑过程中的噪声影响。
平滑权重的计算过程为：
Figure SMS_202
；
其中，
Figure SMS_204
为第
Figure SMS_208
个空气质量传感器的第
Figure SMS_210
组波动数据的第k个数据点的平滑权重；
Figure SMS_205
为第
Figure SMS_207
个空气质量传感器的第
Figure SMS_209
组波动数据的第k个数据点对应的平滑的窗口内的第a个 数据点的噪声程度；L为平滑的窗口长度，也即
Figure SMS_211
平滑的窗口长度，这里取L=11，也就是 说，对于一个数据点通过其两侧的十个数据点进行平滑，在窗口中每一个数据点都有其噪 声程度，第
Figure SMS_203
个空气质量传感器的第
Figure SMS_206
组波动数据的第k个数据点属于窗口内。
S04.根据步骤S03计算出的平滑权重进行数据去噪处理，去噪后的空气质量检测数据输入训练好的隐马尔可夫模型，完成环境异常智能检测。
本步骤中，在得到根据步骤S03的平滑权重进行
Figure SMS_212
平滑后的空气质量检测时序 数据之后，根据历史数据对每一个数据点的状态进行标注，0为正常状态，1为偏离状态，2为 异常状态。通过历史数据中的前
Figure SMS_213
数据进行初始状态概率转移矩阵的获取，并根据所有 历史数据进行隐马尔可夫模型的训练。
在获取到用于环境异常智能检测的隐马尔可夫模型之后，对于每一个新采集到的空气质量数据，根据状态概率转移矩阵中概率最高的状态转移预测出下一个数据点的状态，当检测到预测状态为异常状态时进行预警。
本发明根据相邻传感器对应的检测数据的关联度和离群因子，得到每个波动数据中每个数据点的噪声程度，进而基于造成程度确定每个数据点的平滑权重，也即通过需要进行环境检测区域中的多传感器之间的数据点的一致与差异进行数据预处理，消除时序数据中噪声点的同时保证异常数据点的显著，提高了数据处理的准确性，进而提高环境检测的准确性。
需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种环境异常智能检测方法，其特征在于，包括以下步骤：
（1）获取检测区域内，每个空气质量传感器的位置数据、以及实时采集的空气质量检测数据；
（2）在空气质量检测数据中选出每个空气质量传感器的若干组波动数据，并计算每个空气质量传感器的每组波动数据的噪声程度；对于某个空气质量传感器的若干组波动数据，噪声程度的计算过程为：
计算该空气质量传感器与其他各个空气质量传感器之间的距离值，将所述距离值按照从小到大的顺序进行排序，并将排序得到的序列中前若干个距离值对应的其他空气质量传感器作为该空气质量传感器的邻近的若干空气质量传感器；
根据该空气质量传感器与其邻近的若干空气质量传感器的位置关系，计算该空气质量传感器的波动数据与其邻近的若干空气质量传感器的对应空气质量检测数据的关联度；
基于该空气质量传感器的波动数据计算该空气质量传感器的波动数据的离群因子，基于其邻近的若干空气质量传感器的对应空气质量检测数据计算其邻近的若干空气质量传感器的对应空气质量检测数据的离群因子；
根据所述关联度、该空气质量传感器的波动数据的离群因子、其邻近的若干空气质量传感器的对应空气质量检测数据的离群因子计算该空气质量传感器的各组波动数据的噪声程度；
（3）根据各空气质量传感器的各组波动数据的噪声程度计算各空气质量传感器的各组波动数据的平滑权重，噪声程度与平滑权重为反相关关系；
（4）根据所述平滑权重对空气质量检测数据进行数据去噪处理，根据去噪处理后的空气质量检测数据以及环境异常智能检测模型完成环境异常智能检测。
2.根据权利要求1所述的环境异常智能检测方法，其特征在于，步骤（2）中，还包括基于该空气质量传感器的波动数据与其邻近的若干空气质量传感器的对应空气质量检测数据计算影响因子，根据影响因子优化其邻近的若干空气质量传感器的对应空气质量检测数据的离群因子的步骤。
3.根据权利要求1所述的环境异常智能检测方法，其特征在于，步骤（3）中，平滑权重的计算过程为：
Figure QLYQS_1
；
其中，
Figure QLYQS_3
为第/>
Figure QLYQS_7
个空气质量传感器的第/>
Figure QLYQS_9
组波动数据的第k个数据点的平滑权重；/>
Figure QLYQS_4
为第/>
Figure QLYQS_6
个空气质量传感器的第/>
Figure QLYQS_8
组波动数据的第k个数据点的噪声程度；/>
Figure QLYQS_10
为第/>
Figure QLYQS_2
个空气质量传感器的第/>
Figure QLYQS_5
组波动数据的第k个数据点对应的平滑的窗口内的第a个数据点的噪声程度；L为平滑的窗口长度。
4.根据权利要求2所述的环境异常智能检测方法，其特征在于，步骤（2）中，噪声程度的计算过程为：
Figure QLYQS_11
其中，
Figure QLYQS_13
为第/>
Figure QLYQS_17
个空气质量传感器的第/>
Figure QLYQS_24
组波动数据的第k个数据点的噪声程度；
Figure QLYQS_15
为第/>
Figure QLYQS_18
个空气质量传感器的第/>
Figure QLYQS_21
组波动数据的第k个数据点的离群因子；/>
Figure QLYQS_26
为优化后的其邻近的若干空气质量传感器中的第/>
Figure QLYQS_12
个空气质量传感器的第/>
Figure QLYQS_16
组空气质量检测数据的第k个数据点的离群因子；/>
Figure QLYQS_20
为第/>
Figure QLYQS_23
个空气质量传感器的波动数据与其邻近的若干空气质量传感器中的第/>
Figure QLYQS_14
个空气质量传感器的对应空气质量检测数据的关联度；/>
Figure QLYQS_19
为其邻近的若干空气质量传感器的数量；/>
Figure QLYQS_22
为调整因子；/>
Figure QLYQS_25
为线性归一化函数，e为自然常数，| |为取绝对值符号。
5.根据权利要求1所述的环境异常智能检测方法，其特征在于，步骤（2）中，关联度的计算过程为：
Figure QLYQS_27
其中，
Figure QLYQS_30
为第/>
Figure QLYQS_33
个空气质量传感器的波动数据与其邻近的若干空气质量传感器中的第/>
Figure QLYQS_37
个空气质量传感器的对应空气质量检测数据的关联度；/>
Figure QLYQS_31
为线性归一化函数；/>
Figure QLYQS_34
为第/>
Figure QLYQS_38
个空气质量传感器与其邻近的若干空气质量传感器中的第/>
Figure QLYQS_41
个空气质量传感器之间的空间距离；/>
Figure QLYQS_28
为第/>
Figure QLYQS_32
个空气质量传感器的第/>
Figure QLYQS_36
组波动数据；/>
Figure QLYQS_40
为其邻近的若干空气质量传感器中的第/>
Figure QLYQS_29
个空气质量传感器对应的第/>
Figure QLYQS_35
组空气质量检测数据；/>
Figure QLYQS_39
为动态时间规整距离函数；/>
Figure QLYQS_42
为波动数据总组数。
6.根据权利要求1所述的环境异常智能检测方法，其特征在于，步骤（2）中，离群因子是根据各数据点的局部平均链接距离计算得到。
7.根据权利要求2所述的环境异常智能检测方法，其特征在于，影响因子的计算过程为：
Figure QLYQS_43
其中，
Figure QLYQS_45
为其邻近的若干空气质量传感器中的第/>
Figure QLYQS_49
个空气质量传感器对应的第/>
Figure QLYQS_53
组空气质量检测数据的第k个数据点的K时序序列邻域中的第n个数据点的影响因子；/>
Figure QLYQS_47
为第/>
Figure QLYQS_48
个空气质量传感器的第/>
Figure QLYQS_51
组波动数据的第k个数据点的局部平均链接距离；/>
Figure QLYQS_54
为其邻近的若干空气质量传感器中的第/>
Figure QLYQS_44
个空气质量传感器对应的第/>
Figure QLYQS_50
组空气质量检测数据的第k个数据点的K时序序列邻域中的第n个数据点的局部平均链接距离；/>
Figure QLYQS_52
为归一化函数，| |为取绝对值符号，/>
Figure QLYQS_55
为取最大值符号，/>
Figure QLYQS_46
为取最小值符号。
8.根据权利要求1所述的环境异常智能检测方法，其特征在于，数据去噪处理的方法为加权移动平均方法。
9.根据权利要求1所述的环境异常智能检测方法，其特征在于，环境异常智能检测模型为隐马尔可夫模型。
10.根据权利要求9所述的环境异常智能检测方法，其特征在于，还包括根据隐马尔可夫模型进行环境预测的步骤。
CN202310671652.7A 2023-06-08 2023-06-08 一种环境异常智能检测方法 Active CN116413395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310671652.7A CN116413395B (zh) 2023-06-08 2023-06-08 一种环境异常智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310671652.7A CN116413395B (zh) 2023-06-08 2023-06-08 一种环境异常智能检测方法

Publications (2)

Publication Number Publication Date
CN116413395A true CN116413395A (zh) 2023-07-11
CN116413395B CN116413395B (zh) 2023-08-25

Family

ID=87054609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310671652.7A Active CN116413395B (zh) 2023-06-08 2023-06-08 一种环境异常智能检测方法

Country Status (1)

Country Link
CN (1) CN116413395B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611017A (zh) * 2023-07-17 2023-08-18 山东一然环保科技有限公司 一种低氮燃烧加热炉的氮氧化物排放检测方法
CN116659589A (zh) * 2023-07-25 2023-08-29 澳润(山东)药业有限公司 基于数据分析的阿胶糕保存环境监测方法
CN116895283A (zh) * 2023-09-01 2023-10-17 青岛朗兹环保科技有限公司 基于人工智能的噪声预测方法
CN116935199A (zh) * 2023-09-18 2023-10-24 铁正检测科技有限公司 一种公路施工水平度智能检测方法及系统
CN117195008A (zh) * 2023-11-08 2023-12-08 山东神光航天科技有限公司 一种用于空气质量监测的异常数据处理方法
CN117870943A (zh) * 2024-01-22 2024-04-12 中国三峡建工(集团)有限公司 基于多传感器的灌浆过程中数据优化采集系统
CN118133059A (zh) * 2024-05-08 2024-06-04 武汉鼎业安环科技集团有限公司 一种基于数字孪生的安全风险智能检测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210027429A1 (en) * 2019-07-26 2021-01-28 Zhejiang University Of Technology Noise detection method for time-series vegetation index derived from remote sensing images
KR20210017651A (ko) * 2019-08-09 2021-02-17 연세대학교 산학협력단 반도체 제조 공정에서 고장 검출 및 불량 원인 진단을 위한 방법
US20210096119A1 (en) * 2019-10-01 2021-04-01 International Business Machines Corporation Detection of abnormal area
CN113313947A (zh) * 2021-05-31 2021-08-27 湖南大学 短期交通预测图卷积网络的路况评估方法
CN113515450A (zh) * 2021-05-20 2021-10-19 广东工业大学 一种环境异常检测方法和系统
CN114494059A (zh) * 2022-01-24 2022-05-13 燕山大学 基于局部密度和改进模糊c均值的环形锻件点云去噪方法
CN115017143A (zh) * 2022-05-27 2022-09-06 广西电网有限责任公司电力科学研究院 一种智能化高压开关的数据清洗方法
CN115169218A (zh) * 2022-05-30 2022-10-11 上海大学 基于深度置信网络的齿轮振动噪声预估方法
CN115271003A (zh) * 2022-09-30 2022-11-01 江苏云天新材料制造有限公司 用于自动化环境监测设备的异常数据分析方法及系统
CN115290831A (zh) * 2022-09-30 2022-11-04 南通乾升信息科技有限公司 一种空气质量检测方法
CN116029842A (zh) * 2023-03-28 2023-04-28 北京环球医疗救援有限责任公司 一种医疗保险大数据的清洗去噪方法及系统
CN116166960A (zh) * 2023-02-07 2023-05-26 河南大学 用于神经网络训练的大数据特征清洗方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210027429A1 (en) * 2019-07-26 2021-01-28 Zhejiang University Of Technology Noise detection method for time-series vegetation index derived from remote sensing images
KR20210017651A (ko) * 2019-08-09 2021-02-17 연세대학교 산학협력단 반도체 제조 공정에서 고장 검출 및 불량 원인 진단을 위한 방법
US20210096119A1 (en) * 2019-10-01 2021-04-01 International Business Machines Corporation Detection of abnormal area
CN113515450A (zh) * 2021-05-20 2021-10-19 广东工业大学 一种环境异常检测方法和系统
CN113313947A (zh) * 2021-05-31 2021-08-27 湖南大学 短期交通预测图卷积网络的路况评估方法
CN114494059A (zh) * 2022-01-24 2022-05-13 燕山大学 基于局部密度和改进模糊c均值的环形锻件点云去噪方法
CN115017143A (zh) * 2022-05-27 2022-09-06 广西电网有限责任公司电力科学研究院 一种智能化高压开关的数据清洗方法
CN115169218A (zh) * 2022-05-30 2022-10-11 上海大学 基于深度置信网络的齿轮振动噪声预估方法
CN115271003A (zh) * 2022-09-30 2022-11-01 江苏云天新材料制造有限公司 用于自动化环境监测设备的异常数据分析方法及系统
CN115290831A (zh) * 2022-09-30 2022-11-04 南通乾升信息科技有限公司 一种空气质量检测方法
CN116166960A (zh) * 2023-02-07 2023-05-26 河南大学 用于神经网络训练的大数据特征清洗方法及系统
CN116029842A (zh) * 2023-03-28 2023-04-28 北京环球医疗救援有限责任公司 一种医疗保险大数据的清洗去噪方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHU-KAI S. FAN ET AL.: "Defective wafer detection using a denoising autoencoder for semiconductor manufacturing processes", ADVANCED ENGINEERING INFORMATICS *
严英杰;盛戈;刘亚东;杜修明;王辉;江秀臣;: "基于滑动窗口和聚类算法的变压器状态异常检测", 高电压技术, no. 12, pages 4020 - 4023 *
张毅;刘旭敏;关永;: "基于密度的离群噪声点检测", 计算机应用, no. 03, pages 802 - 805 *
张鹏;冯欣;周建国;: "无线传感器网络中基于空间关联性的聚类异常检测算法", 计算机应用研究, no. 05 *
王茜;唐锐;: "基于频繁模式的离群点挖掘在入侵检测中的应用", 计算机应用研究, no. 04, pages 1208 - 1210 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611017A (zh) * 2023-07-17 2023-08-18 山东一然环保科技有限公司 一种低氮燃烧加热炉的氮氧化物排放检测方法
CN116611017B (zh) * 2023-07-17 2023-09-19 山东一然环保科技有限公司 一种低氮燃烧加热炉的氮氧化物排放检测方法
CN116659589A (zh) * 2023-07-25 2023-08-29 澳润(山东)药业有限公司 基于数据分析的阿胶糕保存环境监测方法
CN116659589B (zh) * 2023-07-25 2023-10-27 澳润(山东)药业有限公司 基于数据分析的阿胶糕保存环境监测方法
CN116895283A (zh) * 2023-09-01 2023-10-17 青岛朗兹环保科技有限公司 基于人工智能的噪声预测方法
CN116895283B (zh) * 2023-09-01 2023-12-01 青岛朗兹环保科技有限公司 基于人工智能的噪声预测方法
CN116935199B (zh) * 2023-09-18 2023-11-28 铁正检测科技有限公司 一种公路施工水平度智能检测方法及系统
CN116935199A (zh) * 2023-09-18 2023-10-24 铁正检测科技有限公司 一种公路施工水平度智能检测方法及系统
CN117195008A (zh) * 2023-11-08 2023-12-08 山东神光航天科技有限公司 一种用于空气质量监测的异常数据处理方法
CN117195008B (zh) * 2023-11-08 2024-03-12 山东神光航天科技有限公司 一种用于空气质量监测的异常数据处理方法
CN117870943A (zh) * 2024-01-22 2024-04-12 中国三峡建工(集团)有限公司 基于多传感器的灌浆过程中数据优化采集系统
CN118133059A (zh) * 2024-05-08 2024-06-04 武汉鼎业安环科技集团有限公司 一种基于数字孪生的安全风险智能检测方法及系统
CN118133059B (zh) * 2024-05-08 2024-08-06 武汉鼎业安环科技集团有限公司 一种基于数字孪生的安全风险智能检测方法及系统

Also Published As

Publication number Publication date
CN116413395B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN116413395B (zh) 一种环境异常智能检测方法
CN109063366B (zh) 一种基于时间和空间加权的建筑性能数据在线预处理方法
CN115294120B (zh) 基于图像识别的阀门表面质量检测方法
CN109951807A (zh) 基于WiFi信号的融合RSS和CSI室内定位方法
CN113632101B (zh) 一种通过向量化分析预测大气污染的方法
KR102169452B1 (ko) IoT 기상환경 수집 데이터의 안정성 확보 방법
CN112746934B (zh) 一种自联想神经网络诊断风机故障方法
CN115342814B (zh) 一种基于多传感器数据融合的无人船定位方法
CN116541732B (zh) 基于超声波数据与最优化算法的气象监测系统
CN114972194B (zh) 一种从不一致标签中检测缺陷的方法
CN110794485A (zh) 基于集成学习的强对流天气持续时间预报方法
CN115877363B (zh) 一种机器人避障评估方法
CN115293274A (zh) 一种基于对抗交替型滑动窗口的时间序列突变点检测方法
CN114997534A (zh) 基于视觉特征的相似降雨预报方法和设备
CN118312924B (zh) 基于多维传感器的空气质量大数据评估系统
CN117541626B (zh) 基于深度学习的遥感影像变化检测方法
CN116308963A (zh) 一种政务数据分析方法及系统
CN117808796A (zh) 一种基于计算机视觉的齿轮表面损伤检测方法
CN112614121A (zh) 一种多尺度小目标设备缺陷识别监测方法
CN112511972A (zh) 基于5g的变电站巡检机器人定位方法及装置
CN117809161B (zh) 一种基于多源数据的掩星折射率廓线数据质量评估系统
CN115326193B (zh) 一种工厂作业环境智能监测与评估方法
CN118030189B (zh) 一种煤矿自然发火束管监测方法及系统
CN117473345B (zh) 基于数据分析的法兰锻造缺陷检测方法
CN118094485B (zh) 一种适用于复杂微地形的架空线路覆冰厚度分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant