CN113568960B - 物联网数据实时分析方法、系统及计算机可读存储介质 - Google Patents

物联网数据实时分析方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN113568960B
CN113568960B CN202111118790.XA CN202111118790A CN113568960B CN 113568960 B CN113568960 B CN 113568960B CN 202111118790 A CN202111118790 A CN 202111118790A CN 113568960 B CN113568960 B CN 113568960B
Authority
CN
China
Prior art keywords
data
time
real
value
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111118790.XA
Other languages
English (en)
Other versions
CN113568960A (zh
Inventor
杨玉峰
王玉廷
孙道山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhengtai Taijiesai Intelligent Technology Co ltd
Original Assignee
Jiangsu Zhengtai Taijiesai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhengtai Taijiesai Intelligent Technology Co ltd filed Critical Jiangsu Zhengtai Taijiesai Intelligent Technology Co ltd
Priority to CN202111118790.XA priority Critical patent/CN113568960B/zh
Publication of CN113568960A publication Critical patent/CN113568960A/zh
Application granted granted Critical
Publication of CN113568960B publication Critical patent/CN113568960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

本发明公开了一种物联网数据实时分析方法、系统及计算机可读存储介质，方法包括以下步骤：S1、实时采集物联网遥测数据，按照时间窗口对遥测数据实时采样；S2、根据数据类型将采样数据分成若干分类数据，并将若干分类数据标记，得到标记数据；S3、通过匹配方法将每条标记数据与实时算法建立匹配关系；S4、利用实时算法分析标记数据中的数据，若满足预设条件则将数据输出，否则丢弃，该物联网数据实时分析方法、系统及计算机可读存储介质，对物联网时序数据进行分析处理，按照时间窗口进行实时采样、依据规则进行数据挖掘，从而提高数据准确性，解决了物联网遥测数据挖掘分析的结果不够精确，时效性低的问题。

Description

物联网数据实时分析方法、系统及计算机可读存储介质
技术领域
本发明属于数据结构与算法技术领域，具体涉及物联网数据实时分析方法、系统及计算机可读存储介质。
背景技术
目前现有技术提供的算法参差不齐，功能比较单一，对物联网遥测数据挖掘分析的结果不够精确，时效性低，需研发一种新的时间窗口的物联网数据实时分析方法来解决现有的问题。
发明内容
本发明的目的在于提供一种物联网数据实时分析方法、系统及计算机可读存储介质，以解决遥测数据挖掘不精确的问题。
为实现上述目的，本发明提供如下技术方案：一种物联网数据实时分析方法，包括以下步骤：
S1、实时采集物联网遥测数据，按照时间窗口对遥测数据进行实时采样；
S2、根据数据类型将采样数据分成若干分类数据，并将所述分类数据进行标记，得到标记数据，所述标记数据的分类包括无规则数据、波动型数据、周期性数据、趋势型数据和中断型数据；
S3、通过匹配方法将每条所述标记数据与实时算法建立匹配关系，所述实时算法包括实时值超限算法、振幅值超限算法、间隔差值超限算法、递减量突增算法、递增量突减算法、无数据时间超时算法；
S4、利用所述实时算法分析标记数据中的数据，若满足预设条件则将数据输出，否则丢弃。
步骤S3中，所述匹配方法包括：
所述无规则数据匹配实时值超限算法；
所述波动型数据匹配振幅值超限算法；
所述周期性数据匹配间隔差值超限算法；
所述趋势型数据匹配递减量突增算法或递增量突减算法；
所述中断型数据匹配无数据时间超时算法。
上述实时值超限算法包括以下步骤：
S21、收到传感器实时数据后，将数据值与设定的报警范围值区间进行比较；
S22、若数据值处于报警范围值区间内则产生报警数据，否则丢弃。
上述振幅值超限算法包括以下步骤：
S31、收到传感器实时数据后，将当前数据保存，在设定的时间窗口内，用最大值与最小值的差值与设定值进行比较，若满足报警设定条件即可产生报警；
S32、在保存当前传感器数据时，将需要保存的历史数据的时间间隔分成五等份，在每个时间间隔中只存储此时间范围中的最大值与最小值；
S33、将当前传感器的实时值与之前每个历史区间的最大值、最小值比较，满足报警设定条件即可产生报警。
上述间隔差值超限算法包括以下步骤：
S41、收到传感器实时数据后，将当前数据保存下来，此后收到的数据与设定时间之前保存的数据比较；
S42、将需要保存的历史数据的时间间隔分成n等份，在每个时间间隔中只存储此时间范围中最大值与最小值；
S43、将当前传感器的新数据与指定时间间隔之前的最大值与最小值进行比较，满足比较条件即可产生报警。
上述递减量突增算法包括以下步骤：
S51、收到传感器实时数据后，将当前点值与前一点的值比较，在滑动时间窗口范围内；
S52、若递减结果值大于递减突变值，则产生报警，比较完成后，将当前值保存下来，供下一次进行比较。
上述递增量突减算法包括以下步骤：
S61、收到传感器的实时数据后，将当前点值与前一点的值比较，在滑动时间窗口范围内；
S62、若递减结果值小于递减突变值，则产生报警，比较完后成，将当前值保存下来，供下一次进行比较。
上述无数据时间超时算法包括以下步骤：
S71、当收到传感器的数据后，记录下设备接收数据的时间；
S72、判断数据接收时间与当前时间差是否满足配置点的触发时间，若满足则产生报警。
本发明的物联网数据实时分析系统，包括：
采集模块，用于实时采集物联网遥测数据；
分类标记模块，用于将采集模块中的数据根据类别分成若干份数据，并标记每份数据，得到标记数据；
实时算法模块，用于将分类标记模块中每份标记数据进行分析处理，得到警报数据；
匹配模块，用于将标记数据和实时算法模块中的算法建立对应关系；
报警模块，用于所述警报数据的输出。
一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行的实时分析方法。
本发明的技术效果和优点：该物联网数据实时分析方法、系统及计算机可读存储介质，使用简单，对物联网时序数据进行分析处理，按照时间窗口进行实时采样、依据规则进行数据挖掘，从而提高数据准确性，解决了物联网遥测数据挖掘分析的结果不够精确，时效性低的问题。
附图说明
图1为本发明的流程示意图；
图2为本发明实时值超限算法报警触发示意图；
图3为本发明实时值超限算法流程图；
图4为本发明振幅值超限算法报警触发示意图；
图5为本发明振幅值超限算法的流程图；
图6为本发明间隔差值超限算法报警触发示意图；
图7为本发明间隔差值超限算法的流程图；
图8为本发明无效递减值突增报警触发示意图；
图9为本发明有效递减值突增报警触发示意图；
图10为本发明无效递增值突降报警触发示意图；
图11为本发明有效递增值突降报警触发示意图；
图12为本发明无数据时间超时算法警触发示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1所示的一种物联网数据实时分析方法，包括以下步骤：
S1、实时采集物联网遥测数据，按照时间窗口对遥测数据实时采样；
S2、根据数据类型将采样数据分成若干分类数据，并将若干分类数据标记，得到标记数据；
S3、通过匹配方法将每条标记数据与实时算法建立匹配关系；
S4、利用实时算法分析标记数据中的数据，若满足预设条件则将数据输出，否则丢弃。
其中，所述标记数据的分类包括无规则数据、波动型数据、周期性数据、趋势型数据、中断型数据；
所述实时算法包括实时值超限算法、振幅值超限算法、间隔差值超限算法、递减量突增算法、递增量突减算法、无数据时间超时算法；
参见图3，实时值超限算法包括以下步骤：
S21、收到传感器实时数据后，将数据与设定的报警范围值比较，
S22、若数据值处于范围值区间内则产生报警数据，否则丢弃；本实施例中，如图2所示，当设置的报警范围为小于24或者大于30，传感器的实时数据小于24时触发一次报警，此时标志状态为报警状态，直到传感器的实时数据不满足报警条件，此时标记为正常，在正常状态下，当值满足报警条件的，触发第二次报警，直到不在满足报警条件，标志为正常；
参见图5，所述振幅值超限算法包括以下步骤：
S31、收到传感器实时数据后，将当前数据保存，在设定的时间窗口内，用最大值与最小值的差值与设定值进行比较，若满足条件即可产生报警；
S32、在保存当前传感器数据时，将需要保存的历史数据的时间间隔分成五等份，在每个时间间隔中只存储此时间范围中的最大值与最小值；
S33、当前传感器的实时值与之前每个历史区间的最大值、最小值比较，满足报警设定条件即可产生报警；
本实施例中，如图4所示，若设置的报警范围大于30，当传感器的实时数在滑动时间窗口的最大值与最小值之差绝对值满足大于30时，触发一次报警，此时标志状态为报警状态，时间窗口按照时间轴向前滑动，进行实时持续分析，直到传感器的实时数据不满足报警条件，此时标记为正常，在正常状态下，当值满足报警条件的，触发第二次报警，直到不在满足报警条件，标志为正常；
参见图7，间隔差值超限算法包括以下步骤：
S41、收到传感器实时数据后，将当前数据保存下来，此后收到的数据与设定时间之前保存的数据比较；
S42、将需要保存的历史数据的时间间隔分成n等份，在每个时间间隔中只存储此时间范围中最大值与最小值；
S43、当前传感器的新数据与指定时间间隔之前的最大值与最小值进行比较，满足比较条件即可产生报警；
本实施例中，如图6所示，假设我们设置的报警范围大于30，当传感器的实时数在滑动时间窗口的最近值与最远值之差绝对值满足大于30时，触发一次报警，此时标志状态为报警状态，时间窗口按照时间轴向前滑动，进行实时持续分析。直到传感器的实时数据不满足报警条件，此时标记为正常。在正常状态下，当值满足报警条件的，触发第二次报警。直到不在满足报警条件，标志为正常；
所述递减量突增算法包括以下步骤：
S51、收到传感器实时数据后，将该点值与前一点的值比较，在滑动时间窗口范围内；
S52、若递减结果值大于递减突变值，则产生报警，比较完成后，将当前值保存下来，供下一次进行比较；
本实施例中，如图9所示，当传感器的实时数在滑动时间窗口内的数据的突变值，后一值大于当前值，小于结果值也就是时间窗口最新数据，则触发一次报警，此时标志状态为报警状态，时间窗口按照时间轴向前滑动，进行实时持续分析，直到传感器的实时数据不满足报警条件，此时标记为正常，在正常状态下，当值满足报警条件的，触发第二次报警，直到不在满足报警条件，标志为正常，图8中突变值大于结果值，属于时间窗口内的正常数据波动，未触发报警；
所述递增量突减算法包括以下步骤：
S61、收到传感器的实时数据后，将该点值与前一点的值比较，在滑动时间窗口范围内；
S62、若递减结果值小于递减突变值，则产生报警，比较完后成，将当前值保存下来，供下一次进行比较；
本实施例中，如图11所示，当传感器的实时数在滑动时间窗口内的数据的突变值，后一值大于当前值，大于结果值也就是时间窗口最新数据，则触发一次报警，此时标志状态为报警状态，时间窗口按照时间轴向前滑动，进行实时持续分析，直到传感器的实时数据不满足报警条件，此时标记为正常，在正常状态下，当值满足报警条件的，触发第二次报警，直到不在满足报警条件，标志为正常,如图10所示，突变值小于结果值，属于时间窗口内的正常数据波动，未触发报警；
如图12所示，所述无数据时间超时算法包括以下步骤：
S71、当收到传感器的数据后，记录下设备接收数据的时间；
S72、设备离线时间报警服务判断数据接收时间与当前时间差是否满足配置点的触发时间，若满足则产生报警。
所述匹配方法包括：
所述无规则数据匹配实时值超限算法；
所述波动型数据匹配振幅值超限算法；
所述周期性数据匹配间隔差值超限算法；
所述趋势型数据匹配递减量突增算法或递增量突减算法；
所述中断型数据匹配无数据时间超时算法。
本发明另提供一种物联网数据实时分析系统，包括：
采集模块，用于实时物联网遥测数据；
分类标记模块，用于将采集模块中的数据根据类别分成若干份数据，并标记每份数据，得到标记数据；
实时算法模块，用于将分类标记模块中每份标记数据进行分析处理，得到警报数据；
匹配模块，用于将标记数据和实时算法模块中的算法建立对应关系；
报警模块，用于所述警报数据的输出。
本发明还提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行任意一种物联网数据实时分析方法。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种物联网数据实时分析方法，其特征在于：包括以下步骤：
S1、实时采集物联网遥测数据，按照时间窗口对遥测数据进行实时采样；
S2、根据数据类型将采样数据分成若干分类数据，并将所述分类数据进行标记，得到标记数据，所述标记数据的分类包括无规则数据、波动型数据、周期性数据、趋势型数据和中断型数据；
S3、通过匹配方法将每条所述标记数据与实时算法建立匹配关系，所述实时算法包括实时值超限算法、振幅值超限算法、间隔差值超限算法、递减量突增算法、递增量突减算法、无数据时间超时算法；
S4、利用所述实时算法分析标记数据中的数据，若满足预设条件则将数据输出，否则丢弃；
步骤S3中，所述匹配方法包括：
所述无规则数据匹配所述实时值超限算法；
所述波动型数据匹配所述振幅值超限算法；
所述周期性数据匹配所述间隔差值超限算法；
所述趋势型数据匹配所述递减量突增算法或所述递增量突减算法；
所述中断型数据匹配所述 无数据时间超时算法，所述实时值超限算法包括以下步骤：
S21、收到传感器实时数据后，将数据值与设定的报警范围值区间进行比较；
S22、若数据值处于报警范围值区间内则产生报警数据，否则丢弃；所述振幅值超限算法包括以下步骤：
S31、收到传感器实时数据后，将当前数据保存，在设定的时间窗口内，用最大值与最小值的差值与设定值进行比较，若满足报警设定条件即可产生报警；
S32、在保存当前传感器数据时，将需要保存的历史数据的时间间隔分成五等份，在每个时间间隔中只存储此时间范围中的最大值与最小值；所述间隔差值超限算法包括以下步骤：
S41、收到传感器实时数据后，将当前数据保存下来，此后收到的数据与设定时间之前保存的数据比较；
S42、将需要保存的历史数据的时间间隔分成n等份，在每个时间间隔中只存储此时间范围中最大值与最小值；
S43、将当前传感器的新数据与指定时间间隔之前的最大值与最小值进行比较，满足比较条件即可产生报警；所述递减量突增算法包括以下步骤：
S51、收到传感器实时数据后，将当前点值与前一点的值比较，在滑动时间窗口范围内；
S52、若递减结果值大于递减突变值，则产生报警，比较完成后，将当前值保存下来，供下一次进行比较；所述递增量突减算法包括以下步骤：
S61、收到传感器的实时数据后，将当前点值与前一点的值比较，在滑动时间窗口范围内；
S62、若递减结果值小于递减突变值，则产生报警，比较完后成，将当前值保存下来，供下一次进行比较；所述无数据时间超时算法包括以下步骤：
S71、当收到传感器的数据后，记录下设备接收数据的时间；
S72、判断数据接收时间与当前时间差是否满足配置点的触发时间，若满足则产生报警。
2.一种物联网数据实时分析系统，使该系统执行权利要求1所述的方法，其特征在于：包括：
采集模块，用于实时采集物联网遥测数据；
分类标记模块，用于将采集模块中的数据根据类别分成若干份数据，并标记每份数据，得到标记数据；
实时算法模块，用于将分类标记模块中每份标记数据进行分析处理，得到警报数据；
匹配模块，用于将标记数据和实时算法模块中的算法建立对应关系；
报警模块，用于所述警报数据的输出。
3.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，其特征在于：当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1所述的实时分析方法。
CN202111118790.XA 2021-09-24 2021-09-24 物联网数据实时分析方法、系统及计算机可读存储介质 Active CN113568960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111118790.XA CN113568960B (zh) 2021-09-24 2021-09-24 物联网数据实时分析方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111118790.XA CN113568960B (zh) 2021-09-24 2021-09-24 物联网数据实时分析方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113568960A CN113568960A (zh) 2021-10-29
CN113568960B true CN113568960B (zh) 2022-01-07

Family

ID=78174248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111118790.XA Active CN113568960B (zh) 2021-09-24 2021-09-24 物联网数据实时分析方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113568960B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338671A (zh) * 2021-12-27 2022-04-12 广西电网有限责任公司 一种用于小水电站边缘计算网关数据处理方法
CN114996261B (zh) * 2022-08-05 2022-10-28 深圳市深蓝信息科技开发有限公司 基于ais数据的去重方法、装置、终端设备及存储介质
CN116932470B (zh) * 2023-09-18 2024-01-05 江苏正泰泰杰赛智能科技有限公司 一种可计算存储物联网时序数据的方法、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510123A (zh) * 2018-04-04 2018-09-07 农业部环境保护科研监测所 一种基于物联网的湿地保护与开发的优化分析方法
CN110705941B (zh) * 2019-10-09 2023-05-19 江苏汇环环保科技有限公司 基于物联网的危废贮存监管系统及操作方法
CN111506672B (zh) * 2020-03-24 2024-05-07 平安国际智慧城市科技股份有限公司 实时分析环保监测数据的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113568960A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113568960B (zh) 物联网数据实时分析方法、系统及计算机可读存储介质
CN113518011B (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
EP3410308A1 (en) Predictive analysis system and method for analyzing and detecting machine sensor failures
CN111459778A (zh) 运维系统异常指标检测模型优化方法、装置及存储介质
EP3301586A1 (en) Pre-processor and diagnosis device
CN108491861A (zh) 基于多源多参量融合的输变电设备状态异常模式识别方法及装置
CN109115257B (zh) 传感器特性曲线的修正方法、装置、设备及存储介质
US11615344B2 (en) Condition monitoring device, method, and storage medium
EP3495905A2 (en) Operational improvement effect calculation device, operational improvement effect calculation method and recording medium
CN116522096B (zh) 基于动作捕捉的三维数字孪生内容智能制作方法
CN113988723A (zh) 一种基于用电数据异常分析的用户行为锁定方法和系统
CN116893643A (zh) 一种基于数据分析的智能机器人行驶轨迹安全管控系统
CN112612844A (zh) 数据处理方法、装置、设备和存储介质
CN117907631B (zh) 一种基于风速传感器的风速矫正方法及系统
CN113934536B (zh) 面向边缘计算的数据采集方法
EP3282588A1 (en) Method, system and program product for data transmission with a reduced data volume
CN116743637B (zh) 一种异常流量的检测方法、装置、电子设备及存储介质
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
CN116681307B (zh) 基于多端融合反馈的河道四乱监管追溯显示方法及系统
CN111695735B (zh) 一种基于流计算的铁路弓网实时预警方法、系统及装置
US12050680B2 (en) Anomaly detection apparatus, anomaly detection method, and non-transitory storage medium
CN115041544A (zh) 冲压件的异常检测方法、装置及存储介质
EP3462338A1 (en) Data processing device, data analyzing device, data processing system and method for processing data
CN111882135B (zh) 一种物联网设备入侵检测方法及相关装置
CN111272457A (zh) 基于温度数据的机械状态检测方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant