CN110097037A - 智能监测方法、装置、存储介质及电子设备 - Google Patents

智能监测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110097037A
CN110097037A CN201910429945.8A CN201910429945A CN110097037A CN 110097037 A CN110097037 A CN 110097037A CN 201910429945 A CN201910429945 A CN 201910429945A CN 110097037 A CN110097037 A CN 110097037A
Authority
CN
China
Prior art keywords
data
behavior
monitoring
behavior act
act
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910429945.8A
Other languages
English (en)
Other versions
CN110097037B (zh
Inventor
季明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU LIANTU TECHNOLOGY Co Ltd
Tianjin Liantu Technology Co Ltd
Original Assignee
HANGZHOU LIANTU TECHNOLOGY Co Ltd
Tianjin Liantu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU LIANTU TECHNOLOGY Co Ltd, Tianjin Liantu Technology Co Ltd filed Critical HANGZHOU LIANTU TECHNOLOGY Co Ltd
Priority to CN201910429945.8A priority Critical patent/CN110097037B/zh
Publication of CN110097037A publication Critical patent/CN110097037A/zh
Application granted granted Critical
Publication of CN110097037B publication Critical patent/CN110097037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种智能监测方法、装置、存储介质及电子设备，该方法包括：获取采集到的监测数据以及所述监测数据采集过程中监测现场的监控视频数据；识别所述监测数据中由于系统状态变化或人为操作造成的异常数据以及所述异常数据对应的采集时间；识别所述监控视频数据中存在的行为动作以及所述行为动作对应的发生时间；根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性。本发明能够自动感知和判别由系统状态变化或者相关人员操作不当导致的数据失真，甚至因为人为干扰造成的数据造假，从而自行保障监测数据的真实性、有效性，实现有效的自动化监管。

Description

智能监测方法、装置、存储介质及电子设备
技术领域
本发明涉及人工智能及物联网技术领域，尤其涉及一种基于人工智能及物联网的智能监测方法、装置、存储介质及电子设备。
背景技术
监测系统分为在线监测系统和第三方监测系统。在线监测系统为自动实现监测数据的连续监测和数据通讯构成，第三方监测系统为人工采样、封装、运输、实验室监测及监测报告构成。监测数据对各行各业的管理，例如环境管理、公共安全、食品检疫等日益重要，成为行业监管的手段和基础。监测数据的真实性、准确性、有效性，已然成为国家治理的重要基础。
在基于物联网技术的应用场景中，与人发生联系的场景正在变得越来越重要。这主要是因为工业自动化的推进已经解放了很多重复性的劳动，所以有人参与的操作往往是比较复杂同时也是比较重要的操作。这时候如果有物联网数据配合人的操作，一方面可以更精细地管理人的行为操作，另一方面也可以实现预警预判防止意外发生。对于人的行为监控，目前比较普遍的是利用视频监控系统，在后台安排值班人员人为实时监控现场画面并随时准备指挥调度。但是现实中视频前端数量越来越庞大，人工监控的工作量越来越大，而且人工劳动难以避免有一定的视觉疲劳周期，真正的监控效果不甚理想。
目前对于现场数据的实时监控，比较有效的方法是数据自动管控技术，即通过监测数据、工作状态、仪器关键参数三方面同时监测的方式，使监管单位在掌握监测数据的同时，能够数字化掌握和控制现场监测设备的运行状况，提供监测数据的准确度，更好地为管理决策提供依据。在现场端，一般采用数采仪与自动监控设备相连，实时获取监控设备的监测数据、设备参数、设备状态、报警信息等数据，通过网络上传到监管平台。平台接收并存储数据，并通过平台程序对上报数据进行自动智能审核，另外也可以向监测设备发送反控控制指令，包括更改设备参数、更改设备工作状态等，通过前端设备对反控指令的反馈结果判断自动管控效果。监控平台实时获取的温度、压力、校准电流、曲线斜率等工作参数，也包括自动监测设备正常运行、校准、故障等运行状态，利用统计模式识别方法中比较常用的非线性映射法或者特征分析法，实现对运行状态和工作参数进行实时监控、分析研判、预警联动等。
在实现本发明过程中，发明人发现现有数据自动管控技术中至少存在以下及时问题：
监测系统相关人员操作不当导致数据失真，甚至因为人为干扰造成数据造假，目前监测系统采用的相关技术还无法自动感知判别，从而无法自行保障监测数据的真实性、有效性。
第三方监测流程中影响监测结果的因素包括采样时间、采样方式、封装及运输范式影响、人工实验室监测模式、监测报告编排等。这中间任一环节的人为误操作或干扰都会造成数据失真或造假。但是目前的监测系统都无法自动识别。
发明内容
本发明提出了一种智能监测方法、装置、存储介质及电子设备，以解决现有监测系统无法自动感知判别由于相关人员操作不当导致数据失真，或人为干扰导致数据造假的问题。
本发明的一个方面，提供了一种智能监测方法，所述方法包括：
获取采集到的监测数据以及所述监测数据采集过程中监测现场的监控视频数据；
识别所述监测数据中由于系统状态变化或人为操作造成的异常数据以及所述异常数据对应的采集时间；
识别所述监控视频数据中存在的行为动作以及所述行为动作对应的发生时间；
根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性。
可选地，所述根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性，包括：
将所述异常数据以及所述异常数据对应的发生时间和所述行为动作以及所述行为动作对应的发生时间作为预设的分类网络模型的输入参数进行学习训练，得到所述行为动作的行为类型以及当前分类结果的置信度；
根据所述行为动作的行为类型，确定所述异常数据与所述行为动作或系统状态变化的相关性。
可选地，所述方法还包括：
根据预设的回归网络模型对所述分类网络模型输出的当前分类结果的置信度进行优化调整。
可选地，在所述检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性之后，所述方法还包括：
将所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性进行输出展示。
可选地，所述识别所述监测数据中由于系统状态变化或人为操作造成的异常数据，包括：
采用孤立森林算法识别所述监测数据中存在的异常数据。
可选地，所述识别所述监控视频数据中存在的行为动作，包括：
采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，所述行为识别分析模型的目标函数中添加指定关节点特征组合的关联性以作为特征学习的约束条件。
可选地，所述采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，包括：
基于预设的第一神经网络模型分析所述监控视频数据的各图像帧中各个关节点特征对于当前图像帧行为识别的重要性，根据各个关节点特征对于当前图像帧行为识别的重要性匹配各个关节点特征在所述行为识别分析模型中的权重；
基于预设的第二神经网络模型分析所述监控视频数据中的各个图像帧对于当前监控视频数据行为识别的重要性，根据各个图像帧对于当前监控视频数据行为识别的重要性匹配各个图像帧在所述行为识别分析模型中的权重；
基于权重调整后的行为识别分析模型提取表达当前时刻图像帧的行为动作的行为特征，并基于所述行为特征识别当前时刻图像帧中存在的行为动作。
本发明的另一个方面，提供了一种智能监测装置，所述装置包括：
获取模块，用于获取采集到的监测数据以及所述监测数据采集过程中监测现场的监控视频数据；
数据识别模块，用于识别所述监测数据中由于系统状态变化或人为操作造成的异常数据以及所述异常数据对应的采集时间；
图像识别模块，用于识别所述监控视频数据中存在的行为动作以及所述行为动作对应的发生时间；
检测模块，用于根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性。
可选地，所述检测模块，包括：
分类单元，用于将所述异常数据以及所述异常数据对应的发生时间和所述行为动作以及所述行为动作对应的发生时间作为预设的分类网络模型的输入参数进行学习训练，得到所述行为动作的行为类型以及当前分类结果的置信度；
判定单元，还用于根据所述行为动作的行为类型，确定所述异常数据与所述行为动作或系统状态变化的相关性。
可选地，所述检测模块，还包括：
调整单元，用于根据预设的回归网络模型对所述分类网络模型输出的当前分类结果的置信度进行优化调整。
可选地，所述装置还包括：
输出模块，用于将所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性进行输出展示。
可选地，所述数据识别模块，具体用于采用孤立森林算法识别所述监测数据中存在的异常数据。
可选地，所述图像识别模块，具体用于采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，所述行为识别分析模型的目标函数中添加指定关节点特征组合的关联性以作为特征学习的约束条件。
可选地，所述图像识别模块，具体用于：
基于预设的第一神经网络模型分析所述监控视频数据的各图像帧中各个关节点特征对于当前图像帧行为识别的重要性，根据各个关节点特征对于当前图像帧行为识别的重要性匹配各个关节点特征在所述行为识别分析模型中的权重；
基于预设的第二神经网络模型分析所述监控视频数据中的各个图像帧对于当前监控视频数据行为识别的重要性，根据各个图像帧对于当前监控视频数据行为识别的重要性匹配各个图像帧在所述行为识别分析模型中的权重；
基于权重调整后的行为识别分析模型提取表达当前时刻图像帧的行为动作的行为特征，并基于所述行为特征识别当前时刻图像帧中存在的行为动作。
此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
此外，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
本发明实施例提供的智能监测方法、装置、存储介质及电子设备，能够自动感知和判别由系统状态变化或者相关人员操作不当导致的数据失真，甚至因为人为干扰造成的数据造假，从而自行保障监测数据的真实性、有效性。而且，本发明不仅实现监测数据的监控预警，也提供对运维现场人机交互的异常行为的实时监控预警，并且综合两者之间的关联度提高数据与行为监控预警的准确度，降低干扰数据或行为对智能监测的影响，实现有效的自动化监管。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的一种智能监测方法的流程示意图；
图2为本发明实施例中提出4个测试样本的孤立森林算法模型示意图；
图3为本发明实施例中提出的LSTM网络中的关联性学习的示意图；
图4为本发明实施例的一种智能监测方法中步骤13的流程示意图；
图5为本发明实施例中提出的监控视频数据整体神经网络架构的示意图；
图6为本发明实施例中提出的行为动作与异常数据相关性分析示意图；
图7为本发明实施例中提出的联合分类和回归循环网络架构的示意图；
图8为本发明实施例的一种智能监测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
基于人工智能与物联网的监测系统包括数据图像采集前端设备、用于人工智能分析的智能监测装置。数据图像采集设备主要包括智能摄像设备、数据采集设备等，将实时采集到的监测数据流和所述监测数据流采集过程中监测现场的监控视频流发送到智能监测装置。智能监测装置，主要用于对实时采集到的监测数据流和视频流进行人工智能预处理，然后应用基于人工智能技术的数据分析和图像分析算法模型，并将两者结合做相关性判定，从经过预处理的数据和图像检测出有效的分析结果。例如，行为动作的行为类型包括正常运维操作、造假破坏行为等。根据行为动作的行为类型确定异常数据与行为动作或系统状态变化的相关性，例如，当行为动作为正常运维操作，则异常数据与行为动作无关，异常数据代表设备运行异常，当行为动作为造假破坏行为，则异常数据与行为动作有关，即异常数据是由相关人员操作不当或人为干扰造成。监测系统还包括功能输出端，主要用于展现行为分析结果，并通知相关部门做出相应处理。
图1示意性示出了本发明一个实施例的智能监测方法的流程图。参照图1，本发明实施例提出的智能监测方法具体包括步骤S11～S14，如下所示：
S11、获取采集到的监测数据以及所述监测数据采集过程中监测现场的监控视频数据。
具体的，可以采用数据采集设备和智能摄像设备等前端设备，实时采集到的监测数据流和所述监测数据流采集过程中监测现场的监控视频流，并将采集到的数据发送到智能监测装置。
S12、识别所述监测数据中由于系统状态变化或人为操作造成的异常数据以及所述异常数据对应的采集时间。
本发明实施例中，具体可采用孤立森林算法识别所述监测数据中存在的异常数据。
在实际应中，对于工业自动化运行监测系统，物联网数据采集是最基础的环节。数据的全面性和准确性是人工智能分析有效性的基础。物联网数据依赖前端工业物联网采集设备实时获取有效数据，作为人工智能分析的输入条件。工业物联网场景中的数据分析，最关心的是异常数据的检测判断，本发明实施例中，采用基于划分思想的孤立森林算法模型实现监测数据中存在的异常数据的识别。孤立森林算法模型的基本思想是假设用一个随机超平面来切割数据空间，每次切割可以生成两个子空间。之后我们再继续用一个随机超平面来切割每个子空间，一直循环直到每子空间里面只有一个数据点为止。直观上来讲，我们可以发现那些密度很高的簇是可以被切很多次才会停止切割，但是那些密度很低的点很早就停在某一个子空间。针对异常数据检测，一般通过以下方式构造多颗孤立树：在当前节点随机挑选数据的一个属性，并随机选取属性的一个值，将当前节点中所有数据划分到左右两个叶子节点；如果叶子节点深度较小或者叶子节点中的数据点还很多，则继续上述的划分。异常点表现为在所有孤立树中会有一个平均很低的树的深度。
图2为包括4个测试样本的孤立森林算法模型示意图。在图2例子中，以4个测试样本为例遍历一棵二叉树的情况如下：b和c的高度为3，a的高度是2，d的高度是1。可以看到d最有可能是异常，因为其最早就被孤立。因此本算法的实质是将数据不断通过某个属性划分，异常点通常能很早地被划分到一边，也就是被早早地孤立起来。而正常点则由于群体众多，需要更多次地划分。总之，通过本算法可以快速识别异常数据的变化情况，实时监测系统运行状态，并作为数据和图像相关性判定的输入条件作进一步分析。
本发明通过孤立森林算法实现异常数据的检测，能够自动感知和判别系统自身的运行状态(正常态、异常态、故障态)，包括背景变化或者设备老化等人机环境的变化，准确识别出异常数据，从而保证监测数据的准确性、有效性。
S13、识别所述监控视频数据中存在的行为动作以及所述行为动作对应的发生时间。
本发明实施例中，具体可采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，其中，所述行为识别分析模型的目标函数中添加指定关节点特征组合的关联性以作为特征学习的约束条件。
本实施例中，基于循环神经网络(RNN)实现智能行为图像识别检测。具体的，采用循环神经网络基于LSTM(长短时记忆神经网络，Long-Short Term Memory)来搭建行为识别分析模型基础框架，并且对时域的动态过程建模，实现端到端的行为识别检测。
为了进一步提高对监控视频数据中存在行为动作的识别准确率，本发明实施例提供的行为识别分析模型的目标函数中添加了指定关节点特征组合的关联性以作为特征学习的约束条件。本实施例中，在行为识别分析模型中，除了神经网络的智能学习，也利用人的先验知识及动作特性。在人的认知中，某一种动作都跟一组特定的关节点相关。比如走路行为就是脚、膝盖、臀部这几个关节点构成一组行为的判别组合，而打电话行为则是手腕、手肘、肩膀以及头这几个关节点组成另一组判别组合。因此不同的行为动作对应不同的关节点组合，这可以由人的先验知识加以定义。本发明将这个关节点组合的关联性作为LSTM网络参数学习的约束条件来优化性能。
图3为本发明实施例中提出的LSTM网络中的关联性学习的示意图。如图3所示，在训练阶段，在目标函数中引入对关节点和神经元相连的权重的约束，使同一组神经元对某些特定的关节点组合有更大的权重连接，也就是挖掘突出关节点之间的关联性。一个LSTM层由若干LSTM神经元组成，同组的每个神经元共同地和某些关节点有更大的连接权重，也就是和某类动作相关节点构成关节点组合，而和其他关节点的连接权重较小，最终体现的效果是不同的神经元组对不同动作的敏感程度不同，因此通过关节点关联性约束的引入，可以提高模型对行为识别的敏感性。
S14、根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性。
本实施例中，在所述检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性之后，具体还包括：将所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性进行输出展示。
具体的，本发明在人工智能的联合检测结束后，输出一个对行为动作和异常数据的分类似然概率结论，并传递给能输出端，由其实现记录保存整理、上级平台推送、前端页面展现、用户终端告警通知等应用层功能。
具体的，行为动作的行为类型可以包括正常运维操作、造假破坏行为。输出结果可以为：行为类型为正常运维操作，该行为识别的分类概率；行为类型为造假破坏行为，该行为识别的分类概率。当行为动作为正常运维操作的置信度较高时，输出结果还可以包括：异常数据与行为动作无关，与系统状态变化相关，异常数据由系统状态异常造成。当行为动作为造假破坏行为的置信度较高时，输出结果还可以包括：异常数据与行为动作相关，异常数据是由相关人员操作不当或人为干扰造成。
本发明实施例提供的智能监测方法，基于物联网技术在获取监测数据时，同时获取监测数据采集过程中监测现场的监控视频数据，通过人工智能深度学习和计算机视觉技术智能感知监控视频数据中相关人员的行为动作的行为类型以及监测数据中存在的异常数据与行为动作或系统状态变化的相关性，进而判别由系统状态变化或者相关人员操作不当导致的数据失真，甚至因为人为干扰造成的数据造假，从而自行保障监测数据的真实性、有效性。
本发明不仅实现监测数据的监控预警，也提供对运维现场人机交互的异常行为的实时监控预警，并且综合两者之间的关联度提高数据与行为监控预警的准确度，降低干扰数据或行为对智能监测的影响，实现有效的自动化监管。
在一个具体实施例中，所述采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，具体包括以下步骤：
S131、基于预设的第一神经网络模型分析所述监控视频数据的各图像帧中各个关节点特征对于当前图像帧行为识别的重要性，根据各个关节点特征对于当前图像帧行为识别的重要性匹配各个关节点特征在所述行为识别分析模型中的权重；
S132、基于预设的第二神经网络模型分析所述监控视频数据中的各个图像帧对于当前监控视频数据行为识别的重要性，根据各个图像帧对于当前监控视频数据行为识别的重要性匹配各个图像帧在所述行为识别分析模型中的权重；
S133、基于权重调整后的行为识别分析模型提取表达当前时刻图像帧的行为动作的行为特征，并基于所述行为特征识别当前时刻图像帧中存在的行为动作。
本实施例中，通过在行为识别分析模型中引入空间权重和时间权重，以模拟人类对行为的认知，将识别关注点放在更应该关注的范围内，进一步提高行为识别准确率。具体的，所谓空间权重，指的是通过研究发现，具体到每个特定的行为，信息量最大的是几个关键的关节点，而其他不重要的关节点可以相应地调低权重，甚至予以忽略。比如走路这个动作，主要跟下肢关节点的变化有关，手部躯干及头部动作可以适当降低分析权重，分析判断主要聚焦在腿部区域，这就是空间权重的动态配比。本实施例，采用LSTM子网络作为第一神经网络模型，对视频中依次出现的图像帧给不同关节点自动匹配不同的权重，使主要关注的关节点在分类模型中占据更大的权重，从而达到更准确的行为识别效果。所谓时间权重，可以理解为对于一个连续的行为动作，在时域概念中某几个关键时刻对于行为判断至关重要，而另外的过渡动作则重要性相对不高甚至可以忽略。还是以走路这个动作为例，并腿开始起步走、迈开到最大然后到后脚变前脚这几个姿势比较关键，之后是两腿一直循环交替领先，所以包含这几个姿势的图像帧是我们所指的时间权重高的部分。本实施例，采用类似的LSTM子网络作为第二神经网络模型，对包含关键姿势的图像帧提高权重，其他帧做降权甚至抽帧处理，这样可以极大地提高处理性能，优化识别精度。图5是监控视频数据整体神经网络架构的示意图。在图5中可以看出，空间权重子网络学习一个空间权重模型给画面中不同的关节点赋予不同的权重，时间权重子网络学习一个时间权重模型给时间序列中不同的帧赋予不同的权重，主LSTM网络完成对特征的提取、时域相关性利用及最终的分类识别。其中，xt为当前(t时刻)的网络输入，X’t为当前(t时刻)空间权重调整后的网络输入，αt为空间权重模型的输出结果，xt-1为前一时刻(t-1时刻)的网络输入，ht为当前(t时刻)经过LSTM主网络处理后的输出结果，βt为时间权重模型的输出结果，Z’t为当前(t时刻)时间权重调整后的网络输出。
在一个具体实施例中，所述根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性，具体包括：将所述异常数据以及所述异常数据对应的发生时间和所述行为动作以及所述行为动作对应的发生时间作为预设的分类网络模型的输入参数进行学习训练，得到所述行为动作的行为类型以及当前分类结果的置信度；根据所述行为动作的行为类型，确定所述异常数据与所述行为动作或系统状态变化的相关性。
进一步地，在得到分类网络模型输出的当前分类结果之后，还包括：根据预设的回归网络模型对所述分类网络模型输出的当前分类结果的置信度进行优化调整。
本发明利用人工智能技术联合分析物联网数据、视频图像内容并最终完成决策研判。本发明实施例采用孤立森林的算法实现异常数据检测，以及用基于LSTM的循环神经网络实现行为识别分析，并进一步利用前面各步骤检测分析分别得到的结果实现联合分析。在实际的应用场景中，单纯通过图像分析行为动作，很难精细化到具体哪个参数的调整，这时候可以通过数据的变化验证行为操作的目标。而单纯判断异常数据的变化无法确切得知是人为因素造成的还是环境或设备问题的原因，此时用行为识别作为辅助决策又是非常有效的手段。图6为本发明实施例中提出的行为动作与异常数据相关性分析示意图。在图6行为动作检测示例中，分别通过分析摄像头实时获取的视频序列得到行为识别的分析结果与通过分析物联网数据得到异常数据的分析结果显然是有时域相关性的，通过联合分类和回归循环网络(JCR-RNN)即可以实现更快速准确的行为识别检测。
本实施例中，联合分类和回归循环网络是基于LSTM循环神经网络的行为识别系统，同时配合异常数据识别模型输出的异常数据检测结果作为辅助判断依据。如图7所示，处理监控视频流的是由LSTM层和全连层(FC Layer)组成的深度LSTM网络，处理物联网数据流的是用孤立森林算法搭建的数据挖掘模型，两者通过后面连接的分类网络来联合检测行为识别的类别以及异常数据产生的原因。分类网络主要采用Softmax归一化指数激活函数，将多个神经元的输出映射到(0,1)区间内，并且保证所有元素和为1，实际上也就是离散概率分布的梯度对数归一化。这个方法在基于概率的多分类过程中有着广泛的应用。在本实施例中，采用Softmax方法实现了基于神经网络的行为分析器，将视频流通过LSTM网络的输出和数据流通过数据挖掘模型的输出作为行为分析器的输入，其输出即为行为识别的分类概率。这个输出再作为之后回归网络(Regression Network)的输入，回归网络采用机器学习中常见的Soft Selector分类选择器，辅助调整行为动作的置信度。
由于LSTM网络对时间序列处理的强大能力和孤立森林算法精准的数据挖掘，再配合联合分类回归模型的设计，用联合分类和回归循环网络可实现快速准确的视频和数据的联合检测。
本发明技术方案具有以下有益效果：
本发明通过人工智能深度学习和计算机视觉技术智能感知和判别人或环境对监测系统，包括在线监测系统和第三方监测系统，操作不当及人为干扰问题或者造成的系统状态变化问题，从而保证监测数据的客观性、真实性。
本发明通过物联网技术感知和判别监测系统自身的运行状态，从而保证监测数据的准确性、有效性。
本发明通过对物联网数据管控和人工智能图像分析的关联分析，准确判断运维操作的合规性，不仅实现监测数据的监控预警，也提供对运维现场人机交互的异常行为的实时监控预警，并且综合两者之间的关联度提高数据与行为监控预警的准确度，降低干扰数据或行为对监控预警系统的影响，真正实现有效的自动化监管。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图8示意性示出了本发明一个实施例的智能监测装置的结构示意图。参照图8，本发明实施例的智能监测装置具体包括获取模块201、数据识别模块202、图像识别模块203以及检测模块204，其中：
获取模块201，用于获取采集到的监测数据以及所述监测数据采集过程中监测现场的监控视频数据；
数据识别模块202，用于识别所述监测数据中由于系统状态变化或人为操作造成的异常数据以及所述异常数据对应的采集时间；
图像识别模块203，用于识别所述监控视频数据中存在的行为动作以及所述行为动作对应的发生时间；
检测模块204，用于根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性。
在本发明实施例中，所述检测模块204，包括分类单元和判定单元，其中：
分类单元，用于将所述异常数据以及所述异常数据对应的发生时间和所述行为动作以及所述行为动作对应的发生时间作为预设的分类网络模型的输入参数进行学习训练，得到所述行为动作的行为类型以及当前分类结果的置信度；
判定单元，还用于根据所述行为动作的行为类型，确定所述异常数据与所述行为动作或系统状态变化的相关性。
进一步地，所述检测模块204，还包括调整单元，该调整单元，用于根据预设的回归网络模型对所述分类网络模型输出的当前分类结果的置信度进行优化调整。
在本发明实施例中，所述装置还包括附图中未示出的输出模块，所述输出模块，用于将所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性进行输出展示。
在本发明实施例中，所述数据识别模块202，具体用于采用孤立森林算法识别所述监测数据中存在的异常数据。
在本发明实施例中，所述图像识别模块203，具体用于采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，所述行为识别分析模型的目标函数中添加指定关节点特征组合的关联性以作为特征学习的约束条件。
进一步地，所述图像识别模块203，具体用于执行以下操作：
基于预设的第一神经网络模型分析所述监控视频数据的各图像帧中各个关节点特征对于当前图像帧行为识别的重要性，根据各个关节点特征对于当前图像帧行为识别的重要性匹配各个关节点特征在所述行为识别分析模型中的权重；
基于预设的第二神经网络模型分析所述监控视频数据中的各个图像帧对于当前监控视频数据行为识别的重要性，根据各个图像帧对于当前监控视频数据行为识别的重要性匹配各个图像帧在所述行为识别分析模型中的权重；
基于权重调整后的行为识别分析模型提取表达当前时刻图像帧的行为动作的行为特征，并基于所述行为特征识别当前时刻图像帧中存在的行为动作。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明实施例提供的智能监测方法、装置，能够自动感知和判别由系统状态变化或者相关人员操作不当导致的数据失真，甚至因为人为干扰造成的数据造假，从而自行保障监测数据的真实性、有效性。而且，本发明不仅实现监测数据的监控预警，也提供对运维现场人机交互的异常行为的实时监控预警，并且综合两者之间的关联度提高数据与行为监控预警的准确度，降低干扰数据或行为对智能监测的影响，实现有效的自动化监管。
本发明充分利用人工智能技术，不仅实现对工业自动化过程中实时采集的物联网大数据的异常数据变化的智能分析，也能对实时监控视频进行精确的行为识别分析，并且在此基础上采用联合分类检测技术综合数据和图像方面的各种变化，完成对人员操作运维动作规范性管理和异常数据的因果分析，实现危险性运维动作的提前预警，在一定程度上防止造假作弊行为的发生，极大地提高运维的自动化监管程度，降低人为监管的随意性，实现真正的自动监管、规范运维、自证清白，减少在人为监管方面巨大的人力投入，真正实现智联网在各个行业的规范化运营管理方面的高效应用。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
本实施例中，所述智能监测装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个智能监测方法实施例中的步骤，例如图1所示的步骤S11～S14。或者，所述处理器执行所述计算机程序时实现上述各智能监测装置实施例中各模块/单元的功能，例如图8所示的获取模块201、数据识别模块202、图像识别模块203以及检测模块204。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述智能监测装置中的执行过程。例如，所述计算机程序可以被分割成获取模块201、数据识别模块202、图像识别模块203以及检测模块204。
所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本实施例中的电子设备可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述电子设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种智能监测方法，其特征在于，包括：
获取采集到的监测数据以及所述监测数据采集过程中监测现场的监控视频数据；
识别所述监测数据中由于系统状态变化或人为操作造成的异常数据以及所述异常数据对应的采集时间；
识别所述监控视频数据中存在的行为动作以及所述行为动作对应的发生时间；
根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性。
2.根据权利要求1所述的智能监测方法，其特征在于，所述根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性，包括：
将所述异常数据以及所述异常数据对应的发生时间和所述行为动作以及所述行为动作对应的发生时间作为预设的分类网络模型的输入参数进行学习训练，得到所述行为动作的行为类型以及当前分类结果的置信度；
根据所述行为动作的行为类型，确定所述异常数据与所述行为动作或系统状态变化的相关性。
3.根据权利要求2所述的智能监测方法，其特征在于，所述方法还包括：
根据预设的回归网络模型对所述分类网络模型输出的当前分类结果的置信度进行优化调整。
4.根据权利要求1-3任一项所述的智能监测方法，其特征在于，在所述检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性之后，所述方法还包括：
将所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性进行输出展示。
5.根据权利要求1所述的智能监测方法，其特征在于，所述识别所述监测数据中由于系统状态变化或人为操作造成的异常数据，包括：
采用孤立森林算法识别所述监测数据中存在的异常数据。
6.根据权利要求1所述的智能监测方法，其特征在于，所述识别所述监控视频数据中存在的行为动作，包括：
采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，所述行为识别分析模型的目标函数中添加指定关节点特征组合的关联性以作为特征学习的约束条件。
7.根据权利要求6所述的智能监测方法，其特征在于，所述采用基于深度学习算法训练的行为识别分析模型识别所述监控视频数据中存在的行为动作，包括：
基于预设的第一神经网络模型分析所述监控视频数据的各图像帧中各个关节点特征对于当前图像帧行为识别的重要性，根据各个关节点特征对于当前图像帧行为识别的重要性匹配各个关节点特征在所述行为识别分析模型中的权重；
基于预设的第二神经网络模型分析所述监控视频数据中的各个图像帧对于当前监控视频数据行为识别的重要性，根据各个图像帧对于当前监控视频数据行为识别的重要性匹配各个图像帧在所述行为识别分析模型中的权重；
基于权重调整后的行为识别分析模型提取表达当前时刻图像帧的行为动作的行为特征，并基于所述行为特征识别当前时刻图像帧中存在的行为动作。
8.一种智能监测装置，其特征在于，包括：
获取模块，用于获取采集到的监测数据以及所述监测数据采集过程中监测现场的监控视频数据；
数据识别模块，用于识别所述监测数据中由于系统状态变化或人为操作造成的异常数据以及所述异常数据对应的采集时间；
图像识别模块，用于识别所述监控视频数据中存在的行为动作以及所述行为动作对应的发生时间；
检测模块，用于根据所述异常数据和所述行为动作的时域相关性，检测所述行为动作的行为类型以及所述异常数据与所述行为动作或系统状态变化的相关性。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述方法的步骤。
CN201910429945.8A 2019-05-22 2019-05-22 智能监测方法、装置、存储介质及电子设备 Active CN110097037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910429945.8A CN110097037B (zh) 2019-05-22 2019-05-22 智能监测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429945.8A CN110097037B (zh) 2019-05-22 2019-05-22 智能监测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110097037A true CN110097037A (zh) 2019-08-06
CN110097037B CN110097037B (zh) 2021-10-01

Family

ID=67448932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429945.8A Active CN110097037B (zh) 2019-05-22 2019-05-22 智能监测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110097037B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110687877A (zh) * 2019-09-12 2020-01-14 深圳市铭华航电工艺技术有限公司 基于视觉网络的监测方法、装置、终端及存储介质
CN110807437A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 视频粒度特征确定方法、装置和计算机可读存储介质
CN111131073A (zh) * 2020-01-02 2020-05-08 深圳市高德信通信股份有限公司 一种网络流量分类处理系统
CN111368980A (zh) * 2020-03-06 2020-07-03 京东数字科技控股有限公司 状态检测方法、装置、设备及存储介质
CN111464793A (zh) * 2020-05-15 2020-07-28 哈尔滨工业大学 一种基于人工智能对实验装置进行监控预警的方法和系统
CN112286775A (zh) * 2020-10-30 2021-01-29 深圳前海微众银行股份有限公司 一种疲劳状态检测的方法、设备及存储介质
CN112395482A (zh) * 2020-11-06 2021-02-23 北京工商大学 一种食品安全事件预警平台
CN112859796A (zh) * 2021-03-15 2021-05-28 河南工业职业技术学院 一种生产过程监控系统
CN113067891A (zh) * 2021-04-08 2021-07-02 深圳市中瓴智慧科技有限公司 智慧工地数据采集方法、装置、计算机设备及其存储介质
CN113158537A (zh) * 2021-01-18 2021-07-23 中国航发湖南动力机械研究所 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN113435352A (zh) * 2021-06-29 2021-09-24 深圳市维度数据科技股份有限公司 文明城市评分方法、装置、电子设备和存储介质
CN113449703A (zh) * 2021-08-31 2021-09-28 天津联图科技有限公司 环境在线监测数据的质控方法、装置、存储介质及设备
CN113704243A (zh) * 2020-05-20 2021-11-26 富泰华工业（深圳）有限公司 数据分析方法、装置、计算机装置及存储介质
CN113836966A (zh) * 2020-06-08 2021-12-24 中国移动通信有限公司研究院 视频检测方法、装置、设备及存储介质
CN114529985A (zh) * 2022-01-19 2022-05-24 吉林大学 一种面向老年人日常复杂地形运动的意图识别方法
CN117152668A (zh) * 2023-10-30 2023-12-01 成都方顷科技有限公司 一种基于物联网的智慧后勤实现方法、装置及设备
CN117312828A (zh) * 2023-09-28 2023-12-29 光谷技术有限公司 公共设施监控方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820259A (zh) * 2004-05-13 2006-08-16 松下电器产业株式会社 文件管理装置、方法、程序及记录了程序的记录媒体
CN101013976A (zh) * 2007-02-05 2007-08-08 南京邮电大学 无线传感器网络的混合入侵检测方法
CN101646070A (zh) * 2009-07-30 2010-02-10 杭州联图科技有限公司 一种新型智能安防监控方法及其专用设备
US20150190085A1 (en) * 2007-05-18 2015-07-09 Smart Monitor Corp. Abnormal motion detector and monitor
CN105511944A (zh) * 2016-01-07 2016-04-20 上海海事大学 一种云系统内部虚拟机的异常检测方法
CN108173708A (zh) * 2017-12-18 2018-06-15 北京天融信网络安全技术有限公司 基于增量学习的异常流量检测方法、装置及存储介质
CN108898108A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种基于扫地机器人的用户异常行为监测系统及方法
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测系统
CN109376050A (zh) * 2018-09-03 2019-02-22 平安普惠企业管理有限公司 一种app监测方法、计算机可读存储介质及终端设备
US20190131017A1 (en) * 2017-10-24 2019-05-02 The Quantum Group Inc. Wellness monitoring by measurement of incidental routine

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820259A (zh) * 2004-05-13 2006-08-16 松下电器产业株式会社 文件管理装置、方法、程序及记录了程序的记录媒体
CN101013976A (zh) * 2007-02-05 2007-08-08 南京邮电大学 无线传感器网络的混合入侵检测方法
US20150190085A1 (en) * 2007-05-18 2015-07-09 Smart Monitor Corp. Abnormal motion detector and monitor
CN101646070A (zh) * 2009-07-30 2010-02-10 杭州联图科技有限公司 一种新型智能安防监控方法及其专用设备
CN105511944A (zh) * 2016-01-07 2016-04-20 上海海事大学 一种云系统内部虚拟机的异常检测方法
US20190131017A1 (en) * 2017-10-24 2019-05-02 The Quantum Group Inc. Wellness monitoring by measurement of incidental routine
CN108173708A (zh) * 2017-12-18 2018-06-15 北京天融信网络安全技术有限公司 基于增量学习的异常流量检测方法、装置及存储介质
CN108898108A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种基于扫地机器人的用户异常行为监测系统及方法
CN109376050A (zh) * 2018-09-03 2019-02-22 平安普惠企业管理有限公司 一种app监测方法、计算机可读存储介质及终端设备
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MOUNCE, S. R.,ET.AL: "Development and verification of an online artificial intelligence system for detection of bursts and other abnormal flows", 《JOURNAL OF WATER RESOURCES PLANNING AND MANAGEMENT》 *
曲成璋: "基于深度信息的不同复杂度行为的识别研究", 《中国优秀博士学位论文全文数据库》 *
马满芳: "基于遗传算法—BP神经网络的乳腺肿瘤辅助诊断模型", 《软件导刊》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110687877A (zh) * 2019-09-12 2020-01-14 深圳市铭华航电工艺技术有限公司 基于视觉网络的监测方法、装置、终端及存储介质
CN110807437A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 视频粒度特征确定方法、装置和计算机可读存储介质
CN111428771A (zh) * 2019-11-08 2020-07-17 腾讯科技（深圳）有限公司 视频场景分类方法、装置和计算机可读存储介质
CN111428771B (zh) * 2019-11-08 2023-04-18 腾讯科技（深圳）有限公司 视频场景分类方法、装置和计算机可读存储介质
CN111131073A (zh) * 2020-01-02 2020-05-08 深圳市高德信通信股份有限公司 一种网络流量分类处理系统
CN111368980A (zh) * 2020-03-06 2020-07-03 京东数字科技控股有限公司 状态检测方法、装置、设备及存储介质
CN111368980B (zh) * 2020-03-06 2023-11-07 京东科技控股股份有限公司 状态检测方法、装置、设备及存储介质
CN111464793A (zh) * 2020-05-15 2020-07-28 哈尔滨工业大学 一种基于人工智能对实验装置进行监控预警的方法和系统
CN113704243A (zh) * 2020-05-20 2021-11-26 富泰华工业（深圳）有限公司 数据分析方法、装置、计算机装置及存储介质
CN113836966A (zh) * 2020-06-08 2021-12-24 中国移动通信有限公司研究院 视频检测方法、装置、设备及存储介质
CN112286775B (zh) * 2020-10-30 2023-01-24 深圳前海微众银行股份有限公司 一种疲劳状态检测的方法、设备及存储介质
CN112286775A (zh) * 2020-10-30 2021-01-29 深圳前海微众银行股份有限公司 一种疲劳状态检测的方法、设备及存储介质
CN112395482A (zh) * 2020-11-06 2021-02-23 北京工商大学 一种食品安全事件预警平台
CN113158537A (zh) * 2021-01-18 2021-07-23 中国航发湖南动力机械研究所 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN112859796A (zh) * 2021-03-15 2021-05-28 河南工业职业技术学院 一种生产过程监控系统
CN113067891A (zh) * 2021-04-08 2021-07-02 深圳市中瓴智慧科技有限公司 智慧工地数据采集方法、装置、计算机设备及其存储介质
CN113067891B (zh) * 2021-04-08 2022-10-18 深圳市中瓴智慧科技有限公司 智慧工地数据采集方法、装置、计算机设备及其存储介质
CN113435352B (zh) * 2021-06-29 2022-06-14 深圳市维度数据科技股份有限公司 文明城市评分方法、装置、电子设备和存储介质
CN113435352A (zh) * 2021-06-29 2021-09-24 深圳市维度数据科技股份有限公司 文明城市评分方法、装置、电子设备和存储介质
CN113449703A (zh) * 2021-08-31 2021-09-28 天津联图科技有限公司 环境在线监测数据的质控方法、装置、存储介质及设备
CN114529985A (zh) * 2022-01-19 2022-05-24 吉林大学 一种面向老年人日常复杂地形运动的意图识别方法
CN117312828A (zh) * 2023-09-28 2023-12-29 光谷技术有限公司 公共设施监控方法和系统
CN117152668A (zh) * 2023-10-30 2023-12-01 成都方顷科技有限公司 一种基于物联网的智慧后勤实现方法、装置及设备
CN117152668B (zh) * 2023-10-30 2024-02-06 成都方顷科技有限公司 一种基于物联网的智慧后勤实现方法、装置及设备

Also Published As

Publication number Publication date
CN110097037B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN110097037A (zh) 智能监测方法、装置、存储介质及电子设备
CN113887616B (zh) 一种epg连接数的实时异常检测方法
CN116955092B (zh) 基于数据分析的多媒体系统监控方法及系统
CN117421684B (zh) 基于数据挖掘和神经网络的异常数据监测与分析方法
CN112288021A (zh) 一种医疗废水监测数据质控方法、装置及系统
Dou et al. Pc 2 a: predicting collective contextual anomalies via lstm with deep generative model
CN112966714A (zh) 一种边缘时序数据异常检测和网络可编程控制方法
JP2023504103A (ja) モデル更新システム、モデル更新方法及び関連装置
JP2021528743A (ja) ネットワークトラフィックの時間的挙動分析
CN115358155A (zh) 一种电力大数据异常预警方法、装置、设备及可读存储介质
CN116956282B (zh) 基于网络资产内存时间序列多特征数据的异常检测系统
CN117592870A (zh) 基于水环境监测信息的综合分析系统
KR20210126378A (ko) 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템
CN113674846A (zh) 基于lstm网络的医院智慧服务舆情监控平台
Thi et al. One-class collective anomaly detection based on long short-term memory recurrent neural networks
CN111352820A (zh) 一种高性能应用运行状态预测和监控方法、设备和装置
CN115987643A (zh) 一种基于lstm和sdn的工控网络入侵检测方法
CN111221704B (zh) 一种确定办公管理应用系统运行状态的方法及系统
CN113377630B (zh) 一种通用的kpi异常检测框架实现方法
CN111353160B (zh) 软件漏洞异常智能检测系统及方法
Nurajijah et al. Gradient Tree Boosting for HR Talent Management Application
CN117540372B (zh) 智能学习的数据库入侵检测与响应系统
CN115438979B (zh) 一种融合专家模型决策的数据风险识别方法及服务器
Bekkaoui et al. Semantic correlation for alarms classification in maintenance process
Prairie et al. A systems approach to validating and analyzing improvements to real-time image classification utilizing machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant