CN117392604A - 物联网实时信息监控管理系统及方法 - Google Patents

物联网实时信息监控管理系统及方法 Download PDF

Info

Publication number
CN117392604A
CN117392604A CN202311342096.5A CN202311342096A CN117392604A CN 117392604 A CN117392604 A CN 117392604A CN 202311342096 A CN202311342096 A CN 202311342096A CN 117392604 A CN117392604 A CN 117392604A
Authority
CN
China
Prior art keywords
behavior
semantic
training
local
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311342096.5A
Other languages
English (en)
Inventor
肖智卿
刘超
许多
熊慧
周柏魁
梁文聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yunbai Technology Co ltd
Original Assignee
Guangdong Yunbai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Yunbai Technology Co ltd filed Critical Guangdong Yunbai Technology Co ltd
Priority to CN202311342096.5A priority Critical patent/CN117392604A/zh
Publication of CN117392604A publication Critical patent/CN117392604A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/50—Safety; Security of things, users, data or systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Alarm Systems (AREA)

Abstract

公开了一种物联网实时信息监控管理系统及方法。其首先获取由摄像头采集的目标对象在预定时间段内的行为监控视频，接着，对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征，然后，对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征，最后，基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。这样，可以实现智能安全监控，自动检测异常事件并及时发出警报，减少对人工操作的依赖，提高安全性和管理效率。

Description

物联网实时信息监控管理系统及方法
技术领域
本申请涉及物联网领域，且更为具体地，涉及一种物联网实时信息监控管理系统及方法。
背景技术
物联网(Internet of Things，IoT)是指通过互联网连接各种物理设备和对象，使它们能够相互通信和交互的网络系统。物联网技术已经广泛应用于各个领域的安防监控，包括家庭、办公室和工厂等场所。
然而，传统的物联网监控管理系统通常以人工巡逻为主，或是需要人工操作来分析和判断监控画面中是否存在异常事件，这种依赖人工的方式容易出现疏漏或延迟，无法及时响应安全问题。此外，传统监控管理系统在异常检测方面可能存在误报率较高的问题。例如，光线变化、风吹树影等非真实异常事件可能被错误地识别为安全问题，导致频繁的误报，影响预警的精度和管理效率。
因此，期望一种优化的物联网实时信息监控管理系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种物联网实时信息监控管理系统及方法。其可以实现智能安全监控，自动检测异常事件并及时发出警报，减少对人工操作的依赖，提高安全性和管理效率。
根据本申请的一个方面，提供了一种物联网实时信息监控管理系统，其包括：
行为监控视频采集模块，用于获取由摄像头采集的目标对象在预定时间段内的行为监控视频；
局部视频片段语义分析模块，用于对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征；
行为语义模式关联编码模块，用于对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征；以及
异常预警模块，用于基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。
根据本申请的另一个方面，提供了一种物联网实时信息监控管理方法，其包括：
获取由摄像头采集的目标对象在预定时间段内的行为监控视频；
对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征；
对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征；以及
基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。
与现有技术相比，本申请提供的物联网实时信息监控管理系统及方法，其首先获取由摄像头采集的目标对象在预定时间段内的行为监控视频，接着，对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征，然后，对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征，最后，基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。这样，可以实现智能安全监控，自动检测异常事件并及时发出警报，减少对人工操作的依赖，提高安全性和管理效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的物联网实时信息监控管理系统的框图示意图。
图2为根据本申请实施例的物联网实时信息监控管理系统中的所述局部视频片段语义分析模块的框图示意图。
图3为根据本申请实施例的物联网实时信息监控管理系统中的所述行为语义模式关联编码模块的框图示意图。
图4为根据本申请实施例的物联网实时信息监控管理方法的流程图。
图5为根据本申请实施例的物联网实时信息监控管理方法的系统架构的示意图。
图6为根据本申请实施例的物联网实时信息监控管理系统的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思为通过摄像头采集目标对象的行为监控视频，并在后端引入图像处理和识别算法来进行所述行为监控视频的分析，以此来检测行为异常事件并进行预警，例如入侵、盗窃等，通过这样的方式，能够实现智能安全监控，以自动检测异常事件并及时发出警报，减少了对人工操作的依赖，提高了安全性和管理效率。
图1为根据本申请实施例的物联网实时信息监控管理系统的框图示意图。如图1所示，根据本申请实施例的物联网实时信息监控管理系统100，包括：行为监控视频采集模块110，用于获取由摄像头采集的目标对象在预定时间段内的行为监控视频；局部视频片段语义分析模块120，用于对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征；行为语义模式关联编码模块130，用于对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征；以及，异常预警模块140，用于基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。
具体地，在本申请的技术方案中，首先，获取由摄像头采集的目标对象在预定时间段内的行为监控视频。应可以理解，所述行为监控视频中可能具有较长时间段的目标对象行为特征，数据量较大，若对整个所述行为监控视频进行连续的行为分析可能会导致计算复杂度过高。并且，某些关于目标对象的特定行为事件需要更加细致的分析，以更准确地进行异常行为检测预警。例如，在一个长时间的监控视频中，可能只有某个短暂的时间段内发生了异常行为，通过切分视频可以更快速地定位到这个时间段进行分析。
基于此，在本申请的技术方案中，为了更好地进行目标对象的行为分析和异常检测，需要将所述行为监控视频进行视频切分以得到多个行为局部监控视频片段，以此来提供更详细和准确的行为信息，从而增强安防监控系统的能力。具体来说，通过将整个所述行为监控视频切分为多个局部视频片段，可以将分析任务分解为更小的单元，以针对这些特定事件进行更深入的分析和识别，获得更详细的行为信息，并且，这样还降低了每个单元的计算复杂度，提高了系统的效率和实时性，有助于系统准确地捕捉和识别各种行为和异常事件。
然后，考虑到由于所述行为监控视频通常会产生大量的数据，如果对每一帧都进行完整的处理和分析，会导致计算复杂度过高，影响系统的实时性和效率，同时，还会导致数据量巨大，增加存储和传输的负担。因此，在本申请的技术方案中，进一步分别对所述多个行为局部监控视频片段进行稀疏化采样以得到多个行为局部监控稀疏化视频片段，以此来减少数据量和计算复杂度，同时保留关键的行为信息。也就是说，通过稀疏化采样，可以选择性地采样一部分关键帧，减少数据量，从而降低了存储和传输的需求，提高系统的处理速度和效率。
继而，再将所述多个行为局部监控稀疏化视频片段分别通过基于三维卷积神经网络模型的行为语义特征提取器中进行编码，以分别提取出所述各个行为局部监控稀疏化视频片段中有关于目标对象的行为时序变化特征信息，即各个局部视频片段中的局部行为语义特征信息，从而得到多个行为局部语义特征图。
进一步地，考虑到由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。因此，在本申请的技术方案中，进一步将所述多个行为局部语义特征图通过基于全连接层的行为全感知模块以得到多个行为局部语义特征向量。通过使用所述基于全连接层的行为全感知模块，可以将每个所述行为局部语义特征图中的局部特征信息进行融合。具体来说，所述全连接层可以将不同位置和通道的特征进行组合和整合，提取出更全面、更综合的行为特征，有利于对于所述目标对象的局部行为语义进行更准确地识别检测。此外，每个所述行为局部语义特征向量可以作为对目标对象的行为紧凑表示，通过将行为特征映射为向量表示，可以方便地进行后续的行为分类任务，提高系统的处理效率和性能。
接着，计算所述多个行为局部语义特征向量中每相邻两个行为局部语义特征向量之间的转移矩阵的全局均值以得到由多个行为语义转移特征值组成的行为语义模式上下文关联特征向量，以此来表示所述各个局部时序片段下有关于目标对象的行为语义特征之间的语义关联模式特征。也就是说，通过计算每两个相邻的所述行为局部语义特征向量之间的转移矩阵，可以捕捉到目标对象在不同局部时间片段下的行为转移关系，其反映了行为在时间序列中的演变和转换情况，可以揭示目标对象行为之间的上下文关联性。并且，通过计算所述多个转移矩阵的全局均值可以提取出行为转移的整体趋势。通过求取全局均值，可以平滑转移矩阵的变化，减少噪声和不稳定性，得到更稳定和可靠的行为语义转移特征值。这些特征值可以反映出行为之间的相关性和依赖关系，有助于更好地理解和分析行为序列和语义。
相应地，如图2所示，所述局部视频片段语义分析模块120，包括：视频局部切分单元121，用于将所述行为监控视频进行视频切分以得到多个行为局部监控视频片段；稀疏化采样单元122，用于分别对所述多个行为局部监控视频片段进行稀疏化采样以得到多个行为局部监控稀疏化视频片段；以及，视频片段语义特征提取单元123，用于通过基于深度神经网络模型的行为语义特征提取器分别对所述多个行为局部监控稀疏化视频片段进行特征提取以得到多个行为局部语义特征图作为所述多个行为局部语义特征。应可以理解，所述局部视频片段语义分析模块120包括视频局部切分单元121、稀疏化采样单元122和视频片段语义特征提取单元123三个单元。视频局部切分单元121用于将行为监控视频进行切分，将整个视频分割成多个行为局部监控视频片段，这个可以根据需要切分的粒度，将视频按照时间或空间进行分段，以便后续处理。稀疏化采样单元122对多个行为局部监控视频片段进行稀疏化采样，得到多个行为局部监控稀疏化视频片段，稀疏化采样是一种降低数据冗余性的方法，可以选择性地采样视频帧或空间区域，以减少数据量和计算复杂度。视频片段语义特征提取单元123使用基于深度神经网络模型的行为语义特征提取器，对多个行为局部监控稀疏化视频片段进行特征提取，得到多个行为局部语义特征图。这个单元的目标是从视频片段中提取出具有语义信息的特征，以便后续的行为分析、识别或检测任务。综合来说，局部视频片段语义分析模块的三个单元分别负责视频切分、稀疏化采样和语义特征提取，通过这些步骤可以将行为监控视频进行细粒度的处理和分析，从而得到行为局部的语义特征信息。
更具体地，在所述视频片段语义特征提取单元123中，所述深度神经网络模型为三维卷积神经网络模型。值得一提的是，三维卷积神经网络(3D CNN)是一种用于处理视频和时间序列数据的深度学习模型。与传统的二维卷积神经网络(2D CNN)不同，3D CNN可以同时考虑视频帧之间的时间维度和空间维度，从而更好地捕捉视频中的时空关系和动态变化。三维卷积神经网络在视频分析和行为识别等任务中具有重要的作用。它可以自动学习视频中的特征表示，并通过卷积和池化等操作提取视频片段的时空特征。这些特征可以用于视频分类、目标检测、动作识别等任务。通过在视频片段语义特征提取单元123中使用三维卷积神经网络模型，可以从行为局部监控稀疏化视频片段中提取出具有语义信息的特征。这些特征可以用于后续的行为分析、行为识别、异常检测等任务，从而实现对行为监控视频的智能分析和理解。
相应地，如图3所示，所述行为语义模式关联编码模块130，包括：视频片段局部行为语义全感知单元131，用于将所述多个行为局部语义特征图通过基于全连接层的行为全感知模块以得到多个行为局部语义特征向量；以及，行为语义全局关联编码单元132，用于计算所述多个行为局部语义特征向量中每相邻两个行为局部语义特征向量之间的转移矩阵的全局均值以得到由多个行为语义转移特征值组成的行为语义模式上下文关联特征向量作为所述行为语义模式上下文关联特征。应可以理解，行为语义模式关联编码模块130包括视频片段局部行为语义全感知单元131和行为语义全局关联编码单元132两个单元。视频片段局部行为语义全感知单元131用于将多个行为局部语义特征图通过基于全连接层的行为全感知模块，得到多个行为局部语义特征向量，这个单元的目标是将每个行为局部的语义特征图转换为对应的语义特征向量，以便后续的行为语义模式关联编码。行为语义全局关联编码单元132用于计算多个行为局部语义特征向量中每相邻两个行为局部语义特征向量之间的转移矩阵的全局均值，得到由多个行为语义转移特征值组成的行为语义模式上下文关联特征向量，这个单元的目标是通过计算行为局部之间的关联性，捕捉行为语义模式的上下文信息。转移矩阵的全局均值可以用于表示整个视频片段中行为局部之间的平均关联程度，从而得到行为语义模式上下文关联特征。换言之，视频片段局部行为语义全感知单元和行为语义全局关联编码单元分别负责将行为局部的语义特征转换为特征向量，并计算行为局部之间的关联特征。通过这两个单元的处理，可以得到行为语义模式的上下文关联特征，用于进一步的行为分析和理解。
进而，再将所述行为语义模式上下文关联特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生行为异常预警。也就是说，利用所述目标对象在各个局部时序片段下的行为语义特征之间的全局语义模式转移关联特征信息来进行分类处理，以此来检测行为异常事件并进行预警，通过这样的方式，能够实现智能安全监控，自动检测异常事件并及时发出警报，减少了对人工操作的依赖，提高了安全性和管理效率。
相应地，所述异常预警模块140，用于：将所述行为语义模式上下文关联特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生行为异常预警。
更具体地，所述异常预警模块140，进一步用于：使用所述分类器的全连接层对所述行为语义模式上下文关联特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
也就是，在本公开的技术方案中，所述分类器的标签包括产生行为异常预警(第一标签)，以及，不产生行为异常预警(第二标签)，其中，所述分类器通过软最大值函数来确定所述行为语义模式上下文关联特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否产生行为异常预警”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否产生行为异常预警的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否产生行为异常预警”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
进一步地，在本申请的技术方案中，所述的物联网实时信息监控管理系统，其还包括用于对所述基于三维卷积神经网络模型的行为语义特征提取器、所述基于全连接层的行为全感知模块和所述分类器进行训练的训练模块。应可以理解，训练模块在物联网实时信息监控管理系统中具有重要作用，它用于对行为语义特征提取器、行为全感知模块和分类器进行训练，以使它们能够有效地对行为监控视频进行分析和识别。具体来说，训练模块的功能如下：1.行为语义特征提取器的训练：行为语义特征提取器使用三维卷积神经网络模型，通过学习从视频中提取语义特征的能力。训练模块将使用标注好的训练数据集，将其输入到行为语义特征提取器中，并通过反向传播算法不断调整网络参数，使得提取到的特征能够更好地表示视频中的语义信息。2.行为全感知模块的训练：行为全感知模块是基于全连接层的模块，用于将行为局部语义特征图转换为行为局部语义特征向量。训练模块将使用训练数据集和相应的标签，通过训练全连接层的权重和偏置，使得行为全感知模块能够准确地将语义特征图映射为语义特征向量。3.分类器的训练：分类器用于对提取到的行为语义特征进行分类，以实现对行为监控视频的自动识别。训练模块将使用训练数据集和对应的标签，通过训练分类器的权重和偏置，使其能够准确地将行为语义特征与相应的行为类别关联起来。通过训练模块的训练过程，行为语义特征提取器、行为全感知模块和分类器能够从标注的训练数据中学习到行为模式和语义信息的表示方式，从而提高系统对行为监控视频的理解和识别能力。
更具体地，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括目标对象在预定时间段内的训练行为监控视频，以及，所述是否产生行为异常预警的真实值；训练视频切分单元，用于将所述训练行为监控视频进行视频切分以得到多个训练行为局部监控视频片段；训练稀疏化采样单元，用于分别对所述多个训练行为局部监控视频片段进行稀疏化采样以得到多个训练行为局部监控稀疏化视频片段；训练局部行为语义特征提取单元，用于将所述多个训练行为局部监控稀疏化视频片段分别通过所述基于三维卷积神经网络模型的行为语义特征提取器以得到多个训练行为局部语义特征图；训练全感知单元，用于将所述多个训练行为局部语义特征图通过所述基于全连接层的行为全感知模块以得到多个训练行为局部语义特征向量；训练语义模式上下文转移关联编码单元，用于计算所述多个训练行为局部语义特征向量中每相邻两个训练行为局部语义特征向量之间的转移矩阵的全局均值以得到由多个训练行为语义转移特征值组成的训练行为语义模式上下文关联特征向量；分类损失单元，用于将所述训练行为语义模式上下文关联特征向量通过所述分类器以得到分类损失函数值；以及，模型训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于三维卷积神经网络模型的行为语义特征提取器、所述基于全连接层的行为全感知模块和所述分类器进行训练，其中，在所述训练的每次迭代时，对所述训练行为语义模式上下文关联特征向量进行权重空间迭代递归的定向提议化优化。
特别地，在本申请的技术方案中，每个训练行为局部语义特征向量表达行为局部监控稀疏化视频片段的局部时序关联的图像语义特征，由此，计算所述多个训练行为局部语义特征向量中每相邻两个训练行为局部语义特征向量之间的转移矩阵，可以获得相邻局部时域下的时序相关的图像语义特征的时域转移特征，由此，每个转移矩阵包含跨时序-空间维度下的图像语义特征表示，这样，在进一步计算所述转移矩阵的全局均值以得到由多个训练行为语义转移特征值组成的训练行为语义模式上下文关联特征向量后，所述训练行为语义模式上下文关联特征向量会具有在跨时序-空间维度下的不同时空特征分布尺度的表达，在提升所述训练行为语义模式上下文关联特征向量在时序方向下的结合图像空间语义的表达效果的同时，也会使得在通过分类器进行分类时，所述分类器的权重矩阵相对于预定类标签的收敛困难，影响分类器的训练效果。
因此，本申请的申请人在将所述训练行为语义模式上下文关联特征向量通过分类器进行分类时，在每个迭代时，对所述训练行为语义模式上下文关联特征向量进行权重空间迭代递归的定向提议化优化。
相应地，在一个具体示例中，在所述训练的每次迭代时，以如下优化公式对所述训练行为语义模式上下文关联特征向量进行权重空间迭代递归的定向提议化优化以得到优化训练行为语义模式上下文关联特征向量；其中，所述优化公式为：
其中,M1和M2分别是上次和本次迭代的权重矩阵，其中在首次迭代时，采用不同的初始化策略设置M1和M2，(例如，M1设置为单位矩阵而M2设置为待分类特征向量的均值对角矩阵)，Vc是所述训练行为语义模式上下文关联特征向量，表示矩阵乘法，⊙表示按位置点乘，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中的各个位置的特征值为幂的自然指数函数值，Vc′表示所述优化训练行为语义模式上下文关联特征向量。
这里，所述权重空间迭代递归的定向提议化优化可以通过将初始的待分类的所述训练行为语义模式上下文关联特征向量Vc作为锚点，来在权重空间内基于权重矩阵迭代的对应于所述训练行为语义模式上下文关联特征向量Vc的不同时空变换方向获得不同时空特征分布尺度下的锚点足迹(anchor footprint)，以作为在权重空间迭代递归的定向提议(oriented proposal)，从而基于预测提议地提升权重矩阵收敛的类置信度和局部精确性，以提升分类器的训练效果。这样，能够实现智能安全监控，以自动检测异常事件并及时发出警报，减少了对人工操作的依赖，提高安全性和管理效率。
综上，基于本申请实施例的物联网实时信息监控管理系统100被阐明，其可以实现智能安全监控，自动检测异常事件并及时发出警报，减少对人工操作的依赖，提高安全性和管理效率。
如上所述，根据本申请实施例的基于本申请实施例的物联网实时信息监控管理系统100可以实现在各种终端设备中，例如具有基于本申请实施例的物联网实时信息监控管理算法的服务器等。在一个示例中，基于本申请实施例的物联网实时信息监控管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的物联网实时信息监控管理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的物联网实时信息监控管理系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的物联网实时信息监控管理系统100与该终端设备也可以是分立的设备，并且该物联网实时信息监控管理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图4为根据本申请实施例的物联网实时信息监控管理方法的流程图。图5为根据本申请实施例的物联网实时信息监控管理方法的系统架构的示意图。如图4和图5所示，根据本申请实施例的物联网实时信息监控管理方法，其包括：S110，获取由摄像头采集的目标对象在预定时间段内的行为监控视频；S120，对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征；S130，对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征；以及，S140，基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。
在一个具体示例中，在上述物联网实时信息监控管理方法中，对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征，包括：将所述行为监控视频进行视频切分以得到多个行为局部监控视频片段；分别对所述多个行为局部监控视频片段进行稀疏化采样以得到多个行为局部监控稀疏化视频片段；以及，通过基于深度神经网络模型的行为语义特征提取器分别对所述多个行为局部监控稀疏化视频片段进行特征提取以得到多个行为局部语义特征图作为所述多个行为局部语义特征。
这里，本领域技术人员可以理解，上述物联网实时信息监控管理方法中的各个步骤的具体操作已经在上面参考图1到图3的物联网实时信息监控管理系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
图6为根据本申请实施例的物联网实时信息监控管理系统的应用场景图。如图6所示，在该应用场景中，首先，获取由摄像头(例如，图6中所示意的C)采集的目标对象在预定时间段内的行为监控视频(例如，图6中所示意的D)，然后，将所述行为监控视频输入至部署有物联网实时信息监控管理算法的服务器中(例如，图6中所示意的S)，其中，所述服务器能够使用所述物联网实时信息监控管理算法对所述行为监控视频进行处理以得到用于表示是否产生行为异常预警的分类结果。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种物联网实时信息监控管理系统，其特征在于，包括：
行为监控视频采集模块，用于获取由摄像头采集的目标对象在预定时间段内的行为监控视频；
局部视频片段语义分析模块，用于对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征；
行为语义模式关联编码模块，用于对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征；以及
异常预警模块，用于基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。
2.根据权利要求1所述的物联网实时信息监控管理系统，其特征在于，所述局部视频片段语义分析模块，包括：
视频局部切分单元，用于将所述行为监控视频进行视频切分以得到多个行为局部监控视频片段；
稀疏化采样单元，用于分别对所述多个行为局部监控视频片段进行稀疏化采样以得到多个行为局部监控稀疏化视频片段；以及
视频片段语义特征提取单元，用于通过基于深度神经网络模型的行为语义特征提取器分别对所述多个行为局部监控稀疏化视频片段进行特征提取以得到多个行为局部语义特征图作为所述多个行为局部语义特征。
3.根据权利要求2所述的物联网实时信息监控管理系统，其特征在于，所述深度神经网络模型为三维卷积神经网络模型。
4.根据权利要求3所述的物联网实时信息监控管理系统，其特征在于，所述行为语义模式关联编码模块，包括：
视频片段局部行为语义全感知单元，用于将所述多个行为局部语义特征图通过基于全连接层的行为全感知模块以得到多个行为局部语义特征向量；以及
行为语义全局关联编码单元，用于计算所述多个行为局部语义特征向量中每相邻两个行为局部语义特征向量之间的转移矩阵的全局均值以得到由多个行为语义转移特征值组成的行为语义模式上下文关联特征向量作为所述行为语义模式上下文关联特征。
5.根据权利要求4所述的物联网实时信息监控管理系统，其特征在于，所述异常预警模块，用于：
将所述行为语义模式上下文关联特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生行为异常预警。
6.根据权利要求5所述的物联网实时信息监控管理系统，其特征在于，还包括用于对所述基于三维卷积神经网络模型的行为语义特征提取器、所述基于全连接层的行为全感知模块和所述分类器进行训练的训练模块。
7.根据权利要求6所述的物联网实时信息监控管理系统，其特征在于，所述训练模块，包括：
训练数据采集单元，用于获取训练数据，所述训练数据包括目标对象在预定时间段内的训练行为监控视频，以及，所述是否产生行为异常预警的真实值；
训练视频切分单元，用于将所述训练行为监控视频进行视频切分以得到多个训练行为局部监控视频片段；
训练稀疏化采样单元，用于分别对所述多个训练行为局部监控视频片段进行稀疏化采样以得到多个训练行为局部监控稀疏化视频片段；
训练局部行为语义特征提取单元，用于将所述多个训练行为局部监控稀疏化视频片段分别通过所述基于三维卷积神经网络模型的行为语义特征提取器以得到多个训练行为局部语义特征图；
训练全感知单元，用于将所述多个训练行为局部语义特征图通过所述基于全连接层的行为全感知模块以得到多个训练行为局部语义特征向量；
训练语义模式上下文转移关联编码单元，用于计算所述多个训练行为局部语义特征向量中每相邻两个训练行为局部语义特征向量之间的转移矩阵的全局均值以得到由多个训练行为语义转移特征值组成的训练行为语义模式上下文关联特征向量；
分类损失单元，用于将所述训练行为语义模式上下文关联特征向量通过所述分类器以得到分类损失函数值；以及
模型训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述基于三维卷积神经网络模型的行为语义特征提取器、所述基于全连接层的行为全感知模块和所述分类器进行训练，其中，在所述训练的每次迭代时，对所述训练行为语义模式上下文关联特征向量进行权重空间迭代递归的定向提议化优化。
8.根据权利要求7所述的物联网实时信息监控管理系统，其特征在于，在所述训练的每次迭代时，以如下优化公式对所述训练行为语义模式上下文关联特征向量进行权重空间迭代递归的定向提议化优化以得到优化训练行为语义模式上下文关联特征向量；
其中，所述优化公式为：
其中,M1和M2分别是上次和本次迭代的权重矩阵，Vc是所述训练行为语义模式上下文关联特征向量，表示矩阵乘法，⊙表示按位置点乘，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中的各个位置的特征值为幂的自然指数函数值，Vc′表示所述优化训练行为语义模式上下文关联特征向量。
9.一种物联网实时信息监控管理方法，其特征在于，包括：
获取由摄像头采集的目标对象在预定时间段内的行为监控视频；
对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征；
对所述多个行为局部语义特征进行行为语义模式关联编码以得到行为语义模式上下文关联特征；以及
基于所述行为语义模式上下文关联特征，确定是否产生行为异常预警。
10.根据权利要求9所述的物联网实时信息监控管理方法，其特征在于，对所述行为监控视频进行视频片段语义分析以得到多个行为局部语义特征，包括：
将所述行为监控视频进行视频切分以得到多个行为局部监控视频片段；
分别对所述多个行为局部监控视频片段进行稀疏化采样以得到多个行为局部监控稀疏化视频片段；以及
通过基于深度神经网络模型的行为语义特征提取器分别对所述多个行为局部监控稀疏化视频片段进行特征提取以得到多个行为局部语义特征图作为所述多个行为局部语义特征。
CN202311342096.5A 2023-10-16 2023-10-16 物联网实时信息监控管理系统及方法 Pending CN117392604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311342096.5A CN117392604A (zh) 2023-10-16 2023-10-16 物联网实时信息监控管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311342096.5A CN117392604A (zh) 2023-10-16 2023-10-16 物联网实时信息监控管理系统及方法

Publications (1)

Publication Number Publication Date
CN117392604A true CN117392604A (zh) 2024-01-12

Family

ID=89466087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311342096.5A Pending CN117392604A (zh) 2023-10-16 2023-10-16 物联网实时信息监控管理系统及方法

Country Status (1)

Country Link
CN (1) CN117392604A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649154A (zh) * 2024-01-29 2024-03-05 新疆三联工程建设有限责任公司 基于数字化的砼试块制作全过程管理系统及方法
CN117671396A (zh) * 2024-02-02 2024-03-08 新疆盛诚工程建设有限责任公司 施工进度的智能监控预警系统及方法
CN117949028A (zh) * 2024-03-26 2024-04-30 山东和同信息科技股份有限公司 一种基于物联网的智能水务仪表运行管控系统及方法
CN118424809A (zh) * 2024-04-25 2024-08-02 上海锦测医学检验所有限公司 一种蛋白质组学样品前处理装置及其处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649154A (zh) * 2024-01-29 2024-03-05 新疆三联工程建设有限责任公司 基于数字化的砼试块制作全过程管理系统及方法
CN117649154B (zh) * 2024-01-29 2024-04-19 新疆三联工程建设有限责任公司 基于数字化的砼试块制作全过程管理系统及方法
CN117671396A (zh) * 2024-02-02 2024-03-08 新疆盛诚工程建设有限责任公司 施工进度的智能监控预警系统及方法
CN117671396B (zh) * 2024-02-02 2024-04-26 新疆盛诚工程建设有限责任公司 施工进度的智能监控预警系统及方法
CN117949028A (zh) * 2024-03-26 2024-04-30 山东和同信息科技股份有限公司 一种基于物联网的智能水务仪表运行管控系统及方法
CN118424809A (zh) * 2024-04-25 2024-08-02 上海锦测医学检验所有限公司 一种蛋白质组学样品前处理装置及其处理方法

Similar Documents

Publication Publication Date Title
CN117392604A (zh) 物联网实时信息监控管理系统及方法
CN107818307B (zh) 一种基于lstm网络的多标签视频事件检测方法
CN112560827B (zh) 模型训练方法、装置、预测方法、电子设备及介质
Mu et al. A fast recognition algorithm for suspicious behavior in high definition videos
CN117040917A (zh) 一种具有监测预警功能的智慧型交换机
CN113283282B (zh) 一种基于时域语义特征的弱监督时序动作检测方法
CN111738218B (zh) 人体异常行为识别系统及方法
CN103106394A (zh) 一种视频监控中的人体行为识别方法
CN116363738A (zh) 一种基于多移动目标的人脸识别方法、系统及存储介质
CN117158904B (zh) 基于行为分析的老年人认知障碍检测系统及方法
CN118013234B (zh) 基于多源异构大数据的重点车辆驾驶员画像智能生成系统
Fatima et al. Global feature aggregation for accident anticipation
CN118135800B (zh) 基于深度学习的异常交通事件精准识别告警方法
CN117676099B (zh) 基于物联网的安全预警方法及系统
CN117058595A (zh) 视频语义特征和可扩展粒度感知时序动作检测方法及装置
CN107170012A (zh) 一种基于语境信息进行视点估计的方法
CN117975638A (zh) 基于信息融合技术的智慧安防报警系统及其方法
Yang et al. Video anomaly detection for surveillance based on effective frame area
CN117333717A (zh) 基于网络信息技术的安全监控方法及系统
CN116863406A (zh) 一种基于人工智能的智能报警安防系统及其方法
CN115798055B (zh) 一种基于cornersort跟踪算法的暴力行为检测方法
Zhao et al. Research on human behavior recognition in video based on 3DCCA
CN113537240B (zh) 一种基于雷达序列图像的形变区智能提取方法及系统
JP2024516642A (ja) 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体
Schuster et al. Multi-cue learning and visualization of unusual events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination