CN117152668B - 一种基于物联网的智慧后勤实现方法、装置及设备 - Google Patents

一种基于物联网的智慧后勤实现方法、装置及设备 Download PDF

Info

Publication number
CN117152668B
CN117152668B CN202311414064.1A CN202311414064A CN117152668B CN 117152668 B CN117152668 B CN 117152668B CN 202311414064 A CN202311414064 A CN 202311414064A CN 117152668 B CN117152668 B CN 117152668B
Authority
CN
China
Prior art keywords
things
video
internet
monitoring
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311414064.1A
Other languages
English (en)
Other versions
CN117152668A (zh
Inventor
肖杰
宋一鑫
张俊
黄鹏飞
向云彬
符静
袁光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Fangqing Technology Co ltd
Original Assignee
Chengdu Fangqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Fangqing Technology Co ltd filed Critical Chengdu Fangqing Technology Co ltd
Priority to CN202311414064.1A priority Critical patent/CN117152668B/zh
Publication of CN117152668A publication Critical patent/CN117152668A/zh
Application granted granted Critical
Publication of CN117152668B publication Critical patent/CN117152668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/10Detection; Monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的一种基于物联网的智慧后勤实现方法、装置及设备,涉及人工智能技术领域。在本发明中,首先,确定视频分析网络,提取到待处理物联网监控音频和待处理物联网监控音频对应的待处理局部物联网监控视频;利用关键信息挖掘子网络和深度信息挖掘子网络,挖掘出待处理局部物联网监控视频对应的待处理监控视频向量;利用视频估计子网络,依据待处理物联网监控音频和待处理监控视频向量,分析出待处理物联网监控音频对应的待处理全局物联网估计视频;基于待处理物联网监控音频和待处理全局物联网估计视频,对目标监控区域进行区域后勤异常管控处理。基于上述内容,可以在一定程度上提高智慧后勤异常管控的处理精度。

Description

一种基于物联网的智慧后勤实现方法、装置及设备
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种基于物联网的智慧后勤实现方法、装置及设备。
背景技术
物联网技术的应用场景较多,例如,可以基于物联网技术,实现智慧后勤管控,能够有效提高后勤管控的效率。例如,对于机场等应用场景,由于存在人员复杂等特征(如流动性高的乘客、乘务人员、商场人员、货运人员等),使得后勤管控,如异常行为管控等,存在着管控效率、处理时效性低的问题。因此,通过部署于各种物联网终端设备,如物联网音频采集设备、物联网视频采集设备等,可以提高后勤管控的效率。但是,在现有技术中,还是存在智慧后勤异常管控的处理精度相对不高的问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于物联网的智慧后勤实现方法、装置及设备,以在一定程度上提高智慧后勤异常管控的处理精度。
为实现上述目的,本发明实施例采用如下技术方案:
一种基于物联网的智慧后勤实现方法,包括:
确定视频分析网络,并提取到待处理物联网监控音频和所述待处理物联网监控音频对应的待处理局部物联网监控视频,所述视频分析网络包括关键信息挖掘子网络、深度信息挖掘子网络和视频估计子网络,所述待处理物联网监控音频中的音频帧通过部署于目标监控区域的物联网音频采集设备进行采集操作以形成,所述待处理局部物联网监控视频中的视频帧通过部署于所述目标监控区域的物联网视频采集设备进行采集操作以形成;
利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,所述待处理监控视频向量携带所述待处理局部物联网监控视频的表层信息和深度信息;
利用所述视频估计子网络,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频;
基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,所述利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量的步骤,包括:
利用所述关键信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的关键信息表层向量;
利用所述深度信息挖掘子网络,对所述待处理局部物联网监控视频对应的关键信息表层向量进行深度信息挖掘操作,输出所述待处理局部物联网监控视频对应的关键信息深度向量;
将所述待处理局部物联网监控视频对应的关键信息表层向量和所述待处理局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述待处理局部物联网监控视频对应的待处理监控视频向量。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,所述基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理的步骤,包括:
利用区域异常分析网络包括的音频挖掘子网络,对所述待处理物联网监控音频进行关键信息挖掘,输出对应的待融合监控音频向量;
利用所述区域异常分析网络包括的视频挖掘子网络,对所述待处理全局物联网估计视频进行关键信息挖掘,输出对应的待融合监控视频向量;
利用所述区域异常分析网络包括的向量融合子网络,对所述待融合监控音频向量和所述待融合监控视频向量进行融合处理,得到所述目标监控区域对应的监控区域融合向量;
利用所述区域异常分析网络包括的异常分析子网络,对所述监控区域融合向量进行异常分析处理,输出所述目标监控区域的异常分析数据;
基于所述异常分析数据,对所述监控区域进行后勤异常管控处理;其中,在所述异常分析数据用于反映所述目标监控区域存在行为异常时,向目标后勤管理人员对应的目标终端设备下发异常行为处理指令,使得所述目标后勤管理人员基于所述异常行为处理指令管控所述目标监控区域。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,需要进行网络更新的视频分析网络包括深度信息挖掘子网络、网络初始更新后的关键信息挖掘子网络和网络初始更新后的视频估计子网络,所述基于物联网的智慧后勤实现方法还包括:
提取到至少一个网络更新监控数据,所述网络更新监控数据中包括物联网监控音频对应的全局物联网监控视频和局部物联网监控视频,所述全局物联网监控视频包括的视频帧的数量大于所述局部物联网监控视频包括的视频帧的数量,且所述局部物联网监控视频包括的视频帧属于所述全局物联网监控视频包括的视频帧,所述物联网监控音频和所述物联网监控音频对应的全局物联网监控视频,通过部署于同一个监控区域的物联网音频采集设备和物联网视频采集设备进行同步采集以形成;
利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述局部物联网监控视频对应的多层次监控视频向量,所述关键信息挖掘子网络用于挖掘出所述局部物联网监控视频对应的关键信息表层向量,所述深度信息挖掘子网络用于挖掘出所述局部物联网监控视频对应的关键信息深度向量,所述多层次监控视频向量用于代表所述关键信息表层向量和所述关键信息深度向量,使得,所述多层次监控视频向量携带所述局部物联网监控视频的表层信息和深度信息,所述多层次监控视频向量用于在所述物联网监控音频的基础上利用所述视频估计子网络分析出所述物联网监控音频对应的全局物联网估计视频;
利用所述关键信息挖掘子网络,挖掘出所述全局物联网监控视频对应的目标监控视频向量;
基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,并结合所述全局物联网估计视频,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络;所述网络更新后的视频分析网络用于:
挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,所述利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述局部物联网监控视频对应的多层次监控视频向量的步骤,包括:
利用所述关键信息挖掘子网络,挖掘出所述局部物联网监控视频对应的关键信息表层向量;
利用所述深度信息挖掘子网络,对所述关键信息表层向量进行深度信息挖掘操作,输出所述局部物联网监控视频对应的关键信息深度向量;
将所述局部物联网监控视频对应的关键信息表层向量和所述局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述局部物联网监控视频对应的多层次监控视频向量。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,所述基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,并结合所述全局物联网估计视频,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,包括:
基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量之间的区别信息,计算出对应的挖掘结果维度误差;
基于所述全局物联网估计视频和所述全局物联网监控视频之间的区别信息,计算出对应的估计结果维度误差;
基于所述挖掘结果维度误差和所述估计结果维度误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,所述基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,还包括:
利用网络初始更新后的视频挖掘网络,挖掘出所述局部物联网监控视频对应的目标监控视频向量;
基于所述局部物联网监控视频对应的关键信息深度向量和所述局部物联网监控视频对应的目标监控视频向量之间的区别信息,计算出对应的挖掘过程维度误差;
其中,所述基于所述挖掘结果维度误差和所述估计结果维度误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,包括:
对所述挖掘结果维度误差、所述估计结果维度误差和所述挖掘过程维度误差进行融合处理,输出对应的目标网络更新误差;
基于所述目标网络更新误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络,其中,在将所述视频分析网络进行网络参数的更新处理的过程中,将所述深度信息挖掘子网络的网络参数进行更新处理,且固定所述需要进行网络更新的视频分析网络中所述关键信息挖掘子网络和所述视频估计子网络的参数。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,所述提取到至少一个网络更新监控数据的步骤,包括:
提取到至少一个监控音视频组合,所述监控音视频组合中包括一个所述物联网监控音频和所述物联网监控音频对应的全局物联网监控视频;
确定出所述物联网监控音频对应的局部物联网监控视频;
基于所述至少一个监控音视频组合包括的各物联网监控音频中的每一个物联网监控音频分别对应的全局物联网监控视频和局部物联网监控视频,构建形成对应的至少一个网络更新监控数据。
在一些优选的实施例中,在上述基于物联网的智慧后勤实现方法中,所述确定出所述物联网监控音频对应的局部物联网监控视频的步骤,包括:
对所述全局物联网监控视频进行视频帧采样处理,形成对应的一个候选局部物联网监控视频,其中,所述对所述全局物联网监控视频进行视频帧采样处理,形成对应的一个候选局部物联网监控视频的步骤执行至少一次之后,形成至少一个候选局部物联网监控视频;
利用音视频对比分析网络,基于所述至少一个候选局部物联网监控视频和所述物联网监控音频,分析出所述至少一个候选局部物联网监控视频中的每一个候选局部物联网监控视频分别对应的音视频对比分析结果,所述音视频对比分析结果用于反映所述候选局部物联网监控视频和所述物联网监控音频之间的相关性高低;
基于所述至少一个候选局部物联网监控视频中的每一个候选局部物联网监控视频分别对应的音视频对比分析结果,在所述至少一个候选局部物联网监控视频中,确定出所述物联网监控音频对应的局部物联网监控视频。
本发明实施例还提供一种基于物联网的智慧后勤实现装置,包括:
监控内容确定模块,用于确定视频分析网络,并提取到待处理物联网监控音频和所述待处理物联网监控音频对应的待处理局部物联网监控视频,所述视频分析网络包括关键信息挖掘子网络、深度信息挖掘子网络和视频估计子网络,所述待处理物联网监控音频中的音频帧通过部署于目标监控区域的物联网音频采集设备进行采集操作以形成,所述待处理局部物联网监控视频中的视频帧通过部署于所述目标监控区域的物联网视频采集设备进行采集操作以形成;
监控视频向量挖掘模块,用于利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,所述待处理监控视频向量携带所述待处理局部物联网监控视频的表层信息和深度信息;
视频估计模块,用于利用所述视频估计子网络,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频;
后勤异常管控模块,用于基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理。
本发明实施例还提供一种基于物联网的智慧后勤实现设备,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现上述的基于物联网的智慧后勤实现方法。
本发明实施例提供的一种基于物联网的智慧后勤实现方法、装置及设备,首先,确定视频分析网络,提取到待处理物联网监控音频和待处理物联网监控音频对应的待处理局部物联网监控视频;利用关键信息挖掘子网络和深度信息挖掘子网络,挖掘出待处理局部物联网监控视频对应的待处理监控视频向量;利用视频估计子网络,依据待处理物联网监控音频和待处理监控视频向量,分析出待处理物联网监控音频对应的待处理全局物联网估计视频;基于待处理物联网监控音频和待处理全局物联网估计视频,对目标监控区域进行区域后勤异常管控处理。基于前述的内容,由于在进行区域后勤异常管控处理之前,会先基于待处理物联网监控音频和对应的待处理局部物联网监控视频,估计出对应的待处理全局物联网估计视频,使得进行区域后勤异常管控处理依据,从待处理局部物联网监控视频扩展到待处理全局物联网估计视频,从而在实现监控视频的小成本需求保障的同时,还能够使得区域后勤异常管控处理的依据时充分的,因此,可以在一定程度上提高智慧后勤异常管控的处理精度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本发明实施例提供的基于物联网的智慧后勤实现设备的结构框图。
图2为本发明实施例提供的基于物联网的智慧后勤实现方法包括的各步骤的流程示意图。
图3为本发明实施例提供的基于物联网的智慧后勤实现装置包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于物联网的智慧后勤实现设备。其中,所述基于物联网的智慧后勤实现设备可以包括存储器和处理器。
详细地,在一些具体的实施方式中,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例提供的基于物联网的智慧后勤实现方法。
详细地,在一些具体的实施方式中,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable ProgrammableRead-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory,EEPROM)等。所述处理器可以是一种通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
详细地,在一些具体的实施方式中,所述基于物联网的智慧后勤实现设备可以是一种具备数据处理能力的服务器。
结合图2,本发明实施例还提供一种基于物联网的智慧后勤实现方法,可应用于上述基于物联网的智慧后勤实现设备。其中,所述基于物联网的智慧后勤实现方法有关的流程所定义的方法步骤,可以由所述基于物联网的智慧后勤实现设备实现。下面将对图2所示的具体流程,进行详细阐述。
步骤S110,确定视频分析网络,并提取到待处理物联网监控音频和所述待处理物联网监控音频对应的待处理局部物联网监控视频。
在本发明实施例中,所述基于物联网的智慧后勤实现设备可以确定视频分析网络,并提取到待处理物联网监控音频和所述待处理物联网监控音频对应的待处理局部物联网监控视频。所述视频分析网络可以是一种神经网络,可以包括关键信息挖掘子网络、深度信息挖掘子网络和视频估计子网络,所述待处理物联网监控音频中的音频帧通过部署于目标监控区域的物联网音频采集设备进行采集操作以形成,所述待处理局部物联网监控视频中的视频帧通过部署于所述目标监控区域的物联网视频采集设备进行采集操作以形成。所述目标监控区域可以是机场中的一个区域。
步骤S120,利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量。
在本发明实施例中,所述基于物联网的智慧后勤实现设备可以利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量。所述待处理监控视频向量携带所述待处理局部物联网监控视频的表层信息和深度信息。例如,所述关键信息挖掘子网络可以用于挖掘出所述待处理局部物联网监控视频的表层信息,所述深度信息挖掘子网络可以用于挖掘出所述待处理局部物联网监控视频的深度信息。如此,可以使得所述待处理监控视频向量在后续的应用中具有以下优势:同时考虑深度信息和表层信息,可以提供更全面的特征表示,例如,深度信息可以捕捉到数据中的抽象概念和语义信息,而表层信息可以提供更具体的细节和局部特征;另外,深度信息和表层信息通常具有不同的统计特性,通过同时挖掘两者,可以学习到更具有泛化能力的特征表示,这有助于网络在未见过的数据上取得更好的预测结果;另外,深度信息和表层信息可以提供互补的信息,可以帮助网络更好地应对数据中的噪声、变化和干扰,同时考虑两者可以减少对特定类型信息的依赖,提高网络的鲁棒性和稳定性;另外,通过同时挖掘两者,可以获得更全面的信息,帮助网络更好地处理模糊问题,提高视频估计的准确性。
步骤S130,利用所述视频估计子网络,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频。
在本发明实施例中,所述基于物联网的智慧后勤实现设备可以利用所述视频估计子网络,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频。由于所述待处理物联网监控音频具有的信息,与所述待处理全局物联网估计视频对应的实际视频内容一般是强相关的,因此,可以在所述待处理监控视频向量的基础上,结合所述待处理物联网监控音频,进行相应的视频分析和估计处理,得到对应的待处理全局物联网估计视频。所述待处理全局物联网估计视频可以是全局视频,如包括的视频帧的数量大于所述待处理全局物联网估计视频包括的视频帧的数量。
步骤S140,基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理。
在本发明实施例中,所述基于物联网的智慧后勤实现设备可以基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理。在分析出所述待处理全局物联网估计视频之后,就可以从视频和音频两个维度,对所述目标监控区域进行区域后勤异常管控处理。由于音频的数据量一般较小,因此,所述待处理物联网监控音频可以是全局的,即通过全局的音频和视频进行处理。
基于前述的内容,由于在进行区域后勤异常管控处理之前,会先基于待处理物联网监控音频和对应的待处理局部物联网监控视频,估计出对应的待处理全局物联网估计视频,使得进行区域后勤异常管控处理依据,从待处理局部物联网监控视频扩展到待处理全局物联网估计视频,从而在实现监控视频的小成本需求保障的同时,还能够使得区域后勤异常管控处理的依据时充分的,因此,可以在一定程度上提高智慧后勤异常管控的处理精度。其中,由于从待处理局部物联网监控视频扩展到待处理全局物联网估计视频,不仅仅是依据待处理局部物联网监控视频,还会结合相应的待处理物联网监控音频,而待处理物联网监控音频的数据量相较于视频,一般更小,因此,待处理物联网监控音频可以是全局的,如此,在兼顾成本的同时,也能够保障视频扩展的可靠度。
举例来说:
确定视频分析网络:设备使用一种神经网络结构,如卷积神经网络(CNN),作为视频分析网络;
提取待处理物联网监控音频和视频:在机场候机厅区域部署物联网音频采集设备和视频摄像头;物联网音频采集设备收集到的音频帧被用作待处理物联网监控音频(可以是全局的,如连续不断的采集),而物联网视频摄像头采集到的视频帧被用作待处理局部物联网监控视频(可以是局部的,如每间隔一定时长采集一帧,如1秒或5秒等时长一帧);
关键信息挖掘子网络:通过该子网络,从待处理局部物联网监控视频中提取关键信息向量,例如检测人员、行李等关键对象的位置、运动轨迹等;例如,在候机厅区域,关键信息挖掘子网络可以输出一个包含人员位置和运动轨迹的关键信息向量;
深度信息挖掘子网络:基于关键信息挖掘子网络的输出结果,深度信息挖掘子网络进一步分析待处理局部物联网监控视频,以提取更深层次的语义信息和行为分析;例如,在候机厅区域,深度信息挖掘子网络可以输出一个包含人员行为特征的深度信息向量;
视频分析和估计处理:通过分析待处理监控视频向量的特征和待处理物联网监控音频的声音数据,视频估计子网络可以预测整个候机厅区域的全局视频,包括人员行为、物体位置等;
后勤异常管控:使用待处理物联网监控音频和待处理全局物联网估计视频,对候机厅区域进行后勤异常管控;例如,结合音频数据和深度信息挖掘子网络的输出向量待处理全局物联网估计视频,可以识别出人员行为异常,如携带违禁品、在禁止区域停留过久等情况,并触发相应的报警或采取安全措施。
通过这些步骤,基于物联网的智慧后勤实现设备可以综合利用关键信息向量和深度信息向量来表征机场候机厅区域的信息,且通过分析音频和视频数据,结合关键信息向量和深度信息向量,可以提高对人员行为异常的检测准确性,并加强机场安全管理以及人员流动的监控。
详细地,在一些具体的实施方式中,上述的步骤S120,可以包括:
利用所述关键信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的关键信息表层向量,所述关键信息表层向量可以用于反映所述待处理局部物联网监控视频的表层信息;
利用所述深度信息挖掘子网络,对所述待处理局部物联网监控视频对应的关键信息表层向量进行深度信息挖掘操作,输出所述待处理局部物联网监控视频对应的关键信息深度向量,所述关键信息深度向量可以用于所述待处理局部物联网监控视频的深度信息;也就是说,所述关键信息挖掘子网络和所述深度信息挖掘子网络之间先后连接,所述关键信息挖掘子网络和所述深度信息挖掘子网络都可以是卷积神经网络;
将所述待处理局部物联网监控视频对应的关键信息表层向量和所述待处理局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述待处理局部物联网监控视频对应的待处理监控视频向量;示例性地,可以将所述待处理局部物联网监控视频对应的关键信息表层向量和所述待处理局部物联网监控视频对应的关键信息深度向量进行叠加或加权叠加计算,得到对应的待处理监控视频向量。
举例来说:
接着上述的机场候机厅区域的举例,对步骤S110进行具体说明:
关键信息挖掘子网络:
输入:待处理局部物联网监控视频(例如,机场候机厅内的监控视频);
操作:使用卷积神经网络对视频进行分析和处理;
输出:关键信息表层向量,反映了待处理局部物联网监控视频的表层信息;关键信息挖掘子网络可以提取出人员密度、行动方向、人脸特征等表层信息,生成关键信息表层向量;
深度信息挖掘子网络:
输入:关键信息表层向量;
操作:使用卷积神经网络对关键信息表层向量进行深度挖掘操作;
输出:关键信息深度向量,包含了待处理局部物联网监控视频的深度信息;深度信息挖掘子网络可以进一步分析人员行为模式、异常活动检测、人员分类等深层次信息,并生成关键信息深度向量;
向量聚合操作:
输入:关键信息表层向量和关键信息深度向量;
操作:将两个向量进行向量聚合操作,可以进行叠加或加权叠加计算;
输出:待处理监控视频向量,描述了待处理局部物联网监控视频的综合特征;这个向量可以包含人员密度、行动方向、人脸特征以及行为模式、异常活动检测、人员分类等深度信息,从而更全面地描述了待处理局部物联网监控视频的特征。
其中,详细地,在一些具体的实施方式中,上述的步骤S120,也可以包括:
利用所述关键信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的关键信息表层向量,所述关键信息表层向量可以用于反映所述待处理局部物联网监控视频的表层信息;
利用所述深度信息挖掘子网络,对所述待处理局部物联网监控视频进行深度信息挖掘操作,输出所述待处理局部物联网监控视频对应的关键信息深度向量,所述关键信息深度向量可以用于所述待处理局部物联网监控视频的深度信息;也就是说,所述关键信息挖掘子网络和所述深度信息挖掘子网络之间可以并行连接,所述关键信息挖掘子网络和所述深度信息挖掘子网络都可以是卷积神经网络,但是,两个卷积神经网络的网络深度不同,例如,所述深度信息挖掘子网络的网络深度大于所述关键信息挖掘子网络的网络深度,具体可以是前者卷积层的数量大于后者卷积层的数量和/或前者池化层的数量大于后者池化层的数量,使得前者可以挖掘出所述待处理局部物联网监控视频中的深度信息;
将所述待处理局部物联网监控视频对应的关键信息表层向量和所述待处理局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述待处理局部物联网监控视频对应的待处理监控视频向量;示例性地,可以将所述待处理局部物联网监控视频对应的关键信息表层向量和所述待处理局部物联网监控视频对应的关键信息深度向量进行相乘运算,得到对应的待处理监控视频向量。
其中,详细地,在一些具体的实施方式中,上述的步骤S130,可以包括:
对所述待处理物联网监控音频进行关键信息挖掘(如通过卷积神经网络实现),得到对应的监控音频卷积向量;
利用所述视频估计子网络,对所述监控音频卷积向量进行第一数量次噪声施加处理,生成所述待处理物联网监控音频对应的中间向量(隐向量);中间向量和所述待处理局部物联网监控视频对应的待处理监控视频向量作为滤波单元的输入数据,以利用滤波单元进行滤波处理;
将滤波单元的输出数据,作为上采样单元的输入数据;
利用所述上采样单元,基于所述待处理局部物联网监控视频对应的待处理监控视频向量和所述上采样单元的输入数据(如拼接或叠加后进行采样处理),上采样处理形成一次除噪后的输出向量;
如此,在进行第二数量次除噪处理之后,形成除噪后的中间向量,并利用解码单元对除噪后的中间向量进行处理,得到对应的全局物联网估计视频,所述第一数量和第二数量的具体数值不受限制,但所述第一数量和所述第二数量之间的差值等于1。
详细地,在一些具体的实施方式中,上述的步骤S140,可以包括:
利用区域异常分析网络包括的音频挖掘子网络,对所述待处理物联网监控音频进行关键信息挖掘,输出对应的待融合监控音频向量;
利用所述区域异常分析网络包括的视频挖掘子网络,对所述待处理全局物联网估计视频进行关键信息挖掘,输出对应的待融合监控视频向量;
利用所述区域异常分析网络包括的向量融合子网络,对所述待融合监控音频向量和所述待融合监控视频向量进行融合处理,得到所述目标监控区域对应的监控区域融合向量;
利用所述区域异常分析网络包括的异常分析子网络,对所述监控区域融合向量进行异常分析处理,输出所述目标监控区域的异常分析数据;
基于所述异常分析数据,对所述监控区域进行后勤异常管控处理;其中,在所述异常分析数据用于反映所述目标监控区域存在行为异常时,向目标后勤管理人员对应的目标终端设备下发异常行为处理指令,使得所述目标后勤管理人员基于所述异常行为处理指令管控所述目标监控区域。
举例来说:
接着上述的机场候机厅区域的示例,使用区域异常分析网络进行区域后勤异常管控处理,可以包括以下内容:
音频挖掘子网络(如语音识别模型、声学特征提取器等,将音频转换为文本或音频特征向量):
监控音频中包含各种环境声音,例如人声、背景音乐等;音频挖掘子网络会对待处理的物联网监控音频进行分析,提取其中的关键信息;例如,通过语音识别技术可以将人声转化为文本,从而了解人们之间的交流内容或发现特定关键词;输出的待融合监控音频向量可以是对关键信息进行编码的数字表示;示例性地,假设一段待处理的物联网监控音频包含了两个关键词:“security”和“alert”;音频挖掘子网络将这些关键词转化为数字表示,形成一个待融合监控音频向量,如[0, 1, 1, 0, 0];
视频挖掘子网络(如 R-CNN(Region-based Convolutional Neural Networks)等):
待处理的全局物联网估计视频是对整个候机厅区域的视频监控的估计结果;视频挖掘子网络会对这些视频进行分析,提取其中的关键信息;例如,使用目标检测和跟踪算法来识别候机厅中的人员、行李等重要元素;输出的待融合监控视频向量是对关键信息进行编码的数字表示;示例性地,假设待处理的全局物联网估计视频中检测到了三个重要目标:人员A、人员B和行李C;视频挖掘子网络将每个目标映射为一个独立的数字标签,形成一个待融合监控视频向量,如[1, 0, 1];
向量融合子网络(如多层感知器(Multilayer Perceptron)或卷积神经网络(Convolutional Neural Network)等):
该子网络将待融合监控音频向量和待融合监控视频向量进行融合处理;融合可以通过简单的向量拼接或更复杂的融合算法实现;这样得到的监控区域融合向量综合了音频和视频信息;示例性地,一种简单的融合方式是通过将两个向量进行拼接,形成一个综合的融合向量,如[0, 1, 1, 0, 0, 1, 0, 1];
异常分析子网络(自编码器(Autoencoder)等):
监控区域融合向量作为输入,异常分析子网络对其进行进一步的异常检测和分析;异常分析子网络可以使用机器学习或深度学习模型来识别与正常行为不符的异常情况,如人员聚集等;输出的异常分析数据提供了目标监控区域中存在异常行为的相关信息。
后勤异常管控处理:
基于异常分析数据,系统可以判断监控区域是否存在异常行为;当异常分析数据反映目标监控区域存在行为异常时,可以通过目标终端设备向目标后勤管理人员下发异常行为处理指令;目标后勤管理人员根据异常行为处理指令,采取相应的管控措施,例如增派安保人员、调查异常行为的原因等,以保障候机厅的安全和秩序。
详细地,在一些具体的实施方式中,为了使得上述的频分析网络可以实现上述的步骤S120和步骤S130的处理功能,所述基于物联网的智慧后勤实现方法还可以包括网络更新的过程,其中,需要进行网络更新的视频分析网络包括深度信息挖掘子网络、网络初始更新后的关键信息挖掘子网络和网络初始更新后的视频估计子网络,网络初始更新可以是指预训练,预训练的具体过程不受限制,可以参照相关的现有技术,或者,也可以与本申请后续提高的网络更新的过程一样,只是更新的对象不同;基于此,所述基于物联网的智慧后勤实现方法还可以包括:
提取到至少一个网络更新监控数据,所述网络更新监控数据中包括物联网监控音频对应的全局物联网监控视频和局部物联网监控视频,所述全局物联网监控视频包括的视频帧的数量大于所述局部物联网监控视频包括的视频帧的数量,且所述局部物联网监控视频包括的视频帧属于所述全局物联网监控视频包括的视频帧,所述物联网监控音频和所述物联网监控音频对应的全局物联网监控视频,通过部署于同一个监控区域的物联网音频采集设备和物联网视频采集设备进行同步采集以形成;
利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述局部物联网监控视频对应的多层次监控视频向量,所述关键信息挖掘子网络用于挖掘出所述局部物联网监控视频对应的关键信息表层向量,所述深度信息挖掘子网络用于挖掘出所述局部物联网监控视频对应的关键信息深度向量,所述多层次监控视频向量用于代表所述关键信息表层向量和所述关键信息深度向量,使得,所述多层次监控视频向量携带所述局部物联网监控视频的表层信息和深度信息,所述多层次监控视频向量用于在所述物联网监控音频的基础上利用所述视频估计子网络分析出所述物联网监控音频对应的全局物联网估计视频,如前相关描述;
利用所述关键信息挖掘子网络,挖掘出所述全局物联网监控视频对应的目标监控视频向量;
基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,并结合所述全局物联网估计视频,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络;也就是说,可以基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,并结合所述全局物联网估计视频计算出网络误差,以对所述需要进行网络更新的视频分析网络进行网络参数的更新处理;
其中,所述网络更新后的视频分析网络用于:
挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频。
详细地,在一些具体的实施方式中,所述提取到至少一个网络更新监控数据的步骤,可以包括:
提取到至少一个监控音视频组合,所述监控音视频组合中包括一个所述物联网监控音频和所述物联网监控音频对应的全局物联网监控视频;示例性地,可以从物联网音频采集设备和物联网视频采集设备获取监控音频和相应的全局物联网监控视频,监控音频和全局物联网监控视频需要通过同步采集或者时间戳对齐等方式确保它们是相关联的;其中,物联网音频采集设备捕获机场候车厅区域的环境声音,并将其转换为数字音频信号;将音频信号进行采样和量化处理,得到一系列音频样本;例如,每秒钟采样率为44100Hz的音频,在1秒钟的时间内可以产生44100个音频样本帧;另外,物联网视频采集设备获取机场候车厅区域的实时图像,并将其转换为连续的视频帧序列;每一帧是视频中的静态图像,相邻帧之间以固定的时间间隔拍摄或采集;例如,每秒钟视频帧率为30fps的视频,每帧包含30分之一秒的图像内容;
确定出所述物联网监控音频对应的局部物联网监控视频;示例性地,根据分析需求,从全局物联网监控视频中选择与特定位置或感兴趣区域(如机场候车厅)相关的局部视角;可以使用图像处理技术或者目标检测算法来自动或手动确定局部物联网监控视频;
基于所述至少一个监控音视频组合包括的各物联网监控音频中的每一个物联网监控音频分别对应的全局物联网监控视频和局部物联网监控视频,构建形成对应的至少一个网络更新监控数据;也就是说,每一个所述网络更新监控数据可以包括物联网监控音频、对应的全局物联网监控视频(作为标签)和对应的局部物联网监控视频。
详细地,在一些具体的实施方式中,所述确定出所述物联网监控音频对应的局部物联网监控视频的步骤,可以包括:
对所述全局物联网监控视频进行视频帧采样处理,形成对应的一个候选局部物联网监控视频,其中,所述对所述全局物联网监控视频进行视频帧采样处理,形成对应的一个候选局部物联网监控视频的步骤执行至少一次之后,形成至少一个候选局部物联网监控视频;
利用音视频对比分析网络,基于所述至少一个候选局部物联网监控视频和所述物联网监控音频,分析出所述至少一个候选局部物联网监控视频中的每一个候选局部物联网监控视频分别对应的音视频对比分析结果,所述音视频对比分析结果用于反映所述候选局部物联网监控视频和所述物联网监控音频之间的相关性高低;
基于所述至少一个候选局部物联网监控视频中的每一个候选局部物联网监控视频分别对应的音视频对比分析结果,在所述至少一个候选局部物联网监控视频中,确定出所述物联网监控音频对应的局部物联网监控视频。
举例来说:
视频帧采样处理:假设全局物联网监控视频包含50帧,而物联网监控音频包含100帧;设置视频帧采样频率为每秒钟采样一次;在全局视频中,每隔1秒钟选择一帧视频作为候选局部物联网监控视频的视频帧;执行视频帧采样处理步骤至少一次后,可能形成多个候选局部物联网监控视频,每个候选视频包含不同时间点的视频帧;
音视频对比分析网络:
使用音视频对比分析网络将每个候选局部物联网监控视频与物联网监控音频进行分析;对于每个候选局部物联网监控视频和物联网监控音频组合,分析其相似性和相关性;通过音视频对比分析,得出每个候选局部物联网监控视频的音视频对比分析结果,用以反映其与物联网监控音频之间的相关性高低;示例性地,视频对比分析网络的具体处理过程可以涉及以下步骤:数据预处理:将候选局部物联网监控视频和物联网监控音频进行预处理,以便于后续的特征提取和分析;对视频进行帧间差分、帧间差编码等处理,以获取视频帧之间的运动信息;对音频进行滤波、降噪等预处理操作,以提高音频质量和减少干扰噪声;特征提取:从候选局部物联网监控视频和物联网监控音频中提取特征,用于表示它们的内容和特性;可以使用各种视觉特征提取方法,如光流、颜色直方图、纹理特征等来捕捉视频的视觉特征;对于音频,可以提取MFCC(梅尔频率倒谱系数)、能量谱、过零率等声学特征(提取到的特征可以向量化处理);特征匹配和相似度计算:将候选局部物联网监控视频的特征与物联网监控音频的特征进行匹配和相似度计算;可以使用距离度量方法(如欧氏距离、余弦相似度等)或分类器(如支持向量机、深度学习模型等)来评估音视频之间的相似性;相关性评估和结果生成:利用匹配和相似度计算的结果,对每个候选局部物联网监控视频与物联网监控音频之间的相关性进行评估;可以根据相似度得分或相关性指标,对候选局部物联网监控视频进行排序,从而确定与物联网监控音频最相关的视频;
确定物联网监控音频对应的局部物联网监控视频:
基于每个候选局部物联网监控视频的音视频对比分析结果,确定与物联网监控音频相关性最高的局部物联网监控视频;比较每个候选局部物联网监控视频的音视频对比分析结果,选择其中相关性最高的候选视频作为物联网监控音频所对应的局部物联网监控视频。
详细地,在一些具体的实施方式中,所述利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述局部物联网监控视频对应的多层次监控视频向量的步骤,可以包括:
利用所述关键信息挖掘子网络,挖掘出所述局部物联网监控视频对应的关键信息表层向量,如前相关描述;
利用所述深度信息挖掘子网络,对所述关键信息表层向量进行深度信息挖掘操作,输出所述局部物联网监控视频对应的关键信息深度向量,如前相关描述;
将所述局部物联网监控视频对应的关键信息表层向量和所述局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述局部物联网监控视频对应的多层次监控视频向量,如前相关描述。
详细地,在一些具体的实施方式中,所述基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,并结合所述全局物联网估计视频,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,可以包括:
基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量之间的区别信息,计算出对应的挖掘结果维度误差;举例来说,假设局部物联网监控视频对应的多层次监控视频向量为[0.2, 0.4, 0.6],全局物联网监控视频对应的目标监控视频向量为[0.3, 0.5, 0.7];计算两个向量之间的范数二(L2范数)误差,则挖掘结果维度误差为∥[0.3, 0.5, 0.7] - [0.2, 0.4, 0.6]∥2 = √[(0.3-0.2)² + (0.5-0.4)² + (0.7-0.6)²] = √[0.01 + 0.01 + 0.01]= √0.03 ≈0.173;
基于所述全局物联网估计视频和所述全局物联网监控视频之间的区别信息,计算出对应的估计结果维度误差,示例性地,假设全局物联网估计视频与全局物联网监控视频相比,存在一些区别信息;根据区别信息,例如像素级对比,计算每个像素的误差或使用结构化相似性指数(Structural Similarity Index)等方法来计算估计结果维度误差;
基于所述挖掘结果维度误差和所述估计结果维度误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络;示例性地,综合挖掘结果维度误差和估计结果维度误差,可以使用梯度下降等优化算法来更新视频分析网络的网络参数;根据误差反向传播算法,在网络中调整权重和偏置,以最小化挖掘结果和估计结果之间的误差;更新后的网络参数形成网络更新后的视频分析网络,使其能够更准确地分析和处理物联网监控视频数据。
详细地,在一些具体的实施方式中,所述基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,还可以包括:
利用网络初始更新后的视频挖掘网络,挖掘出所述局部物联网监控视频对应的目标监控视频向量,所述网络初始更新后的视频挖掘网络可以是一种经过预训练的神经网络,如编码神经网络;
基于所述局部物联网监控视频对应的关键信息深度向量和所述局部物联网监控视频对应的目标监控视频向量之间的区别信息,计算出对应的挖掘过程维度误差;示例性地,假设有以下示例数据:
关键信息深度向量:[0.1, 0.3, 0.5, 0.2];
目标监控视频向量:[0.15, 0.25, 0.55, 0.18];
可以计算这两个向量之间的范数二(L2范数)距离,如下所示:
∥[0.1, 0.3, 0.5, 0.2] - [0.15, 0.25, 0.55, 0.18]∥2 = √[(0.1-0.15)²+ (0.3-0.25)² + (0.5-0.55)² + (0.2-0.18)²] = √[0.0025 + 0.0025 + 0.0025 +0.0004]≈ √0.0089 ≈ 0.094;
因此,在这个例子中,通过计算范数二(L2范数)距离,可以得到挖掘过程的维度误差为约0.094。
详细地,在一些具体的实施方式中,在上述示例的情况下,所述基于所述挖掘结果维度误差和所述估计结果维度误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,可以包括:
对所述挖掘结果维度误差、所述估计结果维度误差和所述挖掘过程维度误差进行融合处理,输出对应的目标网络更新误差,示例性地,可以对所述挖掘结果维度误差、所述估计结果维度误差和所述挖掘过程维度误差进行求和或加权求和计算,得到对应的目标网络更新误差;
基于所述目标网络更新误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络,其中,在将所述视频分析网络进行网络参数的更新处理的过程中,将所述深度信息挖掘子网络的网络参数进行更新处理,且固定所述需要进行网络更新的视频分析网络中所述关键信息挖掘子网络和所述视频估计子网络的参数,即维持所述需要进行网络更新的视频分析网络中所述关键信息挖掘子网络和所述视频估计子网络的参数不变,仅对所述深度信息挖掘子网络的网络参数进行更新处理,实现所述深度信息挖掘子网络的更新。
结合图3,本发明实施例还提供一种基于物联网的智慧后勤实现方法,可应用于上述基于物联网的智慧后勤实现设备。其中,所述基于物联网的智慧后勤实现装置可以包括以下的软件功能模块:
监控内容确定模块,用于确定视频分析网络,并提取到待处理物联网监控音频和所述待处理物联网监控音频对应的待处理局部物联网监控视频,所述视频分析网络包括关键信息挖掘子网络、深度信息挖掘子网络和视频估计子网络,所述待处理物联网监控音频中的音频帧通过部署于目标监控区域的物联网音频采集设备进行采集操作以形成,所述待处理局部物联网监控视频中的视频帧通过部署于所述目标监控区域的物联网视频采集设备进行采集操作以形成;
监控视频向量挖掘模块,用于利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,所述待处理监控视频向量携带所述待处理局部物联网监控视频的表层信息和深度信息;
视频估计模块,用于利用所述视频估计子网络,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频;
后勤异常管控模块,用于基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理。
综上所述,本发明提供的一种基于物联网的智慧后勤实现方法、装置及设备,首先,确定视频分析网络,提取到待处理物联网监控音频和待处理物联网监控音频对应的待处理局部物联网监控视频;利用关键信息挖掘子网络和深度信息挖掘子网络,挖掘出待处理局部物联网监控视频对应的待处理监控视频向量;利用视频估计子网络,依据待处理物联网监控音频和待处理监控视频向量,分析出待处理物联网监控音频对应的待处理全局物联网估计视频;基于待处理物联网监控音频和待处理全局物联网估计视频,对目标监控区域进行区域后勤异常管控处理。基于前述的内容,由于在进行区域后勤异常管控处理之前,会先基于待处理物联网监控音频和对应的待处理局部物联网监控视频,估计出对应的待处理全局物联网估计视频,使得进行区域后勤异常管控处理依据,从待处理局部物联网监控视频扩展到待处理全局物联网估计视频,从而在实现监控视频的小成本需求保障的同时,还能够使得区域后勤异常管控处理的依据时充分的,因此,可以在一定程度上提高智慧后勤异常管控的处理精度。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于物联网的智慧后勤实现方法,其特征在于,包括:
确定视频分析网络,并提取到待处理物联网监控音频和所述待处理物联网监控音频对应的待处理局部物联网监控视频,所述视频分析网络包括关键信息挖掘子网络、深度信息挖掘子网络和视频估计子网络,所述待处理物联网监控音频中的音频帧通过部署于目标监控区域的物联网音频采集设备进行采集操作以形成,所述待处理局部物联网监控视频中的视频帧通过部署于所述目标监控区域的物联网视频采集设备进行采集操作以形成;
利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,所述待处理监控视频向量携带所述待处理局部物联网监控视频的表层信息和深度信息,所述深度信息用于捕捉到数据中的抽象概念语义信息,所述表层信息用于提供具体的细节和局部特征;
利用所述视频估计子网络,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频;
基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理;
所述利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量的步骤,包括:
利用所述关键信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的关键信息表层向量;
利用所述深度信息挖掘子网络,对所述待处理局部物联网监控视频对应的关键信息表层向量进行深度信息挖掘操作,输出所述待处理局部物联网监控视频对应的关键信息深度向量;
将所述待处理局部物联网监控视频对应的关键信息表层向量和所述待处理局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述待处理局部物联网监控视频对应的待处理监控视频向量;
所述基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理的步骤,包括:
利用区域异常分析网络包括的音频挖掘子网络,对所述待处理物联网监控音频进行关键信息挖掘,输出对应的待融合监控音频向量;
利用所述区域异常分析网络包括的视频挖掘子网络,对所述待处理全局物联网估计视频进行关键信息挖掘,输出对应的待融合监控视频向量;
利用所述区域异常分析网络包括的向量融合子网络,对所述待融合监控音频向量和所述待融合监控视频向量进行融合处理,得到所述目标监控区域对应的监控区域融合向量;
利用所述区域异常分析网络包括的异常分析子网络,对所述监控区域融合向量进行异常分析处理,输出所述目标监控区域的异常分析数据;
基于所述异常分析数据,对所述监控区域进行后勤异常管控处理;其中,在所述异常分析数据用于反映所述目标监控区域存在行为异常时,向目标后勤管理人员对应的目标终端设备下发异常行为处理指令,使得所述目标后勤管理人员基于所述异常行为处理指令管控所述目标监控区域。
2.如权利要求1所述的基于物联网的智慧后勤实现方法,其特征在于,需要进行网络更新的视频分析网络包括深度信息挖掘子网络、网络初始更新后的关键信息挖掘子网络和网络初始更新后的视频估计子网络,所述基于物联网的智慧后勤实现方法还包括:
提取到至少一个网络更新监控数据,所述网络更新监控数据中包括物联网监控音频对应的全局物联网监控视频和局部物联网监控视频,所述全局物联网监控视频包括的视频帧的数量大于所述局部物联网监控视频包括的视频帧的数量,且所述局部物联网监控视频包括的视频帧属于所述全局物联网监控视频包括的视频帧,所述物联网监控音频和所述物联网监控音频对应的全局物联网监控视频,通过部署于同一个监控区域的物联网音频采集设备和物联网视频采集设备进行同步采集以形成;
利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述局部物联网监控视频对应的多层次监控视频向量,所述关键信息挖掘子网络用于挖掘出所述局部物联网监控视频对应的关键信息表层向量,所述深度信息挖掘子网络用于挖掘出所述局部物联网监控视频对应的关键信息深度向量,所述多层次监控视频向量用于代表所述关键信息表层向量和所述关键信息深度向量,使得,所述多层次监控视频向量携带所述局部物联网监控视频的表层信息和深度信息,所述多层次监控视频向量用于在所述物联网监控音频的基础上利用所述视频估计子网络分析出所述物联网监控音频对应的全局物联网估计视频;
利用所述关键信息挖掘子网络,挖掘出所述全局物联网监控视频对应的目标监控视频向量;
基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,并结合所述全局物联网估计视频,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络;所述网络更新后的视频分析网络用于:
挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频。
3.如权利要求2所述的基于物联网的智慧后勤实现方法,其特征在于,所述利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述局部物联网监控视频对应的多层次监控视频向量的步骤,包括:
利用所述关键信息挖掘子网络,挖掘出所述局部物联网监控视频对应的关键信息表层向量;
利用所述深度信息挖掘子网络,对所述关键信息表层向量进行深度信息挖掘操作,输出所述局部物联网监控视频对应的关键信息深度向量;
将所述局部物联网监控视频对应的关键信息表层向量和所述局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述局部物联网监控视频对应的多层次监控视频向量;
并且,所述基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,并结合所述全局物联网估计视频,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,包括:
基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量之间的区别信息,计算出对应的挖掘结果维度误差;
基于所述全局物联网估计视频和所述全局物联网监控视频之间的区别信息,计算出对应的估计结果维度误差;
基于所述挖掘结果维度误差和所述估计结果维度误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络。
4.如权利要求3所述的基于物联网的智慧后勤实现方法,其特征在于,所述基于所述局部物联网监控视频对应的多层次监控视频向量和所述全局物联网监控视频对应的目标监控视频向量,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,还包括:
利用网络初始更新后的视频挖掘网络,挖掘出所述局部物联网监控视频对应的目标监控视频向量;
基于所述局部物联网监控视频对应的关键信息深度向量和所述局部物联网监控视频对应的目标监控视频向量之间的区别信息,计算出对应的挖掘过程维度误差;
其中,所述基于所述挖掘结果维度误差和所述估计结果维度误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络的步骤,包括:
对所述挖掘结果维度误差、所述估计结果维度误差和所述挖掘过程维度误差进行融合处理,输出对应的目标网络更新误差;
基于所述目标网络更新误差,将所述需要进行网络更新的视频分析网络进行网络参数的更新处理,形成网络更新后的视频分析网络,其中,在将所述视频分析网络进行网络参数的更新处理的过程中,将所述深度信息挖掘子网络的网络参数进行更新处理,且固定所述需要进行网络更新的视频分析网络中所述关键信息挖掘子网络和所述视频估计子网络的参数。
5.如权利要求2所述的基于物联网的智慧后勤实现方法,其特征在于,所述提取到至少一个网络更新监控数据的步骤,包括:
提取到至少一个监控音视频组合,所述监控音视频组合中包括一个所述物联网监控音频和所述物联网监控音频对应的全局物联网监控视频;
确定出所述物联网监控音频对应的局部物联网监控视频;
基于所述至少一个监控音视频组合包括的各物联网监控音频中的每一个物联网监控音频分别对应的全局物联网监控视频和局部物联网监控视频,构建形成对应的至少一个网络更新监控数据。
6.如权利要求5所述的基于物联网的智慧后勤实现方法,其特征在于,所述确定出所述物联网监控音频对应的局部物联网监控视频的步骤,包括:
对所述全局物联网监控视频进行视频帧采样处理,形成对应的一个候选局部物联网监控视频,其中,所述对所述全局物联网监控视频进行视频帧采样处理,形成对应的一个候选局部物联网监控视频的步骤执行至少一次之后,形成至少一个候选局部物联网监控视频;
利用音视频对比分析网络,基于所述至少一个候选局部物联网监控视频和所述物联网监控音频,分析出所述至少一个候选局部物联网监控视频中的每一个候选局部物联网监控视频分别对应的音视频对比分析结果,所述音视频对比分析结果用于反映所述候选局部物联网监控视频和所述物联网监控音频之间的相关性高低;
基于所述至少一个候选局部物联网监控视频中的每一个候选局部物联网监控视频分别对应的音视频对比分析结果,在所述至少一个候选局部物联网监控视频中,确定出所述物联网监控音频对应的局部物联网监控视频。
7.一种基于物联网的智慧后勤实现装置,其特征在于,包括:
监控内容确定模块,用于确定视频分析网络,并提取到待处理物联网监控音频和所述待处理物联网监控音频对应的待处理局部物联网监控视频,所述视频分析网络包括关键信息挖掘子网络、深度信息挖掘子网络和视频估计子网络,所述待处理物联网监控音频中的音频帧通过部署于目标监控区域的物联网音频采集设备进行采集操作以形成,所述待处理局部物联网监控视频中的视频帧通过部署于所述目标监控区域的物联网视频采集设备进行采集操作以形成;
监控视频向量挖掘模块,用于利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,所述待处理监控视频向量携带所述待处理局部物联网监控视频的表层信息和深度信息,所述深度信息用于捕捉到数据中的抽象概念语义信息,所述表层信息用于提供具体的细节和局部特征;
视频估计模块,用于利用所述视频估计子网络,依据所述待处理物联网监控音频和所述待处理监控视频向量,分析出所述待处理物联网监控音频对应的待处理全局物联网估计视频;
后勤异常管控模块,用于基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理;
所述利用所述关键信息挖掘子网络和所述深度信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的待处理监控视频向量,包括:
利用所述关键信息挖掘子网络,挖掘出所述待处理局部物联网监控视频对应的关键信息表层向量;
利用所述深度信息挖掘子网络,对所述待处理局部物联网监控视频对应的关键信息表层向量进行深度信息挖掘操作,输出所述待处理局部物联网监控视频对应的关键信息深度向量;
将所述待处理局部物联网监控视频对应的关键信息表层向量和所述待处理局部物联网监控视频对应的关键信息深度向量进行向量聚合操作,输出所述待处理局部物联网监控视频对应的待处理监控视频向量;
所述基于所述待处理物联网监控音频和所述待处理全局物联网估计视频,对所述目标监控区域进行区域后勤异常管控处理,包括:
利用区域异常分析网络包括的音频挖掘子网络,对所述待处理物联网监控音频进行关键信息挖掘,输出对应的待融合监控音频向量;
利用所述区域异常分析网络包括的视频挖掘子网络,对所述待处理全局物联网估计视频进行关键信息挖掘,输出对应的待融合监控视频向量;
利用所述区域异常分析网络包括的向量融合子网络,对所述待融合监控音频向量和所述待融合监控视频向量进行融合处理,得到所述目标监控区域对应的监控区域融合向量;
利用所述区域异常分析网络包括的异常分析子网络,对所述监控区域融合向量进行异常分析处理,输出所述目标监控区域的异常分析数据;
基于所述异常分析数据,对所述监控区域进行后勤异常管控处理;其中,在所述异常分析数据用于反映所述目标监控区域存在行为异常时,向目标后勤管理人员对应的目标终端设备下发异常行为处理指令,使得所述目标后勤管理人员基于所述异常行为处理指令管控所述目标监控区域。
8.一种基于物联网的智慧后勤实现设备,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1-6任意一项所述的基于物联网的智慧后勤实现方法。
CN202311414064.1A 2023-10-30 2023-10-30 一种基于物联网的智慧后勤实现方法、装置及设备 Active CN117152668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311414064.1A CN117152668B (zh) 2023-10-30 2023-10-30 一种基于物联网的智慧后勤实现方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311414064.1A CN117152668B (zh) 2023-10-30 2023-10-30 一种基于物联网的智慧后勤实现方法、装置及设备

Publications (2)

Publication Number Publication Date
CN117152668A CN117152668A (zh) 2023-12-01
CN117152668B true CN117152668B (zh) 2024-02-06

Family

ID=88908403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311414064.1A Active CN117152668B (zh) 2023-10-30 2023-10-30 一种基于物联网的智慧后勤实现方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117152668B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508736A (zh) * 2018-10-30 2019-03-22 航天信息股份有限公司 一种基于深度学习的监狱异常情况监测方法及监测系统
CN110097037A (zh) * 2019-05-22 2019-08-06 天津联图科技有限公司 智能监测方法、装置、存储介质及电子设备
CN110192377A (zh) * 2016-09-28 2019-08-30 迈克菲有限责任公司 在物联网网络环境中监控和分析看门狗消息
CN110914836A (zh) * 2017-05-09 2020-03-24 纽拉拉股份有限公司 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
CN113158727A (zh) * 2020-12-31 2021-07-23 长春理工大学 一种基于视频和语音信息的双模态融合情绪识别方法
CN115131700A (zh) * 2022-06-24 2022-09-30 电子科技大学 弱监督音视频内容解析的双路层次化混合模型的训练方法
CN116310914A (zh) * 2023-05-12 2023-06-23 天之翼(苏州)科技有限公司 基于人工智能的无人机监控方法及系统
CN116824479A (zh) * 2022-03-28 2023-09-29 天河银星(北京)软件技术有限公司 用于工厂的智能巡检系统
CN116935280A (zh) * 2023-07-27 2023-10-24 沈阳中戈科技有限公司 一种基于视频分析的行为预测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082756B2 (en) * 2019-06-25 2021-08-03 International Business Machines Corporation Crowdsource recording and sharing of media files

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110192377A (zh) * 2016-09-28 2019-08-30 迈克菲有限责任公司 在物联网网络环境中监控和分析看门狗消息
CN110914836A (zh) * 2017-05-09 2020-03-24 纽拉拉股份有限公司 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
CN109508736A (zh) * 2018-10-30 2019-03-22 航天信息股份有限公司 一种基于深度学习的监狱异常情况监测方法及监测系统
CN110097037A (zh) * 2019-05-22 2019-08-06 天津联图科技有限公司 智能监测方法、装置、存储介质及电子设备
CN113158727A (zh) * 2020-12-31 2021-07-23 长春理工大学 一种基于视频和语音信息的双模态融合情绪识别方法
CN116824479A (zh) * 2022-03-28 2023-09-29 天河银星(北京)软件技术有限公司 用于工厂的智能巡检系统
CN115131700A (zh) * 2022-06-24 2022-09-30 电子科技大学 弱监督音视频内容解析的双路层次化混合模型的训练方法
CN116310914A (zh) * 2023-05-12 2023-06-23 天之翼(苏州)科技有限公司 基于人工智能的无人机监控方法及系统
CN116935280A (zh) * 2023-07-27 2023-10-24 沈阳中戈科技有限公司 一种基于视频分析的行为预测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Ashish Singh Patel等.A study on video semantics *
Audio surveillance: A systematic review;Marco Crocco等;ACM Computing Surveys;第48卷(第4期);1–46 *
overview, challenges, and applications.Multimedia Tools and Applications.2022,第81卷6849–6897. *
基于音视频分析的区域安防管控平台;蔡烜等;微型电脑应用;第35卷(第06期);17-20 *

Also Published As

Publication number Publication date
CN117152668A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Coşar et al. Toward abnormal trajectory and event detection in video surveillance
CN113936339B (zh) 基于双通道交叉注意力机制的打架识别方法和装置
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
US11048917B2 (en) Method, electronic device, and computer readable medium for image identification
CN113065515B (zh) 基于相似度图神经网络的异常行为智能检测方法及系统
JP2017228224A (ja) 情報処理装置、情報処理方法及びプログラム
CN111626956A (zh) 图像去模糊方法和装置
CN110991278A (zh) 计算机视觉系统的视频中人体动作识别方法和装置
Ji et al. Tam-net: Temporal enhanced appearance-to-motion generative network for video anomaly detection
CN115223246A (zh) 一种人员违规行为识别方法、装置、设备及存储介质
CN114241379A (zh) 一种乘客异常行为识别方法、装置、设备及乘客监控系统
CN112507893A (zh) 一种基于边缘计算的分布式无监督行人重识别方法
JP2019117556A (ja) 情報処理装置、情報処理方法及びプログラム
Sharma et al. Toward visual voice activity detection for unconstrained videos
Avanzato et al. YOLOv3-based mask and face recognition algorithm for individual protection applications
Ehsan et al. An accurate violence detection framework using unsupervised spatial–temporal action translation network
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Teja Static object detection for video surveillance
CN117152668B (zh) 一种基于物联网的智慧后勤实现方法、装置及设备
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN115205786A (zh) 手机盗拍行为在线自动识别告警方法
Pandiaraja et al. An Analysis of Abnormal Event Detection and Person Identification from Surveillance Cameras using Motion Vectors with Deep Learning
Mahareek et al. Detecting anomalies in security cameras with 3DCNN and ConvLSTM
Delahoz et al. A deep-learning-based floor detection system for the visually impaired
Xu et al. Violent Physical Behavior Detection using 3D Spatio-Temporal Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant