CN117115744A - 一种基于安防监控图像的行为分析方法及系统 - Google Patents

一种基于安防监控图像的行为分析方法及系统 Download PDF

Info

Publication number
CN117115744A
CN117115744A CN202311160959.7A CN202311160959A CN117115744A CN 117115744 A CN117115744 A CN 117115744A CN 202311160959 A CN202311160959 A CN 202311160959A CN 117115744 A CN117115744 A CN 117115744A
Authority
CN
China
Prior art keywords
monitoring image
image data
behavior analysis
monitoring
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311160959.7A
Other languages
English (en)
Inventor
仓明明
郑文彬
李武
许辉
余萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Suerda Technology Co ltd
Original Assignee
Nanjing Suerda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Suerda Technology Co ltd filed Critical Nanjing Suerda Technology Co ltd
Priority to CN202311160959.7A priority Critical patent/CN117115744A/zh
Publication of CN117115744A publication Critical patent/CN117115744A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供的一种基于安防监控图像的行为分析方法及系统，涉及人工智能技术领域。在本发明中，在待监控区域进行图像采集，以形成待处理监控图像集；分别对每一帧待处理监控图像进行监控用户识别处理，以在多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成待分析监控图像，并对待分析监控图像进行排序处理，以形成待分析监控图像序列；对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；利用目标行为分析网络，对待分析监控图像序列进行行为分析，输出行为分析结果。基于上述方法，可以在一定程度上提高行为分析的可靠度。

Description

一种基于安防监控图像的行为分析方法及系统
技术领域
本发明涉及人工智能技术领域，具体而言，涉及一种基于安防监控图像的行为分析方法及系统。
背景技术
人工智能(Artificial Intelligence，简称AI)，是利用数字计算机或者数字计算机控制的计算模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。
在安防监控领域中，对采集到的监控图像中的监控用户进行行为分析，如进行行为异常分析，是一种重要的手段。但是，在现有技术中，一般是在前端采集到监控图像之后，后端设备直接对前端的监控图像进行行为分析，如基于人工智能技术进行分析，虽然人工智能技术较为成熟，但是，直接对监控图像进行分析，也会使得行为分析的可靠度不佳。
发明内容
有鉴于此，本发明的目的在于提供一种基于安防监控图像的行为分析方法及系统，以在一定程度上提高行为分析的可靠度。
为实现上述目的，本发明实施例采用如下技术方案：
一种基于安防监控图像的行为分析方法，包括：
在待监控区域进行图像采集，以形成所述待监控区域对应的待处理监控图像集，所述待处理监控图像集包括多帧待处理监控图像；
分别对每一帧所述待处理监控图像进行监控用户识别处理，以在所述多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成对应的待分析监控图像，并依据对应的图像采集时间之间的先后关系对所述待分析监控图像进行排序处理，以形成对应的待分析监控图像序列；
对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；
利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果，所述行为分析结果用于反映所述待监控区域是否存在异常用户行为。
在一些优选的实施例中，在上述基于安防监控图像的行为分析方法中，所述对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络的步骤，包括：
提取到初始监控图像数据簇，所述初始监控图像数据簇中的每一个初始监控图像数据不具有行为异常性标识数据，所述行为异常性标识数据用于反映是否存在异常用户行为；
对所述初始监控图像数据簇中的每一个初始监控图像数据中的至少一个初始示例性监控图像进行遮盖处理，以通过预设遮盖信息进行遮盖，形成对应的中间监控图像数据簇，每一个所述初始监控图像数据包括按序排列的多帧初始示例性监控图像；
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇，所述中间监控图像数据包括按序排列的多帧中间示例性监控图像，所述还原监控图像数据簇中的每一个还原监控图像数据包括按序排列的多帧还原示例性监控图像；
依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
在一些优选的实施例中，在上述基于安防监控图像的行为分析方法中，所述中间监控图像数据簇包括第一数量个中间监控图像数据；
所述对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇的步骤，包括：
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中；
利用所述待优化行为分析网络还原出第a个中间监控图像数据中的每一个预设遮盖信息对应的还原示例性监控图像；
对所述第a个中间监控图像数据中的预设遮盖信息进行更新，以更新为所述第a个中间监控图像数据中的预设遮盖信息对应的还原示例性监控图像，得到所述还原监控图像数据簇中的第a个还原监控图像数据。
在一些优选的实施例中，在上述基于安防监控图像的行为分析方法中，所述对所述第a个中间监控图像数据中的预设遮盖信息进行更新，以更新为所述第a个中间监控图像数据中的预设遮盖信息对应的还原示例性监控图像，得到所述还原监控图像数据簇中的第a个还原监控图像数据的步骤，包括：
在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中确定出第一还原示例性监控图像；以及，对所述第a个中间监控图像数据中的预设遮盖信息行更新，以更新为所述第一还原示例性监控图像，得到第a个还原监控图像数据；
其中，所述在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中确定出第一还原示例性监控图像的步骤，包括：
查找到所述第a个中间监控图像数据中的预设遮盖信息对应的初始示例性监控图像，以及，在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中，对所述初始示例性监控图像进行筛除处理；以及，确定出所述第a个中间监控图像数据中的预设遮盖信息对应的未被筛除的每一个还原示例性监控图像的可能性评估参数；以及，对具有最大值的可能性评估参数对应的还原示例性监控图像进行标记处理，以标记为对应的第一还原示例性监控图像。
在一些优选的实施例中，在上述基于安防监控图像的行为分析方法中，所述依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络的步骤，包括：
对所述初始监控图像数据簇中的每一个初始监控图像数据、所述还原监控图像数据簇中的每一个还原监控图像数据进行加载处理，以加载到所述待优化行为分析网络中；
利用所述待优化行为分析网络挖掘出每一个所述初始监控图像数据对应的初始用户行为表征向量，以及，挖掘出每一个所述还原监控图像数据对应的还原用户行为表征向量；
依据所述初始用户行为表征向量和所述还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
在一些优选的实施例中，在上述基于安防监控图像的行为分析方法中，所述初始监控图像数据簇包括第一数量个初始监控图像数据，所述还原监控图像数据簇包括第一数量个还原监控图像数据，第b个还原监控图像数据与第b个初始监控图像数据对应；
所述依据所述初始用户行为表征向量和所述还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络的步骤，包括：
对所述第b个还原监控图像数据进行标记处理，以标记为所述第b个初始监控图像数据对应的相关监控图像数据，并对所述第b个还原监控图像数据以外的其它还原监控图像数据进行标记处理，以标记为所述第b个初始监控图像数据对应的非相关监控图像数据；
依据所述第b个初始监控图像数据对应的初始用户行为表征向量、所述第b个初始监控图像数据对应的相关监控图像数据对应的还原用户行为表征向量、所述第b个初始监控图像数据对应的非相关监控图像数据对应的还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成对应的目标行为分析网络。
在一些优选的实施例中，在上述基于安防监控图像的行为分析方法中，所述利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果的步骤，包括：
利用所述目标行为分析网络包括的行为特征挖掘子网络，对所述待分析监控图像序列进行行为特征挖掘处理，以输出所述待分析监控图像序列对应的用户行为表征向量，所述用户行为表征向量用于反映所述待分析监控图像序列包括的待分析监控图像在行为维度具有的图像语义；
利用所述目标行为分析网络包括的行为分析输出子网络，对所述用户行为表征向量进行行为分析，输出所述待监控区域对应的行为分析结果。
本发明实施例还提供一种基于安防监控图像的行为分析系统，包括：
监控图像采集模块，用于在待监控区域进行图像采集，以形成所述待监控区域对应的待处理监控图像集，所述待处理监控图像集包括多帧待处理监控图像；
监控图像筛选模块，用于分别对每一帧所述待处理监控图像进行监控用户识别处理，以在所述多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成对应的待分析监控图像，并依据对应的图像采集时间之间的先后关系对所述待分析监控图像进行排序处理，以形成对应的待分析监控图像序列；
网络优化处理模块，用于对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；
行为异常分析模块，用于利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果，所述行为分析结果用于反映所述待监控区域是否存在异常用户行为。
在一些优选的实施例中，在上述基于安防监控图像的行为分析系统中，所述网络优化处理模块具体用于：
提取到初始监控图像数据簇，所述初始监控图像数据簇中的每一个初始监控图像数据不具有行为异常性标识数据，所述行为异常性标识数据用于反映是否存在异常用户行为；
对所述初始监控图像数据簇中的每一个初始监控图像数据中的至少一个初始示例性监控图像进行遮盖处理，以通过预设遮盖信息进行遮盖，形成对应的中间监控图像数据簇，每一个所述初始监控图像数据包括按序排列的多帧初始示例性监控图像；
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇，所述中间监控图像数据包括按序排列的多帧中间示例性监控图像，所述还原监控图像数据簇中的每一个还原监控图像数据包括按序排列的多帧还原示例性监控图像；
依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
在一些优选的实施例中，在上述基于安防监控图像的行为分析系统中，所述行为异常分析模块具体用于：
利用所述目标行为分析网络包括的行为特征挖掘子网络，对所述待分析监控图像序列进行行为特征挖掘处理，以输出所述待分析监控图像序列对应的用户行为表征向量，所述用户行为表征向量用于反映所述待分析监控图像序列包括的待分析监控图像在行为维度具有的图像语义；
利用所述目标行为分析网络包括的行为分析输出子网络，对所述用户行为表征向量进行行为分析，输出所述待监控区域对应的行为分析结果。
本发明实施例提供的一种基于安防监控图像的行为分析方法及系统，可以先在待监控区域进行图像采集，以形成待处理监控图像集；分别对每一帧待处理监控图像进行监控用户识别处理，以在多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成待分析监控图像，并对待分析监控图像进行排序处理，以形成待分析监控图像序列；对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；利用目标行为分析网络，对待分析监控图像序列进行行为分析，输出行为分析结果。基于上述的内容，由于在进行行为分析之前，会对待处理监控图像进行监控用户识别和图像截取处理，使得形成的待分析监控图像具有较高的精度，即避免看无效信息的对行为分析的干扰，从而可以在一定程度上提高行为分析的可靠度，进而改善现有技术中存在的行为分析的可靠度不佳的问题。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的基于安防监控图像的行为分析平台的结构框图。
图2为本发明实施例提供的基于安防监控图像的行为分析方法包括的各步骤的流程示意图。
图3为本发明实施例提供的基于安防监控图像的行为分析系统包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于安防监控图像的行为分析平台。其中，所述基于安防监控图像的行为分析平台可以包括存储器和处理器，还可以包括其它的器件或组件等。
详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式，存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的基于安防监控图像的行为分析方法。
可以选择的是，在一些实施方式中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。
可以选择的是，在一些实施方式中，所述处理器可以是一种通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以选择的是，在一些实施方式中，所述基于安防监控图像的行为分析平台可以是一种具备数据处理能力的服务器。
结合图2，本发明实施例还提供一种基于安防监控图像的行为分析方法，可应用于上述基于安防监控图像的行为分析平台。其中，所述基于安防监控图像的行为分析方法有关的流程所定义的方法步骤，可以由所述基于安防监控图像的行为分析平台实现。
下面将对图2所示的具体流程，进行详细阐述。
步骤S110，在待监控区域进行图像采集，以形成所述待监控区域对应的待处理监控图像集。
在本发明实施例中，所述基于安防监控图像的行为分析平台可以在待监控区域进行图像采集，以形成所述待监控区域对应的待处理监控图像集。所述待处理监控图像集包括多帧待处理监控图像。
步骤S120，分别对每一帧所述待处理监控图像进行监控用户识别处理，以在所述多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成对应的待分析监控图像，并依据对应的图像采集时间之间的先后关系对所述待分析监控图像进行排序处理，以形成对应的待分析监控图像序列。
在本发明实施例中，所述基于安防监控图像的行为分析平台可以分别对每一帧所述待处理监控图像进行监控用户识别处理，以在所述多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成对应的待分析监控图像(也就是说，可以将不具有监控用户的部分图像筛除，如将背景图像筛除)，并依据对应的图像采集时间之间的先后关系对所述待分析监控图像进行排序处理，以形成对应的待分析监控图像序列。
步骤S130，对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络。
在本发明实施例中，所述基于安防监控图像的行为分析平台可以对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络。
步骤S140，利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果。
在本发明实施例中，所述基于安防监控图像的行为分析平台可以利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果。所述行为分析结果用于反映所述待监控区域是否存在异常用户行为。
基于上述的内容，如步骤S110、步骤S120、步骤S130和步骤S140，由于在进行行为分析之前，会对待处理监控图像进行监控用户识别和图像截取处理，使得形成的待分析监控图像具有较高的精度，即避免看无效信息的对行为分析的干扰，从而可以在一定程度上提高行为分析的可靠度，进而改善现有技术中存在的行为分析的可靠度不佳的问题。
可以选择的是，在一些实施方式中，所述对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络的步骤，可以进一步包括以下的内容：
提取到初始监控图像数据簇，所述初始监控图像数据簇中的每一个初始监控图像数据不具有行为异常性标识数据，所述行为异常性标识数据用于反映是否存在异常用户行为；
对所述初始监控图像数据簇中的每一个初始监控图像数据中的至少一个初始示例性监控图像进行遮盖处理，以通过预设遮盖信息进行遮盖，形成对应的中间监控图像数据簇，每一个所述初始监控图像数据包括按序排列的多帧初始示例性监控图像(所述预设遮盖信息的具体内容不受限制，如可以是一帧空白的图像，或全黑的图像)；
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇，所述中间监控图像数据包括按序排列的多帧中间示例性监控图像，所述还原监控图像数据簇中的每一个还原监控图像数据包括按序排列的多帧还原示例性监控图像；
依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
可以选择的是，在一些实施方式中，所述中间监控图像数据簇包括第一数量个中间监控图像数据，基于此，所述对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇的步骤，可以进一步包括以下的内容：
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中；
利用所述待优化行为分析网络还原出第a个中间监控图像数据中的每一个预设遮盖信息对应的还原示例性监控图像；
对所述第a个中间监控图像数据中的预设遮盖信息进行更新，以更新为所述第a个中间监控图像数据中的预设遮盖信息对应的还原示例性监控图像，得到所述还原监控图像数据簇中的第a个还原监控图像数据。
可以选择的是，在一些实施方式中，所述对所述第a个中间监控图像数据中的预设遮盖信息进行更新，以更新为所述第a个中间监控图像数据中的预设遮盖信息对应的还原示例性监控图像，得到所述还原监控图像数据簇中的第a个还原监控图像数据的步骤，可以进一步包括以下的内容：
在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中确定出第一还原示例性监控图像；
对所述第a个中间监控图像数据中的预设遮盖信息行更新，以更新为所述第一还原示例性监控图像，得到第a个还原监控图像数据；
可以选择的是，在一些实施方式中，所述在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中确定出第一还原示例性监控图像的步骤，可以进一步包括以下的内容：
查找到所述第a个中间监控图像数据中的预设遮盖信息对应的初始示例性监控图像，以及，在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中，对所述初始示例性监控图像进行筛除处理；以及，确定出所述第a个中间监控图像数据中的预设遮盖信息对应的未被筛除的每一个还原示例性监控图像的可能性评估参数(所述可能性评估参数用于反映还原示例性监控图像的可能性大小，或者，可靠度)；
对具有最大值的可能性评估参数对应的还原示例性监控图像进行标记处理，以标记为对应的第一还原示例性监控图像(也就是说，在第a个中间监控图像数据中的预设遮盖信息的多个还原示例性监控图像中筛选出与初始示例性监控图像不一样的第一还原示例性监控图像)。
可以选择的是，在一些实施方式中，所述依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络的步骤，可以进一步包括以下的内容：
对所述初始监控图像数据簇中的每一个初始监控图像数据、所述还原监控图像数据簇中的每一个还原监控图像数据进行加载处理，以加载到所述待优化行为分析网络中；
利用所述待优化行为分析网络挖掘出每一个所述初始监控图像数据对应的初始用户行为表征向量，以及，挖掘出每一个所述还原监控图像数据对应的还原用户行为表征向量；
依据所述初始用户行为表征向量和所述还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
可以选择的是，在一些实施方式中，所述初始监控图像数据簇可以包括第一数量个初始监控图像数据，所述还原监控图像数据簇可以包括第一数量个还原监控图像数据，第b个还原监控图像数据与第b个初始监控图像数据对应(即第b个还原监控图像数据基于对第b个初始监控图像数据对应的中间监控图像数据进行还原处理形成)，基于此，所述依据所述初始用户行为表征向量和所述还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络的步骤，可以进一步包括以下的内容：
对所述第b个还原监控图像数据进行标记处理，以标记为所述第b个初始监控图像数据对应的相关监控图像数据，并对所述第b个还原监控图像数据以外的其它还原监控图像数据进行标记处理，以标记为所述第b个初始监控图像数据对应的非相关监控图像数据；
依据所述第b个初始监控图像数据对应的初始用户行为表征向量、所述第b个初始监控图像数据对应的相关监控图像数据对应的还原用户行为表征向量、所述第b个初始监控图像数据对应的非相关监控图像数据对应的还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成对应的目标行为分析网络。
其中，可以选择的是，在一些实施方式中，所述依据所述第b个初始监控图像数据对应的初始用户行为表征向量、所述第b个初始监控图像数据对应的相关监控图像数据对应的还原用户行为表征向量、所述第b个初始监控图像数据对应的非相关监控图像数据对应的还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成对应的目标行为分析网络的步骤，可以进一步包括以下的内容：
分析出所述第b个初始监控图像数据对应的初始用户行为表征向量与所述第b个初始监控图像数据对应的相关监控图像数据对应的还原用户行为表征向量之间的相关维度匹配系数(即进行向量相似度的计算)；
分析出所述第b个初始监控图像数据对应的初始用户行为表征向量与所述第b个初始监控图像数据对应的非相关监控图像数据对应的还原用户行为表征向量之间的非相关维度匹配系数(即进行向量相似度的计算)；
依据所述相关维度匹配系数和所述非相关维度匹配系数，分析出所述待优化行为分析网络对应的网络学习代价值(示例性地，所述相关维度匹配系数与所述网络学习代价值之间可以负相关，所述非相关维度匹配系数与所述网络学习代价值之间可以正相关)；
依据所述网络学习代价值，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络(所述网络优化处理的方向可以是，增加所述相关维度匹配系数，以及，减小所述非相关维度匹配系数，基于此，可以实现对所述待优化行为分析网络包括的行为特征挖掘子网络进行网络优化处理，另外，所述目标行为分析网络还可以包括行为分析输出子网络，所述行为分析输出子网络可以包括softmax函数，以用于对用户行为表征向量进行行为分析，所述行为分析输出子网络可以基于具有行为异常性标识数据的示例性监控图像数据优化)。
可以选择的是，在一些实施方式中，所述利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果的步骤，可以进一步包括以下的内容：
利用所述目标行为分析网络包括的行为特征挖掘子网络，对所述待分析监控图像序列进行行为特征挖掘处理，以输出所述待分析监控图像序列对应的用户行为表征向量，所述用户行为表征向量用于反映所述待分析监控图像序列包括的待分析监控图像在行为维度具有的图像语义；
利用所述目标行为分析网络包括的行为分析输出子网络，对所述用户行为表征向量进行行为分析，输出所述待监控区域对应的行为分析结果。
结合图3，本发明实施例还提供一种基于安防监控图像的行为分析系统，可应用于上述基于安防监控图像的行为分析平台。其中，所述基于安防监控图像的行为分析系统可以包括以下内容：
监控图像采集模块，用于在待监控区域进行图像采集，以形成所述待监控区域对应的待处理监控图像集，所述待处理监控图像集包括多帧待处理监控图像；
监控图像筛选模块，用于分别对每一帧所述待处理监控图像进行监控用户识别处理，以在所述多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成对应的待分析监控图像，并依据对应的图像采集时间之间的先后关系对所述待分析监控图像进行排序处理，以形成对应的待分析监控图像序列；
网络优化处理模块，用于对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；
行为异常分析模块，用于利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果，所述行为分析结果用于反映所述待监控区域是否存在异常用户行为。
可以选择的是，在一些实施方式中，所述网络优化处理模块具体用于：
提取到初始监控图像数据簇，所述初始监控图像数据簇中的每一个初始监控图像数据不具有行为异常性标识数据，所述行为异常性标识数据用于反映是否存在异常用户行为；
对所述初始监控图像数据簇中的每一个初始监控图像数据中的至少一个初始示例性监控图像进行遮盖处理，以通过预设遮盖信息进行遮盖，形成对应的中间监控图像数据簇，每一个所述初始监控图像数据包括按序排列的多帧初始示例性监控图像；
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇，所述中间监控图像数据包括按序排列的多帧中间示例性监控图像，所述还原监控图像数据簇中的每一个还原监控图像数据包括按序排列的多帧还原示例性监控图像；
依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
可以选择的是，在一些实施方式中，所述行为异常分析模块具体用于：
利用所述目标行为分析网络包括的行为特征挖掘子网络，对所述待分析监控图像序列进行行为特征挖掘处理，以输出所述待分析监控图像序列对应的用户行为表征向量，所述用户行为表征向量用于反映所述待分析监控图像序列包括的待分析监控图像在行为维度具有的图像语义；
利用所述目标行为分析网络包括的行为分析输出子网络，对所述用户行为表征向量进行行为分析，输出所述待监控区域对应的行为分析结果。
综上所述，本发明提供的一种基于安防监控图像的行为分析方法及系统，可以先在待监控区域进行图像采集，以形成待处理监控图像集；分别对每一帧待处理监控图像进行监控用户识别处理，以在多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成待分析监控图像，并对待分析监控图像进行排序处理，以形成待分析监控图像序列；对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；利用目标行为分析网络，对待分析监控图像序列进行行为分析，输出行为分析结果。基于上述的内容，由于在进行行为分析之前，会对待处理监控图像进行监控用户识别和图像截取处理，使得形成的待分析监控图像具有较高的精度，即避免看无效信息的对行为分析的干扰，从而可以在一定程度上提高行为分析的可靠度，进而改善现有技术中存在的行为分析的可靠度不佳的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于安防监控图像的行为分析方法，其特征在于，包括：
在待监控区域进行图像采集，以形成所述待监控区域对应的待处理监控图像集，所述待处理监控图像集包括多帧待处理监控图像；
分别对每一帧所述待处理监控图像进行监控用户识别处理，以在所述多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成对应的待分析监控图像，并依据对应的图像采集时间之间的先后关系对所述待分析监控图像进行排序处理，以形成对应的待分析监控图像序列；
对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；
利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果，所述行为分析结果用于反映所述待监控区域是否存在异常用户行为。
2.如权利要求1所述的基于安防监控图像的行为分析方法，其特征在于，所述对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络的步骤，包括：
提取到初始监控图像数据簇，所述初始监控图像数据簇中的每一个初始监控图像数据不具有行为异常性标识数据，所述行为异常性标识数据用于反映是否存在异常用户行为；
对所述初始监控图像数据簇中的每一个初始监控图像数据中的至少一个初始示例性监控图像进行遮盖处理，以通过预设遮盖信息进行遮盖，形成对应的中间监控图像数据簇，每一个所述初始监控图像数据包括按序排列的多帧初始示例性监控图像；
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇，所述中间监控图像数据包括按序排列的多帧中间示例性监控图像，所述还原监控图像数据簇中的每一个还原监控图像数据包括按序排列的多帧还原示例性监控图像；
依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
3.如权利要求2所述的基于安防监控图像的行为分析方法，其特征在于，所述中间监控图像数据簇包括第一数量个中间监控图像数据；
所述对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇的步骤，包括：
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中；
利用所述待优化行为分析网络还原出第a个中间监控图像数据中的每一个预设遮盖信息对应的还原示例性监控图像；
对所述第a个中间监控图像数据中的预设遮盖信息进行更新，以更新为所述第a个中间监控图像数据中的预设遮盖信息对应的还原示例性监控图像，得到所述还原监控图像数据簇中的第a个还原监控图像数据。
4.如权利要求3所述的基于安防监控图像的行为分析方法，其特征在于，所述对所述第a个中间监控图像数据中的预设遮盖信息进行更新，以更新为所述第a个中间监控图像数据中的预设遮盖信息对应的还原示例性监控图像，得到所述还原监控图像数据簇中的第a个还原监控图像数据的步骤，包括：
在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中确定出第一还原示例性监控图像；以及，对所述第a个中间监控图像数据中的预设遮盖信息行更新，以更新为所述第一还原示例性监控图像，得到第a个还原监控图像数据；
其中，所述在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中确定出第一还原示例性监控图像的步骤，包括：
查找到所述第a个中间监控图像数据中的预设遮盖信息对应的初始示例性监控图像，以及，在所述第a个中间监控图像数据中的预设遮盖信息对应的多个还原示例性监控图像中，对所述初始示例性监控图像进行筛除处理；以及，确定出所述第a个中间监控图像数据中的预设遮盖信息对应的未被筛除的每一个还原示例性监控图像的可能性评估参数；以及，对具有最大值的可能性评估参数对应的还原示例性监控图像进行标记处理，以标记为对应的第一还原示例性监控图像。
5.如权利要求2所述的基于安防监控图像的行为分析方法，其特征在于，所述依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络的步骤，包括：
对所述初始监控图像数据簇中的每一个初始监控图像数据、所述还原监控图像数据簇中的每一个还原监控图像数据进行加载处理，以加载到所述待优化行为分析网络中；
利用所述待优化行为分析网络挖掘出每一个所述初始监控图像数据对应的初始用户行为表征向量，以及，挖掘出每一个所述还原监控图像数据对应的还原用户行为表征向量；
依据所述初始用户行为表征向量和所述还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
6.如权利要求5所述的基于安防监控图像的行为分析方法，其特征在于，所述初始监控图像数据簇包括第一数量个初始监控图像数据，所述还原监控图像数据簇包括第一数量个还原监控图像数据，第b个还原监控图像数据与第b个初始监控图像数据对应；
所述依据所述初始用户行为表征向量和所述还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络的步骤，包括：
对所述第b个还原监控图像数据进行标记处理，以标记为所述第b个初始监控图像数据对应的相关监控图像数据，并对所述第b个还原监控图像数据以外的其它还原监控图像数据进行标记处理，以标记为所述第b个初始监控图像数据对应的非相关监控图像数据；
依据所述第b个初始监控图像数据对应的初始用户行为表征向量、所述第b个初始监控图像数据对应的相关监控图像数据对应的还原用户行为表征向量、所述第b个初始监控图像数据对应的非相关监控图像数据对应的还原用户行为表征向量，将所述待优化行为分析网络进行网络优化处理，以形成对应的目标行为分析网络。
7.如权利要求1-6任意一项所述的基于安防监控图像的行为分析方法，其特征在于，所述利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果的步骤，包括：
利用所述目标行为分析网络包括的行为特征挖掘子网络，对所述待分析监控图像序列进行行为特征挖掘处理，以输出所述待分析监控图像序列对应的用户行为表征向量，所述用户行为表征向量用于反映所述待分析监控图像序列包括的待分析监控图像在行为维度具有的图像语义；
利用所述目标行为分析网络包括的行为分析输出子网络，对所述用户行为表征向量进行行为分析，输出所述待监控区域对应的行为分析结果。
8.一种基于安防监控图像的行为分析系统，其特征在于，包括：
监控图像采集模块，用于在待监控区域进行图像采集，以形成所述待监控区域对应的待处理监控图像集，所述待处理监控图像集包括多帧待处理监控图像；
监控图像筛选模块，用于分别对每一帧所述待处理监控图像进行监控用户识别处理，以在所述多帧待处理监控图像中确定出具有监控用户的每一帧待处理监控图像，以及，对确定出的待处理监控图像进行监控用户截取处理，以形成对应的待分析监控图像，并依据对应的图像采集时间之间的先后关系对所述待分析监控图像进行排序处理，以形成对应的待分析监控图像序列；
网络优化处理模块，用于对待优化行为分析网络进行网络优化处理，以形成目标行为分析网络；
行为异常分析模块，用于利用所述目标行为分析网络，对所述待分析监控图像序列进行行为分析，输出所述待监控区域对应的行为分析结果，所述行为分析结果用于反映所述待监控区域是否存在异常用户行为。
9.如权利要求8所述的基于安防监控图像的行为分析系统，其特征在于，所述网络优化处理模块具体用于：
提取到初始监控图像数据簇，所述初始监控图像数据簇中的每一个初始监控图像数据不具有行为异常性标识数据，所述行为异常性标识数据用于反映是否存在异常用户行为；
对所述初始监控图像数据簇中的每一个初始监控图像数据中的至少一个初始示例性监控图像进行遮盖处理，以通过预设遮盖信息进行遮盖，形成对应的中间监控图像数据簇，每一个所述初始监控图像数据包括按序排列的多帧初始示例性监控图像；
对所述中间监控图像数据簇中的每一个中间监控图像数据进行加载处理，以加载到搭建的待优化行为分析网络中，还原出对应的还原监控图像数据簇，所述中间监控图像数据包括按序排列的多帧中间示例性监控图像，所述还原监控图像数据簇中的每一个还原监控图像数据包括按序排列的多帧还原示例性监控图像；
依据所述初始监控图像数据簇和所述还原监控图像数据簇，将所述待优化行为分析网络进行网络优化处理，以形成所述待优化行为分析网络对应的目标行为分析网络。
10.如权利要求8所述的基于安防监控图像的行为分析系统，其特征在于，所述行为异常分析模块具体用于：
利用所述目标行为分析网络包括的行为特征挖掘子网络，对所述待分析监控图像序列进行行为特征挖掘处理，以输出所述待分析监控图像序列对应的用户行为表征向量，所述用户行为表征向量用于反映所述待分析监控图像序列包括的待分析监控图像在行为维度具有的图像语义；
利用所述目标行为分析网络包括的行为分析输出子网络，对所述用户行为表征向量进行行为分析，输出所述待监控区域对应的行为分析结果。
CN202311160959.7A 2023-09-08 2023-09-08 一种基于安防监控图像的行为分析方法及系统 Pending CN117115744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311160959.7A CN117115744A (zh) 2023-09-08 2023-09-08 一种基于安防监控图像的行为分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311160959.7A CN117115744A (zh) 2023-09-08 2023-09-08 一种基于安防监控图像的行为分析方法及系统

Publications (1)

Publication Number Publication Date
CN117115744A true CN117115744A (zh) 2023-11-24

Family

ID=88798282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311160959.7A Pending CN117115744A (zh) 2023-09-08 2023-09-08 一种基于安防监控图像的行为分析方法及系统

Country Status (1)

Country Link
CN (1) CN117115744A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443109A (zh) * 2019-06-11 2019-11-12 万翼科技有限公司 异常行为监控处理方法、装置、计算机设备和存储介质
CN112529767A (zh) * 2020-12-01 2021-03-19 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN114120242A (zh) * 2021-12-03 2022-03-01 山东山大鸥玛软件股份有限公司 一种基于时序特征的监控视频行为分析方法、系统及终端
CN114565882A (zh) * 2022-04-29 2022-05-31 深圳航天信息有限公司 基于多视频摄像头智能联动的异常行为分析方法及装置
CN115909215A (zh) * 2022-12-09 2023-04-04 厦门农芯数字科技有限公司 一种基于目标检测的边缘入侵预警方法及系统
CN116709037A (zh) * 2023-05-09 2023-09-05 广东电力通信科技有限公司 一种基于5g摄像头的风雨天气的监控关键数据传递方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443109A (zh) * 2019-06-11 2019-11-12 万翼科技有限公司 异常行为监控处理方法、装置、计算机设备和存储介质
CN112529767A (zh) * 2020-12-01 2021-03-19 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN114120242A (zh) * 2021-12-03 2022-03-01 山东山大鸥玛软件股份有限公司 一种基于时序特征的监控视频行为分析方法、系统及终端
CN114565882A (zh) * 2022-04-29 2022-05-31 深圳航天信息有限公司 基于多视频摄像头智能联动的异常行为分析方法及装置
CN115909215A (zh) * 2022-12-09 2023-04-04 厦门农芯数字科技有限公司 一种基于目标检测的边缘入侵预警方法及系统
CN116709037A (zh) * 2023-05-09 2023-09-05 广东电力通信科技有限公司 一种基于5g摄像头的风雨天气的监控关键数据传递方法

Similar Documents

Publication Publication Date Title
CN110008082B (zh) 异常任务智能监测方法、装置、设备及存储介质
CN116126945B (zh) 基于数据分析的传感器运行状态分析方法和系统
CN115091472B (zh) 基于人工智能的目标定位方法及装夹机械手控制系统
CN114553523A (zh) 基于攻击检测模型的攻击检测方法及装置、介质、设备
CN116109630B (zh) 基于传感器采集和人工智能的图像分析方法及系统
CN115687674A (zh) 服务于智慧云服务平台的大数据需求分析方法及系统
CN111898129A (zh) 基于Two-Head异常检测模型的恶意代码样本筛选器及方法
CN110232349B (zh) 屏下指纹去底纹方法、装置、计算机设备和存储介质
CN113612645A (zh) 一种物联网数据处理方法及系统
CN115620243B (zh) 基于人工智能的污染源监测方法、系统及云平台
CN113282920A (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN117274913A (zh) 一种基于智慧楼宇的安全保障方法及系统
CN117115744A (zh) 一种基于安防监控图像的行为分析方法及系统
CN115130110B (zh) 基于并行集成学习的漏洞挖掘方法、装置、设备及介质
CN114782712A (zh) 基于医学影像的特征处理方法、装置、设备及介质
CN113673430A (zh) 一种基于物联网的用户行为分析方法
CN116958838B (zh) 一种基于无人机航测技术的森林资源监测方法及系统
CN117115741A (zh) 一种基于智慧楼宇的用户监控方法及系统
CN116994609B (zh) 应用于智能生产线的数据分析方法及系统
CN116996403B (zh) 应用ai模型的网络流量诊断方法及系统
CN117149846B (zh) 一种基于数据融合的电力数据分析方法和系统
CN116778959A (zh) 基于人工智能的水轮发电机声纹监测方法及系统
CN117315423A (zh) 一种基于智慧楼宇的用户预警方法及系统
CN117218594A (zh) 一种安防监控数据的处理方法及系统
CN117058084A (zh) 一种钢轨损伤检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination