CN114708537A - 一种基于多视角的复杂场所异常行为分析系统及分析方法 - Google Patents

一种基于多视角的复杂场所异常行为分析系统及分析方法 Download PDF

Info

Publication number
CN114708537A
CN114708537A CN202210369647.6A CN202210369647A CN114708537A CN 114708537 A CN114708537 A CN 114708537A CN 202210369647 A CN202210369647 A CN 202210369647A CN 114708537 A CN114708537 A CN 114708537A
Authority
CN
China
Prior art keywords
target
information
view
image
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210369647.6A
Other languages
English (en)
Inventor
杨云
王耀威
林玉尧
贾启
王泽深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202210369647.6A priority Critical patent/CN114708537A/zh
Publication of CN114708537A publication Critical patent/CN114708537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于智能监测技术领域，公开了一种基于多视角的复杂场所异常行为分析系统，图像处理模块对获取的图像进行预处理、分割处理并提取目标物体；多视角目标检测模块进行目标物体的检测、定位与追踪；同时获取目标物体的运动属性；多视角分析模块利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；智能决策模块结合已制定的决策规则和背景信息，提供对应的决策，并将决策信息转换为云台控制的命令。本发明整合运用人工智能、目标检测、深度学习和互联网的相关技术，对视频进行实时监控，对监控视频中的目标进行智能分析，对违规行为、违规物品进行自动检测分类，提高监控的效率和可靠性，满足安全的需要。

Description

一种基于多视角的复杂场所异常行为分析系统及分析方法
技术领域
本发明属于智能监测技术领域，尤其涉及一种基于多视角的复杂场所异常行为分析系统及分析方法。
背景技术
目前，伴随信息化建设在企业经营、生产中扮演着越来越重要的角色，各种信息化手段也越来越多地被制造业企业引进。视频监控系统正是诸多被广泛应用的信息系统之一，并且在企业管理中扮演着十分重要的角色。视频监控系统有助于保证企业运营安全和生产安全。在办公场所、生产厂房、仓库等重要场所中，已部署多个摄像头来保证监控区域全面无死角，在监控设备越多，视频流量越大情况下，传统的视频监控系统中，需要人工二十四小时值班，查看监控来发现一些异常行为，且大多数情况都是事后追溯。
然而，人工实时查看监控系统不仅成本高，而且会由于员工精力有限，注意力不集中等情况导致一些异常行为没有及时被发现。同时，人工查看监控视频还会存在注意力只能集中于一个或几个监控视频，从而忽略其他的监控视频。
通过上述分析，现有技术存在的问题及缺陷为：现有的人工监测异常分析方法不仅成本高，且遗漏率与错误率高，不能全面进行异常监控。近年来，人工智能的快速发展越来越快，深刻改变着各行各业。在视频监控领域也取得了巨大的成就。但是由于监控视角下，目标会受形态、视角、光照以及所处背景的变化，导致模型性能严重下降。此外，由于异常行为图像数据具有复杂的特征，同时异常行为的发生通常伴随刻意的遮挡行为。导致模型性能大大降低。为此本发明提供了一种基于多视角的复杂场所异常行为分析系统及分析方法，利用多视角学习算法，快速准确的分析理解视频中关键的信息，寻找出视频中的异常行为，并以最快和最佳的方式发出预警，从成有效的对复杂场所的异常行为进行全自动、全天候、实时的监控。
发明内容
针对现有技术存在的问题，本发明提供了一种基于多视角的复杂场所异常行为分析系统及分析方法。
本发明是这样实现的，一种基于多视角的复杂场所异常行为分析系统，所述基于多视角的复杂场所异常行为分析系统包括：
图像处理模块，对摄像头提供的RTSP数据流进行解码，将其转换为图像。由于摄像头所处的环境通常比较复杂，例如光照的变化以及背景中物体的阴影等造成的图像质量下降，导致目标检测性能下降。为此我们提出使用幂律变换对图像进行预处理，通过扩大图像正在黑暗区域或者阴影区域的动态范围，同时压缩在亮的区域的动态范围，以此来减少光照给模型带来的偏差。
多视角目标检测模块，由于视频监控需要进行实时的检测，对算法的检测效率具有较高的要求。我们使用了one-stage的目标检测方法(还有另外一类目标检测算法是two-stage的，此类算法需要先生成候选框，然后对每个候选框内容的目标进行分类，此类算法检测效率较低)，其特点是一步到位，运算效率高。模型仅需送入网络一次就可以预测出所有的边界框，并识别出边界框内的目标。此外我们方法中还包括跟踪算法，用于获取目标的行动轨迹以训练异常行为识别模型。
多视角分析模块，充分利用了多个摄像设备带来的识别优势，利用多个不同视角的检测结果对视频内否存在异常行为或违禁物品进行综合分析和判断，最大限度提取不同摄像头中的游离信息，最终融合成高质量的图像。融合的结果可以更好的将多个摄像头在时空上的相关性和信息上的互补性进行整合。从而降低了人员利用监控设备角度和遮挡行为掩盖自身违规操作的可能性，使得对异常行为的检测更稳定、精确和可靠。
智能决策模块，识别在某一场景中不寻常的位置或不寻常时刻发生的行为。我们使用预定义的规则来定义正常或异常的活动。我们将多视角分析模块得到的目标物体运动属性(运动属性包括：运动速度、运动方向、运动方式以及其他参数)转换为时序数据。并根据预先定义为异常行为规则为这些时序数据进行标注，来训练智能决策的分类模型。
进一步，所述基于多视角的复杂场所异常行为分析系统还包括：
参数设置模块，主要用于对系统中的一些阈值和超参数进行配置。这里主要包括异常物品上报阈值设置，人脸识别阈值，以及异常行为策略中的一些超参数设置；
监控模块，主要用于对系统中的摄像头进行管理。这里主要包括设置头视频的推流服务进行设置，比如：摄像头的主码流和副码流推送；对摄像头基本信息进行管理并可以对摄像头检测的时间进行设置；
预警模块，主要用于对系统中检测的异常物品和异常行为信息进行响应，当出现这些记录的时候系统会进行弹窗，并根据异常行为置信度给予工作人员不同的警告信号。
显示模块，主要用于对系统抓拍到的异常物品和异常行为记录进行可视化管理。这里主要包括异常物品的分类查看，以及可以对某个时间段的记录进行分段查询，并且可以查看摄像头的实时检测画面。
本发明的另一目的在于提供一种应用于所述基于多视角的复杂场所异常行为分析系统的基于多视角的复杂场所异常行为分析方法，所述基于多视角的复杂场所异常行为分析方法包括：
步骤一，对摄像头提供的RTSP数据流进行解码，将其转换为图像。由于摄像头所处的环境通常比较复杂，例如光照的变化以及背景中物体的阴影等造成的图像质量下降，导致目标检测性能下降。为此我们提出使用幂律变换对图像进行预处理，通过扩大图像正在黑暗区域或者阴影区域的动态范围，同时压缩在亮的区域的动态范围，以此来减少光照给模型带来的偏差；
步骤二，采取多视角检测目标物体，由于复杂场所下通常会存在较多的小目标信息，小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着网络层数的增加，小目标的特征信息与位置信息也逐渐丢失，难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息。为此我们提出了一种深度特征金字塔网络，引入了一种自底向上、自顶向下的网络结构，通过将相邻层的特征融合以达到特征增强的目的。此外使用具有横向连接的特征金字塔结构加强小目标的语义特征，并辅以特别设计的锚框和损失函数训练网络，以此来提高模型的检测精度；
步骤三，由于复杂场所的中可能由于角度等原因影响模型检测的精度，为此我们利用了多个摄像头的信息进行互补。因为各个摄像头不同角度的特征所包含的信息量不同，因此我们采用了基于Transformer的网络架构，将不同角度下目标的信息进行动态融合，在打破视角限制的同时，可大大扩充用于训练的数据集；
步骤四，在检测到目标的同时，我们需要对目标的行为进行异常检测。因此我们需要获取到各个目标的行动轨迹，让后对跟踪到的轨迹进行分析。这里我们使用了一种基于特征的目标关联算法，利用卷积神经网络对图像进行特征提取，从图像中提取一些高维语义表示，相同的目标提取到的语义表示也应该是相同或者相似的。根据目标的坐标和语义表示来确定目标的行为轨迹。
步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
进一步，所述预处理包括：
首先，对图像进行滤波去噪，边缘增强，灰度变换以及其他预处理；
其次，对图像进行分割，从背景中分割得到识别的物，同时对整个图像进行去噪处理；
最后，根据物体的形态特征或者多视角的物体特征提取目标物体；并记录目标物体在图像中的位置。
进一步，所述基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令包括：
根据不同的预测结果启动不同的摄像头进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化；同时当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，根据决策规则预警，并将分类识别结果可视化进行显示。
进一步，所述基于多视角的复杂场所异常行为分析方法还包括：
(1)通过视频流抓拍图像，并基于抓拍的图像进行异常行为或异常物品的检测；
(2)若监测得到异常行为，则利用多视角异常行为跟踪算法进行目标的跟踪，并判断编号是否更新；若编号更新则获取异常行为坐标最近的人，并上报信息并识别人脸；
(3)若监测到异常物品，则利用多视角异常物品跟踪算法进行目标物体的跟踪，并判断编号是否更新；若编号更新则上报信息；
(4)若无异常，则判断画面中是否有人，若画面中无人，则间隔5s再次进行行人检测；若画面有人，则上报人脸信息；并利用人物跟踪算法进行行人跟踪，并存储跟踪信息和图像。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于多视角的复杂场所异常行为分析方法，包括下列步骤：
步骤一，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；
步骤二，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类FPN网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；
步骤三，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；
步骤四，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；
步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于多视角的复杂场所异常行为分析方法。
本发明的另一目的在于提供一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现所述基于多视角的复杂场所异常行为分析方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
本发明针对监控视角下小目标大量存在，并且由于场景错综复杂、目标稠密相连和目标尺度变化等问题，对小目标特征的影响是更加剧烈的，进一步加大了小目标检测的难度。为此我们提出了一种具有横向连接的特征金字塔架构，并专门设计了锚点来检测图像中的小目标，这使得模型对小目标的特征更加敏感。
本发明针对复杂场所通常会出现因角度或者遮挡导致的检测性能下降的问题，提出了基于Transformer的多视角信息融合模型，利用Transformer中的自主力机制来时模型能够动态融合不同视角下，相同目标的信息。使得模型在监控视角下不收角度和遮挡的影响，从而提高算法的整体检测精度。
本发明整合运用人工智能、目标检测、多视角信息融合等相关技术，对视频进行实时监控，对监控视频中的目标进行智能分析，对违规行为、违规物品进行自动检测分类，提高监控的效率和可靠性，满足安全的需要，同时使得企业管理更加自动化、智能化和高效化。
附图说明
图1是本发明实施例提供的基于多视角的复杂场所异常行为分析系统结构示意图。
图2是本发明实施例提供的基于多视角的复杂场所异常行为分析方法流程图。
图3是本发明实施例提供的多视角检测系统流程图。
图4是本发明实施例提供的模型检测混淆矩阵。
图5是本发明实施例提供的模型训练过程各项指标。
图中：1、图像处理模块；2、多视角目标检测模块；3、多视角分析模块；4、智能决策模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于多视角的复杂场所异常行为分析系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于多视角的复杂场所异常行为分析系统包括：
图像处理模块1，对摄像头提供的RTSP数据流进行解码，将其转换为图像。由于摄像头所处的环境通常比较复杂，例如光照的变化以及背景中物体的阴影等造成的图像质量下降，导致目标检测性能下降。为此我们提出使用幂律变换对图像进行预处理，通过扩大图像正在黑暗区域或者阴影区域的动态范围，同时压缩在亮的区域的动态范围，以此来减少光照给模型带来的偏差；
多视角目标检测模块2，由于复杂场所下通常会存在较多的小目标信息，小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着网络层数的增加，小目标的特征信息与位置信息也逐渐丢失，难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息。为此我们提出了一种深度特征金字塔网络，引入了一种自底向上、自顶向下的网络结构，通过将相邻层的特征融合以达到特征增强的目的。此外使用具有横向连接的特征金字塔结构加强小目标的语义特征，并辅以特别设计的锚框和损失函数训练网络，以此来提高模型的检测精度；
多视角分析模块3，本发明针对复杂场所通常会出现因角度或者遮挡导致的检测性能下降的问题，提出了基于Transformer的多视角信息融合模型，利用Transformer中的自主力机制来时模型能够动态融合不同视角下，相同目标的信息。使得模型在监控视角下不收角度和遮挡的影响，从而提高算法的整体检测精度；
智能决策模块4，用于结合已制定的决策规则和背景信息，提供对应的决策，并将决策信息转换为云台控制的命令。
本发明实施例提供的目标物体的运动属性包括：运动速度、运动方向、运动方式以及其他参数。
本发明实施例提供的基于多视角的复杂场所异常行为分析系统还包括：
参数设置模块，用于设置检测时间参数；
监控模块，用于利用摄像设备获取图像；
云台控制模块，用于控制摄像设备拍摄的角度与移动目标的变化相适应；
预警模块，用于根据决策规则进行预警；
显示模块，用于进行分类识别结果的可视化显示。
如图2所示，本发明实施例提供的基于多视角的复杂场所异常行为分析方法包括：
S101，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；
S102，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类FPN网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；
S103，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；
S104，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
本发明实施例提供的预处理包括：
首先，对图像进行滤波去噪，边缘增强，灰度变换以及其他预处理；
其次，对图像进行分割，从背景中分割得到识别的物，同时对整个图像进行去噪处理；
最后，根据物体的形态特征或者多视角的物体特征提取目标物体；并记录目标物体在图像中的位置。
本发明实施例提供的基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令包括：
根据不同的预测结果启动不同的摄像头进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化；同时当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，根据决策规则预警，并将分类识别结果可视化进行显示。
如图3所示，本发明实施例提供的基于多视角的复杂场所异常行为分析方法还包括：
(1)通过视频流抓拍图像，并基于抓拍的图像进行异常行为或异常物品的检测；
(2)若监测得到异常行为，则利用多视角异常行为跟踪算法进行目标的跟踪，并判断编号是否更新；若编号更新则获取异常行为坐标最近的人，并上报信息并识别人脸；
(3)若监测到异常物品，则利用多视角异常物品跟踪算法进行目标物体的跟踪，并判断编号是否更新；若编号更新则上报信息；
(4)若无异常，则判断画面中是否有人，若画面中无人，则间隔5s再次进行行人检测；若画面有人，则上报人脸信息；并利用人物跟踪算法进行行人跟踪，并存储跟踪信息和图像。
下面结合具体实施例对本发明的技术方案做进一步说明。
实施例1：
本智能监控系统基于多视角深度学习算法的异常行为目标检测研究与应用项目拟从计算机科学、人工智能、深度学习和视频技术方面研究而来，其业务功能处理流程可以分为四个模块，图像处理模块，多视角目标检测模块、多视角分析模块与智能决策模块。以下是系统结构图和对上述各模块的详细要求。
(1)图像处理模块
图像处理模块是智能监控系统中关键的第一步，是多视角目标检测、多视角目标识别、多视角分析和理解等后续处理和分析的基础，其目标是对监控系统拍摄到的图片进行预处理，如图像滤波去噪，边缘增强，灰度变换等，然后根据已有的一些知识信息，对图像进行分割，把识别的物体从背景中分割出来，同时对整个图像进行去噪，去除明显的干扰点，使整个图像平滑，然后根据物体的形态特征或者多视角的物体特征来提起目标物体。并记录物体在图像中的位置。
由于目标图像数据本身具有非常复杂的动态特性，如：光照，角度，移动和遮挡等，系统可基于多视角联合的目标识别方法来解决该问题。本发明能够有效的解决大多数基于CNN的无法在常规GPU上实时运行的目标检测器，本发明主要目标是在产生式系统中设计一个运行速度快的目标检测器，并对并行计算进行优化，使算法设计的对象易于训练和使用，可以获得实时、高质量和令人信服的目标检测结果。
(2)多视角目标检测模块
对单视角目标检测定义为通过分析前端视频所采集的连续信号图像，确定在静止的背景图像中是否有目标物体，当确定有目标物体的时候，则需要分析该目标物体的位置参数信息，而目标物体的变化非常多，例如尺度的变化、在视频中的背景变化、光线的变化等，根据这些综合情况的不确定性，在不同的情况下采取多视角来检测目标物体。同时，使用了多尺度预测(类FPN)，FPN全称是特征金字塔网络，自上而下地对每一层都进行上采样以获得更精确的像素位置信息，并用ResNet的方法加深了网络层数。利用多视角联合，在同步性很难情况下，系统自动采样其它视角辅助预测，从而能够对特定目标在不同环境下进行定位和追踪。
系统采用在传输实时性满足情况下，融合多个视角视频流联合预测；系统自动采样视角辅助预测三种检测算法保证系统能够准确和实时检测出物体目标。通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，作出准确、快速的判定。由于异常行为图像数据具有复杂的特征，同时室内人员在使用违禁物品时常伴随刻意的遮挡行为，多视角综合分析算法应能充分利用了多个摄像设备带来的识别优势，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断，最大程度上降低了室内人员利用监控设备角度和遮挡行为掩盖自身违规操作的可能性，使得系统对室内是否存在异常行为的判断更稳定、精确和可靠。
(3)多视角分析模块
多视角检测部分和目标检测部分已经获得了目标的在图像中的位置和目标的运动属性(运动速度和方向，方式等参数)，利用Transformer中的自主力机制来时模型能够动态融合不同视角下，相同目标的信息。使得模型在监控视角下不收角度和遮挡的影响，从而提高算法的整体检测精度。
(4)智能决策模块
根据多视角分析模块智能监控视频分析系统能够智能的结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。在硬件条件允许的情况下，根据不同的预测结果启动不同的摄像头来进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化，以便用较佳地角度来观测移动目标物体。智能监控分析系统会对目标进行自动检测，实时分析、过滤目标。当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，系统会根据“决策规则”预警，并将分类识别结果可视化进行显示；系统可根据“参数设置”对不同时间段目标进行检测，在设置时间段以外不检测。
本发明实施例提供的方法和系统进行了实际的效果验证，具体分析如下。
1：监控数据集采集
实验所采用的数据集是在实际监控场景中采集的数据，本发明目前仅检测一些常见的电子产品和一些简单的异常行为，但是我们在研发过程中十分注重系统的可扩展性，本发明可以根据实际需求采集相应的数据识别其他异常物品或异常行为。目前本发明可以识别phone、phoning、electronic、paper、commonphone、iPad、laptop和cheat sheet。我们一共采集了进80000张图像数据，并对图像中的目标进行标注，总计标注15000目标。表1统计了该数据集每个目标的数量。
Figure BDA0003587626660000161
表1.监控数据集各个目标数量
2：结果评估
我们使用了多个评估指标对我们发明的方法进行评估，这些评估指标分别是准确度、召回率和mAP_0.5。
Model precision recall mAP_0.5
R-CNN 41.20 55.33 39.30
Fast-R-CNN 43.33 56.44 41.04
YOLO 45.55 58.11 43.42
SSD 47.16 59.45 45.59
Our 48.23 60.55 46.90
表2.提出方法结果的比较
进一步，我们列出了我们方法对监控数据集进行预测，得到的混淆矩阵如图4所示。
此外，我们展示了我们模型训练过程的各项指标如图5所示。我们在内存为32G，CPU为Intel(R)Core(TM)i7-9750H CPU@2.60GHz，显卡为NVIDIA V100的电脑上进行实验。其训练我们提出的表示学习模型的时间仅为26小时。而目前大多数模型的训练时间大约为40小时左右，这证明了我们提出的表示学习模型在时间上的优势。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多视角的复杂场所异常行为分析系统，其特征在于，所述基于多视角的复杂场所异常行为分析系统包括：
图像处理模块，用于对获取的图像进行预处理、分割处理并提取目标物体；同时用于记录目标物体在图像中位置；
多视角目标检测模块，用于进行目标物体的检测、定位与追踪；同时用于获取目标物体的运动属性；
多视角分析模块，用于利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；
智能决策模块，用于结合已制定的决策规则和背景信息，提供对应的决策，并将决策信息转换为云台控制的命令。
2.如权利要求1所述基于多视角的复杂场所异常行为分析系统，其特征在于，所述目标物体的运动属性包括：运动速度、运动方向、运动方式以及其他参数。
3.如权利要求1所述基于多视角的复杂场所异常行为分析系统，其特征在于，所述基于多视角的复杂场所异常行为分析系统还包括：
参数设置模块，用于设置检测时间参数；
监控模块，用于利用摄像设备获取图像；
云台控制模块，用于控制摄像设备拍摄的角度与移动目标的变化相适应；
预警模块，用于根据决策规则进行预警；
显示模块，用于进行分类识别结果的可视化显示。
4.一种应用于如权利要求1-3任意一项所述基于多视角的复杂场所异常行为分析系统的基于多视角的复杂场所异常行为分析方法，其特征在于，所述基于多视角的复杂场所异常行为分析方法包括：
步骤一，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；
步骤二，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类FPN网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；
步骤三，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；
步骤四，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；
步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
5.如权利要求4所述基于多视角的复杂场所异常行为分析方法，其特征在于，所述预处理包括：
首先，对图像进行滤波去噪，边缘增强，灰度变换以及其他预处理；
其次，对图像进行分割，从背景中分割得到识别的物，同时对整个图像进行去噪处理；
最后，根据物体的形态特征或者多视角的物体特征提取目标物体；并记录目标物体在图像中的位置。
6.如权利要求4所述基于多视角的复杂场所异常行为分析方法，其特征在于，所述基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令包括：
根据不同的预测结果启动不同的摄像头进行拍摄，使用云台控制来控制摄像机拍摄的角度适应移动目标的变化；同时当识别的目标私自将评标资料或自行记录的纸质资料带离评标场所时，根据决策规则预警，并将分类识别结果可视化进行显示。
7.如权利要求4所述基于多视角的复杂场所异常行为分析方法，其特征在于，所述基于多视角的复杂场所异常行为分析方法还包括：
(1)通过视频流抓拍图像，并基于抓拍的图像进行异常行为或异常物品的检测；
(2)若监测得到异常行为，则利用多视角异常行为跟踪算法进行目标的跟踪，并判断编号是否更新；若编号更新则获取异常行为坐标最近的人，并上报信息并识别人脸；
(3)若监测到异常物品，则利用多视角异常物品跟踪算法进行目标物体的跟踪，并判断编号是否更新；若编号更新则上报信息；
(4)若无异常，则判断画面中是否有人，若画面中无人，则间隔5s再次进行行人检测；若画面有人，则上报人脸信息；并利用人物跟踪算法进行行人跟踪，并存储跟踪信息和图像。
8.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行如权利要求4-7任意一项所述基于多视角的复杂场所异常行为分析方法，包括下列步骤：
步骤一，利用摄像设备获取视频图像数据，对获取的视频图像进行预处理；基于预处理后的图像判断背景图像中是否存在目标物体；若存在目标物体，则分析所述目标物体的位置参数信息；
步骤二，在不同的情况下采取多视角检测目标物体，利用多尺度预测即类FPN网络自上而下地对每一层都进行上采样获取更精确的像素位置信息，并对特定目标在不同环境下进行定位和追踪；
步骤三，通过帧图像的移动物体目标特征信息，与其他视角确定的物体目标的参数进行比较，得到判定结果；
步骤四，利用多个不同角度的观测结果对室内是否存在异常行为或违禁物品进行综合分析和判断；
步骤五，基于分析与判断结果结合已制定的决策规则和背景信息，为用户提供对应的决策，并将决策信息转换为云台控制的命令。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求4-7任意一项所述基于多视角的复杂场所异常行为分析方法。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-7任意一项所述权利要求4-7任意一项所述基于多视角的复杂场所异常行为分析方法。
CN202210369647.6A 2022-04-08 2022-04-08 一种基于多视角的复杂场所异常行为分析系统及分析方法 Pending CN114708537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210369647.6A CN114708537A (zh) 2022-04-08 2022-04-08 一种基于多视角的复杂场所异常行为分析系统及分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210369647.6A CN114708537A (zh) 2022-04-08 2022-04-08 一种基于多视角的复杂场所异常行为分析系统及分析方法

Publications (1)

Publication Number Publication Date
CN114708537A true CN114708537A (zh) 2022-07-05

Family

ID=82172436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210369647.6A Pending CN114708537A (zh) 2022-04-08 2022-04-08 一种基于多视角的复杂场所异常行为分析系统及分析方法

Country Status (1)

Country Link
CN (1) CN114708537A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115470986A (zh) * 2022-09-14 2022-12-13 北京工业大学 一种行为监测预防系统及方法
CN117649642A (zh) * 2024-01-29 2024-03-05 深圳市瀚晖威视科技有限公司 基于多视频摄像头的异常行为分析方法及系统
CN117746322A (zh) * 2023-12-15 2024-03-22 武汉展博人工环境有限公司 一种基于图像识别的游乐设施安全预警方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115470986A (zh) * 2022-09-14 2022-12-13 北京工业大学 一种行为监测预防系统及方法
CN117746322A (zh) * 2023-12-15 2024-03-22 武汉展博人工环境有限公司 一种基于图像识别的游乐设施安全预警方法及系统
CN117649642A (zh) * 2024-01-29 2024-03-05 深圳市瀚晖威视科技有限公司 基于多视频摄像头的异常行为分析方法及系统
CN117649642B (zh) * 2024-01-29 2024-04-05 深圳市瀚晖威视科技有限公司 基于多视频摄像头的异常行为分析方法及系统

Similar Documents

Publication Publication Date Title
CN109711320B (zh) 一种值班人员违规行为检测方法及系统
TWI759286B (zh) 用於藉由機器學習訓練物件分類器之系統及方法
CN114708537A (zh) 一种基于多视角的复杂场所异常行为分析系统及分析方法
WO2018130016A1 (zh) 一种基于监控视频的停车检测方法及装置
Varadarajan et al. Topic models for scene analysis and abnormality detection
CN111899227A (zh) 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
EP1811457A1 (en) Video signal analysis
Swathi et al. Crowd behavior analysis: A survey
CN101699862A (zh) Ptz摄像机获取感兴趣区域高分辨率图像的方法
Li et al. Improved YOLOv4 network using infrared images for personnel detection in coal mines
CN112163572A (zh) 识别对象的方法和装置
KR101243294B1 (ko) 이동 객체 추출 및 추적 방법 및 장치
Yandouzi et al. Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring
CN105095891A (zh) 一种人脸捕捉的方法，装置及系统
CN114155472A (zh) 厂区场景临空面防护设备异常状态检测方法、装置和设备
CN103971100A (zh) 基于视频并针对自动提款机的伪装与偷窥行为的检测方法
KR101513180B1 (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
CN109583361A (zh) 基于能量最小化的场景视频文本跟踪方法
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质
Liu et al. Research on design of intelligent background differential model for training target monitoring
Li et al. Video analysis and trajectory based video annotation system
Yin et al. Flue gas layer feature segmentation based on multi-channel pixel adaptive
Amer et al. Introduction to the special issue on video object processing for surveillance applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination