CN112597928A - 一种事件检测方法及相关装置 - Google Patents

一种事件检测方法及相关装置 Download PDF

Info

Publication number
CN112597928A
CN112597928A CN202011582723.9A CN202011582723A CN112597928A CN 112597928 A CN112597928 A CN 112597928A CN 202011582723 A CN202011582723 A CN 202011582723A CN 112597928 A CN112597928 A CN 112597928A
Authority
CN
China
Prior art keywords
image
intersection ratio
segmentation
event
preset threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011582723.9A
Other languages
English (en)
Other versions
CN112597928B (zh
Inventor
唐健
潘国峰
石伟
陶昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202011582723.9A priority Critical patent/CN112597928B/zh
Publication of CN112597928A publication Critical patent/CN112597928A/zh
Application granted granted Critical
Publication of CN112597928B publication Critical patent/CN112597928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种事件检测方法及相关装置，包括将图像输入实例分割网络模型，通过实例分割网络模型对图像进行分析处理输出特征信息；计算行人对应的特征信息中的分割实例掩膜之间的第一面积交并比；比较第一面积交并比与第一预设阈值的大小，若第一面积交并比大于第一预设阈值，则存在尾随事件；计算行人对应的特征信息中的分割实例掩膜与目标区域对应的特征信息中的分割实例掩膜之间的第二面积交并比；计算预设时间内第二面积交并比的平均值；比较平均值与第二预设阈值的大小，若平均值大于第二预设阈值，则存在逗留事件。该方法能够准确有效识别出尾随事件与逗留事件。

Description

一种事件检测方法及相关装置
技术领域
本申请涉及安防监控技术领域，特别涉及一种事件检测方法；还涉及一种事件检测装置、设备以及计算机可读存储介质。
背景技术
随着深度学习的快速发展与完善，计算机视觉技术取得了巨大进步，行人检测和人脸识别技术在考勤通行、安全监控等领域得到了广泛应用。例如在通道闸应用场景下，目前通常通过俯视相机对通道闸区域进行监控，利用目标检测技术获得目标检测框，然后通过检测框进行人行事件判断。然而该方法需要搭建俯视相机安装环境，成本和收益不成比例。同时，目标检测技术针对目标较近的场景或存在遮挡的情况，容易出现检测框较大和误检的情况，从而影响尾随事件与逗留事件的判断。
因此，如何准确有效识别出尾随事件与逗留事件已成为本领域技术人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种事件检测方法，能够准确有效识别出尾随事件与逗留事件。本申请的另一个目的是提供一种事件检测装置、设备以及计算机可读存储介质，均具有上述技术效果。
为解决上述技术问题，本申请提供了一种事件检测方法，包括：
将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；
计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；
比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；
计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；
计算预设时间内所述第二面积交并比的平均值；
比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
可选的，计算所述第一面积交并比及所述第二面积交并比之前还包括：
比较各所述特征信息中的目标类预测置信度与置信度阈值的大小，筛选出目标类预测置信度大于所述置信度阈值的所述特征信息。
可选的，将图像输入实例分割网络模型前还包括：
对所述图像进行预处理。
可选的，所述对所述图像进行预处理包括：
对所述图像进行随机旋转、镜像、翻转、标准归一化以及双线性差值处理，得到目标大小的图像。
可选的，训练得到所述实例分割网络模型包括：
获取训练数据集；
利用所述训练数据集与包含像素级类别损失、目标检测框损失以及目标掩膜损失的损失函数，训练得到所述实例分割网络模型。
可选的，所述获取训练数据集包括：
录制包含尾随事件与逗留事件的视频；
从所述视频中抓取图像并标注像素级实例分割数据，得到标注图像；
将所述标注图像转换为coco格式的所述训练数据集。
可选的，还包括：
根据预设时间内所述第二面积交并比的平均值与所述第二预设阈值的差值的大小，评定逗留等级。
为解决上述技术问题，本申请还提供了一种事件检测装置，包括：
特征提取模块，用于将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；
第一计算模块，用于计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；
第一比较模块，用于比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；
第二计算模块，用于计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；
第三计算模块，用于计算预设时间内所述第二面积交并比的平均值；
第二比较模块，用于比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
为解决上述技术问题，本申请还提供了一种事件检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述的事件检测方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的事件检测方法的步骤。
本申请所提供的事件检测方法，包括：将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；计算预设时间内所述第二面积交并比的平均值；比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
可见，本申请所提供的事件检测方法，利用实例分割网络模型可以准确分割出行人以及目标区域的分割实例掩膜，进而通过计算行人之间分割实例掩膜的面积交并比，并将所得面积交并比与预设阈值进行比较而确定是否存在尾随事件，以及通过计算行人与目标区域之间分割实例掩膜的面积交并比，并将所得面积交并比与预设阈值进行比较而确定是否存在逗留事件，由此实现尾随事件与逗留事件的精准识别。
本申请所提供的事件检测装置、设备以及计算机可读存储介质均具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种事件检测方法的流程示意图；
图2为本申请实施例所提供的一种resnet50残差网络的结构示意图；
图3为本申请实施例所提供的一种后处理方法的示意图；
图4为本申请实施例所提供的一种全卷积网络结构示意图；
图5为本申请实施例所提供的一种事件检测装置的示意图；
图6为本申请实施例所提供的一种事件检测设备的示意图。
具体实施方式
本申请的核心是提供一种事件检测方法，能够准确有效识别出尾随事件与逗留事件。本申请的另一个核心是提供一种事件检测装置、设备以及计算机可读存储介质，均具有上述技术效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种事件检测方法的流程示意图，参考图1所示，该方法包括：
S101：将图像输入实例分割网络模型，通过实例分割网络模型对图像进行分析处理输出特征信息；
具体的，实例分割网络模型包括主干网络、检测网络以及分割网络。其中，主干网络采用简化后的resent50残差网络，残差结构如图2所示，图2中①为Res_Block_up结构。参考图3所示，检测网络采用SSD算法中的后处理方法，即非极大值遏制nms算法。图3中，Pi表示主干网络输出特征对于类别i的概率得分，w与h分别为对应特征层的宽和高，n为对应特征层的通道数，c为类别数，a为目标预选框，k为分割掩膜系数，例如，分割掩膜系数设置为8。分割网络采用全卷积网络结构，参考图4所示，w与h分别为对应特征层的宽和高，P3为特征金字塔结构中的第三特征层输出特征，x4表示与前一网络层具有相同参数的卷积层共有4层，k为最后一层特征数，例如可以设置为32。
对于resent50残差网络、后处理方法以及全卷积网络的更为详细的内容，参考现有技术的相关描述即可，本申请在此不做赘述。
在拍摄得到图像的基础上，将图像输入实例分割网络模型，由实例分割网络模型对图像进行分析处理并输出特征信息。其中，实例分割网络模型输出的特征信息包括预测检测框特征、预测目标类标签、目标类预测置信度以及分割实例掩膜。预测目标类标签是指预测目标为哪一种类型，例如，预测目标为为人。目标类预测置信度是指属于预测目标类型的概率，例如属于人的概率为80％。
其中，将图像输入实例分割网络模型前还可以包括：对图像进行预处理。且对图像进行预处理可以包括：对图像进行随机旋转、镜像、翻转、标准归一化以及双线性差值处理，得到目标大小的图像，例如得到400*400大小的图像。
S102：计算行人对应的特征信息中的分割实例掩膜之间的第一面积交并比；
S103：比较第一面积交并比与第一预设阈值的大小，若第一面积交并比大于第一预设阈值，则存在尾随事件；
具体的，步骤S102与步骤S103旨在识别是否存在尾随事件。具体而言，在通过实例分割网络模型分析图像输出分割实例掩膜等特征信息的基础上，进一步计算行人对应的分割实例掩膜之间的第一面积交并比，并将计算所得第一面积交并比与第一预设阈值进行比较。若第一面积交并比大于第一预设阈值，则确定存在尾随事件；相反，若第一面积交并比小于或等于第一预设阈值，则认为不存在尾随事件。
S104：计算行人对应的特征信息中的分割实例掩膜与目标区域对应的特征信息中的分割实例掩膜之间的第二面积交并比；
S105：计算预设时间内第二面积交并比的平均值；
S106：比较平均值与第二预设阈值的大小，若平均值大于第二预设阈值，则存在逗留事件。
具体的，步骤S104至S106旨在识别是否存在逗留事件。具体而言，在通过实例分割网络模型分析图像输出分割实例掩膜等特征信息的基础上，进一步计算行人对应的分割实例掩膜与目标区域的第二面积交并比，并计算预设时间内第二面积交并比的平均值，进而将该平均值与第二预设阈值进行比较。例如，计算3s内第二面积交并比的平均值，并将此平均值与第二预设阈值进行比较。若该平均值大于第二预设阈值，则确定目标区域存在行人逗留事件；相反，若该平均值小于或等于第二预设阈值，则认为目标区域不存在行人逗留事件。
可以明白的是，第一面积交并比、第二面积交并比、第一预设阈值以及第二预设阈值中第一、第二的表述，仅为了区分面积交并比与阈值，而不用作限定面积交并比以及阈值之间实际的关系或者顺序。
进一步，在上述实施例的基础上，计算第一面积交并比及第二面积交并比之前还包括：比较各特征信息中的目标类预测置信度与置信度阈值的大小，筛选出目标类预测置信度大于置信度阈值的特征信息。
具体而言，预先设置置信度阈值，由实例分割网络模型对图像进行分析处理并输出特征信息后，将其中的各目标类预测置信度与置信度阈值进行比较，筛选出目标类预测置信度大于置信度阈值的特征信息，得到最优特征信息，进而依据筛选出的特征信息计算第一面积交并比与第二面积交并比。
可以明白的是，预测检测框特征、预测目标类标签、目标类预测置信度以及分割实例掩膜相互对应，四者为一组特征信息。若某一组特征信息中的目标类预测置信度小于或等于置信度阈值，则将该组特征信息中的预测检测框特征、预测目标类标签、目标类预测置信度以及分割实例掩膜均去除。相反，若某一组特征信息中的目标类预测置信度大于置信度阈值，则将该组特征信息中的预测检测框特征、预测目标类标签、目标类预测置信度以及分割实例掩膜均保留。
例如，置信度阈值设置为80％，则高于80％的目标类预测置信度及其组内的预测检测框特征、预测目标类标签以及分割实例掩膜均保留，而将等于或低于75％的目标类预测置信度及其组内的预测检测框特征、预测目标类标签以及分割实例掩膜均去除。
进一步，在上述实施例的基础上，训练得到实例分割网络模型的方式可以包括：获取训练数据集；利用训练数据集与包含像素级类别损失、目标检测框损失以及目标掩膜损失的损失函数，训练得到实例分割网络模型。其中，获取训练数据集的方式可以包括：录制包含尾随事件与逗留事件的视频；从视频中抓取图像并标注像素级实例分割数据，得到标注图像；将标注图像转换为coco格式的训练数据集。
具体而言，可以通过广角辅助相机录制包含尾随事件与逗留事件的视频，进而可从录制的视频中隔帧抓取图像，并使用实例分割工具标注像素级实例分割数据，得到大量的标注图像，标注类别为两类，行人与目标区域。最后将标注图像转换为coco格式的训练数据集，用于实例分割网络模型的训练。
为提升网络的综合性能，本实施例以像素级类别损失、目标检测框损失以及目标掩膜损失三个损失作为总损失函数进行模型训练。总损失函数表示如下：
L＝λclsLcls+λboxLbox+λmaskLmask；
式中，L为总损失函数，Lcls为像素级类别损失，Lbox为目标检测框损失，Lmask为目标掩膜损失，且Lmask＝BCE(M,Mgt)；BCE表示均方差损失，M表示分割掩膜，Mgt表示标注掩膜。λcls为像素级类别损失对应的权重，λbox为目标检测框损失对应的权重，λmask为目标检测框损失对应的权重。例如，λcls、λbox与λmask可分别设置为1、1.8与6.125。
进一步，在上述实施例的基础上，还包括：根据预设时间内第二面积交并比的平均值与第二预设阈值的差值的大小，评定逗留等级。具体而言，计算预设时间内第二面积交并比的平均值与第二预设阈值的差值的绝对值，根据该绝对值的大小来评定逗留等级，逗留等级反应逗留的严重程度。例如，按照逗留等级设定第一预设值与第二预设值两个值，若该绝对值大于第一预设值，则认为逗留等级为一级，逗留程度一般。若该绝对值大于第二预设值，则认为逗留等级为二级，逗留程度严重，可能存在多人逗留的情况。
综上所述，本申请所提供的事件检测方法，利用实例分割网络模型可以准确分割出行人以及目标区域的分割实例掩膜，进而通过计算行人之间分割实例掩膜的面积交并比，并将所得面积交并比与预设阈值进行比较而确定是否存在尾随事件，以及通过计算行人与目标区域之间分割实例掩膜的面积交并比，并将所得面积交并比与预设阈值进行比较而确定是否存在逗留事件，由此实现尾随事件与逗留事件的精准识别。
以下以通道闸场景为例阐述本申请所提供的技术方案：
1、准备训练数据集：利用广角辅助相机录制通道闸视频，包括行人尾随视频与行人在通道闸逗留视频。从录制的视频中隔帧抓取图像，并使用实例分割标注工具标注像素级实例分割数据，标注类别2类(行人与通道闸中的感兴趣区域)，获得大量的标注图像；最后将标注图像转换成coco格式的数据集。
2、网络模型设计与训练：由于目标任务是将通道闸行人进行像素级精确分割，输出检测框、类标签、分类置信度以及分割实例掩膜，因此网络模型包括检测网络部分与分割网络部分。
为提升网络的综合性能，以像素级类别损失、目标检测框损失以及目标掩膜损失三个损失作为总损失函数进行模型训练，得到用于图像分析的实例分割网络模型。
3、尾随事件识别：
将图像输入实例分割网络模型，由实例分割网络模型对图像进行分析处理输出特征信息；
计算行人对应的分割实例掩膜之间的第一面积交并比；
比较第一面积交并比与第一预设阈值的大小，若第一面积交并比大于第一预设阈值，则通道闸存在尾随事件；相反，则通道闸不存在尾随事件。
4、逗留事件识别：
计算行人对应的分割实例掩膜与通道闸内感兴趣区域对应的分割实例掩膜之间的第二面积交并比；
计算预设时间内第二面积交并比的平均值；
比较平均值与第二预设阈值的大小，若平均值大于第二预设阈值，则通道闸存在逗留事件；相反，则通道闸不存在逗留事件。
本申请还提供了一种事件检测装置，下文描述的该装置可以与上文描述的方法相互对应参照。请参考图5，图5为本申请实施例所提供的一种事件检测装置的示意图，结合图5所示，该装置包括：
特征提取模块10，用于将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；
第一计算模块20，用于计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；
第一比较模块30，用于比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；
第二计算模块40，用于计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；
第三计算模块50，用于计算预设时间内所述第二面积交并比的平均值；
第二比较模块60，用于比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
在上述实施例的基础上，可选的，还包括：
筛选模块，用于比较各所述特征信息中的目标类预测置信度与置信度阈值的大小，筛选出目标类预测置信度大于所述置信度阈值的所述特征信息。
在上述实施例的基础上，可选的，还包括：
图像预处理模块，用于对所述图像进行预处理。
在上述实施例的基础上，可选的，图像预处理模块具体用于对所述图像进行随机旋转、镜像、翻转、标准归一化以及双线性差值处理，得到目标大小的图像。
在上述实施例的基础上，可选的，训练得到所述实例分割网络模型的方式为：
获取训练数据集；
利用所述训练数据集与包含像素级类别损失、目标检测框损失以及目标掩膜损失的损失函数，训练得到所述实例分割网络模型。
在上述实施例的基础上，可选的，获取训练数据集的方式为：
录制包含尾随事件与逗留事件的视频；
从所述视频中抓取图像并标注像素级实例分割数据，得到标注图像；
将所述标注图像转换为coco格式的所述训练数据集。
在上述实施例的基础上，可选的，还包括：
评定模块，用于根据预设时间内所述第二面积交并比的平均值与所述第二预设阈值的差值的大小，评定逗留等级。
本申请还提供了一种事件检测设备，参考图6所示，该设备包括存储器1和处理器2。
存储器1，用于存储计算机程序；
处理器2，用于执行计算机程序实现如下的步骤：
将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；计算预设时间内所述第二面积交并比的平均值；比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
对于本申请所提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下的步骤：
将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；计算预设时间内所述第二面积交并比的平均值；比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请所提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的事件检测方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围。

Claims (10)

1.一种事件检测方法，其特征在于，包括：
将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；
计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；
比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；
计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；
计算预设时间内所述第二面积交并比的平均值；
比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
2.根据权利要求1所述的事件检测方法，其特征在于，计算所述第一面积交并比及所述第二面积交并比之前还包括：
比较各所述特征信息中的目标类预测置信度与置信度阈值的大小，筛选出目标类预测置信度大于所述置信度阈值的所述特征信息。
3.根据权利要求1所述的事件检测方法，其特征在于，将图像输入实例分割网络模型前还包括：
对所述图像进行预处理。
4.根据权利要求3所述的事件检测方法，其特征在于，所述对所述图像进行预处理包括：
对所述图像进行随机旋转、镜像、翻转、标准归一化以及双线性差值处理，得到目标大小的图像。
5.根据权利要求1所述的事件检测方法，其特征在于，训练得到所述实例分割网络模型包括：
获取训练数据集；
利用所述训练数据集与包含像素级类别损失、目标检测框损失以及目标掩膜损失的损失函数，训练得到所述实例分割网络模型。
6.根据权利要求5所述的事件检测方法，其特征在于，所述获取训练数据集包括：
录制包含尾随事件与逗留事件的视频；
从所述视频中抓取图像并标注像素级实例分割数据，得到标注图像；
将所述标注图像转换为coco格式的所述训练数据集。
7.根据权利要求1所述的事件检测方法，其特征在于，还包括：
根据预设时间内所述第二面积交并比的平均值与所述第二预设阈值的差值的大小，评定逗留等级。
8.一种事件检测装置，其特征在于，包括：
特征提取模块，用于将图像输入实例分割网络模型，通过所述实例分割网络模型对所述图像进行分析处理输出特征信息；
第一计算模块，用于计算行人对应的所述特征信息中的分割实例掩膜之间的第一面积交并比；
第一比较模块，用于比较所述第一面积交并比与第一预设阈值的大小，若所述第一面积交并比大于所述第一预设阈值，则存在尾随事件；
第二计算模块，用于计算行人对应的所述特征信息中的分割实例掩膜与目标区域对应的所述特征信息中的分割实例掩膜之间的第二面积交并比；
第三计算模块，用于计算预设时间内所述第二面积交并比的平均值；
第二比较模块，用于比较所述平均值与第二预设阈值的大小，若所述平均值大于所述第二预设阈值，则存在逗留事件。
9.一种事件检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的事件检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的事件检测方法的步骤。
CN202011582723.9A 2020-12-28 2020-12-28 一种事件检测方法及相关装置 Active CN112597928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011582723.9A CN112597928B (zh) 2020-12-28 2020-12-28 一种事件检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011582723.9A CN112597928B (zh) 2020-12-28 2020-12-28 一种事件检测方法及相关装置

Publications (2)

Publication Number Publication Date
CN112597928A true CN112597928A (zh) 2021-04-02
CN112597928B CN112597928B (zh) 2024-05-14

Family

ID=75202750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011582723.9A Active CN112597928B (zh) 2020-12-28 2020-12-28 一种事件检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN112597928B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627345A (zh) * 2021-08-11 2021-11-09 深圳市捷顺科技实业股份有限公司 一种通道闸行人检测方法、装置、设备及可读存储介质
CN113627346A (zh) * 2021-08-11 2021-11-09 深圳市捷顺科技实业股份有限公司 一种通道闸检测方法、装置、设备及可读存储介质
CN113824989A (zh) * 2021-07-13 2021-12-21 腾讯科技（深圳）有限公司 一种视频处理方法、装置和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130177234A1 (en) * 2012-01-09 2013-07-11 Wen-Jun Wu System and method for identifying an aperture in a representation of an object
CN108280952A (zh) * 2018-01-25 2018-07-13 盛视科技股份有限公司 一种基于前景目标分割的旅客尾随监测方法
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111891061A (zh) * 2020-07-09 2020-11-06 广州亚美智造科技有限公司 车辆碰撞检测方法、装置和计算机设备
CN112084892A (zh) * 2020-08-21 2020-12-15 廖赟 一种道路异常事件检测管理装置及其方法
CN112102340A (zh) * 2020-09-25 2020-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130177234A1 (en) * 2012-01-09 2013-07-11 Wen-Jun Wu System and method for identifying an aperture in a representation of an object
CN108280952A (zh) * 2018-01-25 2018-07-13 盛视科技股份有限公司 一种基于前景目标分割的旅客尾随监测方法
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111891061A (zh) * 2020-07-09 2020-11-06 广州亚美智造科技有限公司 车辆碰撞检测方法、装置和计算机设备
CN112084892A (zh) * 2020-08-21 2020-12-15 廖赟 一种道路异常事件检测管理装置及其方法
CN112102340A (zh) * 2020-09-25 2020-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGHO KA等: ""study on the Framework of Intersection Pedestrian Collision Warning System Considering Pedestrian Characteristics"", 《NATIONAL ACADEMY OF SCIENCES:TRANSPORTATION RESEARCH BOARD》, 12 April 2019 (2019-04-12) *
陈柱良: ""监控视频人脸考勤与陌生人鉴别方法及系统实现"", 《中国优秀硕士学位论文全文数据库》, 15 June 2020 (2020-06-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824989A (zh) * 2021-07-13 2021-12-21 腾讯科技（深圳）有限公司 一种视频处理方法、装置和计算机可读存储介质
CN113824989B (zh) * 2021-07-13 2024-02-27 腾讯科技（深圳）有限公司 一种视频处理方法、装置和计算机可读存储介质
CN113627345A (zh) * 2021-08-11 2021-11-09 深圳市捷顺科技实业股份有限公司 一种通道闸行人检测方法、装置、设备及可读存储介质
CN113627346A (zh) * 2021-08-11 2021-11-09 深圳市捷顺科技实业股份有限公司 一种通道闸检测方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112597928B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN112597928B (zh) 一种事件检测方法及相关装置
CN107944427B (zh) 动态人脸识别方法及计算机可读存储介质
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111738342B (zh) 一种受电弓异物检测方法、存储介质及计算机设备
CN111325769B (zh) 一种目标对象检测方法及装置
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111652225A (zh) 基于深度学习的非侵入式摄像读取方法及系统
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN111967345B (zh) 一种实时判定摄像头遮挡状态的方法
CN114298948A (zh) 基于PSPNet-RCNN的球机监控异常检测方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN114373162B (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统
CN112766046B (zh) 一种目标检测方法及相关装置
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN116935033A (zh) 基于卷积神经网络的红外目标检测识别方法
CN111402185B (zh) 一种图像检测方法及装置
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN115984378A (zh) 一种轨道异物检测方法、装置、设备及介质
de Sa Lowande et al. Analysis of post-disaster damage detection using aerial footage from uwf campus after hurricane sally
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及系统
CN112949431A (zh) 视频篡改检测方法和系统、存储介质
CN115187884A (zh) 一种高空抛物识别方法、装置、电子设备及存储介质
CN111008582B (zh) 一种头部照片分析方法、系统和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant