CN113537165B - 一种行人打闹的检测方法和系统 - Google Patents

一种行人打闹的检测方法和系统 Download PDF

Info

Publication number
CN113537165B
CN113537165B CN202111077792.9A CN202111077792A CN113537165B CN 113537165 B CN113537165 B CN 113537165B CN 202111077792 A CN202111077792 A CN 202111077792A CN 113537165 B CN113537165 B CN 113537165B
Authority
CN
China
Prior art keywords
video information
model
module
alarm
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111077792.9A
Other languages
English (en)
Other versions
CN113537165A (zh
Inventor
宋旭军
黄双龙
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Xindatong Information Technology Co ltd
Original Assignee
Hunan Xindatong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Xindatong Information Technology Co ltd filed Critical Hunan Xindatong Information Technology Co ltd
Priority to CN202111077792.9A priority Critical patent/CN113537165B/zh
Publication of CN113537165A publication Critical patent/CN113537165A/zh
Application granted granted Critical
Publication of CN113537165B publication Critical patent/CN113537165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人打闹的检测方法和系统，涉及地铁视频识别领域。该方法包括：提取实时待检测的视频信息，通过稠密光流算法过滤掉所述视频信息中位移量小于预设阈值的第一干扰因素，通过yolo5s模型去除过滤后的所述视频信息中的第二干扰因素，将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型中，对所述视频信息进行识别和分类，对分类结果进行判断，如果超过告警阈值，则发送告警提示，通过本方案稠密光流算法、yolo5s模型和CRNN模型结合进行相比较以往单纯的分类方案大大降低误报率。

Description

一种行人打闹的检测方法和系统
技术领域
本发明涉及地铁视频识别领域，尤其涉及一种行人打闹的检测方法和系统。
背景技术
安全是一个家庭和社会赖以生存和发展的基础,尤其是在信息技术快速发展的今天,强大的安防系统必定会使城市的安全更有保障性。公共场所例如地铁等场景一旦出现打闹或斗殴，应该第一时间有监控告警使得安防人员能立刻出现避免不必要的损失。
现有的打闹检测方案包括：光流变化、人体关键点、图像分类等方法来识别，但也存在相对的不足，例如单纯的光流只能判别图像中的运动剧烈程度，而基于人体关键点配合图神经网络的方式又只适合少量人的场景，直接图像分类往往存在大量误报漏报的情况，必须考虑多帧的图像来识别。而在地铁场景下行人往往较多，现有方案都无法在人流密集的情况下进行准确识别。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种行人打闹的检测方法和系统。
本发明解决上述技术问题的技术方案如下：
一种行人打闹的检测方法，包括：
S1，提取实时待检测的视频信息；
S2，通过稠密光流算法过滤掉所述视频信息中位移量小于预设阈值的第一干扰因素；
S3，通过yolo5s模型去除过滤后的所述视频信息中的第二干扰因素；
S4，将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型中，对所述视频信息进行识别和分类；
S5，对分类结果进行判断，如果超过告警阈值，则发送告警提示。
本发明的有益效果是：本方案通过稠密光流算法过滤掉视频信息中没有剧烈运动的场景，有效减少后续识别的计算数据量。
通过yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
通过CRNN模型能很好的提取多帧的图像的整体特征来用于分类判别。
通过本方案相比较以往单纯的分类方案大大降低误报率。
进一步地，所述S2具体包括：
通过稠密光流算法采集所述视频信息的每一帧图像中每个像素点的位移矢量；
通过位移矢量的平方值对每个位移矢量进行降序排列，将排序后位移矢量组成位移矢量集合；
选取降序排列后预设数量的位移矢量；
对所述预设数量的位移矢量进行平方再求和，将求和值小于预设阈值的图像滤除。
采用上述进一步方案的有益效果是：本方案通过位移矢量能够精准判断出没有剧烈运动的场景，并将相应场景进行滤除，提高打闹识别的精准度。
进一步地，所述S3具体包括：
将预处理后的所述视频信息输入yolo5s模型进行处理；
生成所述视频信息每帧图像的目标框，将所述目标框外的像素值设置为零。
采用上述进一步方案的有益效果是：本方案yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
进一步地，所述S4之前还包括：
在CNN卷积层中添加Focus模块；
将原始激活函数修改为带参数的PReLU激活函数；
通过全卷积替换CRNN模型的输出层，获得改进后的CRNN模型。
采用上述进一步方案的有益效果是：通过改进的CRNN模型的全卷积层有效防止视频信息特征丢失，有效提高打闹识别准确度。
进一步地，所述S4具体包括：
将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型，生成二维向量；
对所述二维向量进行sigmoid操作，再经reshape变形成长为一维向量，完成识别和分类；
所述一维向量包括：属于打闹的置信度。
本发明解决上述技术问题的另一种技术方案如下：
一种行人打闹的检测系统，包括：视频信息提取模块、第一过滤模块、第二过滤模块、识别分类模块和告警发送模块；
所述视频信息提取模块用于提取实时待检测的视频信息；
所述第一过滤模块用于通过稠密光流算法过滤掉所述视频信息中位移量小于预设阈值的第一干扰因素；
所述第二过滤模块用于通过yolo5s模型去除过滤后的所述视频信息中的第二干扰因素；
所述识别分类模块用于将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型中，对所述视频信息进行识别和分类；
所述告警发送模块用于对分类结果进行判断，如果超过告警阈值，则发送告警提示。
本发明的有益效果是：本方案通过稠密光流算法过滤掉视频信息中没有剧烈运动的场景，有效减少后续识别的计算数据量。
通过yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
通过CRNN模型能很好的提取多帧的图像的整体特征来用于分类判别。
通过本方案相比较以往单纯的分类方案大大降低误报率。
进一步地，所述第一过滤模块具体用于通过稠密光流算法采集所述视频信息的每一帧图像中每个像素点的位移矢量；
通过位移矢量的平方值对每个位移矢量进行降序排列，将排序后位移矢量组成位移矢量集合；
选取降序排列后预设数量的位移矢量；
对所述预设数量的位移矢量进行平方再求和，将求和值小于预设阈值的图像滤除。
采用上述进一步方案的有益效果是：本方案通过位移矢量能够精准判断出没有剧烈运动的场景，并将相应场景进行滤除，提高打闹识别的精准度。
进一步地，所述第二过滤模块具体用于将预处理后的所述视频信息输入yolo5s模型进行处理；
生成所述视频信息每帧图像的目标框，将所述目标框外的像素值设置为零。
采用上述进一步方案的有益效果是：本方案yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
进一步地，还包括：模型改进模块，用于在CNN卷积层中添加Focus模块；
将原始激活函数修改为带参数的PReLU激活函数；
通过全卷积替换CRNN模型的输出层，获得改进后的CRNN模型。
采用上述进一步方案的有益效果是：通过改进的CRNN模型的全卷积层有效防止视频信息特征丢失，有效提高打闹识别准确度。
进一步地，所述识别分类模块具体用于将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型，生成二维向量；
对所述二维向量进行sigmoid操作，再经reshape变形成长为一维向量，完成识别和分类；
所述一维向量包括：属于打闹的置信度。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明的实施例提供的一种行人打闹的检测方法的流程示意图；
图2为本发明的实施例提供的一种行人打闹的检测系统的结构框图；
图3为本发明的其他实施例提供的CRNN模型的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例提供的一种行人打闹的检测方法，包括：
S1，提取实时待检测的视频信息；
S2，通过稠密光流算法过滤掉所述视频信息中位移量小于预设阈值的第一干扰因素；其中，第一干扰因素可以是没有剧烈运动的场景；
在某一实施例中，光流法是利用图像序列中的像素在时间域上的变化、相邻帧之间的相关性来找到的上一帧跟当前帧间存在的对应关系，计算出相邻帧之间物体的运动信息的一种方法。稠密光流Farneback 算法可以包括：通过每个像素点的邻域信息来对该像素点的坐标位置进行多项式展开，其中，邻域信息可以由邻域像素点的像素值大小和位置来确定权重获得，得到一个邻域信息以原坐标（x0，y0）为自变量，新坐标（x，y）为因变量的多项式，并代入坐标数据来求取该像素点在x和y方向上的移动量（dx，dy）。这样就得到了每个像素点在前后两帧图像中的位移矢量，包含振幅和相位。
在某一实施例中，通过稠密光流算法过滤掉没有剧烈运动可以包括：
首先从视频流中解码了连续的75帧，一般摄像头的帧率25则75帧大约是3秒，每隔5帧取一帧一共15帧，全部都取的话对硬件要求太高，统一缩放到分辨率480X272，分辨率太大不利于实时检测，而一般的摄像机分辨率宽高比都是16/9，因此属于等比缩放，而取16的倍数是方便后面CRNN网络使用。接下来对15帧进行稠密光流过滤，首先转灰度图，每相邻两帧图像A、B，计算A上坐标点集｛x,y｝，x从5开始间隔10递增直到475，y从5开始间隔10递增直到265)，在这2帧图像中的位移矢量集合｛fx,fy｝，求平方和｛G=fx^2+fy^2｝，对集合排序取最大的40个G求和设为S。判断S>17000，计数变量n加一，那么15帧一共会计算14次S,当n>2时符合条件否则过滤不再往下走，n<=2的情况，当S<=17000时n不变，当s>17000时n+1，最后n>2说明15帧中有至少3帧波动大的帧，需要说明的是，我们的目的是检测15帧是否属于打闹。其中，17000可以通过实际大量正常视频和打闹视频进行比对实验而得出的一个阈值，该阈值表示预设阈值，当取这个阈值时可以用上述方法过滤掉我们的验证数据集中正常视频约60%同时保留打闹视频约92%。
S3，通过yolo5s模型去除过滤后的所述视频信息中的第二干扰因素；其中，第二干扰因素可以是无人的场景。
在某一实施例中，通过yolo5s模型过滤掉15帧图像中没有人的部分可以包括：15帧480X272的图像，循环每一帧预处理成640X640大小的图像送到yolo5s模型中生成N个，N为检测到的人的个数，目标框在480X272中坐标｛（x1,y1,x2,y2）｝,然后设置这些框外的像素值为0。则相当于把没有人的部分全部设置为黑点。
S4，将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型中，对所述视频信息进行识别和分类；
在某一实施例中，对CRNN模型进行改进可以包括：添加Focus模块减小输入了到卷积尺寸，替换激活函数为带参数的PReLU，模型最后几层，即输出层，使用全卷积防止特征丢失，使用了Dropout提高泛化能力。
在某一实施例中，通过CRNN模型对所述视频信息进行识别和分类可以包括：首先将15帧图像转换成模型可识别的数据送至CRNN网络，结果会生成1个二维向量，对其进行sigmoid操作再reshape变形成长度为2的一维向量，假设结果为（0.2,0.8）则说明这15帧图像属于正常的可能性为20%，属于打闹的可能性是80%。当然中间我们使用了我们的大量数据集去训练这个CRNN网络，使得当输入为15帧正常图像时输出的向量接近于（1，0），而当输入的为15帧打闹图像时输出向量接近于（0，1）。
S5，对分类结果进行判断，如果分类结果向量中的第二个数值超过告警阈值，则发送告警提示。
在某一实施例中，阈值可以取0.8，CRNN模型最终会输出一个长度为2的一维向量，其中第一个表示属于正常的置信度，第二个表示属于打闹的置信度。这个阈值0.8是我们在测试集上调试得出的值，小了例如0.5会使得一些正常的也算入打闹，大了例如0.9会使得一些打闹的漏检，而取0.8效果最好，在我们的验证数据集中打闹识别准确率在90%以上。
本方案通过稠密光流算法过滤掉视频信息中没有剧烈运动的场景，有效减少后续识别的计算数据量。
通过yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
通过CRNN模型能很好的提取多帧的图像的整体特征来用于分类判别。
通过本方案相比较以往单纯的分类方案大大降低误报率。
优选地，在上述任意实施例中，所述S2具体包括：
通过稠密光流算法采集所述视频信息的每一帧图像中每个像素点的位移矢量；
通过位移矢量的平方值对每个位移矢量进行降序排列，将排序后位移矢量组成位移矢量集合；
选取降序排列后预设数量的位移矢量；
对所述预设数量的位移矢量进行平方再求和，将求和值小于预设阈值的图像滤除。
本方案通过位移矢量能够精准判断出没有剧烈运动的场景，并将相应场景进行滤除，提高打闹识别的精准度。
优选地，在上述任意实施例中，所述S3具体包括：
将预处理后的所述视频信息输入yolo5s模型进行处理；
生成所述视频信息每帧图像的目标框，将所述目标框外的像素值设置为零。
本方案yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
优选地，在上述任意实施例中，所述S4之前还包括：
在CNN卷积层中添加Focus模块；
将原始激活函数修改为带参数的PReLU激活函数；
通过全卷积替换CRNN模型的输出层，获得改进后的CRNN模型。
在某一实施例中，CRNN模型可以如图3所示，CRNN模型包括：CNN卷积层； CNN卷积层包括：Focus模块、CBP模块、reshape变形、FC全卷积；FC全卷积包括：RNN循环层；RNN循环层包括：reshape变形、双向LSTM网络；CBP模块包括Conv、BN和Prelu，CNN用于提取二维图像特征，RNN用于合并多帧特征并带记忆功能；
Focus模块包括：slice、concat和CBL，CBL包括：Conv 、BN和LeakyReLU
通过改进的CRNN模型的全卷积层有效防止视频信息特征丢失，有效提高打闹识别准确度。
优选地，在上述任意实施例中，所述S4具体包括：
将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型，生成二维向量；
对所述二维向量进行sigmoid操作，再经reshape变形成长为一维向量，完成识别和分类；
所述一维向量包括：属于打闹的置信度。
在某一实施例中，如图2所示，一种行人打闹的检测系统，包括：视频信息提取模块1101、第一过滤模块1102、第二过滤模块1103、识别分类模块1104和告警发送模块1105；
所述视频信息提取模块1101用于提取实时待检测的视频信息；
所述第一过滤模块1102用于通过稠密光流算法过滤掉所述视频信息中位移量小于预设阈值的第一干扰因素；
所述第二过滤模块1103用于通过yolo5s模型去除过滤后的所述视频信息中的第二干扰因素；
所述识别分类模块1104用于将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型中，对所述视频信息进行识别和分类；
所述告警发送模块1105用于对分类结果进行判断，如果超过告警阈值，则发送告警提示。
本方案通过稠密光流算法过滤掉视频信息中没有剧烈运动的场景，有效减少后续识别的计算数据量。
通过yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
通过CRNN模型能很好的提取多帧的图像的整体特征来用于分类判别。
通过本方案相比较以往单纯的分类方案大大降低误报率。
优选地，在上述任意实施例中，所述第一过滤模块1102具体用于通过稠密光流算法采集所述视频信息的每一帧图像中每个像素点的位移矢量；
通过位移矢量的平方值对每个位移矢量进行降序排列，将排序后位移矢量组成位移矢量集合；
选取降序排列后预设数量的位移矢量；
对所述预设数量的位移矢量进行平方再求和，将求和值小于预设阈值的图像滤除。
本方案通过位移矢量能够精准判断出没有剧烈运动的场景，并将相应场景进行滤除，提高打闹识别的精准度。
优选地，在上述任意实施例中，所述第二过滤模块1103具体用于将预处理后的所述视频信息输入yolo5s模型进行处理；
生成所述视频信息每帧图像的目标框，将所述目标框外的像素值设置为零。
本方案yolo5s模型去除视频信息中没有人的场景，进一步精确定位到目标识别区域。
优选地，在上述任意实施例中，还包括：模型改进模块，用于在CNN卷积层中添加Focus模块；
将原始激活函数修改为带参数的PReLU激活函数；
通过全卷积替换CRNN模型的输出层，获得改进后的CRNN模型。
通过改进的CRNN模型的全卷积层有效防止视频信息特征丢失，有效提高打闹识别准确度。
优选地，在上述任意实施例中，所述识别分类模块1104具体用于将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型，生成二维向量；
对所述二维向量进行sigmoid操作，再经reshape变形成长为一维向量，完成识别和分类；
所述一维向量包括：属于打闹的置信度。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种行人打闹的检测方法，其特征在于，包括：
S1，提取实时待检测的视频信息；
S2，通过稠密光流算法过滤掉所述视频信息中位移量小于预设阈值的第一干扰因素；
S3，通过yolo5s模型去除过滤后的所述视频信息中的第二干扰因素；
S4，将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型中，对所述视频信息进行识别和分类；
S5，对分类结果进行判断，如果超过告警阈值，则发送告警提示；
其中，所述S2具体包括：
通过稠密光流算法采集所述视频信息的每一帧图像中每个像素点的位移矢量；
通过位移矢量的平方值对每个位移矢量进行降序排列，将排序后位移矢量组成位移矢量集合；
选取降序排列后预设数量的位移矢量；
对所述预设数量的位移矢量进行平方再求和，将求和值小于预设阈值的图像滤除；
所述S4之前还包括：
在CNN卷积层中添加Focus模块；
将原始激活函数修改为带参数的PReLU激活函数；
通过全卷积替换CRNN模型的输出层，获得改进后的CRNN模型。
2.根据权利要求1所述的一种行人打闹的检测方法，其特征在于，所述S3具体包括：
将预处理后的所述视频信息输入yolo5s模型进行处理；
生成所述视频信息每帧图像的目标框，将所述目标框外的像素值设置为零。
3.根据权利要求1所述的一种行人打闹的检测方法，其特征在于，所述S4具体包括：
将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型，生成二维向量；
对所述二维向量进行sigmoid操作，再经reshape变形成长为一维向量，完成识别和分类；
所述一维向量包括：属于打闹的置信度。
4.一种行人打闹的检测系统，其特征在于，包括：视频信息提取模块、第一过滤模块、第二过滤模块、识别分类模块、告警发送模块和模型改进模块；
所述视频信息提取模块用于提取实时待检测的视频信息；
所述第一过滤模块用于通过稠密光流算法过滤掉所述视频信息中位移量小于预设阈值的第一干扰因素；
所述第二过滤模块用于通过yolo5s模型去除过滤后的所述视频信息中的第二干扰因素；
所述识别分类模块用于将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型中，对所述视频信息进行识别和分类；
所述告警发送模块用于对分类结果进行判断，如果超过告警阈值，则发送告警提示；
其中，所述第一过滤模块具体用于通过稠密光流算法采集所述视频信息的每一帧图像中每个像素点的位移矢量；
通过位移矢量的平方值对每个位移矢量进行降序排列，将排序后位移矢量组成位移矢量集合；
选取降序排列后预设数量的位移矢量；
对所述预设数量的位移矢量进行平方再求和，将求和值小于预设阈值的图像滤除；
所述模型改进模块，用于在CNN卷积层中添加Focus模块；
将原始激活函数修改为带参数的PReLU激活函数；
通过全卷积替换CRNN模型的输出层，获得改进后的CRNN模型。
5.根据权利要求4所述的一种行人打闹的检测系统，其特征在于，所述第二过滤模块具体用于将预处理后的所述视频信息输入yolo5s模型进行处理；
生成所述视频信息每帧图像的目标框，将所述目标框外的像素值设置为零。
6.根据权利要求4所述的一种行人打闹的检测系统，其特征在于，所述识别分类模块具体用于将去除所述第二干扰因素的所述视频信息发送到改进后的CRNN模型，生成二维向量；
对所述二维向量进行sigmoid操作，再经reshape变形成长为一维向量，完成识别和分类；
所述一维向量包括：属于打闹的置信度。
CN202111077792.9A 2021-09-15 2021-09-15 一种行人打闹的检测方法和系统 Active CN113537165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111077792.9A CN113537165B (zh) 2021-09-15 2021-09-15 一种行人打闹的检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111077792.9A CN113537165B (zh) 2021-09-15 2021-09-15 一种行人打闹的检测方法和系统

Publications (2)

Publication Number Publication Date
CN113537165A CN113537165A (zh) 2021-10-22
CN113537165B true CN113537165B (zh) 2021-12-07

Family

ID=78093265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111077792.9A Active CN113537165B (zh) 2021-09-15 2021-09-15 一种行人打闹的检测方法和系统

Country Status (1)

Country Link
CN (1) CN113537165B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115724312A (zh) * 2022-05-31 2023-03-03 海纳云物联科技有限公司 一种电梯轿厢困人检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596038A (zh) * 2018-03-28 2018-09-28 电子科技大学 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN110427855A (zh) * 2019-07-25 2019-11-08 浙江树人学院（浙江树人大学） 一种利用累积光流对人群异常行为识别定位的算法
CN111832469A (zh) * 2020-07-10 2020-10-27 杭州电子科技大学 一种基于双流卷积神经网络的抽烟行为检测方法
CN112364680A (zh) * 2020-09-18 2021-02-12 西安工程大学 一种基于光流算法的异常行为检测方法
US10977520B2 (en) * 2018-12-18 2021-04-13 Slyce Acquisition Inc. Training data collection for computer vision
CN113052139A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习双流网络的攀爬行为检测方法及系统
CN113326754A (zh) * 2021-05-21 2021-08-31 深圳市安软慧视科技有限公司 基于卷积神经网络的吸烟行为检测方法、系统及相关设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262235B1 (en) * 2018-02-26 2019-04-16 Capital One Services, Llc Dual stage neural network pipeline systems and methods
CN111079507B (zh) * 2019-10-18 2023-09-01 深兰科技(重庆)有限公司 一种行为识别方法及装置、计算机装置及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596038A (zh) * 2018-03-28 2018-09-28 电子科技大学 一种结合形态学分割和神经网络的粪便中红细胞识别方法
US10977520B2 (en) * 2018-12-18 2021-04-13 Slyce Acquisition Inc. Training data collection for computer vision
CN110427855A (zh) * 2019-07-25 2019-11-08 浙江树人学院（浙江树人大学） 一种利用累积光流对人群异常行为识别定位的算法
CN111832469A (zh) * 2020-07-10 2020-10-27 杭州电子科技大学 一种基于双流卷积神经网络的抽烟行为检测方法
CN112364680A (zh) * 2020-09-18 2021-02-12 西安工程大学 一种基于光流算法的异常行为检测方法
CN113052139A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习双流网络的攀爬行为检测方法及系统
CN113326754A (zh) * 2021-05-21 2021-08-31 深圳市安软慧视科技有限公司 基于卷积神经网络的吸烟行为检测方法、系统及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CrowdVAS-Net: A Deep-CNN Based Framework to Detect Abnormal Crowd-Motion Behavior in Videos for Predicting Crowd Disaster;Tanu Gupta 等;《2019 IEEE International Conference on Systems, Man and Cybernetics (SMC)》;IEEE;20191009;2877-2882 *
基于图像检测的机场人员异常行为分析技术研究;孙宝聪;《数字通信世界》;20200101;1-2 *
基于深度学习的人体异常行为检测技术研究;尤磊;《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》;20190115(第01期);I138-134 *

Also Published As

Publication number Publication date
CN113537165A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
Navalgund et al. Crime intention detection system using deep learning
KR101716646B1 (ko) 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
WO2018056355A1 (ja) 監視装置
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN113052029A (zh) 基于动作识别的异常行为监管方法、装置及存储介质
JP5271227B2 (ja) 群衆監視装置および方法ならびにプログラム
JP2007209008A (ja) 監視装置
CN109766755A (zh) 人脸识别方法及相关产品
Abdo et al. Fall detection based on RetinaNet and MobileNet convolutional neural networks
Poonsri et al. Improvement of fall detection using consecutive-frame voting
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
JP3910626B2 (ja) 監視装置
CN113537165B (zh) 一种行人打闹的检测方法和系统
CN110414430B (zh) 一种基于多比例融合的行人重识别方法及装置
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN114764895A (zh) 异常行为检测装置和方法
Yang et al. Video anomaly detection for surveillance based on effective frame area
JP3088880B2 (ja) 人物認識装置
Aqeel et al. Detection of anomaly in videos using convolutional autoencoder and generative adversarial network model
CN115797970A (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
CN111738059A (zh) 一种面向无感场景的人脸识别方法
KR101407394B1 (ko) 방치물 및 도난물 탐지 시스템
JP2005284652A (ja) 動きベクトルを用いた映像監視方法及び装置
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법
Kim et al. Surveillance System for Real-Time High-Precision Recognition of Criminal Faces From Wild Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant