CN113989930A - 基于小目标和动作识别的人体异常行为检测系统 - Google Patents

基于小目标和动作识别的人体异常行为检测系统 Download PDF

Info

Publication number
CN113989930A
CN113989930A CN202111267975.7A CN202111267975A CN113989930A CN 113989930 A CN113989930 A CN 113989930A CN 202111267975 A CN202111267975 A CN 202111267975A CN 113989930 A CN113989930 A CN 113989930A
Authority
CN
China
Prior art keywords
human body
detection
abnormal
small target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111267975.7A
Other languages
English (en)
Inventor
易军
沈志龙
赵海航
赵怡恒
钟婉霞
肖亿
周伟
刘洪�
赵猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN202111267975.7A priority Critical patent/CN113989930A/zh
Publication of CN113989930A publication Critical patent/CN113989930A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于小目标和动作识别的人体异常行为检测系统,系统主要包括监控设备的部署,检测服务端和云端平台。监控设备用于实时获取监控场所中人员流动信息;智能预警系统以检测服务端设备为载体,用于实现异常小目标检测,人体姿态异常的预警,将结果展示在检测服务端上;云端服务器用于智能预警系统模型的训练以及参数的更新。本系统的目的为搭建视频监控报警平台,部署摄像头,添加计算的规则,实现异常小目标检测,人体姿态异常行为报警功能,降低报警时延。

Description

基于小目标和动作识别的人体异常行为检测系统
技术领域
本发明涉及图像处理,人工智能、小目标检测等技术领域,具体涉及一种基于小目标和动作识别的人体异常行为检测系统。
背景技术
当前视频数据规模不断增大,对视频进行手动分析不但要消耗大量人力,而且个人隐私安全成本也会进一步提高,不能很好的满足当前发展需要,因此,对视频进行智能分析变得异常关键,异常检测是目前分析视频技术最重要的研究方向。异常检测指的是解析视频内容,预测可能出现的异常事件或异常行为,但是视频中可能还会存在人体所携带的危险物品,且危险物品通常在视频画面中占比较小。现有人体异常行为检测系统往往不能够识别到这一类小目标物体,切不能将其与人体行为进行关联。
发明内容
为了解决上述问题,本发明中在训练过程中使用最大均值算法来构造背景估计。该方法具有一个双层窗口,对标注的小物体更好的提取,同时采用神经网络对检测目标的表观特征进行建模,并将特征向量保留一段时间,极大的提高了小型物体在实际检测中的精准度。同时将人体异常检测算法和小目标检测算法相结合,能更好的对异常行为进行判别。
本申请实施例通过提出一种基于小目标和动作识别的人体异常行为检测系统,系统主要包括监控摄像头、计算服务端以智能检测系统及云端服务器。目的为搭建视频监控报警平台,部署摄像头,添加算法运算的规则,实现人体异常行为检测,降低报警时延。
为实现上述目的,本申请采用以下技术方案予以实现:
步骤1:一种基于小目标和动作识别的人体异常行为检测系统,其特征在于:由监控摄像头、计算服务端以智能检测系统及云端服务器组成,所述摄像头用于实时获取区域人员行为信息;所述智能预警系统以服务端设备为载体,用于实现小目标检测,人体异常行为检测,将结果展示在服务端上;所述云端服务器用于系统模型的训练以及参数的更新。
步骤2:基于服务端设备的智能检测系统,其实现包括以下步骤:
A、用于实现小目标检测的步骤:
摄像头将获取到的视频数据传到服务端中,通过改进BE-RDLCM算法进行小目标检测;该过程包括数据预处理、模型训练部分和小目标定位部分;在目标检测过程中,通过增加FPN结构实现对精准捕捉小目标物体的特征数据,提高小目标检测时的精度。预处理部分将监控设备获取到的图像通过高斯核函数对图像进行卷积操作,转化为二值化的真实密度图作为训练的标签;模型训练部分通过对输入图像进行多次特征提取,同时将提取出的小目标特征上采样并传入特征金字塔中,让网络结构能更好的去适配小目标的特征。最后将训练固定轮数之后将误差最小的模型参数保存下来,并传输给小目标检测部分。小目标算法会识别出模型中训练过的异常物体。
B、用于实现人体异常行为的步骤:
摄像头获取到的视频数据经人体检测定位模型处理后,其所得到的特征数据会传输给人体异常行为识别模型,其特征在于:使用基于多特征融合的结合粗判断与细识别来进行人体的异常行为检测。在粗检阶段首先检测出人体非正常姿态行为,然后在细检阶段判断人体行为是否为异常行为。低计算复杂度的粗检阶段检测到人体非正常姿态后才会触发高计算复杂度的精检阶段,因此,系统只有在发生疑似异常行为时才会进行高复杂度的计算,极大地节约了系统计算资源。同时,形状特征与运动特征融合的方式保证了算法的检测精度。粗检阶段的人体非正常姿态检测通过滞留物检测、人体识别、特征提取与分类三个部分实现。精检阶段通过目标追踪、运动特征提取和阈值法分类实现最终的异常行为判断,经试验,算法可以在有效检测人体非正常姿态的同时保持较低的复杂度。
C、用于实现小目标人体异常行为检测的步骤:
使用视频数据作为输入,然后分别经过2个ConvBlock1的卷积模块,ConvBlock1卷积模块由16个1*3*3的3D卷积核,16个3*1*1的3D卷积核,1*2*2的3D最大池化层组成,输出为两组特征图;再分别经过2个ConvBlock2的卷积模块,ConvBlock2卷积模块由32个1*3*3的3D卷积核,32个3*1*1的3D卷积核,1*2*2的3D最大池化层组成,输出为两组特征图;然后对这两组特征图分别使用1*1*32的特征金字塔,再用Relu激活函数输出,此时输出为两个数,小目标特征对应A1,普通目标特征对应B1;然后对A和B使用激活函数为Sigmoid,具有1个64节点的隐藏层与2节点的输出层的BP神经网络,最终得到小目标的权重系数W1和普通目标的权重系数W2;
接着,使用W1*A+W2*B作为新的输入,经过2个MergingBlock卷积模块,MergingBlock卷积模块由64个1*3*3的3D卷积核,64个3*1*1的3D卷积核,2*2*2的3D最大池化层组成,输出为两组特征图;然后将这两组特征图输入到全连接层中,再利用Softmax函数判断其是否为异常小目标;最后结合人体姿态异常检测,判断某人是否存在姿态异常,同时可以判断某人是否持有异常物品。若输出置信度大于设定阈值(本系统中阈值设定为90%),则在服务器端判定为异常行为;若小于设定阈值,则将相应视频片段传入云端服务器再做判断。
步骤4:用于实现智能预警系统模型的训练以及参数的更新,其特征在于检测系统将设备汇总的包含检测结果的视频与发出报警信息的视频上传到云端服务器,云端服务器使用相关视频对所对应的模型进行进一步训练,更新模型的参数,提高模型的精度。
步骤5:用于汇总信息并更新模型的云端服务器,其特征在于:云端服务器包括软件模块,管理模块,硬件模块和接入模块;软件模块为云端服务器中的各个应用模块提供软件支撑,例如视频数据存储模块接口,小目标检测接口,人体姿态异常判断模块接口,能够使工作人员在云端的客户端上更加便捷对功能模块进行操作;管理模块进行资源管理和任务管理,资源管理实现系统数据的存储与定期删除,任务管理实现对检测服务端传输来的报警视频进行识别并再次训练,从而使模型的参数得到更新;硬件层提供硬件资源,对存储资源、计算资源和网络资源使用不同的硬件资源进行管理;接入层为其它模块的数据提供网络接入服务,既能够使监控视频数据传输至云端服务器中,也能够使云端服务器将更新的模型参数下发至服务端。
附图说明
图1为系统架构图;
图2为系统运行流程图;
具体实施方式
本申请实施例通过提供基于小目标和动作识别的人体异常行为检测系统,以解决现有技术中检测准确率低,传输延迟高等技术问题。
为了更好地理解上述技术方案,下面将结合说明书附图以及具体的实施方式,对上述技术方案进行详细的说明。
实施方式:
步骤1:摄像头获取到的视频数据经人体检测定位模型处理后,其所得到的特征数据会传输给人体异常行为识别模型,其特征在于:使用基于多特征融合的结合粗判断与细识别来进行人体的异常行为检测。在粗检阶段首先检测出人体非正常姿态行为,然后在细检阶段判断人体行为是否为异常行为。低计算复杂度的粗检阶段检测到人体非正常姿态后才会触发高计算复杂度的精检阶段,因此,系统只有在发生疑似异常行为时才会进行高复杂度的计算,极大地节约了系统计算资源。同时,形状特征与运动特征融合的方式保证了算法的检测精度。粗检阶段的人体非正常姿态检测通过滞留物检测、人体识别、特征提取与分类三个部分实现。精检阶段通过目标追踪、运动特征提取和阈值法分类实现最终的异常行为判断。检测过程中模型不断更新参数,使得误差尽可能小,每训练100轮数之后将误差最小的模型参数保存下来,并传输给人体异常检测模块和小目标检测模块。
步骤2:
使用视频数据作为输入,然后分别经过2个ConvBlock1的卷积模块,ConvBlock1卷积模块由16个1*3*3的3D卷积核,16个3*1*1的3D卷积核,1*2*2的3D最大池化层组成,输出为两组特征图;再分别经过2个ConvBlock2的卷积模块,ConvBlock2卷积模块由32个1*3*3的3D卷积核,32个3*1*1的3D卷积核,1*2*2的3D最大池化层组成,输出为两组特征图;然后对这两组特征图分别使用1*1*32的特征金字塔,再用Relu激活函数输出,此时输出为两个数,小目标特征对应A1,普通目标特征对应B1;然后对A和B使用激活函数为Sigmoid,具有1个64节点的隐藏层与2节点的输出层的BP神经网络,最终得到小目标的权重系数W1和普通目标的权重系数W2;
接着,使用W1*A+W2*B作为新的输入,经过2个MergingBlock卷积模块,MergingBlock卷积模块由64个1*3*3的3D卷积核,64个3*1*1的3D卷积核,2*2*2的3D最大池化层组成,输出为两组特征图;然后将这两组特征图输入到全连接层中,再利用Softmax函数判断其是否为异常小目标;最后结合人体姿态异常检测,判断某人是否存在姿态异常,同时可以判断某人是否持有异常物品。若输出置信度大于设定阈值(本系统中阈值设定为90%),则在服务器端判定为异常行为;若小于设定阈值,则将相应视频片段传入云端服务器再做判断。
步骤3:检测系统将服务端设备传输的包含检测结果的视频与发出报警信息的视频汇总并上传到云端服务器,云端服务器使用相关视频对所对应的模型进行进一步训练,更新模型的参数,提高模型的精度。
步骤4:云端服务器包括软件模块,管理模块,硬件模块和接入模块;软件模块为云端服务器中的各个应用模块提供软件支撑,例如视频数据存储模块接口,小目标检测接口,人体姿态异常判断模块接口,能够使工作人员在云端的客户端上更加便捷对功能模块进行操作;管理模块进行资源管理和任务管理,资源管理实现系统数据的存储与定期删除,任务管理实现对检测服务端传输来的报警视频进行识别并再次训练,从而使模型的参数得到更新;硬件层提供硬件资源,对存储资源、计算资源和网络资源使用不同的硬件资源进行管理;接入层为其它模块的数据提供网络接入服务,既能够使监控视频数据传输至云端服务器中,也能够使云端服务器将更新的模型参数下发至服务端。

Claims (4)

1.一种基于小目标和动作识别的人体异常行为检测系统,其特征包括以下步骤:
S1:系统由监控摄像头、计算服务端以智能检测系统及云端服务器组成,所述摄像头用于实时获取监控摄像头内的人体动向信息和小目标物体信息;
S2:行为检测系统以服务端为载体,对摄像头传入的视频数据进背景提取和局部对比度估计,确定小目标物体的位置,再通过改进OpenPose算法进行人体行为分析判断,判断是否存在异常行为;
S3:云端服务器用于检测系统模型的训练以及参数的更新。
2.根据权利要求1所述一种基于小目标和动作识别的人体异常行为检测系统,包括以下步骤:
S21实现人物检测:
摄像头将获取到人体的视频帧数据传到服务端中,设备中部署好的人体检测模型对视频帧进行计算,从而确定人物所在的位置;
S22基于改进比差联合算法的小目标检测:
首先对输入图像进行背景估计,在结合最大均值算法算法来构造背景估计,算法使用了双层窗口,其中内层窗口用于掩盖小目标,从而使得BETT和ITT之间的差异更明显;在进行最大均值背景估计之后,TT和PNHB的估计值将小于原始灰度值,而NB,HB和EB的估计值将与原始灰度值接近;在计算当前位置的局部对比度时,将以当前位置的估计背景为基准,通过原始输入图像和估计背景之间的比差联合局部对比度测量方法,可以增强不同大小的真实目标,并抑制各种复杂的背景,无需预处理环节再通过阈值操作得到小目标检测结果;
S23基于改进OpenPose的人体动作识别检测:
从人体骨骼关节点角度出发,首先通过高斯滤波消除图像中的高斯噪声;然后通过融入注意力机制的目标检测算法检测图像中的目标学生位置,再将检测后的图像通过改进的OpenPose模型提取人体骨骼关节点坐标;最后利用ST-SVM分类器对获取的关节点坐标进行分类,从而快速准确地识别出视频监控范围内人体的行为状态;
S24实现动作行为识别和小目标检测:
服务端对S1获取到的人体信息进行动作识别,判断是否存在异常行为,并判断人体区域内是否存在异常的物体,系统通过改进小目标检测算法,能够更好的提取到小目标的特征,使得较小的物体也有很好的鲁棒性,若异常物体和人体信息同时存在与锚点框内,则会记录下人体动作信息,并上传至云端服务器;
S24实现智能预警系统模型的训练以及参数的更新:
检测系统将汇总的包含人体行为异常检测结果的视频与发出报警信息的视频上传到云端服务器,服务端使用相关视频对所对应的模型进行进一步训练,更新模型的参数,提高模型的精度。
3.根据权利要求2所述一种基于小目标和动作识别的人体异常行为检测系统,其特征在于:其包含小目标物体检测和人体动作行为识别两个深度学习模型,如果存在异常行为或者异常物体,算法会将结果展示在智能检测系统上,不存在则继续读取下一个视频帧;
首先,多尺寸图像输入针对不同大小的输入,在经过FPN网络时需要判断Valid GT和Invalid GT,以及Valid Anchor和Invalid Anchor,通过这一分类,使得得到的预选框更加的准确;然后,引入了背景估计的思想,能够获得更精准的背景值;同时,比差联合的思想结合了两种运算的优势,可以在增强目标的同时抑制复杂背景;另外,算法的窗口大小也更加灵活,所需计算区域比RLCM更小,能够通过小目标特征层能更好的提取出视频帧人体附近的小目标物体;
接着通过高斯滤波消除图像中的噪声,然后通过融入注意力机制的目标检测算法检测图像中的人体目标位置,将检测后的图像输入到改进后的OpenPose模型,提取人体骨骼关节点坐标,最后利用ST-SVM对提取的骨骼关节点坐标进行分类。
4.根据权利要求1所述一种基于小目标和动作识别的人体异常行为检测系统,其云端服务器特征在于:检测系统将检测设备汇总的包含人体及异常结果的视频与发出报警信息的视频上传到云端服务器,服务器使用相关视频对所对应的模型进行进一步训练,更新模型的参数,提高模型的精度;
云端服务器包括软件模块,管理模块,硬件模块和接入模块;软件模块为云端服务器中的各个应用模块提供软件支撑,例如视频数据存储模块接口,人体动作异常检测模块接口,异常物体判断模块接口,能够使工作人员在云端的客户端上更加便捷对功能模块进行操作;管理模块进行资源管理和任务管理,资源管理实现系统数据的存储与定期删除,任务管理实现对服务端传输来的报警视频进行识别并再次训练,从而使模型的参数得到更新;硬件层提供硬件资源,对存储资源、计算资源和网络资源使用不同的硬件资源进行管理;接入层为其它模块的数据提供网络接入服务,既能够使监控视频数据传输至云端服务器中,也能够使云端服务器将更新的模型参数下发至服务端。
CN202111267975.7A 2021-10-29 2021-10-29 基于小目标和动作识别的人体异常行为检测系统 Pending CN113989930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111267975.7A CN113989930A (zh) 2021-10-29 2021-10-29 基于小目标和动作识别的人体异常行为检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111267975.7A CN113989930A (zh) 2021-10-29 2021-10-29 基于小目标和动作识别的人体异常行为检测系统

Publications (1)

Publication Number Publication Date
CN113989930A true CN113989930A (zh) 2022-01-28

Family

ID=79744039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111267975.7A Pending CN113989930A (zh) 2021-10-29 2021-10-29 基于小目标和动作识别的人体异常行为检测系统

Country Status (1)

Country Link
CN (1) CN113989930A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410324A (zh) * 2022-10-28 2022-11-29 山东世拓房车集团有限公司 一种基于人工智能的房车夜间安防系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001347A (zh) * 2020-08-31 2020-11-27 重庆科技学院 一种基于人体骨架形态与检测目标的动作识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001347A (zh) * 2020-08-31 2020-11-27 重庆科技学院 一种基于人体骨架形态与检测目标的动作识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李春梅等: "基于视频行为分析的智能监考辅助系统", 《科技创新与应用》, 30 June 2019 (2019-06-30), pages 3 *
王向伟等: "首届伪装隐身专业委员会论文集", 31 October 2020, 哈尔滨工程大学出版社, pages: 283 *
苏超等: "基于改进OpenPose的学生行为识别研究", 《计算机应用研究》, 25 April 2021 (2021-04-25) *
赵骞等: "基于局部对比度背景估计的红外小目标检测方法", 《智能系统学报》, 28 June 2021 (2021-06-28), pages 2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410324A (zh) * 2022-10-28 2022-11-29 山东世拓房车集团有限公司 一种基于人工智能的房车夜间安防系统及方法

Similar Documents

Publication Publication Date Title
CN109961019B (zh) 一种时空行为检测方法
CN108447078B (zh) 基于视觉显著性的干扰感知跟踪算法
US8340357B2 (en) Moving object detection method and moving object detection apparatus
US8243987B2 (en) Object tracking using color histogram and object size
CN108932479A (zh) 一种人体异常行为检测方法
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN115761537B (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
CN111914676A (zh) 人体摔倒检测方法、装置、电子设备和存储介质
Yandouzi et al. Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring
CN113642403A (zh) 基于边缘计算的人群异动智能安全检测系统
CN113989930A (zh) 基于小目标和动作识别的人体异常行为检测系统
CN113378638B (zh) 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法
CN116665015B (zh) 一种基于YOLOv5的红外序列图像弱小目标检测方法
CN113223081A (zh) 一种基于背景建模与深度学习的高空抛物检测方法及系统
CN116611977A (zh) 失联人员路径溯源及救援方法和装置
CN111178134B (zh) 一种基于深度学习与网络压缩的摔倒检测方法
CN114663972A (zh) 基于动作差分的目标标记方法及装置
CN118379798B (zh) 一种基于课堂密集场景的双阶段人员行为识别方法
CN117423138B (zh) 基于多分支结构的人体跌倒检测方法、装置及系统
CN117152689B (zh) 一种基于视觉的河道目标检测方法及系统
EP3920142A2 (en) Video processing apparatus and video processing method
US20240257492A1 (en) Transfer learning by downscaling and upscaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination