CN115116136A - 一种异常行为检测方法、装置、介质 - Google Patents

一种异常行为检测方法、装置、介质 Download PDF

Info

Publication number
CN115116136A
CN115116136A CN202210741305.2A CN202210741305A CN115116136A CN 115116136 A CN115116136 A CN 115116136A CN 202210741305 A CN202210741305 A CN 202210741305A CN 115116136 A CN115116136 A CN 115116136A
Authority
CN
China
Prior art keywords
target
abnormal behavior
image
key points
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210741305.2A
Other languages
English (en)
Inventor
赵晨伊
魏玮
袁婷婷
王飞飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongya Education Technology Shanghai Co ltd
Original Assignee
Hongya Education Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongya Education Technology Shanghai Co ltd filed Critical Hongya Education Technology Shanghai Co ltd
Priority to CN202210741305.2A priority Critical patent/CN115116136A/zh
Publication of CN115116136A publication Critical patent/CN115116136A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及机器视觉领域，公开了一种异常行为检测方法、装置、介质，包括：获取各相机拍摄的包含监控目标的待处理图像，以便于判断监控目标是否存在异常行为。提取待处理图像中监控目标的关键点，并根据关键点获取仅包括一个监控目标的第一目标图像。根据关键点计算各相机拍摄的第一目标图像的相似度，并根据相似度对各第一目标图像进行融合以获取第二目标图像，根据第二目标图像判断监控目标是否存在异常行为。由此可见，本申请所提供的异常行为检测方法，通过先提取关键点并根据关键点获取第一目标图像，无需优先进行目标匹配工作，提高图像处理速度。同时采用多个相机拍摄的待处理图像对监控目标进行检测，提高行为检测的准确率。

Description

一种异常行为检测方法、装置、介质
技术领域
本申请涉及机器视觉领域，特别是涉及一种异常行为检测方法、装置、介质。
背景技术
在礼仪培训、考场等场景中，通常需要监管人员对场景中人员的行为进行监控，以判断是否出现异常，并及时予以纠正。
但是，由于场景中人员过多，且人员的动作幅度较小，监管人员无法注意到场景中各个人员的异常动作，例如：在考场中，由于考生人员较多，监考人员无法准确注意到考生的摇头、侧身等隐蔽动作，无法及时予以纠正。目前通常采用在考场内安排多个监管人员的方式提高监管效果，但这一方式会浪费大量的人力物力。
由此可见，如何提供一种监管效果更好的异常行为检测方法，以减少人力物力的浪费，是本领域技术人员亟需解决的问题。
发明内容
本申请的目的是提供一种异常行为检测方法、装置、介质，以减少人力物力的浪费同时提高监管效果。
为解决上述技术问题，本申请提供一种异常行为检测方法，包括：
获取各相机拍摄的包含监控目标的待处理图像；
提取所述待处理图像中所述监控目标的关键点，并根据所述关键点获取第一目标图像，所述第一目标图像为仅包括一个监控目标的图像,所述关键点为与所述监控目标的身体部位对应的点；
根据所述关键点计算各所述第一目标图像的相似度，并根据所述相似度对各所述第一目标图像进行融合以获取第二目标图像；
根据所述第二目标图像判断所述监控目标是否存在异常行为。
优选的，所述提取所述待处理图像中所述监控目标的关键点，并根据所述关键点获取第一目标图像包括：
利用CNN网络提取图像中的所述关键点并构建检测骨架；
获取所述检测骨架的检测特征和所述关键点的检测特征；
结合所述检测骨架的检测特征和分类损失函数，匹配类别置信度和位置置信度最高的样本；
获取所述第一目标图像的预测框；
通过所述检测骨架的检测特征和所述关键点的检测特征计算多任务损失函数，利用所述多任务损失函数对所述预测框进行回归运算，获得所述第一目标图像；
所述多任务损失函数的计算公式为，其中为目标分类损失函数，为目标位置回归损失函数，为目标定位损失函数，为特征点定位损失函数，为所述目标分类损失函数的权重，为所述目标位置回归损失函数的权重，为所述目标定位损失函数的权重，为所述特征点定位损失函数的权重。
优选的，所述并根据所述关键点获取第一目标图像的步骤后，还包括：
利用线性相关系数和评估数据集对所述第一目标图像进行图像质量评估；
若所述第一目标图像的图像质量满足预设要求，则执行所述根据所述关键点计算各所述第一目标图像的相似度的步骤。
优选的，所述根据所述关键点计算各所述第一目标图像的相似度包括：
利用互信息系数计算各所述关键点的检测特征与响应变量的相关性；
根据所述相关性高于相关性阈值的所述关键点计算各所述第一目标图像的相似度。
优选的，所述根据所述第二目标图像判断所述监控目标是否存在异常行为包括：
根据所述第二目标图像获取各检测周期内所述监控目标的行为动作；
基于分类模型对所述行为动作进行轻量姿态差异度比对以判断是否存在第一异常行为；
若不存在所述第一异常行为，则获取所述第二目标图像中所述监控目标的检测骨架模型；
计算所述检测骨架模型与标准骨架模型的差异度，以判断是否存在第二异常行为。
优选的，所述根据所述第二目标图像判断所述监控目标是否存在异常行为的步骤后，还包括：
若存在所述第一异常行为或所述第二异常行为，向管理人员发送警报信息，所述警报信息包括存在所述第一异常行为或所述第二异常行为的所述监控目标的位置信息。
优选的，所述获取各相机拍摄的包含监控目标的待处理图像包括：
获取各所述相机同一时刻拍摄的所述包含所述监控目标的待处理图像。
为解决上述技术问题，本申请还提供一种异常行为检测装置，包括：
第一获取模块，用于获取各相机拍摄的包含监控目标的待处理图像；
第二获取模块，用于提取所述待处理图像中所述监控目标的关键点，并根据所述关键点获取第一目标图像，所述第一目标图像为仅包括一个监控目标的图像,所述关键点为与所述监控目标的身体部位对应的点；
融合模块，用于根据所述关键点计算各所述第一目标图像的相似度，并根据所述相似度对各所述第一目标图像进行融合以获取第二目标图像；
判断模块，用于根据所述第二目标图像判断所述监控目标是否存在异常行为。
为解决上述技术问题，本申请还提供一种异常行为检测装置，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的异常行为检测方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的异常行为检测方法的步骤。
本申请提供了一种异常行为检测方法，包括：获取各相机拍摄的包含监控目标的待处理图像，以便于判断监控目标是否存在异常行为。提取待处理图像中监控目标的关键点，并根据关键点获取仅包括一个监控目标的第一目标图像，以便于后续对监控目标的行为进行提取和判断。根据关键点计算各相机拍摄的第一目标图像的相似度，并根据相似度对各第一目标图像进行融合以获取第二目标图像，根据第二目标图像判断监控目标是否存在异常行为。由此可见，本申请所提供的异常行为检测方法，通过先提取关键点并根据关键点获取第一目标图像，无需优先进行目标匹配工作，提高图像处理速度。同时采用多个相机拍摄的待处理图像对监控目标进行检测，提高行为检测的准确率。
此外，本申请还提供了一种异常行为检测装置、介质，与上述方法对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种异常行为检测方法的流程图；
图2为本申请实施例所提供的一种异常行为检测装置的结构图；
图3为本申请实施例所提供的另一种异常行为检测装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种异常行为检测方法、装置、介质。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
本申请所提供的异常行为检测方法应用于考场，用于监控考生是否存在打手势、传递纸条等违规动作，以减少考场中监考老师的工作量，并提高行为检测的准确率。
在考场应用场景中，使用设置在考场中的多个相机同时对考场进行拍摄，从而获取包含各个考生的待处理图像，提取待处理图像中考生身体的关键点，并根据关键点获取仅包括一个考生的第一目标图像，以便于后续对考生的行为进行提取和判断。根据关键点计算各相机拍摄的第一目标图像的相似度，并根据相似度对各相机拍摄的第一目标图像进行融合以获取第二目标图像，根据第二目标图像判断监控目标是否存在异常行为。由此可见，本申请所提供的异常行为检测方法，通过先提取关键点并根据关键点获取第一目标图像，无需优先进行目标匹配工作，提高图像处理速度。同时采用多个相机拍摄的待处理图像对监控目标进行检测，提高行为检测的准确率。可以理解的是，由于需要同时处理的视频图像较多，为了保证系统的处理速度，可以采用分布式服务器部署方式，服务器获取大量摄像头拍摄的图像数据，并将消耗较大的计算任务动态分配给各分布式服务器。
图1为本申请实施例所提供的一种异常行为检测方法的流程图，如图1所示，该方法包括：
S10：获取各相机拍摄的包含监控目标的待处理图像。
可以理解的是，为了保证识别的准确率，防止由于监控目标位置移动导致识别失败，各待处理图像为同一时刻(时间误差在1ms内)的图像。在具体实施中，可以控制各摄像头同时拍摄照片，也可以从摄像头拍摄的视频中选取同一时刻的视频帧。本实施例中选用前一种方案。
本实施例中，设置的相机的数量至少为2颗，通过对2颗摄像头拍摄的图像进行匹配和融合，即可利用多目视觉原理实现人体匹配和深度估计。在具体实施中，可以设置多个(例如：3颗、5颗等)，以利用多颗摄像头采集到的图像进行误差纠正。可以理解的是，使用的摄像头数量越多，异常行为识别结果越准确，但成本也就越高。
S11：提取待处理图像中监控目标的关键点，并根据关键点获取第一目标图像，第一目标图像为仅包括一个监控目标的图像,关键点为与监控目标的身体部位对应的点。
可以理解的是，在部分应用场景中，由于场景中亮度、障碍物遮挡等情况可能存在部分区域的图像不准确的情况，例如：教室的前后排。为了解决这一问题，可以对第一目标图像进行筛选和预处理。
在本实施例中，选用CNN架构结合手部、面部等人体部位的关键点进行检测骨架识别，从而获取仅包含一个监控目标的预测框，并对预测框进行回归处理，以获取仅包括一个监控目标的第一目标图像。
S12：根据关键点计算各第一目标图像的相似度，并根据相似度对各第一目标图像进行融合以获取第二目标图像。
在具体实施中，对每一帧待处理图像的CNN检测结果进行特征提取，并对多个相机拍摄的待处理图像中的相同骨架进行匹配。使用reid-centroids模型对匹配后的骨架进行同关键点3D重建检测。利用相同id的多个特征提升相似度效果。跟踪中所用REID模型在上述基础上，整合多个开源数据集并压缩模型特征到128维以提升泛化性能。
需要注意的是，在计算相似度前，还需要对各帧图像进行特征排序和筛选，以确定对检测结果影响最大的特征，并依据这些特征的相似度对各第一目标图像进行融合以获取第二目标图像。
各第一目标图像进行融合具体为，基于多视角立体视觉对多个视角获取摄像机拍摄的人体关键点坐标，完成匹配和深度估计。包括计算相机的初始矩阵(各相机的空间位置、摄像头转向、摄像头分辨率、曲率等)。使用摄像机矩阵对多相机同目标点坐标3D重建。
S13：根据第二目标图像判断监控目标是否存在异常行为。
在具体实施中，通过分类模型进行轻量姿态差异度比对，通过将监控目标的行为与标准行为比对，以识别监控目标是否存在异常行为，也可以对监控目标的3D骨架模型进行识别以判断是否存在异常行为。
进一步的，当检测到监控目标存在异常行为后，可以将存在异常行为的监控目标的坐标发送至管理人员，以便管理人员能够及时处理。
在本实施例中，提供了一种异常行为检测方法，包括：获取各相机拍摄的包含监控目标的待处理图像，以便于判断监控目标是否存在异常行为。提取待处理图像中监控目标的关键点，并根据关键点获取仅包括一个监控目标的第一目标图像，以便于后续对监控目标的行为进行提取和判断。根据关键点计算各相机拍摄的第一目标图像的相似度，并根据相似度对各第一目标图像进行融合以获取第二目标图像，根据第二目标图像判断监控目标是否存在异常行为。由此可见，本申请所提供的异常行为检测方法，通过先提取关键点并根据关键点获取第一目标图像，无需优先进行目标匹配工作，提高图像处理速度。同时采用多个相机拍摄的待处理图像对监控目标进行检测，提高行为检测的准确率。
在具体实施中，上述异常行为检测模型需要获取监控目标关键点的检测特征，根据检测特征对目标进行分类，进而获得仅包含监控目标的第一目标图像，获得第一目标图像的具体过程包括：
利用CNN网络提取图像中的关键点并构建检测骨架；
获取监控目标的检测特征和监控目标的关键点的检测特征；
结合监控目标的检测特征和分类损失函数，匹配类别置信度和位置置信度最高的样本；
获取第一目标图像的预测框；
通过监控目标的检测特征和关键点的检测特征计算多任务损失函数，利用多任务损失函数对预测框进行回归运算，获得检测框；
所述多任务损失函数的计算公式为Lall＝λclsLcls+λl1Ll1+λgiouLgiou+λlanLlan，其中Lcls为目标分类损失函数，Ll1为目标位置回归损失函数，Lgiou为目标定位损失函数，Llan为特征点定位损失函数，λcls为所述目标分类损失函数的权重，λl1为所述目标位置回归损失函数的权重，λgiou为所述目标定位损失函数的权重，λlan为所述特征点定位损失函数的权重。
可以理解的是，图像中的每个元素都具有大量的特征，而本方案的目的是为了检测监控目标是否有异常行为，所以只提取人体检测点的相关检测特征，忽略其他特征，从而降低计算量，提高模型的检测效率，还可以减少噪声信号的干扰。其中，置信度最高的样本即为损失函数值最小的样本。
在本实施例中，首先利用特征检测网络对包含监控目标的待处理图片进行特征提取，需要注意的是，提取监控目标的检测特征的同时，还需要提取监控目标的关键点的检测特征，其中，监控目标的关键点指的是能够最大程度体现监控目标身体特征的点和有助于确定监控目标位置的点，例如手部、面部等人体部位。可以理解的是，上述预测框为检测模型对待检测图片进行处理过程中，对每个数据真值进行样本匹配后获得的不够准确的检测框，主要用于确定监控目标的大致位置。本发明采用最小代价分配策略，结合分类损失函数和监控目标的检测特征对数据真值进行样本匹配，其中，匹配的样本为类别置信度与位置置信度最高的样本。
获取预测框后，还需要结合监控目标的关键点的检测特征和多任务损失函数，对预测框进行回归运算，从而获取准确的检测框，并根据检测框获取第一目标图像。在多任务损失函数中，各损失函数的计算方法为：
目标分类损失函数
Figure BDA0003718105190000081
目标位置回归损失函数
Figure BDA0003718105190000082
目标定位损失函数
Figure BDA0003718105190000083
特征点定位损失函数
Figure BDA0003718105190000084
其中，公式(1)中Yxyc为ground truth标注，
Figure BDA0003718105190000085
为网络输出的标签，N为样本个数。α用于处理正负样本不平衡的问题。γ用于降低简单样本的损失权重，增大困难样本的损失权重。公式(2)中Ll1为smooth损失函数，通过回归预测框中心坐标(cx,cy)和宽w以及高h，计算预测框和真实框之间的损失函数。公式(3)中Lgiou为giou损失函数，通过回归预测框中心坐标(cx,cy)和宽w以及高h，计算预测框和真实框之间的giou损失。公式(4)中Llan为特征点定位损失函数。
在本实施例中，结合监控目标的检测特征和监控目标的关键点的检测特征，通过多任务损失函数，对预估的检测框进行回归操作，得到准确的检测框和第一目标图像，使监控目标检测更加准确，能够更好的完成检测异常动作的工作。
在上述实施例的基础上，为了防止由于障碍物遮挡、光照不足等因素导致获取到的第一目标图像不清晰，引入无效数据，影响对监控目标异常行为的检测结果，在上述实施例的基础上，并根据关键点获取第一目标图像的步骤后，还包括：
利用线性相关系数和评估数据集对第一目标图像进行图像质量评估；
若第一目标图像的图像质量满足预设要求，则执行根据关键点计算各第一目标图像的相似度的步骤。
在本实施例中，对第一目标图像进行质量评估，仅当第一目标图像满足预设要求时将第一目标图像作为有效图像并与其他图像相融合，提高异常行为检测的准确率。
作为优选的实施例，根据第二目标图像判断监控目标是否存在异常行为包括：
根据第二目标图像获取各检测周期内监控目标的行为动作；
基于分类模型对行为动作进行轻量姿态差异度比对以判断是否存在第一异常行为；
若不存在第一异常行为，则获取第二目标图像中监控目标的检测骨架模型；
计算检测骨架模型与标准骨架模型的差异度，以判断是否存在第二异常行为。
可以理解的是，第一异常行为的动作幅度大于第二异常行为的动作幅度。
在具体实施中，基于scikit-learn的分类模型，进行轻量姿态差异度比对，可以指定模范动作，如扭头、伸手，系统识别到3D骨架后会首先执行差异度比对，并给出当前骨架与全部模范骨架的差异度相似度集合。
基于ST-GCN时空图卷积网络模型为基础，搜集一段时间内3d骨架，对动作进行判断。提前训练好一些动作，服务器识别到骨架一段时间内同一个人骨骼点的变化，通过ST-GCN判断该时间段发生的动作。当识别到指定动作时触发报警事件，如发送报警信息将该骨架的坐标发送到服务器消息控制中心。
在本实施例中，通过轻量姿态差异度比对和3D骨架比对判断监控目标是否存在异常行为，从而提高异常行为检测的速度。
在具体实施中，当检测到监控目标存在异常行为后，还需要发送警报信息，以便于管理人员及时对存在异常行为的监控目标进行处理。
在上述实施例的基础上，根据第二目标图像判断监控目标是否存在异常行为的步骤后，还包括：
若存在第一异常行为或第二异常行为，向管理人员发送警报信息，警报信息包括存在第一异常行为或第二异常行为的监控目标的位置信息。
可以理解的是，向管理人员发送警报信息后，还可以对监控人员进行提醒，提醒的形式可以根据实际情况选择，例如：在网课应用场景中，当检测到学生存在异常行为(例如：离开位置，拿起手机等)，可以在学生的显示屏上显示提醒信息；在姿态比赛应用场景中，当检测到参赛人员存在异常行为时，可以控制指示灯闪烁、蜂鸣器发出警报等。
进一步的，为了防止误判，可以在检测到用户出现异常行为的次数大于阈值时，向管理人员发送警报信息。
在上述实施例中，对于异常行为检测方法进行了详细描述，本申请还提供异常行为检测装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图2为本申请实施例所提供的一种异常行为检测装置的结构图，如图2所示，该装置包括：
第一获取模块10，用于获取各相机拍摄的包含监控目标的待处理图像；
第二获取模块11，用于提取待处理图像中监控目标的关键点，并根据关键点获取第一目标图像，第一目标图像为仅包括一个监控目标的图像,关键点为与监控目标的身体部位对应的点；
融合模块12，用于根据关键点计算各第一目标图像的相似度，并根据相似度对各第一目标图像进行融合以获取第二目标图像；
判断模块13，用于根据第二目标图像判断监控目标是否存在异常行为。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请提供了一种异常行为检测装置，包括：获取各相机拍摄的包含监控目标的待处理图像，以便于判断监控目标是否存在异常行为。提取待处理图像中监控目标的关键点，并根据关键点获取仅包括一个监控目标的第一目标图像，以便于后续对监控目标的行为进行提取和判断。根据关键点计算各相机拍摄的第一目标图像的相似度，并根据相似度对各第一目标图像进行融合以获取第二目标图像，根据第二目标图像判断监控目标是否存在异常行为。由此可见，本申请所提供的异常行为检测装置，通过先提取关键点并根据关键点获取第一目标图像，无需优先进行目标匹配工作，提高图像处理速度。同时采用多个相机拍摄的待处理图像对监控目标进行检测，提高行为检测的准确率。
图3为本申请实施例提供的另一种异常行为检测装置的结构图，如图3所示，异常行为检测装置包括：存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例异常行为检测方法的步骤。
本实施例提供的服务器可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的异常行为检测方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述异常行为检测方法所提到的数据。
在一些实施例中，异常行为检测装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图3中示出的结构并不构成对异常行为检测装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的异常行为检测装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：
获取各相机拍摄的包含监控目标的待处理图像；
提取待处理图像中监控目标的关键点，并根据关键点获取第一目标图像，第一目标图像为仅包括一个监控目标的图像；
根据关键点计算各第一目标图像的相似度，并根据相似度对各第一目标图像进行融合以获取第二目标图像；
根据第二目标图像判断监控目标是否存在异常行为。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的异常行为检测方法、装置、介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种异常行为检测方法，其特征在于，包括：
获取各相机拍摄的包含监控目标的待处理图像；
提取所述待处理图像中所述监控目标的关键点，并根据所述关键点获取第一目标图像，所述第一目标图像为仅包括一个监控目标的图像，所述关键点为与所述监控目标的身体部位对应的点；
根据所述关键点计算各所述第一目标图像的相似度，并根据所述相似度对各所述第一目标图像进行融合以获取第二目标图像；
根据所述第二目标图像判断所述监控目标是否存在异常行为。
2.根据权利要求1所述的异常行为检测方法，其特征在于，所述提取所述待处理图像中所述监控目标的关键点，并根据所述关键点获取第一目标图像包括：
利用CNN网络提取图像中的所述关键点并构建检测骨架；
获取所述检测骨架的检测特征和所述关键点的检测特征；
结合所述检测骨架的检测特征和分类损失函数，匹配类别置信度和位置置信度最高的样本；
获取所述第一目标图像的预测框；
通过所述检测骨架的检测特征和所述关键点的检测特征计算多任务损失函数，利用所述多任务损失函数对所述预测框进行回归运算，获得所述第一目标图像；
所述多任务损失函数的计算公式为Lall＝λclsLcls+λl1Ll1+λgiouLgiou+λlanLlan，其中Lcls为目标分类损失函数，Ll1为目标位置回归损失函数，Lgiou为目标定位损失函数，Llan为特征点定位损失函数，λcls为所述目标分类损失函数的权重，λl1为所述目标位置回归损失函数的权重，λgiou为所述目标定位损失函数的权重，λlan为所述特征点定位损失函数的权重。
3.根据权利要求1所述的异常行为检测方法，其特征在于，所述并根据所述关键点获取第一目标图像的步骤后，还包括：
利用线性相关系数和评估数据集对所述第一目标图像进行图像质量评估；
若所述第一目标图像的图像质量满足预设要求，则执行所述根据所述关键点计算各所述第一目标图像的相似度的步骤。
4.根据权利要求2所述的异常行为检测方法，其特征在于，所述根据所述关键点计算各所述第一目标图像的相似度包括：
利用互信息系数计算各所述关键点的检测特征与响应变量的相关性；
根据所述相关性高于相关性阈值的所述关键点计算各所述第一目标图像的相似度。
5.根据权利要求1所述的异常行为检测方法，其特征在于，所述根据所述第二目标图像判断所述监控目标是否存在异常行为包括：
根据所述第二目标图像获取各检测周期内所述监控目标的行为动作；
基于分类模型对所述行为动作进行轻量姿态差异度比对以判断是否存在第一异常行为；
若不存在所述第一异常行为，则获取所述第二目标图像中所述监控目标的检测骨架模型；
计算所述检测骨架模型与标准骨架模型的差异度，以判断是否存在第二异常行为。
6.根据权利要求5所述的异常行为检测方法，其特征在于，所述根据所述第二目标图像判断所述监控目标是否存在异常行为的步骤后，还包括：
若存在所述第一异常行为或所述第二异常行为，向管理人员发送警报信息，所述警报信息包括存在所述第一异常行为或所述第二异常行为的所述监控目标的位置信息。
7.根据权利要求1所述的异常行为检测方法，其特征在于，所述获取各相机拍摄的包含监控目标的待处理图像包括：
获取各所述相机同一时刻拍摄的所述包含所述监控目标的待处理图像。
8.一种异常行为检测装置，其特征在于，包括：
第一获取模块，用于获取各相机拍摄的包含监控目标的待处理图像；
第二获取模块，用于提取所述待处理图像中所述监控目标的关键点，并根据所述关键点获取第一目标图像，所述第一目标图像为仅包括一个监控目标的图像,所述关键点为与所述监控目标的身体部位对应的点；
融合模块，用于根据所述关键点计算各所述第一目标图像的相似度，并根据所述相似度对各所述第一目标图像进行融合以获取第二目标图像；
判断模块，用于根据所述第二目标图像判断所述监控目标是否存在异常行为。
9.一种异常行为检测装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的异常行为检测的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的异常行为检测方法的步骤。
CN202210741305.2A 2022-06-28 2022-06-28 一种异常行为检测方法、装置、介质 Pending CN115116136A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210741305.2A CN115116136A (zh) 2022-06-28 2022-06-28 一种异常行为检测方法、装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210741305.2A CN115116136A (zh) 2022-06-28 2022-06-28 一种异常行为检测方法、装置、介质

Publications (1)

Publication Number Publication Date
CN115116136A true CN115116136A (zh) 2022-09-27

Family

ID=83330635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210741305.2A Pending CN115116136A (zh) 2022-06-28 2022-06-28 一种异常行为检测方法、装置、介质

Country Status (1)

Country Link
CN (1) CN115116136A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117013703A (zh) * 2023-10-07 2023-11-07 华大天元(北京)科技股份有限公司 一种基于机器视觉的电控柜开关监测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117013703A (zh) * 2023-10-07 2023-11-07 华大天元(北京)科技股份有限公司 一种基于机器视觉的电控柜开关监测方法及装置
CN117013703B (zh) * 2023-10-07 2023-12-26 华大天元(北京)科技股份有限公司 一种基于机器视觉的电控柜开关监测方法及装置

Similar Documents

Publication Publication Date Title
CN110543867B (zh) 一种多摄像头条件下的人群密度估测系统及方法
US11074436B1 (en) Method and apparatus for face recognition
CN106897658B (zh) 人脸活体的鉴别方法和装置
US11113842B2 (en) Method and apparatus with gaze estimation
CN101930611B (zh) 多视图面部追踪
US20200387718A1 (en) System and method for counting objects
CN105405150B (zh) 基于融合特征的异常行为检测方法和装置
CN111814638B (zh) 基于深度学习的安防场景火焰检测方法
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
CN110059666B (zh) 一种注意力检测方法及装置
US11468683B2 (en) Population density determination from multi-camera sourced imagery
CN111079578A (zh) 行为检测方法及装置
CN111310605B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110287848A (zh) 视频的生成方法及装置
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
CN114241379A (zh) 一种乘客异常行为识别方法、装置、设备及乘客监控系统
CN115690496A (zh) 基于YOLOv5的实时区域入侵检测方法
CN115116136A (zh) 一种异常行为检测方法、装置、介质
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
CN117132768A (zh) 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质
CN114764895A (zh) 异常行为检测装置和方法
CN110751034B (zh) 行人行为识别方法及终端设备
CN111652045B (zh) 课堂教学质量评估方法和系统
CN113837066A (zh) 行为识别方法、装置、电子设备及计算机存储介质
Ahad et al. Towards Generalized Violence Detection; a Pose Estimation Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination