CN108197575A - 一种基于目标检测和骨点检测的异常行为识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于目标检测和骨点检测的异常行为识别方法及装置，本发明通过采用快速区域卷积深度神经网络对视频中的人员进行目标检测，再通过卷积姿势机深度神经网络Convolutional Pose Machines对检测到的人员进行骨点检测，以及通过光流法对检测到的骨点进行跟踪，最后通过分类器对异常行为进行识别，从而实现快速且准确的对视频中的人员的异常行为进行识别和预警，有效解决了现有技术中异常行为识别方法准确率低、实时性差的问题。

Description

一种基于目标检测和骨点检测的异常行为识别方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种基于目标检测和骨点检测的异常行为识别方法及装置。

背景技术

近年来，频发的突发事件和异常事件已经严重影响了社会的公共安全。针对频发的突发事件和异常事件等危害公共安全的行为，世界各国已经将异常行为识别技术作为安全防范的一种重要手段。

人体异常行为是指人体无规律的非正常行为，如人体的突然奔跑、打架、病倒、徘徊、人员大量聚集等。异常行为识别技术是从采集到的视频序列中检测并识别人员异常行为的一种技术，该技术可以有效的预防暴力袭击、踩踏事件等突发事件的发生，可以为监控人员提供及时的预警信息，有效辅助相关人员实时的对监控场景中出现的异常情况进行判断和采取措施。

但是目前针对越来越多的突发事件和异常事件，现有技术中尚不能准确地对突发事件和异常事件中人的行为进行识别。

发明内容

鉴于上述的分析，本发明旨在提供一种基于目标检测和骨点检测的异常行为识别方法及装置，用以解决现有技术不能准确地对突发事件和异常事件中人的行为进行识别的问题。

为解决上述问题，本发明主要是通过以下技术方案实现的：

本发明提供了一种基于目标检测和骨点检测的异常行为识别方法，该方法包括：获取视频数据，对视频数据中的人员进行目标人员检测；通过卷积姿势机深度神经网络Convolutional Pose Machines对检测到的目标人员进行骨点检测，并对检测到的骨点进行跟踪；通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为。

进一步地，所述对视频数据中的人员进行目标人员检测包括：通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测。

进一步地，所述通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测，具体包括：通过区域建议网络来生成候选区域，利用快速区域卷积神经网络提取候选区域的特征，将候选区域的特征向量送入全连接层进行精确定位和分类，以对视频中的目标人员进行检测。

进一步地，所述通过卷积姿势机深度神经网络对检测到的目标人员进行骨点检测包括：对每个目标框内检测到的人员，采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，确定人体各个骨点的位置。

进一步地，采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，确定人体各个骨点的位置，具体包括：通过卷积姿势机深度神经网络计算在每一个尺度下的各个骨点的响应图，累加每个骨点所有尺度下的响应图，得到总响应图，在每个骨点的总响应图上，找出响应最大的点，即为该骨点的位置。

进一步地，所述对检测到的骨点进行跟踪具体包括：通过光流法对每个人的各个骨点的位置进行跟踪，获取每个人在不同视频帧各个骨点的位置坐标。

进一步地，所述通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为，具体包括：获取包含某类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；将所有视频帧的骨点位置构成一个训练样本；重复上述步骤，获得某类异常行为中的多个训练样本，构成训练样本集；采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，并通过所述分类器对异常行为进行分类，识别目标人员是否存在异常行为。

另一方面，本发明还提供一种基于目标检测和骨点检测的异常行为识别装置，该装置包括：采集单元，用于获取视频数据，对视频数据中的人员进行目标人员检测；骨点检测单元，用于通过卷积姿势机深度神经网络Convolutional Pose Machines对检测到的目标人员进行骨点检测；骨点跟踪单元，用于对检测到的骨点进行跟踪；异常行为识别单元，用于通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为。

进一步地，骨点检测单元还用于，通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测。

进一步地，骨点检测单元还用于，通过区域建议网络来生成候选区域，利用快速区域卷积神经网络提取候选区域的特征，将候选区域的特征向量送入全连接层进行精确定位和分类，以对视频中的目标人员进行检测。

本发明有益效果如下：

本发明通过对视频中的人员进行目标人员检测，并通过卷积姿势机深度神经网络对检测到的目标人员进行骨点检测，以及对检测到的骨点进行跟踪，最后通过分类器对不同帧的骨点位置进行分类，以识别目标人员是否存在异常行为，从而实现对异常行为的准确检测，继而解决了现有技术中不能准确地对异常行为进行识别的问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本发明实施例的一种基于目标检测和骨点检测的异常行为识别方法的流程示意图；

图2是本发明实施例的一种基于目标检测和骨点检测的异常行为识别装置的结构示意图；

图3是本发明实施例的另一种基于目标检测和骨点检测的异常行为识别方法的流程示意图；

图4是本发明实施例的另一种基于目标检测和骨点检测的异常行为识别的结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。为了清楚和简化目的，当其可能使本发明的主题模糊不清时，将省略本文所描述的器件中已知功能和结构的详细具体说明。

本发明实施例提供了一种基于目标检测和骨点检测的异常行为识别方法，本发明通过采用快速区域卷积深度神经网络对视频中的人员进行目标检测，再通过卷积姿势机深度神经网络Convolutional Pose Machines对检测到的人员进行骨点检测，以及通过光流法对检测到的骨点进行跟踪，最后通过分类器对异常行为进行识别，从而实现快速且准确的对视频中的人员的异常行为进行识别和预警，有效解决了现有技术中异常行为识别方法准确率低、实时性差的问题。以下结合附图以及几个实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

本发明实施例提供了一种基于目标检测和骨点检测的异常行为识别方法，参见图1，该方法包括：

S101、获取视频数据，对视频数据中的人员进行目标人员检测；

S102、通过卷积姿势机深度神经网络对检测到的目标人员进行骨点检测，并对检测到的骨点进行跟踪；

S103、通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为。

也就是说，本发明实施例通过对视频中的人员进行目标人员检测，并通过卷积姿势机深度神经网络对检测到的目标人员进行骨点检测，以及对检测到的骨点进行跟踪，最后通过分类器对不同帧的骨点位置进行分类，以识别目标人员是否存在异常行为，从而实现对异常行为的准确检测，继而解决了现有技术中不能准确地对异常行为进行识别的问题。

即，本发明实施例通过采用快速区域卷积深度神经网络对视频中的人员进行目标检测，再采用卷积姿势机深度神经网络对检测到的人员进行骨点检测，接着采用光流法对检测到的骨点进行跟踪，最后采用分类器对异常行为进行识别，从而实现快速、准确的对视频中的人员的异常行为进行识别和预警。

具体来说，本发明实施例首先采用目标检测算法检测视频中的人员，然后，对检测到的人员，进行骨点检测和跟踪，最后利用训练好的分类器对跟踪到的骨点进行分类，从而实现异常行为的识别和报警，该发明提高了异常行为识别的准确率和实时性。

具体实施时，本发明实施例所述对视频数据中的人员进行目标人员检测包括：通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测。

具体地，本发明实施例所述通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测，具体包括：通过区域建议网络来生成候选区域，利用快速区域卷积神经网络提取候选区域的特征，将候选区域的特征向量送入全连接层进行精确定位和分类，以对视频中的目标人员进行检测。

具体实施时，本发明实施例所述通过卷积姿势机深度神经网络对检测到的目标人员进行骨点检测包括：对每个目标框内检测到的人员，采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，确定人体各个骨点的位置。

具体实施时，本发明实施例采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，确定人体各个骨点的位置，具体包括：通过卷积姿势机深度神经网络计算在每一个尺度下的各个骨点的响应图，累加每个骨点所有尺度下的响应图，得到总响应图，在每个骨点的总响应图上，找出响应最大的点，即为该骨点的位置。

具体实施时，本发明实施例所述对检测到的骨点进行跟踪具体包括：

通过光流法对每个人的各个骨点的位置进行跟踪，获取每个人在不同视频帧各个骨点的位置坐标。

具体实施时，本发明实施例所述通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为，具体包括：获取包含某类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；将所有视频帧的骨点位置构成一个训练样本；重复上述步骤，获得某类异常行为中的多个训练样本，构成训练样本集；采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，并通过所述分类器对异常行为进行分类，识别目标人员是否存在异常行为。

总体来说，本发明实施例通过采用快速区域卷积深度神经网络对目标进行检测，对检测到的人员，采用卷积姿势机通过提取响应图实现人体骨点的检测，接着利用光流法对人体骨点进行跟踪，最后利用训练好的分类器对跟踪到的骨点进行分类，从而实现异常行为的识别和报警。

图2是本发明实施例的一种基于目标检测和骨点检测的异常行为识别装置的结构示意图，图3是本发明实施例的另一种基于目标检测和骨点检测的异常行为识别方法的流程示意图，下面将结合图2和图3对本发明实施例所述的方法进行详细的解释和说明：

为解决现有技术存在的准确率低、实时性差等问题，本发明提供一种基于目标检测和骨点检测的异常行为识别装置，该装置由视频数据采集单元、目标检测单元、骨点检测单元、骨点跟踪单元、异常行为识别单元和报警单元组成。

如图2所示，本发明首先利用视频数据采集单元获取视频数据，然后采用快速区域卷积深度神经网络对视频中的人员进行目标检测，其次采用卷积姿势机深度神经网络对检测到的人员进行骨点检测，接着采用光流法对检测到的骨点进行跟踪，最后采用分类器对不同帧的骨点位置进行分类，从而达到识别异常行为的目的。

如图3所示，本发明实施例所述的方法包括：视频数据采集单元利用视频采集装备对视频图像进行采集，以便在目标检测单元对其进行分析处理。

目标检测单元采用快速区域卷积深度神经网络对获取到的视频图像进行人员检测，即首先通过区域建议网络来生成候选区域，然后利用快速区域卷积神经网络提取候选区域的特征，接着，将候选区域的特征向量送入全连接层进行精确定位和分类，从而达到检测人员的目的。

骨点检测单元针对每个目标框内检测到的人员，本发明采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，从而确定人体各个骨点的位置。

具体地，本发明实施例的骨点检测单元是通过卷积姿势机深度神经网络计算在每一个尺度下的各个骨点的响应图，然后针对每个骨点，累加所有尺度下的响应图，得到总响应图，最后，在每个骨点的总响应图上，找出响应最大的点，即为该骨点的位置。

骨点检测单元确定了人体各骨点的位置后，骨点跟踪单元采用光流法对每个人的各个骨点的位置进行跟踪，从而获取每个人在不同视频帧各个骨点的位置坐标。在异常行为识别单元，利用训练好的分类器将一段时间内连续视频帧的人体骨点位置进行分类，从而识别人员的异常行为。

本发明实施例的分类器的训练过程包括：

1.获取包含某类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；

2.将所有视频帧的骨点位置构成一个训练样本；

3.重复步骤1和2，获得某类异常行为中的多个训练样本，构成训练样本集；

4.采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，以便利用该训练好的分类器对异常行为进行分类。若分类器的输出结果为异常，则系统给出异常报警，否则不报警。

值得说明的是，快速区域卷积神经网络、卷积姿势机深度神经网络和光流法是已有的技术，这里不再详细赘述。并且，本发明实施例所述的目标检测算法并不限于快速区域卷积神经网络，骨点检测算法不限于卷积姿势机深度神经网络，分类器不限于高斯混合模型，本领域的技术人员在具体实施时，可以根据实际情况进行任意设定。

相应于图1所述的方法，本发明实施例还提供了一种基于目标检测和骨点检测的异常行为识别装置，参见图4，该装置包括：

采集单元，用于获取视频数据，对视频数据中的人员进行目标人员检测；

骨点检测单元，用于通过卷积姿势机深度神经网络Convolutional PoseMachines对检测到的目标人员进行骨点检测；

骨点跟踪单元，用于对检测到的骨点进行跟踪；

异常行为识别单元，用于通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为。

也就是说，本发明实施例通过对视频中的人员进行目标人员检测，并通过卷积姿势机深度神经网络对检测到的目标人员进行骨点检测，以及对检测到的骨点进行跟踪，最后通过分类器对不同帧的骨点位置进行分类，以识别目标人员是否存在异常行为，从而实现对异常行为的准确检测，继而解决了现有技术中不能准确地对异常行为进行识别的问题。

即，本发明实施例通过采用快速区域卷积深度神经网络对视频中的人员进行目标检测，再采用卷积姿势机深度神经网络对检测到的人员进行骨点检测，接着采用光流法对检测到的骨点进行跟踪，最后采用分类器对异常行为进行识别，从而实现快速、准确的对视频中的人员的异常行为进行识别和预警。

具体来说，本发明实施例首先采用目标检测算法检测视频中的人员，然后，对检测到的人员，进行骨点检测和跟踪，最后利用训练好的分类器对跟踪到的骨点进行分类，从而实现异常行为的识别和报警，该发明提高了异常行为识别的准确率和实时性。

进一步地，本发明实施例所述骨点检测单元还用于，通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测。

具体地，本发明实施例所述骨点检测单元还用于，通过区域建议网络来生成候选区域，利用快速区域卷积神经网络提取候选区域的特征，将候选区域的特征向量送入全连接层进行精确定位和分类，以对视频中的目标人员进行检测。

具体实施时，本发明实施例所述骨点检测单元还用于，对每个目标框内检测到的人员，采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，确定人体各个骨点的位置。

具体地，本发明实施例骨点检测单元是通过卷积姿势机深度神经网络计算在每一个尺度下的各个骨点的响应图，累加每个骨点所有尺度下的响应图，得到总响应图，在每个骨点的总响应图上，找出响应最大的点，即为该骨点的位置。

具体实施时，本发明实施例所述骨点跟踪单元是通过光流法对每个人的各个骨点的位置进行跟踪，获取每个人在不同视频帧各个骨点的位置坐标。

具体实施时，本发明实施例所述异常行为识别单元还用于，获取包含某类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；将所有视频帧的骨点位置构成一个训练样本；重复上述步骤，获得某类异常行为中的多个训练样本，构成训练样本集；采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，并通过所述分类器对异常行为进行分类，识别目标人员是否存在异常行为。

总体来说，本发明实施例通过采用快速区域卷积深度神经网络对目标进行检测，对检测到的人员，采用卷积姿势机通过提取响应图实现人体骨点的检测，接着利用光流法对人体骨点进行跟踪，最后利用训练好的分类器对跟踪到的骨点进行分类，从而实现异常行为的识别和报警。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于目标检测和骨点检测的异常行为识别方法，其特征在于，包括：

获取视频数据，对视频数据中的人员进行目标人员检测；

通过卷积姿势机深度神经网络Convolutional Pose Machines对检测到的目标人员进行骨点检测，并对检测到的骨点进行跟踪；

通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为。

2.根据权利要求1所述的方法，其特征在于，所述对视频数据中的人员进行目标人员检测包括：通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测。

3.根据权利要求2所述的方法，其特征在于，所述通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测，具体包括：

通过区域建议网络来生成候选区域，利用快速区域卷积神经网络提取候选区域的特征，将候选区域的特征向量送入全连接层进行精确定位和分类，以对视频中的目标人员进行检测。

4.根据权利要求1所述的方法，其特征在于，所述通过卷积姿势机深度神经网络Convolutional Pose Machines对检测到的目标人员进行骨点检测包括：

对每个目标框内检测到的人员，采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，确定人体各个骨点的位置。

5.根据权利要求4所述的方法，其特征在于，采用卷积姿势机深度神经网络预测人体各个骨点的响应图，通过响应图来表达人体各个骨点之间的空间约束，确定人体各个骨点的位置，具体包括：

通过卷积姿势机深度神经网络计算在每一个尺度下的各个骨点的响应图，累加每个骨点所有尺度下的响应图，得到总响应图，在每个骨点的总响应图上，找出响应最大的点，即为该骨点的位置。

6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述对检测到的骨点进行跟踪具体包括：

通过光流法对每个人的各个骨点的位置进行跟踪，获取每个人在不同视频帧各个骨点的位置坐标。

7.根据权利要求1-5中任意一项所述的方法，其特征在于，所述通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为，具体包括：

获取包含某类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作骨点检测和骨点跟踪的操作，获得多帧图像的人体骨点的位置；

将所有视频帧的骨点位置构成一个训练样本；

重复上述步骤，获得某类异常行为中的多个训练样本，构成训练样本集；

采用高斯混合模型对训练样本集中的骨点位置进行建模构建分类器，并通过所述分类器对异常行为进行分类，识别目标人员是否存在异常行为。

8.一种基于目标检测和骨点检测的异常行为识别装置，其特征在于，包括：

采集单元，用于获取视频数据，对视频数据中的人员进行目标人员检测；

骨点检测单元，用于通过卷积姿势机深度神经网络Convolutional Pose Machines对检测到的目标人员进行骨点检测；

骨点跟踪单元，用于对检测到的骨点进行跟踪；

异常行为识别单元，用于通过分类器对不同帧的骨点位置进行分类，识别目标人员是否存在异常行为。

9.根据权利要求8所述的装置，其特征在于，

骨点检测单元还用于，通过快速区域卷积深度神经网络对视频数据中的人员进行目标人员检测。

10.根据权利要求9所述的装置，其特征在于，

骨点检测单元还用于，通过区域建议网络来生成候选区域，利用快速区域卷积神经网络提取候选区域的特征，将候选区域的特征向量送入全连接层进行精确定位和分类，以对视频中的目标人员进行检测。