CN110688969A - 视频帧人体行为识别方法 - Google Patents

视频帧人体行为识别方法 Download PDF

Info

Publication number
CN110688969A
CN110688969A CN201910943828.3A CN201910943828A CN110688969A CN 110688969 A CN110688969 A CN 110688969A CN 201910943828 A CN201910943828 A CN 201910943828A CN 110688969 A CN110688969 A CN 110688969A
Authority
CN
China
Prior art keywords
human body
video frame
human
key points
body region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910943828.3A
Other languages
English (en)
Inventor
王益县
章子誉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Is According To Figure Network Technology Co Ltd
Shanghai Yitu Network Science and Technology Co Ltd
Original Assignee
Shanghai Is According To Figure Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Is According To Figure Network Technology Co Ltd filed Critical Shanghai Is According To Figure Network Technology Co Ltd
Priority to CN201910943828.3A priority Critical patent/CN110688969A/zh
Publication of CN110688969A publication Critical patent/CN110688969A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频帧人体行为识别方法，其包括如下步骤：S1：使用人体检测算法检测视频帧中的人体区域、并将该人体区域截取出来；S2：使用深度神经网络对S1所得人体区域进行回归、得到预定义的人体关键点，并连接各关键点构成人体骨架；S3：基于S2所得人体骨架、提取该人体骨架的空间特征、并基于该空间特征判定行为分类。本发明能够在时间和背景运动方面具有更好的鲁棒性。

Description

视频帧人体行为识别方法
技术领域
本发明属于生物特征识别技术领域，具体来说涉及一种视频帧人体行为识别方法。
背景技术
在安防监控领域、尤其是室内非法行为检测场景，采用视频检测识别已经是一种较为常见的技术手段了。现有的技术主要分为基于传统特征的方法和基于深度学习的Two-Stream方法；目前基于深度学习的方法已经普遍优于传统特征方法；Two-Stream方法具体为将视频帧和X和Y方向的光流图像分别输入一个深度神经网络，得到分类结果；再在时间上针对输出的softmax输出训练一个SVM分类器；将最终的分类结果作为视频的特使行为识别结果；另外也有基于3D卷积神经网络的分类器，但其性能往往不如双光流方法。双光流方法存在运行速度较慢的问题，同时对背景中物体的运动极为敏感。此外，中国发明专利CN201510530331公开了一种基于3D异常步态行为检测识别的智能助老机器人及实现方法-申请公开，但是这种技术方案在工作过程中必须穿戴多种传感器，其操作过程比较繁琐，且设备成本较高。此外，其主要针对检测特定步态，无法检测更多的异常动作。因此，如何开发出一种新型的人体行为识别方法，以克服上述各现有技术所存在的问题，是本领域技术人员需要研究的方向。
发明内容
本发明的目的是提供一种视频帧人体行为识别方法，能够在时间和背景运动方面具有更好的鲁棒性。
其采用的技术方案如下：
一种视频帧人体行为识别方法，其包括如下步骤：S1：从视频帧中截取人体区域；S2：从S1取得的人体区域中构成人体骨架；S3：基于人体骨架的空间特征识别人体行为。
优选的是，上述视频帧人体行为识别方法中，包括如下步骤：S1：使用人体检测算法检测视频帧中的人体区域；S2：使用深度神经网络对S1取得的所述人体区域回归得到人体关键点，并连接各所述人体关键点构成人体骨架；S3：对S2取得的所述人体骨架提取空间特征，并基于所述空间特征判定视频帧中的人体行为分类。
优选的是，上述视频帧人体行为识别方法中，步骤S1包括如下步骤：S11：将视频帧分解为多个图片帧；S12：以人体检测算法对S11所得各图片帧分别进行检测、并获取人体区域；S13：将S12所得人体区域从图片帧中截取出来。
在其中一个或多个具体实施方式中，步骤S12中的人体检测算法可以选自于神经网络算法。优选地，该神经网络算法可以选自Faster RCNN算法或SSD算法等。
在其中一个或多个具体实施方式中，步骤S2包括如下步骤：S21：基于全卷积网络计算在人体区域中各个像素点属于关键点的编号的概率；S22：对各个关键点，将其所对应的高概率的像素点团中心，记为其关键点的位置、由此获得所有关键点的坐标；S23：链接S22所得各个关键点，构建为人体骨架。
在其中一个或多个具体实施方式中，步骤S3包括如下步骤：S31：选取某个关键点坐标为原点，以其他关键点坐标与原点坐标做差、计算其他各关键点坐标与原点坐标的偏移向量；S32：以原点和参考关键点的连线距离，作为标准长度，所有相对偏移向量距离除以其归一化；S33：将所有相对偏移向量合并成一个大向量，输入预测模型进行预测，分类其对应的动作。优选地，步骤S33中所述预测模型可以选用决策树模型。进一步优选地，决策树模型可以是以原点低于参考关键点时进行倒地行为判定；决策树模型也可以是以原点与参考关键点的斜率绝对值低于阈值时进行倒地行为判定，或者其他类似的判定方式。
通过采用上述技术方案：本发明基于关键点检测进行后续算法，相对于双光流法其运行速度更快，且对于整体光线的变化不强相关。相对于CN201510530331的方案，无需穿戴传感器，且能检测到更多的异常动作。因此与现有技术相比，本方案在时间和背景运动方面具有更好的鲁棒性。
附图说明
上面结合附图与具体实施方式对本发明作进一步详细的说明：
图1为本发明的流程示意图。
具体实施方式
为了更清楚地说明本发明的技术方案，上面将结合各个实施例作进一步描述。
一种视频帧人体行为识别方法，其包括如下步骤：
S1：使用人体检测算法检测视频帧中的人体区域：
S11：将视频帧分解为多个图片帧；
S12：以Faster RCNN算法或SSD算法对S11所得各图片帧分别进行检测、并获取人体区域；
S13：将S12所得人体区域从图片帧中截取出来。
S2：使用深度神经网络对S1取得的所述人体区域回归得到人体关键点，并连接各所述人体关键点构成人体骨架：
S21：基于全卷积网络计算在人体区域中各个像素点属于关键点的编号的概率；
S22：对各个关键点，将其所对应的高概率的像素点团中心，记为其关键点的位置，由此获得所有关键点的坐标；
S23：链接S22所得各个关键点，构建为人体骨架。
S3：对S2取得的所述人体骨架提取空间特征，并基于所述空间特征判定视频帧中的人体行为分类：
S31：选取某个关键点坐标为原点，以其他关键点坐标与原点坐标做差、计算其他各关键点坐标与原点坐标的偏移向量；
S32：以原点和参考关键点的连线距离，作为标准长度，所有相对偏移向量距离除以其归一化；
S33：将所有相对偏移向量合并成一个大向量，输入决策树进行预测，分类其对应的动作。
实施例1：
首先，使用人体检测算法检测视频帧中的人体区域：将视频帧分解为多个图片帧；以Faster RCNN算法对视频帧分解所得各图片帧分别进行检测并获取人体区域；将所得人体区域从图片帧中截取出来。
然后，使用深度神经网络对上述取得的人体区域回归得到人体关键点，并连接各所述人体关键点构成人体骨架；基于全卷积网络计算在人体区域中各个像素点属于关键点的编号的概率；对各个关键点，将其所对应的高概率的像素点团中心，记为其关键点的位置、由此获得所有关键点的坐标；链接所得各个关键点，构建为人体骨架。
再对上述取得的人体骨架提取空间特征，并基于空间特征判定视频帧中的人体行为分类：选取某个关键点坐标为原点，以其他关键点坐标与原点坐标做差、计算其他各关键点坐标与原点坐标的偏移向量；以原点和参考关键点的连线距离，作为标准长度，所有相对偏移向量距离除以其归一化；将所有相对偏移向量合并成一个大向量，输入决策树进行预测，分类其对应的动作。
以倒地判定为例，当图片帧出现以下情况时判定为被检测人员倒地：
以头部关键点为原点，以膝盖关键点为参考关键点。当头部关键点低于膝盖关键点，则决策树认为当前人体属于倒地。同时，当一段视频中，当判定为倒地的图片帧的比例超过一个阈值，则认为视频中人物倒地。
在上述实施例中，斜率阈值为0.5，时间阈值为3秒。所述斜率阈值和时间阈值皆为可调参数。
实施例2：
以倒地判定为例，当图片帧出现以下情况时判定为被检测人员倒地：
以头部关键点为原点，以膝盖关键点为参考关键点。当头部关键点和左右膝盖关键点连线的斜率的绝对值，都小于斜率阈值时，决策树认为当前人体属于倒地。同时，当一段视频中，当判定为倒地的图片帧的比例超过一个阈值，则认为视频中人物倒地
在上述实施例中，斜率阈值为0.3，时间阈值为5秒。所述斜率阈值和时间阈值皆为可调参数。
以上所述，仅为本发明的具体实施例，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围以权利要求书的保护范围为准。

Claims (10)

1.一种视频帧人体行为识别方法，其特征在于，包括如下步骤：
S1：从视频帧中截取人体区域；
S2：从S1取得的人体区域中构成人体骨架；
S3：基于人体骨架的空间特征识别人体行为。
2.如权利要求1所述视频帧人体行为识别方法，其特征在于：
所述S1：使用人体检测算法检测视频帧中的所述人体区域；
所述S2：使用深度神经网络对所述S1取得的所述人体区域回归得到人体关键点，并连接各所述人体关键点构成所述人体骨架；
所述S3：对所述S2取得的所述人体骨架提取所述空间特征，并基于所述空间特征判定视频帧中的人体行为分类。
3.如权利要求2所述视频帧人体行为识别方法，其特征在于，步骤S1进一步包括如下步骤：
S11：将视频帧分解为多个图片帧；
S12：以人体检测算法对S11所得各图片帧分别进行检测、并获取人体区域；
S13：将S12所得人体区域从图片帧中截取出来。
4.如权利要求3所述视频帧人体行为识别方法，其特征在于，步骤S12所述人体检测算法采用神经网络算法。
5.如权利要求4所述视频帧人体行为识别方法，其特征在于，所述神经网络算法选自Faster RCNN算法或SSD算法。
6.如权利要求2所述视频帧人体行为识别方法，其特征在于，步骤S2进一步包括如下步骤：
S21：基于全卷积网络计算在人体区域中各个像素点属于关键点的编号的概率；
S22：对各个关键点，将其所对应的高概率的像素点团中心，记为其关键点的位置，由此获得所有关键点的坐标；
S23：链接S22所得各个关键点，构建为人体骨架。
7.如权利要求2所述视频帧人体行为识别方法，其特征在于，步骤S3进一步包括如下步骤：
S31：选取某个关键点坐标为原点，以其他关键点坐标与原点坐标做差，计算其他各关键点坐标与原点坐标的偏移向量；
S32：以原点和参考关键点的连线距离，作为标准长度，所有相对偏移向量距离除以其归一化；
S33：将所有相对偏移向量合并成一个大向量，输入预测模型进行预测，分类其对应的动作。
8.如权利要求7所述视频帧人体行为识别方法，其特征在于：步骤S33中所述预测模型采用决策树模型。
9.如权利要求8所述视频帧人体行为识别方法，其特征在于：所述决策树模型以原点低于参考关键点时进行倒地行为判定。
10.如权利要求8所述视频帧人体行为识别方法，其特征在于：所述决策树模型以原点与参考关键点的斜率绝对值低于阈值时进行倒地行为判定。
CN201910943828.3A 2019-09-30 2019-09-30 视频帧人体行为识别方法 Pending CN110688969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910943828.3A CN110688969A (zh) 2019-09-30 2019-09-30 视频帧人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910943828.3A CN110688969A (zh) 2019-09-30 2019-09-30 视频帧人体行为识别方法

Publications (1)

Publication Number Publication Date
CN110688969A true CN110688969A (zh) 2020-01-14

Family

ID=69111367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910943828.3A Pending CN110688969A (zh) 2019-09-30 2019-09-30 视频帧人体行为识别方法

Country Status (1)

Country Link
CN (1) CN110688969A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001229A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 视频行为识别的方法、装置、系统和计算机设备
WO2021203667A1 (en) * 2020-04-06 2021-10-14 Huawei Technologies Co., Ltd. Method, system and medium for identifying human behavior in a digital video using convolutional neural networks
CN115908280A (zh) * 2022-11-03 2023-04-04 广东科力新材料有限公司 基于数据处理的pvc钙锌稳定剂的性能确定方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2763116A1 (en) * 2013-02-01 2014-08-06 FamilyEye BVBA Fall detection system and method for detecting a fall of a monitored person
US20150186713A1 (en) * 2013-12-31 2015-07-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
CN105718845A (zh) * 2014-12-03 2016-06-29 同济大学 一种室内场景中人体动作的实时侦测方法及装置
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US20170344829A1 (en) * 2016-05-31 2017-11-30 Microsoft Technology Licensing, Llc Skeleton -based action detection using recurrent neural network
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2763116A1 (en) * 2013-02-01 2014-08-06 FamilyEye BVBA Fall detection system and method for detecting a fall of a monitored person
US20150186713A1 (en) * 2013-12-31 2015-07-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
CN105718845A (zh) * 2014-12-03 2016-06-29 同济大学 一种室内场景中人体动作的实时侦测方法及装置
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US20170344829A1 (en) * 2016-05-31 2017-11-30 Microsoft Technology Licensing, Llc Skeleton -based action detection using recurrent neural network
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
樊梦丹: "基于多特征融合和机器学习的摔倒检测", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
言有三: "《深度学习之图像识别 核心技术与案例实战》", 31 May 2019, 北京：机械工业出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203667A1 (en) * 2020-04-06 2021-10-14 Huawei Technologies Co., Ltd. Method, system and medium for identifying human behavior in a digital video using convolutional neural networks
US11625646B2 (en) 2020-04-06 2023-04-11 Huawei Cloud Computing Technologies Co., Ltd. Method, system, and medium for identifying human behavior in a digital video using convolutional neural networks
CN112001229A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 视频行为识别的方法、装置、系统和计算机设备
CN112001229B (zh) * 2020-07-09 2021-07-20 浙江大华技术股份有限公司 视频行为识别的方法、装置、系统和计算机设备
CN115908280A (zh) * 2022-11-03 2023-04-04 广东科力新材料有限公司 基于数据处理的pvc钙锌稳定剂的性能确定方法及系统

Similar Documents

Publication Publication Date Title
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
US10049293B2 (en) Pixel-level based micro-feature extraction
CN108564069B (zh) 一种工业佩戴安全帽视频检测方法
US7957560B2 (en) Unusual action detector and abnormal action detecting method
US8270733B2 (en) Identifying anomalous object types during classification
US8218819B2 (en) Foreground object detection in a video surveillance system
US9111148B2 (en) Unsupervised learning of feature anomalies for a video surveillance system
US8416296B2 (en) Mapper component for multiple art networks in a video analysis system
US8374393B2 (en) Foreground object tracking
US10032282B2 (en) Background model for complex and dynamic scenes
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
US8270732B2 (en) Clustering nodes in a self-organizing map using an adaptive resonance theory network
US20110043689A1 (en) Field-of-view change detection
CN109145742A (zh) 一种行人识别方法及系统
JP2012226745A (ja) 奥行き画像内の物体を検出する方法およびシステム
CN110688969A (zh) 视频帧人体行为识别方法
CN102831618A (zh) 基于霍夫森林的视频目标跟踪方法
CN113396423A (zh) 处理来自基于事件的传感器的信息的方法
CN105184771A (zh) 一种自适应运动目标检测系统及检测方法
CN103577804A (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
Nosheen et al. Efficient Vehicle Detection and Tracking using Blob Detection and Kernelized Filter
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
Juang et al. Vision-based human body posture recognition using support vector machines
JP2009181220A (ja) 物体検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114