CN109255296A - 一种基于深度卷积神经网络的日常人体行为识别方法 - Google Patents

一种基于深度卷积神经网络的日常人体行为识别方法 Download PDF

Info

Publication number
CN109255296A
CN109255296A CN201810886376.5A CN201810886376A CN109255296A CN 109255296 A CN109255296 A CN 109255296A CN 201810886376 A CN201810886376 A CN 201810886376A CN 109255296 A CN109255296 A CN 109255296A
Authority
CN
China
Prior art keywords
human body
neural networks
convolutional neural
depth convolutional
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810886376.5A
Other languages
English (en)
Inventor
周志刚
杨锦
曾岳南
程韬波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810886376.5A priority Critical patent/CN109255296A/zh
Publication of CN109255296A publication Critical patent/CN109255296A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的日常人体行为识别方法，其特征在于，包括以下步骤：S1.建立深度卷积神经网络模型；S2.获取并对人体图像进行预处理；S3.通过深度卷积神经网络模型，提取人体图像特征；S4.通过人体图像特征，输出人体行为序列；S5.将人体行为序列进行分类，得到分类结果。本发明通过深度卷积神经网络对人体图像进行特征提取，再配合分类器对特征进行分类，能够快速、精准识别分类出日常人体行为。

Description

一种基于深度卷积神经网络的日常人体行为识别方法
技术领域
本发明涉及深度学习领域，更具体地，涉及一种基于深度卷积神经网络的日常人体行为识别方法。
背景技术
目前，作为计算机视觉的重要分支，人体行为识别技术可广泛应用于智能视频监控、机器人视觉、人机交互、游戏控制等，应用市场前景广阔。目前常用的有基于整体特征的方法、基于模型的方法以及基于深度学习的方法等，而研究表明，人们可以通过一些描述人体主要关节运动的点来识别人体的行为。并且实验表明，人类大量的行为动作完全可以从关节点中识别出来。人体行为识别技术
从2012年Alex等人在ImageNet ILSVRC挑战赛中搭建的卷积神经网络获得成功开始，深度卷积神经网络在图像分类、目标检测、人脸识别等多了领域都取得了巨大成功，目前使用深度学习进行基于图像处理等研究越来越受广大研究人员的欢迎。因为深度卷积神经网络是直接以原始数据作为输入，从大量的训练数据中自动学习特征的表示，可以有效降低网络的复杂程度，训练参数的数目，是模型对于平移、扭曲、缩放都有一定程度的不变性。而目前尚无成熟的方案将深度卷积神经网络应用在人体行为识别技术中，无法更进一步地提高人体行为识别的准确率。
发明内容
本发明为克服上述现有技术所述的缺陷，实现较为精确的日常人体行为检测识别，提供一种基于深度卷积神经网络的日常人体行为识别方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于深度卷积神经网络的日常人体行为识别方法，包括以下步骤：
S1. 建立深度卷积神经网络模型；
S2. 获取并对人体图像进行预处理；
S3. 通过深度卷积神经网络模型，提取人体图像特征；
S4. 通过人体图像特征，输出人体行为序列；
S5. 将人体行为序列进行分类，得到分类结果。
进一步地，所述步骤S1具体包括以下步骤：
S11. 在深度学习框架中分别建立用于特征提取的深度卷积神经网络模型和用于提取人体行为序列的深度卷积神经网络模型；
其中，用于特征提取的深度卷积神经网络模型包括2个分支网络模型，每个分支网络模型由多阶段的网络组成。
进一步地，所述步骤S3具体包括以下步骤：
S31. 收集人体行为数据库，对人体行为数据库中的人体日常行为数据进行分类，转换为标准的统一尺寸；
S32. 使用所述步骤S11中的用于特征提取的深度卷积神经网络模型，从经过所述步骤S2预处理的人体图像中提取人体图像的特征，输出人体图像的特征图。
进一步地，所述步骤S4具体包括以下步骤：
S41. 使用所述步骤S31中的人体行为数据库，调整所述步骤S11中的用于特征提取的深度卷积神经网络模型，直至收敛；
S42. 将所述步骤S32得到的人体图像的特征图发送至经过所述步骤S41处理的用于特征提取的深度卷积神经网络模型，用于特征提取的深度卷积神经网络模型的分别提取出关节点数据和关节点间关联数据，从而输出人体的行为姿态序列；
其中，关节点数据提取的具体过程如下：
第一阶段对关节点数据预测的结果输入第二阶段，第二阶段结合第一阶段的预测结果以及人体图像的特征图优化并输出关节点数据的预测结果给第三阶段，第三阶段结合第二阶段的预测结果以及人体图像的特征图优化并输出关节点数据的预测结果给第四阶段，重复上述操作，直至得到所有的关节点预测结果；
关节点间关联数据提取的具体过程如下：
第一阶段对关节点间关联数据预测的结果输入第二阶段，第二阶段结合第一阶段的预测结果以及人体图像的特征图优化并输出关节点间关联数据的预测结果给第三阶段，第三阶段结合第二阶段的预测结果以及人体图像的特征图优化并输出关节点间关联数据的预测结果给第四阶段，重复上述操作，直至得到所有的关节点间关联预测结果。
进一步地，所述步骤S5具体包括以下过程：
将所述步骤S42得到的人体行为序列分为静态序列和动态序列；
其中，采用SVM或Softmax分类器对所述静态序列进行分类，输出人体行为的分类结果；
建立递归神经网络模型对所述动态序列进一步检测分类，从而输出人体行为的分类结果。
与现有技术相比，本发明技术方案的有益效果是：
本发明的方案将深度卷积神经网络模型通过步骤S1-S5，应用在人体行为识别算法中，能够快速、精准识别分类出日常人体行为。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于深度卷积神经网络的日常人体行为识别方法流程示意图。
图2是深度卷积神经网络的预测过程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
一种基于深度卷积神经网络的日常人体行为识别方法，如图1-2所示，包括以下步骤：
S1. 分别搭建用于特征提取和提取人体行为序列的深度卷积神经网络，其中用于检测的网络包含二个分支网络；
S2. 对输入的至少一帧人体图像进行预处理；
S3. 利用深度卷积神经网络模型提取人体图像的特征图；
S4. 利用已经搭建完成的用于检测人体行为的深度卷积神经网络分别获取人体图像的预设关节点数据以及关节点间的关联信息数据，从而输出人体的行为姿态序列；
S5. 对于静态的人体行为姿态序列由分类器进行分类，对于动态的人体行为姿态序列利用递归神经网络模型进行识别分类，从输出静态或者动态的人体行为分类结果；
所述步骤S1中搭建的深度卷积升神经网络模型，包括以下步骤:
S11. 在深度学习caffe框架中搭建用于提取人体图像特征信息的VGGNet-16网络模型；
S12. 如图2所示，同样在深度学习caffe框架中搭建用于提取人体行为姿态序列的深度卷积神经网络模型，其由两个分支网络并行组成，并且含有多个阶段，每个阶段都含有卷积层和池化层。优选情况下，选取6个阶段，且除了第一阶段只有2个3x3卷积层和2个3x3池化层，第二阶段到第六阶段都分别有3个3x3卷积层和3个3x3池化层；
所述步骤S3中的特征提取，包括以下步骤:
S31. 收集MSCOCO人体姿态数据集，并根据人体日常行为（如站立、弯腰、下蹲、坐着、跑步、挥手等人体日常行为）进行重新分类，并转换为标准的统一尺寸。优选尺寸为368x368；
S32. 利用S11中搭建的网络模型对预处理过的人体图像提取人体特征图；
所述步骤S4中的对人体行为姿态序列的提取，包括以下步骤:
S41. 利用MSCOCO人体姿态数据集中的训练集对S12中构建的网络模型进行训练，调优网络参数直至收敛；
S42. 网络模型接收到人体图像的特征图后，其两个分支网络会分别提取出关节点数据和关节点间关联数据，从而输出人体的行为姿态序列；
其中对关节点数据提取的分支，第一阶段对关节点数据预测的结果会的输入第二阶段，第二阶段结合第一阶段的预测结果以及人体图像的特征图优化并输出关节点数据的预测结果给第三阶段，第三阶段再结合第二阶段的预测结果以及人体图像的特征图优化并输出关节点数据的预测结果给第四阶段，如此反复操作得到所有的关节点预测结果；
对关节点间关联信息提取的分支，同样采用类似的方式得到最终的预测结果。结合网络两个分支预测的结果输出人体的行为姿态序列；
所述步骤S5中的对人体行为的分类操作，包括以下步骤:
S51. 针对静态的人体行为姿态序列，优选采用softmax分类器，首先利用从训练集提取出的人体行为姿态序列训练softmax分类器直至收敛；然后利用softmax分类器分类识别出人体行为的分类结果；
针对动态的人体行为姿态序列，优选LSTM网络模型，同样利用从训练集中提取的人体行为姿态序列训练网络，调优参数直至收敛；然后对动态的人体行为姿态序列进行分类识别，输出人体行为的分类结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于深度卷积神经网络的日常人体行为识别方法，其特征在于，包括以下步骤：
S1. 建立深度卷积神经网络模型；
S2. 获取并对人体图像进行预处理；
S3. 通过深度卷积神经网络模型，提取人体图像特征；
S4. 通过人体图像特征，输出人体行为序列；
S5. 将人体行为序列进行分类，得到分类结果。
2.根据权利要求1所述的基于深度卷积神经网络的日常人体行为识别方法，其特征在于，所述步骤S1具体包括以下步骤：
S11. 在深度学习框架中分别建立用于特征提取的深度卷积神经网络模型和用于提取人体行为序列的深度卷积神经网络模型；
其中，用于特征提取的深度卷积神经网络模型包括2个分支网络模型，每个分支网络模型由多阶段的网络组成。
3.根据权利要求1所述的基于深度卷积神经网络的日常人体行为识别方法，其特征在于，所述步骤S3具体包括以下步骤：
S31. 收集人体行为数据库，对人体行为数据库中的人体日常行为数据进行分类，转换为标准的统一尺寸；
S32. 使用所述步骤S11中的用于特征提取的深度卷积神经网络模型，从经过所述步骤S2预处理的人体图像中提取人体图像的特征，输出人体图像的特征图。
4.根据权利要求1所述的基于深度卷积神经网络的日常人体行为识别方法，其特征在于，所述步骤S4具体包括以下步骤：
S41. 使用所述步骤S31中的人体行为数据库，调整所述步骤S11中的用于特征提取的深度卷积神经网络模型，直至收敛；
S42. 将所述步骤S32得到的人体图像的特征图发送至经过所述步骤S41处理的用于特征提取的深度卷积神经网络模型，用于特征提取的深度卷积神经网络模型的分别提取出关节点数据和关节点间关联数据，从而输出人体的行为姿态序列；
其中，关节点数据提取的具体过程如下：
第一阶段对关节点数据预测的结果输入第二阶段，第二阶段结合第一阶段的预测结果以及人体图像的特征图优化并输出关节点数据的预测结果给第三阶段，第三阶段结合第二阶段的预测结果以及人体图像的特征图优化并输出关节点数据的预测结果给第四阶段，重复上述操作，直至得到所有的关节点预测结果；
关节点间关联数据提取的具体过程如下：
第一阶段对关节点间关联数据预测的结果输入第二阶段，第二阶段结合第一阶段的预测结果以及人体图像的特征图优化并输出关节点间关联数据的预测结果给第三阶段，第三阶段结合第二阶段的预测结果以及人体图像的特征图优化并输出关节点间关联数据的预测结果给第四阶段，重复上述操作，直至得到所有的关节点间关联预测结果。
5.根据权利要求1所述的基于深度卷积神经网络的日常人体行为识别方法，其特征在于，所述步骤S5具体包括以下过程：
将所述步骤S42得到的人体行为序列分为静态序列和动态序列；
其中，采用SVM或Softmax分类器对所述静态序列进行分类，输出人体行为的分类结果；
建立递归神经网络模型对所述动态序列进一步检测分类，从而输出人体行为的分类结果。
CN201810886376.5A 2018-08-06 2018-08-06 一种基于深度卷积神经网络的日常人体行为识别方法 Pending CN109255296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810886376.5A CN109255296A (zh) 2018-08-06 2018-08-06 一种基于深度卷积神经网络的日常人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810886376.5A CN109255296A (zh) 2018-08-06 2018-08-06 一种基于深度卷积神经网络的日常人体行为识别方法

Publications (1)

Publication Number Publication Date
CN109255296A true CN109255296A (zh) 2019-01-22

Family

ID=65049742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810886376.5A Pending CN109255296A (zh) 2018-08-06 2018-08-06 一种基于深度卷积神经网络的日常人体行为识别方法

Country Status (1)

Country Link
CN (1) CN109255296A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685041A (zh) * 2019-01-23 2019-04-26 北京市商汤科技开发有限公司 图像分析方法及装置、电子设备和存储介质
CN110457999A (zh) * 2019-06-27 2019-11-15 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN110458046A (zh) * 2019-07-23 2019-11-15 南京邮电大学 一种基于关节点提取的人体运动轨迹分析方法
CN110472613A (zh) * 2019-08-22 2019-11-19 海信集团有限公司 对象行为识别方法和装置
CN110738151A (zh) * 2019-09-30 2020-01-31 沈阳航空航天大学 一种采用运动编码的考场视频人体主姿态确定方法
CN111104925A (zh) * 2019-12-30 2020-05-05 上海商汤临港智能科技有限公司 图像处理方法、装置、存储介质和电子设备
CN112906667A (zh) * 2021-04-07 2021-06-04 南开大学 基于三维人体关键点的人体姿态分层分类方法
CN113139546A (zh) * 2020-01-19 2021-07-20 北京达佳互联信息技术有限公司 图像分割模型的训练方法、图像分割的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193335A1 (en) * 2015-11-13 2017-07-06 Wise Athena Inc. Method for data encoding and accurate predictions through convolutional networks for actual enterprise challenges
CN107808131A (zh) * 2017-10-23 2018-03-16 华南理工大学 基于双通路深度卷积神经网络的动态手势识别方法
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193335A1 (en) * 2015-11-13 2017-07-06 Wise Athena Inc. Method for data encoding and accurate predictions through convolutional networks for actual enterprise challenges
CN107808131A (zh) * 2017-10-23 2018-03-16 华南理工大学 基于双通路深度卷积神经网络的动态手势识别方法
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱煜等: "基于深度学习的人体行为识别算法综述", 《自动化学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685041A (zh) * 2019-01-23 2019-04-26 北京市商汤科技开发有限公司 图像分析方法及装置、电子设备和存储介质
CN110457999A (zh) * 2019-06-27 2019-11-15 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN110457999B (zh) * 2019-06-27 2022-11-04 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN110458046A (zh) * 2019-07-23 2019-11-15 南京邮电大学 一种基于关节点提取的人体运动轨迹分析方法
CN110472613A (zh) * 2019-08-22 2019-11-19 海信集团有限公司 对象行为识别方法和装置
CN110472613B (zh) * 2019-08-22 2022-05-10 海信集团有限公司 对象行为识别方法和装置
CN110738151A (zh) * 2019-09-30 2020-01-31 沈阳航空航天大学 一种采用运动编码的考场视频人体主姿态确定方法
CN111104925A (zh) * 2019-12-30 2020-05-05 上海商汤临港智能科技有限公司 图像处理方法、装置、存储介质和电子设备
WO2021135424A1 (zh) * 2019-12-30 2021-07-08 上海商汤临港智能科技有限公司 图像处理方法、装置、存储介质和电子设备
CN113139546A (zh) * 2020-01-19 2021-07-20 北京达佳互联信息技术有限公司 图像分割模型的训练方法、图像分割的方法和装置
CN112906667A (zh) * 2021-04-07 2021-06-04 南开大学 基于三维人体关键点的人体姿态分层分类方法

Similar Documents

Publication Publication Date Title
CN109255296A (zh) 一种基于深度卷积神经网络的日常人体行为识别方法
Ai et al. Research on recognition model of crop diseases and insect pests based on deep learning in harsh environments
US10902615B2 (en) Hybrid and self-aware long-term object tracking
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN111291739B (zh) 面部检测、图像检测神经网络训练方法、装置和设备
CN106982359B (zh) 一种双目视频监控方法、系统和计算机可读存储介质
Ahmed The impact of filter size and number of filters on classification accuracy in CNN
CN109598269A (zh) 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法
CN105469376B (zh) 确定图片相似度的方法和装置
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN110222718B (zh) 图像处理的方法及装置
CN108921019A (zh) 一种基于GEI和TripletLoss-DenseNet的步态识别方法
WO2019071094A1 (en) LOCATION OF A VIDEO ACTION FROM A PROPOSAL-ATTENTION
CN110610158A (zh) 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统
CN110210550A (zh) 基于集成学习策略的图像细粒度识别方法
CN109145717A (zh) 一种在线学习的人脸识别方法
Chen et al. Action recognition with temporal scale-invariant deep learning framework
CN104537273B (zh) 一种溺水模式智能推理系统及方法
Mohmmad et al. A survey machine learning based object detections in an image
CN107545243A (zh) 基于深度卷积模型的黄种人脸识别方法
CN109241814A (zh) 基于yolo神经网络的行人检测方法
Song et al. Automatic detection and image recognition of precision agriculture for citrus diseases
CN106778910A (zh) 基于本地训练的深度学习系统和方法
CN113361549A (zh) 一种模型更新方法以及相关装置
CN112036419B (zh) 一种基于VGG-Attention模型的SAR图像部件解译方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122