CN105590099A - 一种基于改进卷积神经网络的多人行为识别方法 - Google Patents

一种基于改进卷积神经网络的多人行为识别方法 Download PDF

Info

Publication number
CN105590099A
CN105590099A CN201510970326.1A CN201510970326A CN105590099A CN 105590099 A CN105590099 A CN 105590099A CN 201510970326 A CN201510970326 A CN 201510970326A CN 105590099 A CN105590099 A CN 105590099A
Authority
CN
China
Prior art keywords
convolutional neural
feature
neural networks
picture
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510970326.1A
Other languages
English (en)
Other versions
CN105590099B (zh
Inventor
龚安
郑君
宫文娟
唐永红
牛博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201510970326.1A priority Critical patent/CN105590099B/zh
Publication of CN105590099A publication Critical patent/CN105590099A/zh
Application granted granted Critical
Publication of CN105590099B publication Critical patent/CN105590099B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明提供一种基于改进卷积神经网络的多人行为识别方法。首先用densesift算法对图片集进行特征提取，得到4*4*8个描述子；然后从sift特征提取的4*4*8个描述子中取其中一个方向的描述子(即每个块将取到4*4*1个描述子)，并将这些描述子按序组合成为一个二维图像，这样同一张图像就可以得到八张特征图像。最后将每张图片的八张特征图像作为八个通道同时输入卷积神经网络中进行训练。本发明充分考虑了多人情况下，人物角色的多样化，场景的复杂化，及其数据特征多维化的因素，可以较为精确的进行多人行为的识别。

Description

一种基于改进卷积神经网络的多人行为识别方法
技术领域
本发明涉及一种多人行为识别方法，尤其涉及一种基于改进卷积神经网络的多人行为识别方法。
背景技术
识别复杂场景下的多人的行为是智能监控系统、高级人机交互等领域中的一项很重要的工作。随着信息时代的进步，一些重要场所如银行、停车场、火车站、住宅小区、商场都装有监控系统，这种传统监控系统要求监控人员时刻监控视频画面，甚至同时监视多个视频，并且还要根据监控人员的理解与分析，对视频中的人体行为做出判断，这样不仅导致人的工作繁重，而且由于存在人的主观判断，不可避免产生误判或者漏判，造成不必要的经济损失或者人员伤亡。
人体行为识别研究内容丰富、多样，既有手势识别、表情分析等局部的识别研究，也有针对独立个体的行为识别研究，还包括群体间的交互行为分析等。总体来说，按照数据采集方式可以将人体行为识别研究分为基于非视觉的方式和基于视觉的方式。基于非视觉的方式主要是利用放置在人体或者人的活动空间内的传感器获取人体运动参数，这种方法获取的人体运动参数较为精确，却会给人们生活带来不便。相对于前者，基于视觉的方式能够获得更丰富的信息，但是其在一定程度上也破坏了人的隐私。目前基于视觉的方式是人体行为识别研究的主流方法。
由于在多人情况下，每个人扮演了不同的角色，使得场景变得复杂，使用针对单人的卷积神经网络对其进行识别时难以区分这些角色；而且当识别对象由单人变为多人时，其特征维数变高，要想学习这些特征就需要更多的数据进行参数学习。因此目前的卷积神经网络难以完成精确识别多人行为的目的。故要想精确识别多人的行为具有一定的挑战性。
针对上述问题，迫切需要发明提供一种基于改进卷积神经网络的多人行为识别方法。本发明针对多人情况下复杂的背景环境，选择具有尺度不变性，可在图像中检测出关键点的densesift算法提取图像的关键特征，再采用卷积神经网络算法对关键特征进行无监督学习，最后利用逻辑回归对特征进行分类，从而达到对多人行为识别的目的。
发明内容
针对多人情况下，场景较为复杂，各种干扰因素多的问题，本发明研制一种基于改进卷积神经网络的多人行为识别方法。
本发明其特征在于,包括以下步骤：
(1)从经过预处理的图库中构建训练数据集；
(2)利用densesift算法对数据集进行特征提取；
(3)将关键点组合成可用于训练的数据体；
(4)利用卷积神经网络进行特征学习；
(5)将测试集放入训练好的卷积神经网络中学习特征进行分类。
所述densesift算法是将表达目标的矩形区域分成相同大小的矩形块,对每一个小块进行sift特征提取，得到4*4*8个描述子。
所述组合是从sift特征提取的4*4*8个描述子中取其中一个方向的描述子(即每个块将取到4*4*1个描述子)，然后将这些描述子按序组合成为一个二维图像。这样同一张图像就可以得到八张特征图像。
所述卷积神经网络是由一种典型的用来识别数字的卷积网络LeNet-5修改而来。
所述特征学习是将八个方向的八个特征图作为八个通道同时输入到卷积神经网络中进行特征学习。
附图说明
图1是基于改进卷积神经网络的多人行为识别方法的流程图；
图2是4*4*8个描述子；
图3是组合后的图片；
具体实施方式
下面结合附图说明本发明的实施方式。
1、图片预处理：
在图片库中删选出拥抱、接吻、拳击的图片各2000张作为训练集，再各选出100张作为测试集。然后将图片处理为统一大小。这里为了得到适合卷积神经网络输入的图片，统一将图片大小设置为720*480。为了得到更多的图片信息，这里图片依然为彩色，无需灰度化。
2、提取densesift特征
在这里选择用20为步长。首先将边缘的10个像素去除，然后以20为步长将图片进行分割，这样就可以得到35*23个大小为20*20的矩形块，对每个矩形块就行sift特征提取，将得到4*4*8个特征描述子，如图2所示。
3、组合图片
取每个矩形块中同一个方向的特征值，然后按照其特征中心相对于原图像中的位置将特征值重新排列，则可以得到一张像素为140*92的灰度图片。然后对每个方向的特征值做相同的处理，最终得到八张不同的灰度图片，如图3所示。
4、特征学习
原LeNet-5网络共有7层，不包含输入，每层都包含可训练参数(连接权重)。输入图像为32*32大小。其中7层分别为两层卷积层，两层下采样层，两层全连接层，最后为输出层。其中第一个卷积层采用6个5*5的模板，第二个卷基层采用16个5*5的模板，这里由于图片的复杂性以及输入图像增大为140*92，我们将第一个卷积层采用20个5*5的模板，第二个卷积层采用30个5*5的模板，并将learning_rate改为0.0005。最后将该网络一通道的输入增加变化为8通道的输入。这样将上面组合得到的图片集输入网络中就可以进行特征学习。
5、测试结果
将训练集通过训练好的网络中进行学习分类。

Claims (2)

1.一种基于改进卷积神经网络的多人行为识别方法，其特征在于，包括以下步骤：
(1)从经过预处理的图库中构建训练数据集；
(2)利用densesift算法对数据集进行关键点提取；
(3)将关键点组合成可用于训练的数据体；
(4)利用卷积神经网络进行特征学习；
(5)将测试集放入训练好的卷积神经网络中学习特征进行分类。
2.根据权利要求1所述的一种基于改进卷积神经网络的多人行为识别方法。其特征在于所述densesift算法是将表达目标的矩形区域分成相同大小的矩形块,对每一个小块进行sift特征提取，得到4*4*8个描述子；
所述组合是从sift特征提取的4*4*8个描述子中取其中一个方向的描述子(即每个块将取到4*4*1个描述子)，然后将这些描述子按序组合成为一个二维图像。这样同一张图像就可以得到八张特征图像；
所述卷积神经网络是由一种典型的用来识别数字的卷积网络LeNet-5修改而来；
所述特征学习是将八个方向的八个特征图作为八个通道同时输入到卷积神经网络中进行特征学习。
CN201510970326.1A 2015-12-22 2015-12-22 一种基于改进卷积神经网络的多人行为识别方法 Expired - Fee Related CN105590099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510970326.1A CN105590099B (zh) 2015-12-22 2015-12-22 一种基于改进卷积神经网络的多人行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510970326.1A CN105590099B (zh) 2015-12-22 2015-12-22 一种基于改进卷积神经网络的多人行为识别方法

Publications (2)

Publication Number Publication Date
CN105590099A true CN105590099A (zh) 2016-05-18
CN105590099B CN105590099B (zh) 2019-02-01

Family

ID=55929669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510970326.1A Expired - Fee Related CN105590099B (zh) 2015-12-22 2015-12-22 一种基于改进卷积神经网络的多人行为识别方法

Country Status (1)

Country Link
CN (1) CN105590099B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156765A (zh) * 2016-08-30 2016-11-23 南京邮电大学 基于计算机视觉的安全检测方法
CN106780484A (zh) * 2017-01-11 2017-05-31 山东大学 基于卷积神经网络特征描述子的机器人帧间位姿估计方法
CN109299657A (zh) * 2018-08-14 2019-02-01 清华大学 基于语义注意力保留机制的群体行为识别方法及装置
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109492612A (zh) * 2018-11-28 2019-03-19 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN109740446A (zh) * 2018-12-14 2019-05-10 深圳壹账通智能科技有限公司 课堂学生行为分析方法及装置
CN109784253A (zh) * 2019-01-04 2019-05-21 上海钧正网络科技有限公司 一种单车用户异常行为的检测方法
CN111160111A (zh) * 2019-12-09 2020-05-15 电子科技大学 一种基于深度学习的人体关键点检测方法
CN111784700A (zh) * 2019-04-04 2020-10-16 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN112115746A (zh) * 2019-06-21 2020-12-22 富士通株式会社 人体动作识别装置及方法、电子设备
CN112989986A (zh) * 2021-03-09 2021-06-18 北京京东乾石科技有限公司 用于识别人群行为的方法、装置、设备以及存储介质
WO2022127916A1 (zh) * 2020-12-17 2022-06-23 虹软科技股份有限公司 图像处理方法、描述子提取方法及其装置、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679132A (zh) * 2013-07-15 2014-03-26 北京工业大学 一种敏感图像识别方法及系统
CN103984959A (zh) * 2014-05-26 2014-08-13 中国科学院自动化研究所 一种基于数据与任务驱动的图像分类方法
US9165369B1 (en) * 2013-03-14 2015-10-20 Hrl Laboratories, Llc Multi-object detection and recognition using exclusive non-maximum suppression (eNMS) and classification in cluttered scenes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165369B1 (en) * 2013-03-14 2015-10-20 Hrl Laboratories, Llc Multi-object detection and recognition using exclusive non-maximum suppression (eNMS) and classification in cluttered scenes
CN103679132A (zh) * 2013-07-15 2014-03-26 北京工业大学 一种敏感图像识别方法及系统
CN103984959A (zh) * 2014-05-26 2014-08-13 中国科学院自动化研究所 一种基于数据与任务驱动的图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A KARPATHY等: "《Large-scale Video Classification with Convolutional Neural Networks》", <COMPUTER VISION & PATTERN RECOGNITION> *
SHUIWANG JI等: "《3D Convolutional Neural Networks for Human Action Recognition》", 《INTERNATIONAL CONFERENCE ON MACHINE LEARNING 》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156765A (zh) * 2016-08-30 2016-11-23 南京邮电大学 基于计算机视觉的安全检测方法
CN106780484A (zh) * 2017-01-11 2017-05-31 山东大学 基于卷积神经网络特征描述子的机器人帧间位姿估计方法
CN109299657B (zh) * 2018-08-14 2020-07-03 清华大学 基于语义注意力保留机制的群体行为识别方法及装置
CN109299657A (zh) * 2018-08-14 2019-02-01 清华大学 基于语义注意力保留机制的群体行为识别方法及装置
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109389089B (zh) * 2018-10-14 2022-03-08 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109492612A (zh) * 2018-11-28 2019-03-19 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN109740446A (zh) * 2018-12-14 2019-05-10 深圳壹账通智能科技有限公司 课堂学生行为分析方法及装置
CN109784253A (zh) * 2019-01-04 2019-05-21 上海钧正网络科技有限公司 一种单车用户异常行为的检测方法
CN111784700A (zh) * 2019-04-04 2020-10-16 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN111784700B (zh) * 2019-04-04 2022-07-22 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN112115746A (zh) * 2019-06-21 2020-12-22 富士通株式会社 人体动作识别装置及方法、电子设备
CN111160111A (zh) * 2019-12-09 2020-05-15 电子科技大学 一种基于深度学习的人体关键点检测方法
CN111160111B (zh) * 2019-12-09 2021-04-30 电子科技大学 一种基于深度学习的人体关键点检测方法
WO2022127916A1 (zh) * 2020-12-17 2022-06-23 虹软科技股份有限公司 图像处理方法、描述子提取方法及其装置、电子设备
CN112989986A (zh) * 2021-03-09 2021-06-18 北京京东乾石科技有限公司 用于识别人群行为的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN105590099B (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN105590099A (zh) 一种基于改进卷积神经网络的多人行为识别方法
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN106503687B (zh) 融合人脸多角度特征的监控视频人物身份识别系统及其方法
Shao et al. Performance evaluation of deep feature learning for RGB-D image/video classification
CN105354548B (zh) 一种基于ImageNet检索的监控视频行人重识别方法
Vig et al. Large-scale optimization of hierarchical features for saliency prediction in natural images
CN110163236B (zh) 模型的训练方法和装置、存储介质、电子装置
US10430707B2 (en) Information processing device
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN108182441A (zh) 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN108830171B (zh) 一种基于深度学习的智能物流仓库引导线视觉检测方法
CN104915643A (zh) 一种基于深度学习的行人再标识方法
CN105760835A (zh) 一种基于深度学习的步态分割与步态识别一体化方法
CN109190561B (zh) 一种视频播放中的人脸识别方法及系统
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN105095870A (zh) 基于迁移学习的行人重识别方法
CN107995982A (zh) 一种目标识别方法、装置和智能终端
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN108596256B (zh) 一种基于rgb-d物体识别分类器构造方法
Lu et al. Multi-object detection method based on YOLO and ResNet hybrid networks
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
CN108073851A (zh) 一种抓取手势识别的方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190201

Termination date: 20191222