CN107463912A - 基于运动显著性的视频人体行为识别方法 - Google Patents

基于运动显著性的视频人体行为识别方法 Download PDF

Info

Publication number
CN107463912A
CN107463912A CN201710682736.5A CN201710682736A CN107463912A CN 107463912 A CN107463912 A CN 107463912A CN 201710682736 A CN201710682736 A CN 201710682736A CN 107463912 A CN107463912 A CN 107463912A
Authority
CN
China
Prior art keywords
motion
frame
video
image block
conspicuousness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710682736.5A
Other languages
English (en)
Inventor
陈华锋
王中元
傅佑铭
李红阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute of Wuhan University
Original Assignee
Shenzhen Research Institute of Wuhan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute of Wuhan University filed Critical Shenzhen Research Institute of Wuhan University
Priority to CN201710682736.5A priority Critical patent/CN107463912A/zh
Publication of CN107463912A publication Critical patent/CN107463912A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于运动显著性的视频人体行为识别方法，利用运动显著性检测算法对行为视频帧进行运动显著性检测，得到运动显著图像；采用非最大值抑制采样NMS算法基于运动显著图像计算运动显著区域候选框；围绕运动显著区域候选框裁剪视频帧获取完整包含人体行为的图像块；将裁剪得到的图像块缩放到深度卷积神经网络输入数据所要求尺寸；使用深度卷积神经网络基于缩放后的图像块进行人体行为深度特征提取；基于人体行为深度特征进行特征分类，得到人体识别类别结果。本方法围绕行为显著运动区域来构建卷积网络所需的图像块，有效捕捉人体行为变化区域，提取辨识力好的人体行为深度卷积特征，有效提升了人体行为识别准确率。

Description

基于运动显著性的视频人体行为识别方法
技术领域
本发明属于自动视频分析技术领域，涉及一种基于运动显著性的视频人体行为识别方法。
背景技术
视频人体行为识别可以满足视频监控、智能监护、视频内容分析等任务对自动分析以及智能化的需求，推动社会发展进步。人体行为特征提取在行为识别过程中起关键作用，行为特征的好坏直接影响最终的识别效果。目前，深度模型高效的特征表达能力使其替代传统人体行为局部特征提取模型，成为视频人体行为识别研究热点。
行为视频来源各异，视频帧分辨率大小各不相同。另一方面，用于行为识别的深度卷积神经网络只接收固定分辨率的图像作为输入数据。所以对于从视频中的行为视频帧，需要进行图像块采样，得到卷积神经输入数据所需分辨率的图像块。目前基于深度特征的图像块采样主要有图像缩放采样、图像中心采样和中心四角采样等三种图像块采样方法。图像缩放采样方法会导致人体行为在视觉上的形变，后两种采样方法在视频帧行为区域较小或者较偏时，会引入不包含行为的背景图像块，这些因素都严重影响了行为识别准确率。
发明内容
为了解决上述技术问题，本发明提供了一种基于运动显著性的视频人体行为识别方法。
本发明所采用的技术方案是：一种基于运动显著性的视频人体行为识别方法，包括以下步骤：
S1：基于视频帧提取运动显著图；
S2：基于运动显著图计算运动显著区域候选框，并提取运动显著性区域候选框样本；
S3：基于运动显著性区域候选框样本裁剪视频帧获取完整包含人体行为的图像块；
S4：根据深度卷积神经网络输入数据尺寸缩放图像块；
S5：基于缩放的图像块提取深度卷积特征；
S6：基于图像块的深度卷积特征进行人体行为分类，得到行为识别结果。
优选地，步骤S1中对视频帧进行运动显著性检测，得到运动显著图像。
优选地，步骤S2中将运动显著图像缩小到M×M像素尺寸大小，其中，32≤M≤64；然后在任意尺寸的矩形框中计算积分图像得到每个矩形框的运动显著性得分，总计可以得到M4/2个运动显著矩形框；最后根据每个矩形框的显著性分数和它们之间的空间重叠性来对矩形框进行抽样，并使用非最大值抑制采样NMS算法来提取N个运动显著性区域候选框，其中，3≤N≤10。
优选地，在步骤S3中，首先获取运动显著区域候选框上、下、左、右最外边缘，得到覆盖所有运动显著区域的最大矩形框，并计算最大矩形框中心点位置，然后以该中心点为裁剪图像块的中心点，以最大矩形框长、宽中较大值x的2倍为边长，从原始RGB图像帧中裁剪2x×2x像素的正方形图像块；如果中心点离图像帧上、下、左、右图像边界像素数量不够x个时，则将图像块裁剪中心点从最大矩形框中心点位置向下、上、右、左移动相应数量的像素，以满足2x×2x像素的正方形图像块尺寸要求。
优选地，在步骤S5中使用深度卷积神经网络基于缩放后的图像块进行人体行为深度特征提取。
优选地，步骤S6中基于人体行为深度特征进行特征分类，得到人体识别类别结果。
相对于现有技术，本发明的有益效果为：根据行为显著运动区域来构建卷积网络所需的图像块，有效捕捉人体行为变化区域，提取辨识力好的人体行为深度卷积特征，有效提升人体行为识别准确率。
附图说明
图1是本发明实施例的流程示意图；
图2是覆盖所有运动显著区域的最大矩形框。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
参见图1，本发明实施例提供的基于运动显著性的视频人体行为识别方法，具体包括以下步骤：
步骤S1：采用运动显著性检测算法H-FCN，将RGB图像和光流分别送入A-FCN网络和M-FCN网络进行静态人体目标和动态运动变化的显著性进行多尺度学习，然后基于多个显著图像的均值进行融合得到运动显著图像。
步骤S2：将运动显著图像缩小到32×32像素尺寸大小，然后在任意尺寸的矩形框中计算积分图像得到每个矩形框的运动显著性得分，总计可以得到324/2个运动显著矩形框，最后根据每个矩形框的显著性分数和它们之间的空间重叠性来对矩形框进行抽样，并使用非最大值抑制采样NMS算法来提取5个运动显著性区域候选框。
步骤S3：获取5个运动显著区域候选框上、下、左、右最外边缘，得到覆盖所有运动显著区域的最大矩形框(如图2所示)，并计算最大矩形框中心点位置，然后以该中心点为裁剪图像块的中心点，以最大矩形框长、宽中较大值x的2倍为边长，从原始RGB图像帧中裁剪2x×2x像素的正方形图像块。如果中心点离图像帧上下左右图像边界像素数量不够x个时，则将图像块裁剪中心点从最大矩形框中心点位置向下、上、右、左移动相应数量的像素，以满足2x×2x像素的正方形图像块尺寸要求。
步骤S4：采用二维高斯平滑滤波器将步骤S3得到的正方形图像块缩放到224×224像素大小。
步骤S5：采用双流卷积神经网络(Two-Stream ConvNets)进行人体行为深度特征提取。
步骤S6：采用Softmax分类函数进行特征分类，得到人体识别类别结果。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.基于运动显著性的视频人体行为识别方法，其特征在于，包括以下步骤：
S1：基于视频帧提取运动显著图；
S2：基于运动显著图计算运动显著区域候选框，并提取运动显著性区域候选框样本；
S3：基于运动显著性区域候选框样本裁剪视频帧获取完整包含人体行为的图像块；
S4：根据深度卷积神经网络输入数据尺寸缩放图像块；
S5：基于缩放的图像块提取深度卷积特征；
S6：基于图像块的深度卷积特征进行人体行为分类，得到行为识别结果。
2.根据权利要求1所述基于运动显著性的视频人体行为识别方法，其特征在于：步骤S1中对视频帧进行运动显著性检测，得到运动显著图像。
3.根据权利要求2所述基于运动显著性的视频人体行为识别方法，其特征在于：步骤S2中将运动显著图像缩小到M×M像素尺寸大小，其中，32≤M≤64；然后在任意尺寸的矩形框中计算积分图像得到每个矩形框的运动显著性得分，总计可以得到M4/2个运动显著矩形框；最后根据每个矩形框的显著性分数和它们之间的空间重叠性来对矩形框进行抽样，并使用非最大值抑制采样NMS算法来提取N个运动显著性区域候选框，其中，3≤N≤10。
4.根据权利要求3所述基于运动显著性的视频人体行为识别方法，其特征在于：在步骤S3中，首先获取运动显著区域候选框上、下、左、右最外边缘，得到覆盖所有运动显著区域的最大矩形框，并计算最大矩形框中心点位置，然后以该中心点为裁剪图像块的中心点，以最大矩形框长、宽中较大值x的2倍为边长，从原始RGB图像帧中裁剪2x×2x像素的正方形图像块；如果中心点离图像帧上、下、左、右图像边界像素数量不够x个时，则将图像块裁剪中心点从最大矩形框中心点位置向下、上、右、左移动相应数量的像素，以满足2x×2x像素的正方形图像块尺寸要求。
5.根据权利要求4所述基于运动显著性的视频人体行为识别方法，其特征在于：在步骤S5中使用深度卷积神经网络基于缩放后的图像块进行人体行为深度特征提取。
6.根据权利要求5所述基于运动显著性的视频人体行为识别方法，其特征在于：步骤S6中基于人体行为深度特征进行特征分类，得到人体识别类别结果。
CN201710682736.5A 2017-08-10 2017-08-10 基于运动显著性的视频人体行为识别方法 Pending CN107463912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710682736.5A CN107463912A (zh) 2017-08-10 2017-08-10 基于运动显著性的视频人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710682736.5A CN107463912A (zh) 2017-08-10 2017-08-10 基于运动显著性的视频人体行为识别方法

Publications (1)

Publication Number Publication Date
CN107463912A true CN107463912A (zh) 2017-12-12

Family

ID=60547600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710682736.5A Pending CN107463912A (zh) 2017-08-10 2017-08-10 基于运动显著性的视频人体行为识别方法

Country Status (1)

Country Link
CN (1) CN107463912A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108391162A (zh) * 2018-01-31 2018-08-10 科大讯飞股份有限公司 音量调整方法及装置、存储介质、电子设备
CN109325469A (zh) * 2018-10-23 2019-02-12 北京工商大学 一种基于深度神经网络的人体姿态识别方法
CN109472226A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的睡觉行为检测方法
CN109508684A (zh) * 2018-11-21 2019-03-22 中山大学 一种视频中人体行为识别的方法
CN109543590A (zh) * 2018-11-16 2019-03-29 中山大学 一种基于行为关联度融合特征的视频人体行为识别算法
CN109815883A (zh) * 2019-01-21 2019-05-28 中国人民解放军国防科技大学 一种基于“主+辅”线索的静态图像行为识别方法
WO2019141160A1 (zh) * 2018-01-19 2019-07-25 华为技术有限公司 一种数据处理的方法及装置
CN110738101A (zh) * 2019-09-04 2020-01-31 平安科技（深圳）有限公司 行为识别方法、装置及计算机可读存储介质
CN111356016A (zh) * 2020-03-11 2020-06-30 北京松果电子有限公司 视频处理方法、视频处理装置及存储介质
CN111428641A (zh) * 2020-03-24 2020-07-17 深圳供电局有限公司 安全着装检测方法、装置、计算机设备和可读存储介质
CN113221658A (zh) * 2021-04-13 2021-08-06 卓尔智联(武汉)研究院有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
CN114529715A (zh) * 2022-04-22 2022-05-24 中科南京智能技术研究院 一种基于边缘提取的图像识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法
CN105678276A (zh) * 2016-01-19 2016-06-15 武汉大学 一种人体动作特征提取方法
CN106709419A (zh) * 2016-11-18 2017-05-24 中山大学 一种基于显著轨迹空间信息的视频人体行为识别方法
CN106709472A (zh) * 2017-01-17 2017-05-24 湖南优象科技有限公司 一种基于光流特征的视频目标检测与跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法
CN105678276A (zh) * 2016-01-19 2016-06-15 武汉大学 一种人体动作特征提取方法
CN106709419A (zh) * 2016-11-18 2017-05-24 中山大学 一种基于显著轨迹空间信息的视频人体行为识别方法
CN106709472A (zh) * 2017-01-17 2017-05-24 湖南优象科技有限公司 一种基于光流特征的视频目标检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIMIN WANG等: ""Actionness Estimation Using Hybrid Fully Convolutional Networks"", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060195B (zh) * 2018-01-19 2021-05-04 华为技术有限公司 一种数据处理的方法及装置
WO2019141160A1 (zh) * 2018-01-19 2019-07-25 华为技术有限公司 一种数据处理的方法及装置
CN110060195A (zh) * 2018-01-19 2019-07-26 华为技术有限公司 一种数据处理的方法及装置
US11823303B2 (en) 2018-01-19 2023-11-21 Huawei Technologies Co., Ltd. Data processing method and apparatus
CN108391162A (zh) * 2018-01-31 2018-08-10 科大讯飞股份有限公司 音量调整方法及装置、存储介质、电子设备
CN109325469A (zh) * 2018-10-23 2019-02-12 北京工商大学 一种基于深度神经网络的人体姿态识别方法
CN109325469B (zh) * 2018-10-23 2022-06-14 北京工商大学 一种基于深度神经网络的人体姿态识别方法
CN109472226A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的睡觉行为检测方法
CN109543590A (zh) * 2018-11-16 2019-03-29 中山大学 一种基于行为关联度融合特征的视频人体行为识别算法
CN109508684A (zh) * 2018-11-21 2019-03-22 中山大学 一种视频中人体行为识别的方法
CN109508684B (zh) * 2018-11-21 2022-12-27 中山大学 一种视频中人体行为识别的方法
CN109815883A (zh) * 2019-01-21 2019-05-28 中国人民解放军国防科技大学 一种基于“主+辅”线索的静态图像行为识别方法
WO2021042547A1 (zh) * 2019-09-04 2021-03-11 平安科技（深圳）有限公司 行为识别方法、装置及计算机可读存储介质
CN110738101B (zh) * 2019-09-04 2023-07-25 平安科技（深圳）有限公司 行为识别方法、装置及计算机可读存储介质
CN110738101A (zh) * 2019-09-04 2020-01-31 平安科技（深圳）有限公司 行为识别方法、装置及计算机可读存储介质
US11488383B2 (en) 2020-03-11 2022-11-01 Beijing Xiaomi Pinecone Electronics Co., Ltd. Video processing method, video processing device, and storage medium
CN111356016A (zh) * 2020-03-11 2020-06-30 北京松果电子有限公司 视频处理方法、视频处理装置及存储介质
CN111428641A (zh) * 2020-03-24 2020-07-17 深圳供电局有限公司 安全着装检测方法、装置、计算机设备和可读存储介质
CN113221658A (zh) * 2021-04-13 2021-08-06 卓尔智联(武汉)研究院有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
CN114529715A (zh) * 2022-04-22 2022-05-24 中科南京智能技术研究院 一种基于边缘提取的图像识别方法及系统
CN114529715B (zh) * 2022-04-22 2022-07-19 中科南京智能技术研究院 一种基于边缘提取的图像识别方法及系统

Similar Documents

Publication Publication Date Title
CN107463912A (zh) 基于运动显著性的视频人体行为识别方法
CN112348783B (zh) 基于图像的人物识别方法、装置及计算机可读存储介质
CN108171104B (zh) 一种文字检测方法及装置
US20180232561A1 (en) Facial image processing method and apparatus, and storage medium
CN103927719B (zh) 图片处理方法及装置
CN106846339A (zh) 一种图像检测方法和装置
CN106845408A (zh) 一种复杂环境下的街道垃圾识别方法
CN110348445A (zh) 一种融合空洞卷积和边缘信息的实例分割方法
CN104794479B (zh) 基于局部笔画宽度变换的自然场景图片中文本检测方法
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN105844242A (zh) 图像中的肤色检测方法
CN102236905A (zh) 图像处理设备、图像处理方法以及程序
CN109993091A (zh) 一种基于背景消除的监控视频目标检测方法
CN104766096A (zh) 一种基于多尺度全局特征和局部特征的图像分类方法
CN107958219A (zh) 基于多模型和多尺度特征的图像场景分类方法
CN103218600B (zh) 一种实时人脸检测算法
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
CN106934455A (zh) 基于cnn的遥感影像光学适配结构选取方法及系统
CN112380926A (zh) 一种田间除草机器人除草路径规划系统
CN110443132A (zh) 一种基于深度学习的人脸检测及面部多属性融合分析方法
CN107944437A (zh) 一种基于神经网络和积分图像的人脸定位方法
CN107092935A (zh) 一种资产变更检测方法
CN109460767A (zh) 基于规则的凸印银行卡卡号分割与识别方法
CN103295238B (zh) 安卓平台上基于roi运动检测的视频实时定位方法
CN107085722A (zh) 在图像中定位指定信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171212