CN109558811B - 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 - Google Patents
一种基于运动前景关注及非监督的关键帧提取的动作识别方法 Download PDFInfo
- Publication number
- CN109558811B CN109558811B CN201811341711.XA CN201811341711A CN109558811B CN 109558811 B CN109558811 B CN 109558811B CN 201811341711 A CN201811341711 A CN 201811341711A CN 109558811 B CN109558811 B CN 109558811B
- Authority
- CN
- China
- Prior art keywords
- video
- neural network
- convolutional neural
- attention
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于运动前景关注及非监督的关键帧提取的动作识别方法，步骤包括：方法包括如下步骤：选用预训练好的卷积神经网络作为神经网络模型，构造基于方差统计的视觉关注模型并生成视觉关注权重；利用视觉关注模型提取的视觉关注权重对卷积神经网络的特征进行关注。构造非监督的关键帧提取模型并生成对于每个视频帧的置信度；利用得到的视频帧置信度对视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络；利用光流图像对视频的时间动态信息进行捕获，从而获得更优异的性能。本发明在现有的双流卷积神经网络的基础上，结合基于方差统计的视觉关注机制以及非监督的关键帧提取策略对输入的动作视频进行分类识别。
Description
技术领域
本发明涉及人工智能领域，更具体地，涉及一种基于运动前景关注以及非监督的关键帧提取的动作识别方法。
背景技术
近年来，由于视频检索、视频目标追踪以及视频分析在日常生活领域的广泛应用，视频动作识别成为了目前计算机领域的一个热门方向。受到深度卷积神经网络在图像分类领域的巨大成功，近年来，越来越多的学者和专家将深度卷积神经网络应用到视频动作识别领域当中。如2014年，Simon等人提出了一种双流神经网络结构，通过输入RGB图像和光流图像，分别对视频的空间表观信息和时间信息进行建模。2015年，Tran等人采用局部时空卷积核对视频中的空间表观信息和短时动态信息进行捕获。2016年，Feichtenhofer等人在双流神经网络的基础上提出了双流神经网络的卷积融合策略，并取得有效的性能提升。
虽然这些基于深度卷积神经网络的方法都取得了巨大的，但是这些模型仍存在以下的缺陷：（1）他们不能够关注到与动作信息紧密相关的运动前景信息；（2）这些方法没有去除与动作无关的视频帧。因此使得训练过程引入了无关的信息，影响神经网络训练过的质量。
发明内容
本发明提供一种基于运动前景关注及非监督的关键帧提取的动作识别方法，该方法可以自动识别动作视频中的动作类别。
为了达到上述技术效果，本发明的技术方案如下：
一种基于运动前景关注及非监督的关键帧提取的动作识别方法，，所述方法包括如下步骤：
S1：选用在图像数据集ImageNet上预训练好的卷积神经网络作为卷积神经网络模型A，将对视频进行密集采样得到一系列视频帧，所述视频帧作为所述神经网络模型A的输入，构建基于方差统计的视觉关注模型并生成视觉关注权重矩阵；
S2：利用视觉关注模型提取的视觉关注权重对卷积神经网络模型A的特征进行关注；
S3：构造非监督的关键帧提取模型并生成对于每个视频关键帧的置信度，将得到的关键帧的置信度作为所在视频块的置信度；
S4：利用得到的不同视频块置信度采取不同的选取概率对步骤S1中采集的视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络模型A，然后将筛选后的视频帧输入到上述随机策略训练好的卷积神经网络模型A得到测试结果A；
S5：对步骤S4筛选的所有相邻的视频帧提取其光流运动信息，生成光流图像；将生成的光流图像输入到在ImageNet预训练好的卷积神经网络B中；通过反向传播对网络参数进行更新；将更新后的卷积神经网络B用于测试，得到测试结果B；将测试的结果B与S1-S4步骤中的测试结果A进行结合，得到最终的识别结果。
进一步地，所述步骤S1的具体过程如下：
S11：首先对视频中进行密集采样得到一系列的视频帧，并保证帧之间的时间间隔小于或等于30fps；
S12：将步骤S11中得到的视频帧输入到在ImageNet数据集预训练好的卷积神经网络模型A中；
S13：在卷积神经网络模型A正向传播过程中，将获得卷积神经网络模型A最后一层卷积层的特征；
S14：构建基于方差统计的视觉关注模型，其生成视觉关注权重矩阵的具体过程如下：
S141：对步骤S11中所有连续相邻帧之间作差，得到差分图像；
S142：将所有差分图像堆叠成一个3维的时空块；
S143：对3维时空块中的相同空间位置的像素沿时间轴求方差，从而得到每个空间位置的方差值，由方差值组成图成为方差图，方差图用于反映视频帧中运动剧烈的空间位置；
S144：利用均值池化策略对S14步骤中得到的方差图进行空间下采样得到关注权重矩阵，使得下采样后的关注权重矩阵与S13中获得的卷积特征有相同的空间分辨率。
进一步地，所述步骤S2的具体过程如下：
S21：将步骤S17得到的关注权重矩阵进行数值归一化；
S22：通过加权池化操作，将归一化后的关注权重矩阵与获得S22获得的卷积特征进行结合，从而得到经过关注后的卷积特征。
进一步地，其特征在于，所述步骤S3的具体过程如下：
S31：将视频按固定长度T=50帧分成若干视频块；
S32：根据S1的方法对视频块生成相应的方差图；
S33：对S32中得到的方差图进行高斯平滑处理；
S34：选取视频块的中间帧作为关键帧，采用边缘框模型来生成一系列覆盖前景主体的边界框以及边界框置信度sb；
S35：根据边界框置信度sb，利用非极大值抑制算法消除重叠的边界框；
S36：将剩余的边界框根据边界框置信度sb从大到小排序；
S37：选出5个置信度最高且不小于原图面积1/4的边界框；
S38：统计步骤S33处理后的方差图中对应边界框中的像素值的平均值作为该边界框的置信度sa；
S39：将5个边界框置信度sa的最大值作为视频块的置信度。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过视觉关注机制，能够将视频帧中运动前景的区域检测出来，并生成相应的权重矩阵，由生成权重矩阵采样得到任意尺寸的关注图，因此能够直接嵌入大部分的卷积神经网络当中进行特征的筛选。此外，非监督的关键帧提取策略能够在没有训练样本的基础上有效地鉴别视频帧是否包含着运动的信息，以此过滤掉无关的视频帧，有效地提升模型训练的质量。
附图说明
图1本发明实施例的模型框架图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于运动前景关注及非监督的关键帧提取的动作识别方法，，所述方法包括如下步骤：
S1：选用在图像数据集ImageNet上预训练好的卷积神经网络作为卷积神经网络模型A，将对视频进行密集采样得到一系列视频帧，所述视频帧作为所述神经网络模型A的输入，构建基于方差统计的视觉关注模型并生成视觉关注权重矩阵；
S2：利用视觉关注模型提取的视觉关注权重对卷积神经网络模型A的特征进行关注；
S3：构造非监督的关键帧提取模型并生成对于每个视频关键帧的置信度，将得到的关键帧的置信度作为所在视频块的置信度；
S4：利用得到的不同视频块置信度采取不同的选取概率对步骤S1中采集的视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络模型A，然后将筛选后的视频帧输入到上述随机策略训练好的卷积神经网络模型A得到测试结果A；
S5：对步骤S4筛选的所有相邻的视频帧提取其光流运动信息，生成光流图像；将生成的光流图像输入到在ImageNet预训练好的卷积神经网络B中；通过反向传播对网络参数进行更新；将更新后的卷积神经网络B用于测试，得到测试结果B；将测试的结果B与S1-S4步骤中的测试结果A进行结合，得到最终的识别结果。
进一步地，所述步骤S1的具体过程如下：
S11：首先对视频中进行密集采样得到一系列的视频帧，并保证帧之间的时间间隔小于或等于30fps；
S12：将步骤S11中得到的视频帧输入到在ImageNet数据集预训练好的卷积神经网络模型A中；
S13：在卷积神经网络模型A正向传播过程中，将获得卷积神经网络模型A最后一层卷积层的特征；
S14：构建基于方差统计的视觉关注模型，其生成视觉关注权重矩阵的具体过程如下：
S141：对步骤S11中所有连续相邻帧之间作差，得到差分图像；
S142：将所有差分图像堆叠成一个3维的时空块；
S143：对3维时空块中的相同空间位置的像素沿时间轴求方差，从而得到每个空间位置的方差值，由方差值组成图成为方差图，方差图用于反映视频帧中运动剧烈的空间位置；
S144：利用均值池化策略对S14步骤中得到的方差图进行空间下采样得到关注权重矩阵，使得下采样后的关注权重矩阵与S13中获得的卷积特征有相同的空间分辨率。
进一步地，所述步骤S2的具体过程如下：
S21：将步骤S17得到的关注权重矩阵进行数值归一化；
S22：通过加权池化操作，将归一化后的关注权重矩阵与获得S22获得的卷积特征进行结合，从而得到经过关注后的卷积特征。
进一步地，其特征在于，所述步骤S3的具体过程如下：
S31：将视频按固定长度T=50帧分成若干视频块；
S32：根据S1的方法对视频块生成相应的方差图；
S33：对S32中得到的方差图进行高斯平滑处理；
S34：选取视频块的中间帧作为关键帧，采用边缘框模型来生成一系列覆盖前景主体的边界框以及边界框置信度sb；
S35：根据边界框置信度sb，利用非极大值抑制算法消除重叠的边界框；
S36：将剩余的边界框根据边界框置信度sb从大到小排序；
S37：选出5个置信度最高且不小于原图面积1/4的边界框；
S38：统计步骤S33处理后的方差图中对应边界框中的像素值的平均值作为该边界框的置信度sa；
S39：将5个边界框置信度sa的最大值作为视频块的置信度。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种基于运动前景关注及非监督的关键帧提取的动作识别方法，其特征在于，所述方法包括如下步骤：
S1：选用在图像数据集ImageNet上预训练好的卷积神经网络作为卷积神经网络模型A，将对视频进行密集采样得到一系列视频帧，所述视频帧作为所述神经网络模型A的输入，构建基于方差统计的视觉关注模型并生成视觉关注权重矩阵；
所述步骤S1的具体过程如下：
S11：首先对视频中进行密集采样得到一系列的视频帧，并保证帧之间的时间间隔小于或等于30fps；
S12：将步骤S11中得到的视频帧输入到在ImageNet数据集预训练好的卷积神经网络模型A中；
S13：在卷积神经网络模型A正向传播过程中，将获得卷积神经网络模型A最后一层卷积层的特征；
S14：构建基于方差统计的视觉关注模型，其生成视觉关注权重矩阵的具体过程如下：
S141：对步骤S11中所有连续相邻帧之间作差，得到差分图像；
S142：将所有差分图像堆叠成一个3维的时空块；
S143：对3维时空块中的相同空间位置的像素沿时间轴求方差，从而得到每个空间位置的方差值，由方差值组成图成为方差图，方差图用于反映视频帧中运动剧烈的空间位置；
S144：利用均值池化策略对S14步骤中得到的方差图进行空间下采样得到关注权重矩阵，使得下采样后的关注权重矩阵与S13中获得的卷积特征有相同的空间分辨率；
S2：利用视觉关注模型提取的视觉关注权重对卷积神经网络模型A的特征进行关注；
S3：构造非监督的关键帧提取模型并生成对于每个视频关键帧的置信度，将得到的关键帧的置信度作为所在视频块的置信度；
S4：利用得到的不同视频块置信度采取不同的选取概率对步骤S1中采集的视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络模型A，然后将筛选后的视频帧输入到上述随机策略训练好的卷积神经网络模型A得到测试结果A；
S5：对步骤S4筛选的所有相邻的视频帧提取其光流运动信息，生成光流图像；将生成的光流图像输入到在ImageNet预训练好的卷积神经网络B中；通过反向传播对网络参数进行更新；将更新后的卷积神经网络B用于测试，得到测试结果B；将测试的结果B与S1-S4步骤中的测试结果A进行结合，得到最终的识别结果。
2.根据权利要求1所述的基于运动前景关注以及非监督的关键帧提取的动作识别方法，其特征在于，所述步骤S2的具体过程如下：
S21：将步骤S17得到的关注权重矩阵进行数值归一化；
S22：通过加权池化操作，将归一化后的关注权重矩阵与获得S22获得的卷积特征进行结合，从而得到经过关注后的卷积特征。
3.根据权利要求2所述的基于运动前景关注以及非监督的关键帧提取的动作识别方法，其特征在于，所述步骤S3的具体过程如下：
S31：将视频按固定长度T＝50帧分成若干视频块；
S32：根据S1的方法对视频块生成相应的方差图；
S33：对S32中得到的方差图进行高斯平滑处理；
S34：选取视频块的中间帧作为关键帧，采用边缘框模型来生成一系列覆盖前景主体的边界框以及边界框置信度sb；
S35：根据边界框置信度sb，利用非极大值抑制算法消除重叠的边界框；
S36：将剩余的边界框根据边界框置信度sb从大到小排序；
S37：选出5个置信度最高且不小于原图面积1/4的边界框；
S38：统计步骤S33处理后的方差图中对应边界框中的像素值的平均值作为该边界框的置信度sa；
S39：将5个边界框置信度sa的最大值作为视频块的置信度。
4.根据权利要求3所述的基于运动前景关注及非监督的关键帧提取的动作识别方法，其特征在于，所述步骤S4，根据步骤S3得到视频块不同的置信度采取不同的选取概率进行帧选择用于神经网络模型A训练和测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811341711.XA CN109558811B (zh) | 2018-11-12 | 2018-11-12 | 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811341711.XA CN109558811B (zh) | 2018-11-12 | 2018-11-12 | 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109558811A CN109558811A (zh) | 2019-04-02 |
| CN109558811B true CN109558811B (zh) | 2023-04-07 |
Family
ID=65866034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811341711.XA Active CN109558811B (zh) | 2018-11-12 | 2018-11-12 | 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109558811B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110648B (zh) * | 2019-04-30 | 2020-03-17 | 北京航空航天大学 | 基于视觉感知与人工智能的动作提名方法 |
| CN110263666B (zh) * | 2019-05-29 | 2021-01-19 | 西安交通大学 | 一种基于非对称多流的动作检测方法 |
| CN110348345B (zh) * | 2019-06-28 | 2021-08-13 | 西安交通大学 | 一种基于动作连贯性的弱监督时序动作定位方法 |
| CN110532431B (zh) * | 2019-07-23 | 2023-04-18 | 平安科技（深圳）有限公司 | 短视频关键词提取方法、装置及存储介质 |
| CN110853124B (zh) * | 2019-09-17 | 2023-09-08 | Oppo广东移动通信有限公司 | 生成gif动态图的方法、装置、电子设备及介质 |
| CN111507948A (zh) * | 2020-04-08 | 2020-08-07 | 四川大学华西第二医院 | 基于机器视觉的超声视频流关键图像自动截取系统和方法 |
| CN112115788A (zh) * | 2020-08-14 | 2020-12-22 | 咪咕文化科技有限公司 | 视频动作识别方法、装置、电子设备及存储介质 |
| CN112001308B (zh) * | 2020-08-21 | 2022-03-15 | 四川大学 | 一种采用视频压缩技术和骨架特征的轻量级行为识别方法 |
| CN112329738A (zh) * | 2020-12-01 | 2021-02-05 | 厦门大学 | 基于显著片段采样的长视频动作识别方法 |
| CN112446342B (zh) * | 2020-12-07 | 2022-06-24 | 北京邮电大学 | 关键帧识别模型训练方法、识别方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066973B (zh) * | 2017-04-17 | 2020-07-21 | 杭州电子科技大学 | 一种利用时空注意力模型的视频内容描述方法 |
| CN107609460B (zh) * | 2017-05-24 | 2021-02-02 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
| CN108304795B (zh) * | 2018-01-29 | 2020-05-12 | 清华大学 | 基于深度强化学习的人体骨架行为识别方法及装置 |
| CN108764050B (zh) * | 2018-04-28 | 2021-02-26 | 中国科学院自动化研究所 | 基于角度无关性的骨架行为识别方法、系统及设备 |
| CN108470077B (zh) * | 2018-05-28 | 2023-07-28 | 广东工业大学 | 一种视频关键帧提取方法、系统及设备和存储介质 |
-
2018
- 2018-11-12 CN CN201811341711.XA patent/CN109558811B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109558811A (zh) | 2019-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558811B (zh) | 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 | |
| CN109360156B (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| CN110110624B (zh) | 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法 | |
| CN107872644B (zh) | 视频监控方法及装置 | |
| US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN110097028B (zh) | 基于三维金字塔图像生成网络的人群异常事件检测方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN113642634A (zh) | 一种基于混合注意力的阴影检测方法 | |
| CN113762138B (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
| CN105657402A (zh) | 一种深度图恢复方法 | |
| CN111612711A (zh) | 一种基于生成对抗网络改进的图片去模糊方法 | |
| CN112884033B (zh) | 一种基于卷积神经网络的生活垃圾分类检测方法 | |
| CN110390308B (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
| CN113393457B (zh) | 一种结合残差密集块与位置注意力的无锚框目标检测方法 | |
| CN111079864A (zh) | 一种基于优化视频关键帧提取的短视频分类方法及系统 | |
| CN115862066A (zh) | 一种改进YOLOv5的轻量化社区场景下行人检测方法 | |
| CN115131325A (zh) | 一种基于图像识别分析的断路器故障运维监测方法及系统 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| CN115116054A (zh) | 一种基于多尺度轻量级网络的病虫害识别方法 | |
| CN113487576A (zh) | 一种基于通道注意力机制的虫害图像检测方法 | |
| CN112633234A (zh) | 人脸去眼镜模型训练、应用方法及其装置、设备和介质 | |
| CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| CN113763417B (zh) | 一种基于孪生网络和残差结构的目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |