CN109558811A - 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 - Google Patents

一种基于运动前景关注及非监督的关键帧提取的动作识别方法 Download PDF

Info

Publication number
CN109558811A
CN109558811A CN201811341711.XA CN201811341711A CN109558811A CN 109558811 A CN109558811 A CN 109558811A CN 201811341711 A CN201811341711 A CN 201811341711A CN 109558811 A CN109558811 A CN 109558811A
Authority
CN
China
Prior art keywords
frame
video
convolutional neural
neural networks
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811341711.XA
Other languages
English (en)
Other versions
CN109558811B (zh
Inventor
胡海峰
张俊轩
刘铮
何琛
王伟轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201811341711.XA priority Critical patent/CN109558811B/zh
Publication of CN109558811A publication Critical patent/CN109558811A/zh
Application granted granted Critical
Publication of CN109558811B publication Critical patent/CN109558811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于运动前景关注及非监督的关键帧提取的动作识别方法，步骤包括：方法包括如下步骤：选用预训练好的卷积神经网络作为神经网络模型，构造基于方差统计的视觉关注模型并生成视觉关注权重；利用视觉关注模型提取的视觉关注权重对卷积神经网络的特征进行关注。构造非监督的关键帧提取模型并生成对于每个视频帧的置信度；利用得到的视频帧置信度对视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络；利用光流图像对视频的时间动态信息进行捕获，从而获得更优异的性能。本发明在现有的双流卷积神经网络的基础上，结合基于方差统计的视觉关注机制以及非监督的关键帧提取策略对输入的动作视频进行分类识别。

Description

一种基于运动前景关注及非监督的关键帧提取的动作识别 方法
技术领域
本发明涉及人工智能领域，更具体地，涉及一种基于运动前景关注以及非监督的关键帧提取的动作识别方法。
背景技术
近年来，由于视频检索、视频目标追踪以及视频分析在日常生活领域的广泛应用，视频动作识别成为了目前计算机领域的一个热门方向。受到深度卷积神经网络在图像分类领域的巨大成功，近年来，越来越多的学者和专家将深度卷积神经网络应用到视频动作识别领域当中。如2014年，Simon等人提出了一种双流神经网络结构，通过输入RGB图像和光流图像，分别对视频的空间表观信息和时间信息进行建模。2015年，Tran等人采用局部时空卷积核对视频中的空间表观信息和短时动态信息进行捕获。2016年，Feichtenhofer等人在双流神经网络的基础上提出了双流神经网络的卷积融合策略，并取得有效的性能提升。
虽然这些基于深度卷积神经网络的方法都取得了巨大的，但是这些模型仍存在以下的缺陷：（1）他们不能够关注到与动作信息紧密相关的运动前景信息；（2）这些方法没有去除与动作无关的视频帧。因此使得训练过程引入了无关的信息，影响神经网络训练过的质量。
发明内容
本发明提供一种基于运动前景关注及非监督的关键帧提取的动作识别方法，该方法可以自动识别动作视频中的动作类别。
为了达到上述技术效果，本发明的技术方案如下：
一种基于运动前景关注及非监督的关键帧提取的动作识别方法，，所述方法包括如下步骤：
S1：选用在图像数据集ImageNet上预训练好的卷积神经网络作为卷积神经网络模型A，将对视频进行密集采样得到一系列视频帧，所述视频帧作为所述神经网络模型A的输入，构建基于方差统计的视觉关注模型并生成视觉关注权重矩阵；
S2：利用视觉关注模型提取的视觉关注权重对卷积神经网络模型A的特征进行关注；
S3：构造非监督的关键帧提取模型并生成对于每个视频关键帧的置信度，将得到的关键帧的置信度作为所在视频块的置信度；
S4：利用得到的不同视频块置信度采取不同的选取概率对步骤S1中采集的视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络模型A，然后将筛选后的视频帧输入到上述随机策略训练好的卷积神经网络模型A得到测试结果A；
S5：对步骤S4筛选的所有相邻的视频帧提取其光流运动信息，生成光流图像；将生成的光流图像输入到在ImageNet预训练好的卷积神经网络B中；通过反向传播对网络参数进行更新；将更新后的卷积神经网络B用于测试，得到测试结果B；将测试的结果B与S1-S4步骤中的测试结果A进行结合，得到最终的识别结果。
进一步地，所述步骤S1的具体过程如下：
S11：首先对视频中进行密集采样得到一系列的视频帧，并保证帧之间的时间间隔小于或等于30fps；
S12：将步骤S11中得到的视频帧输入到在ImageNet数据集预训练好的卷积神经网络模型A中；
S13：在卷积神经网络模型A正向传播过程中，将获得卷积神经网络模型A最后一层卷积层的特征；
S14：构建基于方差统计的视觉关注模型，其生成视觉关注权重矩阵的具体过程如下：
S141：对步骤S11中所有连续相邻帧之间作差，得到差分图像；
S142：将所有差分图像堆叠成一个3维的时空块；
S143：对3维时空块中的相同空间位置的像素沿时间轴求方差，从而得到每个空间位置的方差值，由方差值组成图成为方差图，方差图用于反映视频帧中运动剧烈的空间位置；
S144：利用均值池化策略对S14步骤中得到的方差图进行空间下采样得到关注权重矩阵，使得下采样后的关注权重矩阵与S13中获得的卷积特征有相同的空间分辨率。
进一步地，所述步骤S2的具体过程如下：
S21：将步骤S17得到的关注权重矩阵进行数值归一化；
S22：通过加权池化操作，将归一化后的关注权重矩阵与获得S22获得的卷积特征进行结合，从而得到经过关注后的卷积特征。
进一步地，其特征在于，所述步骤S3的具体过程如下：
S31：将视频按固定长度T=50帧分成若干视频块；
S32：根据S1的方法对视频块生成相应的方差图；
S33：对S32中得到的方差图进行高斯平滑处理；
S34：选取视频块的中间帧作为关键帧，采用边缘框模型来生成一系列覆盖前景主体的边界框以及边界框置信度sb；
S35：根据边界框置信度sb，利用非极大值抑制算法消除重叠的边界框；
S36：将剩余的边界框根据边界框置信度sb从大到小排序；
S37：选出5个置信度最高且不小于原图面积1/4的边界框；
S38：统计步骤S33处理后的方差图中对应边界框中的像素值的平均值作为该边界框的置信度sa；
S39：将5个边界框置信度sa的最大值作为视频块的置信度。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过视觉关注机制，能够将视频帧中运动前景的区域检测出来，并生成相应的权重矩阵，由生成权重矩阵采样得到任意尺寸的关注图，因此能够直接嵌入大部分的卷积神经网络当中进行特征的筛选。此外，非监督的关键帧提取策略能够在没有训练样本的基础上有效地鉴别视频帧是否包含着运动的信息，以此过滤掉无关的视频帧，有效地提升模型训练的质量。
附图说明
图1本发明实施例的模型框架图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于运动前景关注及非监督的关键帧提取的动作识别方法，，所述方法包括如下步骤：
S1：选用在图像数据集ImageNet上预训练好的卷积神经网络作为卷积神经网络模型A，将对视频进行密集采样得到一系列视频帧，所述视频帧作为所述神经网络模型A的输入，构建基于方差统计的视觉关注模型并生成视觉关注权重矩阵；
S2：利用视觉关注模型提取的视觉关注权重对卷积神经网络模型A的特征进行关注；
S3：构造非监督的关键帧提取模型并生成对于每个视频关键帧的置信度，将得到的关键帧的置信度作为所在视频块的置信度；
S4：利用得到的不同视频块置信度采取不同的选取概率对步骤S1中采集的视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络模型A，然后将筛选后的视频帧输入到上述随机策略训练好的卷积神经网络模型A得到测试结果A；
S5：对步骤S4筛选的所有相邻的视频帧提取其光流运动信息，生成光流图像；将生成的光流图像输入到在ImageNet预训练好的卷积神经网络B中；通过反向传播对网络参数进行更新；将更新后的卷积神经网络B用于测试，得到测试结果B；将测试的结果B与S1-S4步骤中的测试结果A进行结合，得到最终的识别结果。
进一步地，所述步骤S1的具体过程如下：
S11：首先对视频中进行密集采样得到一系列的视频帧，并保证帧之间的时间间隔小于或等于30fps；
S12：将步骤S11中得到的视频帧输入到在ImageNet数据集预训练好的卷积神经网络模型A中；
S13：在卷积神经网络模型A正向传播过程中，将获得卷积神经网络模型A最后一层卷积层的特征；
S14：构建基于方差统计的视觉关注模型，其生成视觉关注权重矩阵的具体过程如下：
S141：对步骤S11中所有连续相邻帧之间作差，得到差分图像；
S142：将所有差分图像堆叠成一个3维的时空块；
S143：对3维时空块中的相同空间位置的像素沿时间轴求方差，从而得到每个空间位置的方差值，由方差值组成图成为方差图，方差图用于反映视频帧中运动剧烈的空间位置；
S144：利用均值池化策略对S14步骤中得到的方差图进行空间下采样得到关注权重矩阵，使得下采样后的关注权重矩阵与S13中获得的卷积特征有相同的空间分辨率。
进一步地，所述步骤S2的具体过程如下：
S21：将步骤S17得到的关注权重矩阵进行数值归一化；
S22：通过加权池化操作，将归一化后的关注权重矩阵与获得S22获得的卷积特征进行结合，从而得到经过关注后的卷积特征。
进一步地，其特征在于，所述步骤S3的具体过程如下：
S31：将视频按固定长度T=50帧分成若干视频块；
S32：根据S1的方法对视频块生成相应的方差图；
S33：对S32中得到的方差图进行高斯平滑处理；
S34：选取视频块的中间帧作为关键帧，采用边缘框模型来生成一系列覆盖前景主体的边界框以及边界框置信度sb；
S35：根据边界框置信度sb，利用非极大值抑制算法消除重叠的边界框；
S36：将剩余的边界框根据边界框置信度sb从大到小排序；
S37：选出5个置信度最高且不小于原图面积1/4的边界框；
S38：统计步骤S33处理后的方差图中对应边界框中的像素值的平均值作为该边界框的置信度sa；
S39：将5个边界框置信度sa的最大值作为视频块的置信度。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于运动前景关注及非监督的关键帧提取的动作识别方法，其特征在于，所述方法包括如下步骤：
S1：选用在图像数据集ImageNet上预训练好的卷积神经网络作为卷积神经网络模型A，将对视频进行密集采样得到一系列视频帧，所述视频帧作为所述神经网络模型A的输入，构建基于方差统计的视觉关注模型并生成视觉关注权重矩阵；
S2：利用视觉关注模型提取的视觉关注权重对卷积神经网络模型A的特征进行关注；
S3：构造非监督的关键帧提取模型并生成对于每个视频关键帧的置信度，将得到的关键帧的置信度作为所在视频块的置信度；
S4：利用得到的不同视频块置信度采取不同的选取概率对步骤S1中采集的视频帧进行筛选，并采用一种随机选取的训练策略训练卷积神经网络模型A，然后将筛选后的视频帧输入到上述随机策略训练好的卷积神经网络模型A得到测试结果A；
S5：对步骤S4筛选的所有相邻的视频帧提取其光流运动信息，生成光流图像；将生成的光流图像输入到在ImageNet预训练好的卷积神经网络B中；通过反向传播对网络参数进行更新；将更新后的卷积神经网络B用于测试，得到测试结果B；将测试的结果B与S1-S4步骤中的测试结果A进行结合，得到最终的识别结果。
2.根据权利要求1所述的基于运动前景关注及非监督的关键帧提取的动作识别方法，其特征在于，所述步骤S1的具体过程如下：
S11：首先对视频中进行密集采样得到一系列的视频帧，并保证帧之间的时间间隔小于或等于30fps；
S12：将步骤S11中得到的视频帧输入到在ImageNet数据集预训练好的卷积神经网络模型A中；
S13：在卷积神经网络模型A正向传播过程中，将获得卷积神经网络模型A最后一层卷积层的特征；
S14：构建基于方差统计的视觉关注模型，其生成视觉关注权重矩阵的具体过程如下：
S141：对步骤S11中所有连续相邻帧之间作差，得到差分图像；
S142：将所有差分图像堆叠成一个3维的时空块；
S143：对3维时空块中的相同空间位置的像素沿时间轴求方差，从而得到每个空间位置的方差值，由方差值组成图成为方差图，方差图用于反映视频帧中运动剧烈的空间位置；
S144：利用均值池化策略对S14步骤中得到的方差图进行空间下采样得到关注权重矩阵，使得下采样后的关注权重矩阵与S13中获得的卷积特征有相同的空间分辨率。
3.根据权利要求2所述的基于运动前景关注以及非监督的关键帧提取的动作识别方法，其特征在于，所述步骤S2的具体过程如下：
S21：将步骤S17得到的关注权重矩阵进行数值归一化；
S22：通过加权池化操作，将归一化后的关注权重矩阵与获得S22获得的卷积特征进行结合，从而得到经过关注后的卷积特征。
4.根据权利要求3所述的基于运动前景关注以及非监督的关键帧提取的动作识别方法，其特征在于，所述步骤S3的具体过程如下：
S31：将视频按固定长度T=50帧分成若干视频块；
S32：根据S1的方法对视频块生成相应的方差图；
S33：对S32中得到的方差图进行高斯平滑处理；
S34：选取视频块的中间帧作为关键帧，采用边缘框模型来生成一系列覆盖前景主体的边界框以及边界框置信度sb；
S35：根据边界框置信度sb，利用非极大值抑制算法消除重叠的边界框；
S36：将剩余的边界框根据边界框置信度sb从大到小排序；
S37：选出5个置信度最高且不小于原图面积1/4的边界框；
S38：统计步骤S33处理后的方差图中对应边界框中的像素值的平均值作为该边界框的置信度sa；
S39：将5个边界框置信度sa的最大值作为视频块的置信度。
5.根据权利要求4所述的基于运动前景关注及非监督的关键帧提取的动作识别方法，其特征在于，所述步骤S4，根据步骤S3得到视频块不同的置信度采取不同的选取概率进行帧选择用于神经网络模型A训练和测试。
CN201811341711.XA 2018-11-12 2018-11-12 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 Active CN109558811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811341711.XA CN109558811B (zh) 2018-11-12 2018-11-12 一种基于运动前景关注及非监督的关键帧提取的动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811341711.XA CN109558811B (zh) 2018-11-12 2018-11-12 一种基于运动前景关注及非监督的关键帧提取的动作识别方法

Publications (2)

Publication Number Publication Date
CN109558811A true CN109558811A (zh) 2019-04-02
CN109558811B CN109558811B (zh) 2023-04-07

Family

ID=65866034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811341711.XA Active CN109558811B (zh) 2018-11-12 2018-11-12 一种基于运动前景关注及非监督的关键帧提取的动作识别方法

Country Status (1)

Country Link
CN (1) CN109558811B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110648A (zh) * 2019-04-30 2019-08-09 北京航空航天大学 基于视觉感知与人工智能的动作提名方法
CN110263666A (zh) * 2019-05-29 2019-09-20 西安交通大学 一种基于非对称多流的动作检测方法
CN110348345A (zh) * 2019-06-28 2019-10-18 西安交通大学 一种基于动作连贯性的弱监督时序动作定位方法
CN110853124A (zh) * 2019-09-17 2020-02-28 Oppo广东移动通信有限公司 生成gif动态图的方法、装置、电子设备及介质
CN111507948A (zh) * 2020-04-08 2020-08-07 四川大学华西第二医院 基于机器视觉的超声视频流关键图像自动截取系统和方法
CN112001308A (zh) * 2020-08-21 2020-11-27 四川大学 一种采用视频压缩技术和骨架特征的轻量级行为识别方法
CN112115788A (zh) * 2020-08-14 2020-12-22 咪咕文化科技有限公司 视频动作识别方法、装置、电子设备及存储介质
WO2021012493A1 (zh) * 2019-07-23 2021-01-28 平安科技（深圳）有限公司 短视频关键词提取方法、装置及存储介质
CN112329738A (zh) * 2020-12-01 2021-02-05 厦门大学 基于显著片段采样的长视频动作识别方法
CN112446342A (zh) * 2020-12-07 2021-03-05 北京邮电大学 关键帧识别模型训练方法、识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN108470077A (zh) * 2018-05-28 2018-08-31 广东工业大学 一种视频关键帧提取方法、系统及设备和存储介质
CN108764050A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 基于角度无关性的骨架行为识别方法、系统及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN108764050A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 基于角度无关性的骨架行为识别方法、系统及设备
CN108470077A (zh) * 2018-05-28 2018-08-31 广东工业大学 一种视频关键帧提取方法、系统及设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡圆圆等: "监控视频中基于运动目标显著性的关键帧提取方法", 《南京邮电大学学报(自然科学版)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110648A (zh) * 2019-04-30 2019-08-09 北京航空航天大学 基于视觉感知与人工智能的动作提名方法
CN110263666A (zh) * 2019-05-29 2019-09-20 西安交通大学 一种基于非对称多流的动作检测方法
CN110348345A (zh) * 2019-06-28 2019-10-18 西安交通大学 一种基于动作连贯性的弱监督时序动作定位方法
WO2021012493A1 (zh) * 2019-07-23 2021-01-28 平安科技（深圳）有限公司 短视频关键词提取方法、装置及存储介质
CN110853124A (zh) * 2019-09-17 2020-02-28 Oppo广东移动通信有限公司 生成gif动态图的方法、装置、电子设备及介质
CN110853124B (zh) * 2019-09-17 2023-09-08 Oppo广东移动通信有限公司 生成gif动态图的方法、装置、电子设备及介质
CN111507948A (zh) * 2020-04-08 2020-08-07 四川大学华西第二医院 基于机器视觉的超声视频流关键图像自动截取系统和方法
CN112115788A (zh) * 2020-08-14 2020-12-22 咪咕文化科技有限公司 视频动作识别方法、装置、电子设备及存储介质
CN112001308A (zh) * 2020-08-21 2020-11-27 四川大学 一种采用视频压缩技术和骨架特征的轻量级行为识别方法
CN112001308B (zh) * 2020-08-21 2022-03-15 四川大学 一种采用视频压缩技术和骨架特征的轻量级行为识别方法
CN112329738A (zh) * 2020-12-01 2021-02-05 厦门大学 基于显著片段采样的长视频动作识别方法
CN112446342A (zh) * 2020-12-07 2021-03-05 北京邮电大学 关键帧识别模型训练方法、识别方法及装置

Also Published As

Publication number Publication date
CN109558811B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109558811A (zh) 一种基于运动前景关注及非监督的关键帧提取的动作识别方法
Liu et al. End-to-End Blind Quality Assessment of Compressed Videos Using Deep Neural Networks.
CN109360156B (zh) 基于生成对抗网络的图像分块的单张图像去雨方法
CN109583340B (zh) 一种基于深度学习的视频目标检测方法
US7929729B2 (en) Image processing methods
CN113537099B (zh) 一种公路隧道火灾烟雾动态检测方法
CN110322445B (zh) 基于最大化预测和标签间相关性损失函数的语义分割方法
Kim et al. Multiple level feature-based universal blind image quality assessment model
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
Jeong et al. Bihpf: Bilateral high-pass filters for robust deepfake detection
CN112560619B (zh) 一种基于多聚焦图像融合的多距离鸟类精准识别方法
US20060210159A1 (en) Foreground extraction approach by using color and local structure information
CN111192206A (zh) 一种提高图像清晰度的方法
CN108898076A (zh) 一种视频行为时间轴定位及候选框提取的方法
Rai et al. Unmasking anomalies in road-scene segmentation
Tu et al. Efficient user-generated video quality prediction
Kapoor et al. Capturing banding in images: Database construction and objective assessment
Hu et al. Hierarchical discrepancy learning for image restoration quality assessment
Yilmaz et al. Effect of architectures and training methods on the performance of learned video frame prediction
CN116596891A (zh) 基于半监督多任务检测的木地板颜色分类及缺陷检测方法
Khodja et al. Rain to rain: Learning real rain removal without ground truth
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
Ameur et al. Deep multi-task learning for image/video distortions identification
CN115909398A (zh) 一种基于特征增强的跨域行人再识别方法
CN111860681B (zh) 一种双注意力机制下的深度网络困难样本生成方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant