CN109886165A - 一种基于运动目标检测的动作视频提取和分类方法 - Google Patents

一种基于运动目标检测的动作视频提取和分类方法 Download PDF

Info

Publication number
CN109886165A
CN109886165A CN201910096638.2A CN201910096638A CN109886165A CN 109886165 A CN109886165 A CN 109886165A CN 201910096638 A CN201910096638 A CN 201910096638A CN 109886165 A CN109886165 A CN 109886165A
Authority
CN
China
Prior art keywords
video
action
moving object
object detection
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910096638.2A
Other languages
English (en)
Inventor
张学睿
张帆
姚远
郑志浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN201910096638.2A priority Critical patent/CN109886165A/zh
Publication of CN109886165A publication Critical patent/CN109886165A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明为一种基于运动目标检测的动作视频提取和分类方法,属于大数据人工智能深度学习领域。该方法包含以下步骤:S1:采集多种场景,不同质量的运动视频,建立运动视频数据库,并对运动视频数据库中人体动作进行分类和标注,建立运动动作库;S2:利用深度学习技术,建立基于视频图像的运动目标的检测模型;S3:利用运动动作库对运动目标检测模型进行训练;S4:将用户实时拍摄视频作为运动目标检测模型的输入,判断人体动作类别,并结合用户需求,判断是否需要对该动作视频进行提取并保存。本发明方法能够自动、准确、快速的完成运动类别和运动起始时刻的判断,能够实时的适应不同场景下视频提取和分类任务。

Description

一种基于运动目标检测的动作视频提取和分类方法
技术领域
本发明涉及一种基于运动目标检测的动作视频提取和分类方法,属于大数据人工智能领域,尤其适用于人体动作识别,智能体育,视频剪辑等。
背景技术
动作识别技术广泛应用于竞技体育、健康检查、医学研究、行人导航和救援等领域,例如:婴儿的爬行动作能够是反映婴儿脑瘫疾病的一个重要指标,针对婴儿爬行动作分析婴儿脑瘫疾病以及动作纠正等问题的动作识别技术显得尤为重要。
通常采用视觉识别技术进行人体动作识别。传统的,动作视频的提取和分类工作大量依赖于人工剪辑,效率低下。
现有技术中,首先要建立基于视频流的动作识别模型,然后将采集到的动作视频输入到动作识别模型中,分析出动作类别。然而基于视频流的动作识别模型,在识别时需要预先输入较长一段运动视频流,工作量和复杂度较高,无法实时的进行分析,且不能满足不同场景下运动视频的拍摄需求。
目前,动作识别模型都是基于时间序列图片信息的识别模型,由于相邻帧图片的时空信息的冗余性和现有计算能力不能毫无限制的提高,现有模型都将连续的视频流均匀划分为连续的视频片段,在视频片段的基础上对动作起始时间和动作类型进行判断。例如:对一段5分钟长25fps的视频流进行识别,先将该视频流每25帧划分为一个视频片段,并从这25帧中随机抽取数帧RGB图像或光流图像,代表该片段输入到CNN特征提取网络,进行起始点判定和动作类型识别;显然提取出的特征只代表该片段整体的动作信息,而动作起始点的定位精度最高需要到视频片段的每一帧,故而无法有效定位动作的起始帧,以及每帧图像的动作类型的识别。当然,理论上可以进一步细分该视频片段至每一帧看作一个视频片段进行动作起始点的判读,但这样无疑大幅度加大了计算量和动作识别的难度。
发明内容
有鉴于此,本发明提供一种基于运动目标检测的动作视频提取和分类方法,能够对人体运动动作实时的提取和分类,适应不同的拍摄场景,自动、准确、快速的实现动作视频的提取和分类。
为达到上述目的,本发明提供如下技术方案:
一种基于运动目标检测的动作视频提取和分类方法,包括如下步骤:
S1:采集多种场景,不同质量的运动视频,建立运动视频数据库,并对运动视频数据库中人体动作进行分类和标注,建立运动动作库;
S2:利用深度学习技术,建立基于视频图像的运动目标的检测模型;
S3:利用运动动作库对运动目标检测模型进行训练;
S4:将用户实时拍摄视频作为运动目标检测模型的输入,判断人体动作类别,并结合用户需求,判断是否需要对该动作视频进行提取并保存。
进一步,步骤S1所述的运动视频数据库的种类包括:不同场景下,不同的分辨率、帧率、对比度、拍摄角度,不同被拍摄人数,不同拍摄距离等多种因素下的人体运动视频,可以为现有体育赛事、网络或第三方视频集合等。
进一步,步骤S1所述的对运动视频数据库中人体动作进行分类和标注,建立运动动作库,具体为采用人工对视频段中人体动作判别为跳跃、旋转、滑行、下蹲、站立、行走等中一种或多种动作的组合的动作类别,分类存放到运动动作库,并进行标注。
进一步,步骤S2具体为:
S201:将连续的视频流划分为均匀的,一定帧数的视频片段,其中视频片段的帧数为N,其大小由人为综合考虑计算效率设定,通常为时长2秒左右的视频片段;
S202:对视频片段采用随机均匀分布抽取k帧的RGB图像信息或光流信息(或两者并存)作为该片段的代表信息,其中k的大小为结合检测模型的训练结果人为设定,k<N;
S203:将该片段的代表信息输入双流卷积网络或C3D(3D convolution)卷积网络进行的特征的提取,得到含有该片段动作信息的特征向量;
S204:将提取出的特征向量通过反卷积网络对特征进行上采样,映射成与原片段的帧数相对应的N维的特征序列;
S205:通过回归算法对N维特征序列进行聚类和拟合,进而判断每帧图像的动作类别和是否为起始动作帧等信息。
进一步,步骤S3具体为:将步骤S1中运动动作库按一定比例分为训练集和测试集,采用梯度下降算法和对步骤S2所建立的运动目标检测模型进行训练和测试,调整运动目标检测模型的参数。
进一步,步骤S4具体为:摄像机对用户的运动过程进行实时拍摄,并通过路由器,将拍摄得到的实时视频传输到计算机,并将实时视频输入运动目标检测模型,判别用户的实时动作所属的动作类别;若用户当前的动作类别是需要的动作分类,则输出当前的动作视频片段及其分类到显示以及存储设备上,否则进行继续判断下一个动作类别。
本发明的有益效果在于:本发明提供了一种基于运动目标检测的动作视频提取和分类方法,建立运动视频数据库,采用卷积网络和反卷积网络的方式自动提取运动特征,能够自动、准确、快速的完成运动类别和运动起始时刻的判断,能够实时的适应不同场景下视频提取和分类任务。
附图说明
为了使本发明的目的、技术方案,本发明提供如下附图进行说明:
图1为一种基于运动目标检测的动作视频提取和分类方法流程图;
图2为本发明实施例的运动目标检测模型的搭建示意图;
图3为本发明实施例的用户使用流程图。
具体实施方式
为使本发明的目的和技术方案更加清晰明白,下面结合附图及实施例对本发明进行详细的描述。
实施例:
花样滑冰教练指导运动员动作要领以及对对手动作进行分析时,常常需要对运动员制作视频锦集,对其感兴趣的动作进行剪辑,例如:前外跳等动作,本实施例提供一种基于运动目标检测的动作视频提取和分类方法,结合图1,该方法包含以下步骤:
步骤一:
从赛事摄像以及网络视频获取不同场景下,不同的分辨率、帧率、对比度、拍摄角度,不同被拍摄人数,不同拍摄距离等多种因素下的花样滑冰视频,建立运动视频数据库,并对运动视频数据库中人体动作进行判别为跳跃、旋转、托举、步法及转体等一种或多种动作的组合的动作类别,分类存放到运动动作库,并进行标注;
步骤二:结合图2,具体步骤如下:
(1)将连续的视频流划分为均匀的,一定帧数的视频片段,其中视频片段的帧数为N=50;(2)对视频片段采用随机均匀分布抽取k=10帧的RGB图像信息或光流信息(或两者并存)作为该片段的代表信息,;(3)将该片段的代表信息输入双流卷积网络或C3D(3Dconvolution)卷积网络进行的特征的提取,得到特征向量;(4)将提取出的特征向量通过反卷积网络对特征进行上采样,映射成与原片段的帧数相对应的N维的特征序列;(5)通过回归算法对50维特征序列进行聚类和拟合,进而判断每帧图像的动作类别和是否为起始动作帧等信息
步骤三:
将步骤一中运动动作库按8∶2的比例分为训练集和测试集,采用梯度下降算法和对步骤S2所建立的运动目标检测模型进行训练和测试,调整运动目标检测模型的参数;
步骤四:将用户实时拍摄视频作为运动目标检测模型的输入,判断人体动作类别,并结合用户需求,判断是否需要对该动作视频进行提取并保存。
结合图3,具体为:首先,摄像机将花样滑冰实时拍摄下来,通过路由器将实时运动视频上传到分析计算机上,该分析计算机最好是云服务器集群;然后,分析计算机将实时视频作为运动目标检测模型的输入,进行运动类别判断,判断是否为感兴趣的动作类型,如果不是,则继续输入下一个运动动作,如果是,则提取该动作视频片段,输出到显示设备给教练进行参考。
其中,摄像机的可变焦高速摄像机,安装方式可为固定式、导轨式、云台式,以满足不同场景下用户运动的拍摄需求。其中,动作视频片段能够准确覆盖动作的开始和结束,动作视频片段的动作类型为运动视频数据库的所标注的动作类型之一。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其做出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于运动目标检测的动作视频提取和分类方法,其特征在于,该方法包含以下步骤:
S1:采集多种场景,不同质量的运动视频,建立运动视频数据库,并对运动视频数据库中人体动作进行分类和标注,建立运动动作库;
S2:利用深度学习技术,建立基于视频图像的运动目标的检测模型;
S3:利用运动动作库对运动目标检测模型进行训练;
S4:将用户实时拍摄视频作为运动目标检测模型的输入,判断人体动作类别,并结合用户需求,判断是否需要对该动作视频进行提取并保存。
2.根据权利要求1所述的一种基于运动目标检测的动作视频提取和分类方法,其特征在于,步骤S1所述的运动视频数据库的种类包括:不同场景下,不同的分辨率、帧率、对比度、拍摄角度,不同被拍摄人数,不同拍摄距离等多种因素下的人体运动视频,可以为现有体育赛事、网络或第三方视频集合等。
3.根据权利要求1所述的一种基于运动目标检测的动作视频提取和分类方法,其特征在于,步骤S1所述的对运动视频数据库中人体动作进行分类和标注,建立运动动作库,具体为采用人工对视频段中人体动作判别为跳跃、旋转、滑行、下蹲、站立、行走等中一种或多种动作的组合的动作类别,分类存放到运动动作库,并进行标注。
4.根据权利要求1所述的一种基于运动目标检测的动作视频提取和分类方法,其特征在于,步骤S2具体为:
S201:将连续的视频流划分为均匀的,一定帧数的视频片段,其中视频片段的帧数为N,其大小由人为综合考虑计算效率设定,通常为时长2秒左右的视频片段;
S202:对视频片段采用随机均匀分布抽取k帧的RGB图像信息或光流信息(或两者并存)作为该片段的代表信息,其中k的大小为结合检测模型的训练结果人为设定,k<N;
S203:将该片段的代表信息输入双流卷积网络或C3D(3D convolution)卷积网络进行的特征的提取,得到含有该片段动作信息的特征向量;
S204:将提取出的特征向量通过反卷积网络对特征进行上采样,映射成与原片段的帧数相对应的N维的特征序列;
S205:通过回归算法对N维特征序列进行聚类和拟合,进而判断每帧图像的动作类别和是否为起始动作帧等信息。
5.根据权利要求1所述的一种基于运动目标检测的动作视频提取和分类方法,其特征在于,步骤S3具体为:将步骤S1中运动动作库按一定比例分为训练集和测试集,采用梯度下降算法和对步骤S2所建立的运动目标检测模型进行训练和测试,调整运动目标检测模型的参数。
6.根据权利要求1所述的一种基于运动目标检测的动作视频提取和分类方法,其特征在于,步骤S4具体为:摄像机对用户的运动过程进行实时拍摄,并通过路由器,将拍摄得到的实时视频传输到计算机,并将实时视频输入运动目标检测模型,判别用户的实时动作所属的动作类别;若用户当前的动作类别是需要的动作分类,则输出当前的动作视频片段及其分类到显示以及存储设备上,否则进行继续判断下一个动作类别。
CN201910096638.2A 2019-01-23 2019-01-23 一种基于运动目标检测的动作视频提取和分类方法 Pending CN109886165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910096638.2A CN109886165A (zh) 2019-01-23 2019-01-23 一种基于运动目标检测的动作视频提取和分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910096638.2A CN109886165A (zh) 2019-01-23 2019-01-23 一种基于运动目标检测的动作视频提取和分类方法

Publications (1)

Publication Number Publication Date
CN109886165A true CN109886165A (zh) 2019-06-14

Family

ID=66927555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910096638.2A Pending CN109886165A (zh) 2019-01-23 2019-01-23 一种基于运动目标检测的动作视频提取和分类方法

Country Status (1)

Country Link
CN (1) CN109886165A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490064A (zh) * 2019-07-11 2019-11-22 平安科技(深圳)有限公司 体育视频数据的处理方法、装置、计算机设备及计算机存储介质
CN110633694A (zh) * 2019-09-29 2019-12-31 新华智云科技有限公司 一种基于深度学习的足球视频片段分类方法
CN111611702A (zh) * 2020-05-15 2020-09-01 深圳星地孪生科技有限公司 数字孪生场景创建方法、装置、设备和存储介质
CN111611703A (zh) * 2020-05-15 2020-09-01 深圳星地孪生科技有限公司 基于数字孪生的沙盘推演方法、装置、设备和存储介质
CN112101266A (zh) * 2020-09-25 2020-12-18 重庆电政信息科技有限公司 基于多arm的动作识别模型分布式推理方法
CN112291574A (zh) * 2020-09-17 2021-01-29 上海东方传媒技术有限公司 一种基于人工智能技术的大型体育赛事内容管理系统
CN112587903A (zh) * 2020-11-30 2021-04-02 珠海大横琴科技发展有限公司 一种基于深度学习的短跑运动员起跑训练方法及系统
CN113095183A (zh) * 2021-03-31 2021-07-09 西北工业大学 一种基于深度神经网络的微表情检测方法
CN113457105A (zh) * 2020-03-30 2021-10-01 乔山健身器材(上海)有限公司 具健身选单的智能镜子
CN113469142A (zh) * 2021-03-12 2021-10-01 山西长河科技股份有限公司 一种监控视频时空信息融合的分类方法、装置及终端
CN114556963A (zh) * 2019-12-27 2022-05-27 多玩国株式会社 内容生成装置、内容分发服务器、内容生成方法以及内容生成程序

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN108664931A (zh) * 2018-05-11 2018-10-16 中国科学技术大学 一种多阶段视频动作检测方法
CN108764128A (zh) * 2018-05-25 2018-11-06 华中科技大学 一种基于稀疏时间分段网络的视频动作识别方法
CN108764148A (zh) * 2018-05-30 2018-11-06 东北大学 基于监控视频的多区域实时动作检测方法
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN108664931A (zh) * 2018-05-11 2018-10-16 中国科学技术大学 一种多阶段视频动作检测方法
CN108764128A (zh) * 2018-05-25 2018-11-06 华中科技大学 一种基于稀疏时间分段网络的视频动作识别方法
CN108764148A (zh) * 2018-05-30 2018-11-06 东北大学 基于监控视频的多区域实时动作检测方法
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨天明等: ""基于视频深度学习的时空双流人物动作识别模型"", 《计算机应用》 *
焦红虹等: ""基于光流场的时间分段网络行为识别"", 《云南大学学报(自然科学版)》 *
背包_十年: ""[行为检测]CDC-Convolutional-De-Convolutional Networks for Precise Temporal Action Location"", 《BLOG.CSDN.NET/NEU_CHENGUANGQ/ARTICLE/DETAILS/79144141》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490064A (zh) * 2019-07-11 2019-11-22 平安科技(深圳)有限公司 体育视频数据的处理方法、装置、计算机设备及计算机存储介质
CN110490064B (zh) * 2019-07-11 2024-05-14 平安科技(深圳)有限公司 体育视频数据的处理方法、装置、计算机设备及计算机存储介质
CN110633694A (zh) * 2019-09-29 2019-12-31 新华智云科技有限公司 一种基于深度学习的足球视频片段分类方法
CN114556963A (zh) * 2019-12-27 2022-05-27 多玩国株式会社 内容生成装置、内容分发服务器、内容生成方法以及内容生成程序
CN113457105A (zh) * 2020-03-30 2021-10-01 乔山健身器材(上海)有限公司 具健身选单的智能镜子
CN113457105B (zh) * 2020-03-30 2022-09-13 乔山健身器材(上海)有限公司 具健身选单的智能镜子
CN111611702A (zh) * 2020-05-15 2020-09-01 深圳星地孪生科技有限公司 数字孪生场景创建方法、装置、设备和存储介质
CN111611703A (zh) * 2020-05-15 2020-09-01 深圳星地孪生科技有限公司 基于数字孪生的沙盘推演方法、装置、设备和存储介质
CN112291574A (zh) * 2020-09-17 2021-01-29 上海东方传媒技术有限公司 一种基于人工智能技术的大型体育赛事内容管理系统
CN112101266A (zh) * 2020-09-25 2020-12-18 重庆电政信息科技有限公司 基于多arm的动作识别模型分布式推理方法
CN112587903A (zh) * 2020-11-30 2021-04-02 珠海大横琴科技发展有限公司 一种基于深度学习的短跑运动员起跑训练方法及系统
CN113469142B (zh) * 2021-03-12 2022-01-14 山西长河科技股份有限公司 一种监控视频时空信息融合的分类方法、装置及终端
CN113469142A (zh) * 2021-03-12 2021-10-01 山西长河科技股份有限公司 一种监控视频时空信息融合的分类方法、装置及终端
CN113095183A (zh) * 2021-03-31 2021-07-09 西北工业大学 一种基于深度神经网络的微表情检测方法

Similar Documents

Publication Publication Date Title
CN109886165A (zh) 一种基于运动目标检测的动作视频提取和分类方法
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
US11544928B2 (en) Athlete style recognition system and method
Jiang et al. Predicting video saliency with object-to-motion CNN and two-layer convolutional LSTM
Haque et al. Heartbeat rate measurement from facial video
CN108986158A (zh) 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台
CN108549852B (zh) 基于深度网络增强的特定场景下行人检测器自动学习方法
Ghosh et al. Towards structured analysis of broadcast badminton videos
CN105512618B (zh) 视频跟踪方法
CN110298231A (zh) 一种用于篮球比赛视频进球判定的方法及系统
CN112862849B (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
CN207117835U (zh) 基于人工智能关节捕捉技术的健身辅助系统
CN108875730A (zh) 一种深度学习样本收集方法、装置、设备及存储介质
KR102002632B1 (ko) Iot 기반 과수 모니터링 시스템 및 방법
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN114100103B (zh) 一种基于关键点识别的跳绳计数检测系统及方法
Bak et al. Two-stream convolutional networks for dynamic saliency prediction
CN105095840A (zh) 基于眼震影像的多方向上眼震信号提取方法
Zhang et al. Efficient golf ball detection and tracking based on convolutional neural networks and kalman filter
CN114627411A (zh) 基于计算机视觉下并行检测的农作物生育期识别方法
CN109583334A (zh) 一种基于时空关联神经网络的动作识别方法及其系统
CN115410119A (zh) 一种基于训练样本自适应生成的剧烈运动检测方法及系统
CN114494941A (zh) 一种基于对比学习的弱监督时序动作定位方法
CN110433471A (zh) 一种羽毛球运动轨迹监测分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190614

RJ01 Rejection of invention patent application after publication