CN111709365A - 一种基于卷积神经网络的人体运动姿态自动检测方法 - Google Patents

一种基于卷积神经网络的人体运动姿态自动检测方法 Download PDF

Info

Publication number
CN111709365A
CN111709365A CN202010554087.2A CN202010554087A CN111709365A CN 111709365 A CN111709365 A CN 111709365A CN 202010554087 A CN202010554087 A CN 202010554087A CN 111709365 A CN111709365 A CN 111709365A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
image
detection method
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010554087.2A
Other languages
English (en)
Inventor
张博
方祝平
邓安宁
邓黎
赵文昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Technological University CDTU
Chengdu Univeristy of Technology
Original Assignee
Chengdu Technological University CDTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Technological University CDTU filed Critical Chengdu Technological University CDTU
Priority to CN202010554087.2A priority Critical patent/CN111709365A/zh
Publication of CN111709365A publication Critical patent/CN111709365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的人体运动姿态自动检测方法,步骤包括:采集运动图像并进行预处理;分割人体图像与场景图像;提取人体关键点信息;基于关键点生成特征向量;计算特征向量夹角;调用神经网络诊断模型判定运动姿态。本发明提出基于卷积神经网络模型进行人体运动姿态的实时诊断,所设计方法适用于不同运动场景和多种人体动作,解决了普通人群由于缺乏专业培训而无法判断运动姿态是否错误的难题,为提升普通人群运动质量提供了一种可行的低成本解决方案。

Description

一种基于卷积神经网络的人体运动姿态自动检测方法
技术领域
本发明属于人工智能领域,具体地说是涉及一种用于人体运动姿态自动检测和判定的方法。
背景技术
随着社会的发展以及国民健康意识的增强,越来越多的人开始选择在工作之余参与各类运动。普通人群由于缺乏专业培训无法及时发现并纠正自身运动姿势的错误,不仅影响运动效果,还可能带来不必要的身体损害。聘请专业教练进行指导可以有效解决以上问题,但相关辅导费用及其昂贵。
因此,开发一种智能化、低成本的运动姿态自动检测技术将有助于提升国民的运动质量,降低运动风险。
研究人员针对人体运动姿态的检测和判定提出了多种可行方法。专利CN110743153A、CN110478883A基于多传感器实时数据进行姿态计算,系统稳定可靠,但部署成本高、难度大。专利CN110188599A、CN110163038A针对连续运动过程中人体关节点位置图像,基于深度学习模型进行运动姿态判定,但由于需针对不同姿态分别建模,该方法通用性不强且预测准确度较低。专利CN110298218A、CN110170159A提取运动图像中人体关节点夹角,并与参考阈值范围进行比较,依据是否超出阈值进行运动姿态判定,由于阈值范围设置人为主观性较强,且不同姿态设计关节点位置与数量亦不同,因此该方法可靠性和稳定性较低。
综上所述,现有技术方案均存在不足之处,无法完全实现低成本、高可靠的人体运动姿态自动检测。
发明内容
本发明的目的是,为克服现有技术的缺陷,提出一种基于卷积神经网络的人体运动姿态实时检测和评估方法。
为实现上述目的,本发明采用如下技术方案:
利用图像采集装置实时采集运动影像
所述图像采集装置可以为CCD相机或CMOS相机。
进一步的,对所采集影像进行帧处理,生成适用于视觉识别的帧序列。
进一步的,对单帧图像进行背景分割,获得人体图像。
进一步的,将人体图像传入神经网络模型进行关键点检测。
所述关键点包括左眼、右眼、鼻子、左耳、右耳、胸口、左肩、右肩、左肘、右肘、左手腕、右手腕、左髋、右髋、左膝、右膝、左踝、右踝。
根据检测结果标记关键点坐标为(xi,yi),其中,检测失败关键点的坐标标记为(0,0)。
若成功检测关键点数量不足,提取下一帧图像重复步骤[0012]至[0014]。
进一步的,针对半身或全身躺卧姿态,通过计算鼻子和脚踝的坐标关系判断人体头部朝向。
令(x1,y1)为鼻子,(x17,y17)为左踝,(x18,y18)为右踝,当x17/18-x1>0时,头部朝左;当x17/18-x1<0时,头部朝右。
进一步的,针对半身或全身直立姿态,通过计算左肩和右肩的坐标关系判断人体是否面向摄像头。
令(x6,y6)为左肩,(x7,y7)为右肩,当x6-x7<0时,人体面向摄像头;x6-x7>0时,人体背向摄像头。
进一步的,计算关键点(xi,yi)指向关键点(xj,yj)的特征向量的模,令:
Figure BDA0002543609440000021
进一步的,根据特征向量模计算特征向量夹角,令:
Figure BDA0002543609440000031
其中,
Figure BDA0002543609440000032
为首尾相连的目标向量,
Figure BDA0002543609440000033
为由
Figure BDA0002543609440000034
起点指向
Figure BDA0002543609440000035
终点的辅助向量,θ为
Figure BDA0002543609440000036
Figure BDA0002543609440000037
之间夹角。
进一步的,以不同关键点间特征向量夹角构成特征向量夹角序列。
进一步的,以特征向量夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。
所述卷积神经网络模型适用于不同运动姿态,包括四个卷积层和四个池化层,采用softmax分类器对姿态进行分类。
进一步的,实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。
附图说明
图1为本发明检测和判定运动姿态的流程图;
图2为本发明检测人体关键点的示意图;
图3为本发明建立的卷积神经网络模型结构图;
图4为本发明提取标准俯卧撑姿态特征向量及其夹角的示意图;
图5为本发明提取不标准俯卧撑姿态特征向量及其夹角的示意图;
图6为本发明提取标准举哑铃姿态特征向量及其夹角的示意图;
图7为本发明提取不标准举哑铃姿态特征向量及其夹角的示意图;
具体实施方式
下面结合具体运动姿态及附图,详述本项目的实现过程:
以下运动姿态仅作为功能演示,并不代表本发明全部适用的运动姿态实施方法。
如图1所示,本发明所述一种基于卷积神经网络的人体运动姿态自动检测方法,其流程包括:采集运动图像并进行预处理;分割人体图像与场景图像;提取人体关键点信息;基于关键点生成特征向量;计算特征向量夹角;调用神经网络诊断模型判定运动姿态。
如图2所示,本发明所述卷积神经网络模型包括四个卷积层和四个池化层,采用softmax分类器对姿态进行分类。
如图3所示,提取的人体关键点包括:鼻子(x1,y1)、胸口(x2,y2)、左眼(x3,y3)、右眼(x4,y4)、左耳(x5,y5)、右耳(x6,y6)、左肩(x7,y7)、右肩(x8,y8)、左肘(x9,y9)、右肘(x10,y10)、左手腕(x11,y11)、右手腕(x12,y12)、左髋(x13,y13)、右髋(x14,y14)、左膝(x15,y15)、右膝(x16,y16)、左踝(x17,y17)、右踝(x18,y18)。
以下以“俯卧撑”和“举哑铃”两种运动姿态详述人体水平贴于地面和直立动作的检测及判断过程:
“俯卧撑”检测及判断过程:
利用图像采集装置实时采集运动影像。
对每一帧图像进行背景分割,获得目标图像。
对所采集影像进行帧处理,生成适用于视觉识别的帧序列。
对单帧图像进行背景分割,获得人体图像。
将人体图像传入神经网络模型进行关键点检测。
俯卧撑所需的关键点为:鼻、肩膀、髋、膝盖以及脚踝。
当左髋和右髋,左膝和右膝,左踝和右踝关键点都存在时,取一边坐标用以计算,令:
鼻F1(x1,y1)、左肩F7(x7,y7)、左髋F13(x13,y13)、左膝F15(x15,y15)、左脚踝F17(x17,y17)。
当x17/18-x1>0时,头部朝左;当x17/18-x1<0时,头部朝右。
如图4所示,俯卧撑动作所需要构成的特征向量为:左肩和左髋构成指向左肩的向量
Figure BDA0002543609440000051
左髋和左膝构成指向左髋的向量
Figure BDA0002543609440000052
左膝和左踝构成指向左膝的向量
Figure BDA0002543609440000053
由公式
Figure BDA0002543609440000054
判断出
Figure BDA0002543609440000055
Figure BDA0002543609440000056
的夹角为θ1
Figure BDA0002543609440000057
Figure BDA0002543609440000058
的夹角为θ2
将θ1、θ2组成的夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。
实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。
如图4所示,若经[0053]判断为合格,则进入下一帧图像,若判断为不合格,网络输出不合格类型,系统根据网络输出给出纠正方法,如图5所示,网络输出臀部过低,系统将提示臀部需上抬。
“举哑铃”检测及判断过程:
重复步骤[0041]至[0045]。
举哑铃所需到的关键点为左肩、右肩、左肘、右肘、左手腕、右手腕,令:
左肩J7(x7,y7)、右肩J8(x8,y8)、左肘J9(x9,y9)、右肘J10(x10,y10)、左手腕J11(x11,y11)、右手腕J11(x11,y11)。
当x8-x7<0,人体面向镜头,x8-x7>0,人体背向镜头。
如图6所示,举哑铃动作所需要构成的特征向量为:左肩和左肘构成指向左肩的向量
Figure BDA0002543609440000059
左肘和左手腕构成指向左肘的向量
Figure BDA00025436094400000510
右肩和右肘构成指向右肩的向量
Figure BDA00025436094400000511
右肘和右手腕构成指向右肘的向量
Figure BDA00025436094400000512
x轴正向单位向量
Figure BDA00025436094400000513
x轴负向单位向量
Figure BDA00025436094400000514
由公式
Figure BDA00025436094400000515
可得:
Figure BDA00025436094400000516
Figure BDA00025436094400000517
的夹角为β1
Figure BDA0002543609440000061
Figure BDA0002543609440000062
的夹角为β2
Figure BDA0002543609440000063
Figure BDA0002543609440000064
的夹角为β3
Figure BDA0002543609440000065
Figure BDA0002543609440000066
的夹角为β4
将β1、β2、β3、β4成的夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。
实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。
如图6所示,若经[0063]判断合格,则进入下一帧图像,若判断不合格,网络输出不合格类型,系统根据网络输出给出纠正方法。如图7所示,网络输出手臂弯曲,系统将提示手臂未打值。

Claims (8)

1.一种基于卷积神经网络的人体运动姿态自动检测方法,包括:采集运动图像并进行预处理;分割人体图像与场景图像;提取人体关键点信息;基于关键点生成特征向量;计算特征向量夹角;调用神经网络诊断模型判定运动姿态。
2.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:所述图像预处理操作包括灰度化、滤波、形态学处理、二值化及像素调整。
3.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:利用基于神经网络的语义分割技术将人体图像与场景图像进行切割。
4.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:针对半身或全身躺卧姿态,通过计算鼻子和脚踝的坐标关系判断人体头部朝向。令(x1,y1)为鼻子,(x17,y17)为左踝,(x18,y18)为右踝,当x17/18-x1>0时,头部朝左;当x17/18-x1<0时,头部朝右。针对半身或全身直立姿态,通过计算左肩和右肩的坐标关系判断人体是否面向摄像头。令(x6,y6)为左肩,(x7,y7)为右肩,当x6-x7<0时,人体面向摄像头;x6-x7>0时,人体背向摄像头。
5.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:根据不同运动姿态构建相应特征向量,并基于若干关键点组成特征向量图。
6.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:针对不同运动姿态,以特征向量夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集对模型进行训练。
7.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:所述卷积神经网络模型包括四个卷积层和四个池化层,采用softmax分类器对姿态进行分类。
8.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络诊断模型进行预测分析。
CN202010554087.2A 2020-06-17 2020-06-17 一种基于卷积神经网络的人体运动姿态自动检测方法 Pending CN111709365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554087.2A CN111709365A (zh) 2020-06-17 2020-06-17 一种基于卷积神经网络的人体运动姿态自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554087.2A CN111709365A (zh) 2020-06-17 2020-06-17 一种基于卷积神经网络的人体运动姿态自动检测方法

Publications (1)

Publication Number Publication Date
CN111709365A true CN111709365A (zh) 2020-09-25

Family

ID=72540924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554087.2A Pending CN111709365A (zh) 2020-06-17 2020-06-17 一种基于卷积神经网络的人体运动姿态自动检测方法

Country Status (1)

Country Link
CN (1) CN111709365A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215185A (zh) * 2020-10-21 2021-01-12 成都信息工程大学 一种从监控视频中检测跌倒行为的系统及方法
CN112488827A (zh) * 2021-01-13 2021-03-12 润邦汇金金融服务外包(北京)有限公司 一种人工智能检测银行网点风控与管理系统
CN112842261A (zh) * 2020-12-30 2021-05-28 西安交通大学 一种基于复杂网络的婴儿三维自发运动智能化评估系统
CN113033526A (zh) * 2021-05-27 2021-06-25 北京欧应信息技术有限公司 基于计算机实现的方法、电子设备和计算机程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622606A (zh) * 2010-02-03 2012-08-01 北京航空航天大学 基于测地模型的人体骨骼提取和朝向判定方法
CN105451827A (zh) * 2013-06-13 2016-03-30 生化游戏有限公司 复健姿势及姿势识别
CN107358149A (zh) * 2017-05-27 2017-11-17 深圳市深网视界科技有限公司 一种人体姿态检测方法和装置
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技(北京)有限公司 一种运动姿态评估方法及系统
CN109934111A (zh) * 2019-02-12 2019-06-25 清华大学深圳研究生院 一种基于关键点的健身姿态估计方法及系统
CN110170159A (zh) * 2019-06-27 2019-08-27 郭庆龙 一种人体健身动作运动监测系统
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
CN110298218A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 交互式健身装置和交互式健身系统
CN110991292A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 动作识别比对方法、系统、计算机存储介质和电子装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622606A (zh) * 2010-02-03 2012-08-01 北京航空航天大学 基于测地模型的人体骨骼提取和朝向判定方法
CN105451827A (zh) * 2013-06-13 2016-03-30 生化游戏有限公司 复健姿势及姿势识别
CN107358149A (zh) * 2017-05-27 2017-11-17 深圳市深网视界科技有限公司 一种人体姿态检测方法和装置
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技(北京)有限公司 一种运动姿态评估方法及系统
CN110298218A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 交互式健身装置和交互式健身系统
CN109934111A (zh) * 2019-02-12 2019-06-25 清华大学深圳研究生院 一种基于关键点的健身姿态估计方法及系统
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质
CN110170159A (zh) * 2019-06-27 2019-08-27 郭庆龙 一种人体健身动作运动监测系统
CN110991292A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 动作识别比对方法、系统、计算机存储介质和电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴伟和等: "姿态无关的人体模型朝向判定", 《计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215185A (zh) * 2020-10-21 2021-01-12 成都信息工程大学 一种从监控视频中检测跌倒行为的系统及方法
CN112215185B (zh) * 2020-10-21 2022-08-05 成都信息工程大学 一种从监控视频中检测跌倒行为的系统及方法
CN112842261A (zh) * 2020-12-30 2021-05-28 西安交通大学 一种基于复杂网络的婴儿三维自发运动智能化评估系统
CN112842261B (zh) * 2020-12-30 2021-12-28 西安交通大学 一种基于复杂网络的婴儿三维自发运动智能化评估系统
CN112488827A (zh) * 2021-01-13 2021-03-12 润邦汇金金融服务外包(北京)有限公司 一种人工智能检测银行网点风控与管理系统
CN113033526A (zh) * 2021-05-27 2021-06-25 北京欧应信息技术有限公司 基于计算机实现的方法、电子设备和计算机程序产品

Similar Documents

Publication Publication Date Title
CN111709365A (zh) 一种基于卷积神经网络的人体运动姿态自动检测方法
CN111104816B (zh) 一种目标物的姿态识别方法、装置及摄像机
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN107808376B (zh) 一种基于深度学习的举手检测方法
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN109758756B (zh) 基于3d相机的体操视频分析方法及系统
CN103559491A (zh) 人体动作捕获及姿态分析系统
CN112906797A (zh) 一种基于计算机视觉和深度学习的平面抓取检测方法
CN111027432B (zh) 基于步态特征的视觉跟随机器人方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN110991315A (zh) 一种基于深度学习的安全帽佩戴状态实时检测方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN110956141A (zh) 一种基于局部识别的人体连续动作快速分析方法
CN112149553A (zh) 一种考试作弊行为识别方法
CN111178201A (zh) 基于OpenPose姿态检测的人体分段式跟踪方法
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
CN114187664A (zh) 一种基于人工智能的跳绳计数系统
CN111881841B (zh) 一种基于双目视觉的人脸检测识别方法
CN113487570A (zh) 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN112036324A (zh) 一种用于复杂多人场景的人体姿态判定方法及系统
Yongcun et al. Online examination behavior detection system for preschool education professional skills competition based on MTCNN
CN113382304B (zh) 一种基于人工智能技术的视频拼接方法
CN110674751A (zh) 一种基于单目摄像机检测头部姿态的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200925