CN110309722B - 基于动作热点图的体育运动视频动作识别方法 - Google Patents

基于动作热点图的体育运动视频动作识别方法 Download PDF

Info

Publication number
CN110309722B
CN110309722B CN201910476493.9A CN201910476493A CN110309722B CN 110309722 B CN110309722 B CN 110309722B CN 201910476493 A CN201910476493 A CN 201910476493A CN 110309722 B CN110309722 B CN 110309722B
Authority
CN
China
Prior art keywords
point
image
elbow
shoulder
knee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910476493.9A
Other languages
English (en)
Other versions
CN110309722A (zh
Inventor
高一伦
傅博
邢程頔
王相海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Houren Technology Co ltd
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN201910476493.9A priority Critical patent/CN110309722B/zh
Publication of CN110309722A publication Critical patent/CN110309722A/zh
Application granted granted Critical
Publication of CN110309722B publication Critical patent/CN110309722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种基于动作热点图的体育运动视频动作识别方法，通过Kinect技术获取每1秒中前5帧图像，首先得到各组第一帧图像的骨架图，再通过一组中的后续几帧图像合并得到该组的动作热点图，对动作热点图的运动距离进行计算，将计算结果与标准库进行比对分析，可以识别一段视频的动作是否标准，对非标准动作进行标记并存储。本发明即具有视频图像处理的实时性，又具有良好的可操作性与准确的分析结果。

Description

基于动作热点图的体育运动视频动作识别方法
技术领域
本发明涉及一种体育运动动作识别方法，有时一种实时、准确的基于动作热点图的体育运动视频动作识别方法。
背景技术
随着人们生活质量不断提高，人们会跟随各种标准健身视频而健身，但是由于没有专业教练的现场指导，身体常因动作不标准而造成伤害，轻到肌肉拉伤，重到骨折。因此，需要对体育运动的动作是否标准进行识别，以及时发现非标准动作，进而纠正。现有的识别方法大致分为两种：一种是针对图像识别，优点是精确，缺点是无法针对一段视频进行处理，实时性差；另一种是针对视频进行识别，但大多是对每一帧的图像与标准图像进行对比，优点是能够实时处理图像，缺点是对于视频中的重复动作，容易造成对错帧的现象，准确性差。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种实时、准确的基于动作热点图的体育运动视频动作识别方法。
本发明的技术解决方案是：一种基于动作热点图的体育运动视频动作识别方法，其特征在于依次按照如下步骤进行：
步骤1：设备初始化；
步骤2：每隔一秒自动取前5帧图像为一组，共取n组图像，所述n为正整数；
步骤3：对每一组图像的每1帧调用微软Kinect for windows SDK2.0中的get_BodyCount()函数，获得每1帧图像中人体头、颈、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝、右脚踝及臀部所在位置的点坐标；
步骤4：将每一组第1帧图像传输到PC机，分别对图像中头部点与颈部点，颈部点与左肩点，左肩点与左手肘点，左手肘点与左手腕点，颈部点与右肩点，右肩点与右手肘点，右手肘点与右手腕点，颈部点与臀部点，臀部点与右膝盖点，右膝盖点与右脚踝点，臀部点与左膝盖点，左膝盖点与左脚踝点依次连线，生成骨架图，记为Ske_Imagei，所述i=1，2，3，4……n；
步骤5：分别按照坐标将每一组后续4帧图像中人体头、颈、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝、右脚踝及臀部的绘制到Ske_Imagei中得到动作热点图，记为Act_Imagei，所述i=1，2，3，4……n；
步骤 6：对标准动作的录像中的相应帧按照步骤2、3、4和步骤5的方法，生成与Ske_Imagei对应的标准骨架图，记为Sta_Ske_Imagei，所述i=1，2，3，4……n；
步骤7：对Sta_Ske_Imagei按照步骤5的方法得到动作热点图Sta_Act_Imagei，所述i=1，2，3，4……n；
步骤8：从i=1开始，将动作热点图Act_Imagei+1与Act_Imagei的相应点进行计算欧氏距离，所述点为头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝及右脚踝，分别记为Sp_1,Sp_2,…Sp_11；
步骤9：求Act_Imagei中的点连线与Sta_Act_Imagei的点连线的比值，所述点连线为头部点与颈部点，颈部点与左肩点，颈部点与右肩点，左肩点与左手肘点，右肩点与右手肘点，左手肘点与左手腕点，右肩点与右手肘点，臀部点与左膝盖点，臀部点与右膝盖点，左膝盖点与左脚踝点及右膝盖点与右脚踝点连线，点连线的比值分别记为X1，X2，X3……X11；
步骤10：将Sp_1与X1相乘得到S1，将Sp_2与X2相乘得到S2，将Sp_3与X3相乘得到S3，将Sp_4与X4相乘得到S4，将Sp_5与X5相乘得到S5，将Sp_6与X6相乘得到S6，将Sp_7与X7相乘得到S7，将Sp_8与X8相乘得到S8，将Sp_9与X9相乘得到S9，将Sp_10与X10相乘得到S10，将Sp_11与X11相乘得到S11，将S1,S2,…S11依次记录到一个数组中作为动作评价判定标准，记为Act_Array；
步骤 11：按步骤8的方法对Sta_Act_Imagei处理，得到的欧氏距离依次记为St_1,St_2,…St_11，并生成一个数组Sta_Array；
步骤12：将Act_Array与Sta_Array每个相应元素分别求其比值，如果得到的比值在[0.75,1.25]范围内判定为标准动作，否则，判定为非标准动作并存储；
步骤13：将i加1，重复步骤步骤8~12，直至最后n组图像处理完毕。
本发明通过Kinect技术获取每1秒中前5帧图像，首先得到各组第一帧图像的骨架图，再通过一组中的后续几帧图像合并得到该组的动作热点图，对动作热点图的运动距离进行计算，将计算结果与标准库进行比对分析，可以识别一段视频的动作是否标准，对非标准动作进行标记并存储。本发明即具有视频图像处理的实时性，又具有良好的可操作性与准确的分析结果。
附图说明
图1 本发明实施例测试动作第1帧图像。
图2 本发明实施例测试动作第5帧图像。
图3 本发明实施例测试动作第1帧图像的骨架图。
图4 本发明实施例测试动作第1帧到第5帧动作热点图。
图5 本发明实施例标准动作第1帧到第5帧动作热点图。
具体实施方式
本发明的一种基于动作热点图的体育运动视频动作识别方法，依次按照如下步骤进行：
步骤1：Kinect摄像头等设备初始化；
步骤2：控制Kinect摄像头每隔1秒自动取广播体操中体侧运动的前5帧图像为一组,共取n组图像，所述n为正整数；
步骤3：对每一组5帧图像的每1帧图像（图1为第一帧、图5为第5帧），调用微软Kinect for windows SDK2.0中的get_BodyCount()函数，获得图像中人体头、颈、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝、右脚踝及臀部所在位置的点坐标；
步骤4：将每一组第1帧图像（如图1所示）传输到PC机，分别对图像中头部点与颈部点，颈部点与左肩点，左肩点与左手肘点，左手肘点与左手腕点，颈部点与右肩点，右肩点与右手肘点，右手肘点与右手腕点，颈部点与臀部点，臀部点与右膝盖点，右膝盖点与右脚踝点，臀部点与左膝盖点，左膝盖点与左脚踝点依次连线，生成如图3所示骨架图，记为Ske_Imagei，所述i=1，2，3，4……n，
步骤5：分别按照坐标将每一组后续4帧图像中人体头、颈、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝、右脚踝及臀部的绘制到Ske_Imagei中得到如图4所示动作热点图，记为Act_Imagei，所述i=1，2，3，4……n；
步骤 6：对标准动作的录像中的相应帧按照步骤2、3、4和步骤5的方法，生成与Ske_Imagei对应的标准骨架图，记为Sta_Ske_Imagei，所述i=1，2，3，4……n；
步骤7：对Sta_Ske_Imagei按照步骤5的方法得到如图5所示的动作热点图Sta_Act_Imagei，所述i=1，2，3，4……n；
步骤8：从i=1开始，将动作热点图Act_Imagei+1与Act_Imagei的相应点进行计算欧氏距离，所述点为头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝及右脚踝，分别记为Sp_1,Sp_2,…Sp_11；
步骤9：求Act_Imagei中的点连线与Sta_Act_Imagei的点连线的比值，所述点连线为头部点与颈部点，颈部点与左肩点，颈部点与右肩点，左肩点与左手肘点，右肩点与右手肘点，左手肘点与左手腕点，右肩点与右手肘点，臀部点与左膝盖点，臀部点与右膝盖点，左膝盖点与左脚踝点及右膝盖点与右脚踝点连线，点连线的比值分别记为X1，X2，X3……X11；
步骤10：将Sp_1与X1相乘得到S1，将Sp_2与X2相乘得到S2，将Sp_3与X3相乘得到S3，将Sp_4与X4相乘得到S4，将Sp_5与X5相乘得到S5，将Sp_6与X6相乘得到S6，将Sp_7与X7相乘得到S7，将Sp_8与X8相乘得到S8，将Sp_9与X9相乘得到S9，将Sp_10与X10相乘得到S10，将Sp_11与X11相乘得到S11，将S1,S2,…S11依次记录到一个数组中作为动作评价判定标准，记为Act_Array；
步骤 11：按步骤8的方法对Sta_Act_Imagei处理，得到的欧氏距离依次记为St_1,St_2,…St_11，并生成一个数组Sta_Array；
步骤12：将Act_Array与Sta_Array每个相应元素分别求其比值，得到的比例为分别为0.77、0.89、0.98、0.88、0.98、0.78、1.11、1.20、0.87、0.82、1.02，均在[0.75,1.25]范围内，则判定为标准动作，否则，判定为非标准动作并存储；
步骤13：将i加1，重复步骤步骤8~12，直至最后n组图像处理完毕。

Claims (1)

1.一种基于动作热点图的体育运动视频动作识别方法，其特征在于依次按照如下步骤进行：
步骤1：设备初始化；
步骤2：每隔一秒自动取前5帧图像为一组，共取n组图像，所述n为正整数；
步骤3：对每一组图像的每1帧调用微软Kinect for windows SDK2.0中的get_BodyCount()函数，获得每1帧图像中人体头、颈、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝、右脚踝及臀部所在位置的点坐标；
步骤4：将每一组第1帧图像传输到PC机，分别对图像中头部点与颈部点，颈部点与左肩点，左肩点与左手肘点，左手肘点与左手腕点，颈部点与右肩点，右肩点与右手肘点，右手肘点与右手腕点，颈部点与臀部点，臀部点与右膝盖点，右膝盖点与右脚踝点，臀部点与左膝盖点，左膝盖点与左脚踝点依次连线，生成骨架图，记为Ske_Imagei，所述i=1，2，3，4……n；
步骤5：分别按照坐标将每一组后续4帧图像中人体头、颈、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝、右脚踝及臀部的绘制到Ske_Imagei中得到动作热点图，记为Act_Imagei，所述i=1，2，3，4……n；
步骤 6：对标准动作的录像中的相应帧按照步骤2、3、4和步骤5的方法，生成与Ske_Imagei对应的标准骨架图，记为Sta_Ske_Imagei，所述i=1，2，3，4……n；
步骤7：对Sta_Ske_Imagei按照步骤5的方法得到动作热点图Sta_Act_Imagei，所述i=1，2，3，4……n；
步骤8：从i=1开始，将动作热点图Act_Imagei+1与Act_Imagei的相应点进行计算欧氏距离，所述点为头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左膝盖、右膝盖、左脚踝及右脚踝，分别记为Sp_1,Sp_2,…Sp_11；
步骤9：求Act_Imagei中的点连线与Sta_Act_Imagei的点连线的比值，所述点连线为头部点与颈部点，颈部点与左肩点，颈部点与右肩点，左肩点与左手肘点，右肩点与右手肘点，左手肘点与左手腕点，右肩点与右手肘点，臀部点与左膝盖点，臀部点与右膝盖点，左膝盖点与左脚踝点及右膝盖点与右脚踝点连线，点连线的比值分别记为X1，X2，X3……X 11；
步骤10：将Sp_1与X1相乘得到S1，将Sp_2与X2相乘得到S2，将Sp_3与X3相乘得到S3，将Sp_4与X4相乘得到S4，将Sp_5与X5相乘得到S5，将Sp_6与X6相乘得到S6，将Sp_7与X7相乘得到S7，将Sp_8与X8相乘得到S8，将Sp_9与X9相乘得到S9，将Sp_10与X10相乘得到S10，将Sp_11与X11相乘得到S11，将S1,S2,…S11依次记录到一个数组中作为动作评价判定标准，记为Act_Array；
步骤 11：按步骤8的方法对Sta_Act_Imagei处理，得到的欧氏距离依次记为St_1,St_2,…St_11，并生成一个数组Sta_Array；
步骤12：将Act_Array与Sta_Array每个相应元素分别求其比值，如果得到的比值在[0.75,1.25]范围内判定为标准动作，否则，判定为非标准动作并存储；
步骤13：将i加1，重复步骤步骤8~12，直至最后n组图像处理完毕。
CN201910476493.9A 2019-06-03 2019-06-03 基于动作热点图的体育运动视频动作识别方法 Active CN110309722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910476493.9A CN110309722B (zh) 2019-06-03 2019-06-03 基于动作热点图的体育运动视频动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910476493.9A CN110309722B (zh) 2019-06-03 2019-06-03 基于动作热点图的体育运动视频动作识别方法

Publications (2)

Publication Number Publication Date
CN110309722A CN110309722A (zh) 2019-10-08
CN110309722B true CN110309722B (zh) 2023-04-18

Family

ID=68075057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910476493.9A Active CN110309722B (zh) 2019-06-03 2019-06-03 基于动作热点图的体育运动视频动作识别方法

Country Status (1)

Country Link
CN (1) CN110309722B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126143A (zh) * 2019-11-20 2020-05-08 北京健康有益科技有限公司 一种基于深度学习的运动评判指导方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251078A (ja) * 1998-12-22 2000-09-14 Atr Media Integration & Communications Res Lab 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
CN104123530A (zh) * 2013-04-27 2014-10-29 西门子(深圳)磁共振有限公司 受检对象姿势检测设备、方法和磁共振成像系统
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108721870A (zh) * 2018-01-23 2018-11-02 吉林大学 一种基于虚拟环境的运动训练评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251078A (ja) * 1998-12-22 2000-09-14 Atr Media Integration & Communications Res Lab 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
CN104123530A (zh) * 2013-04-27 2014-10-29 西门子(深圳)磁共振有限公司 受检对象姿势检测设备、方法和磁共振成像系统
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108721870A (zh) * 2018-01-23 2018-11-02 吉林大学 一种基于虚拟环境的运动训练评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. Yan.Spatial temporal graph convolutional networks for skeleton-based action recognition.《Thirty-Second AAAI Conference on Artificial Intelligence》.2018,全文. *
宋传鸣.小波域视频运动估计研究进展.《计算机学报》.2005,第第28卷卷(第第28卷期),全文. *

Also Published As

Publication number Publication date
CN110309722A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN109815907B (zh) 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
US20230298383A1 (en) Spoofing detection device, spoofing detection method, and recording medium
US9154739B1 (en) Physical training assistant system
Rishan et al. Infinity yoga tutor: Yoga posture detection and correction system
CN110448870A (zh) 一种人体姿态训练方法
Gritai et al. On the use of anthropometry in the invariant analysis of human actions
WO2019221081A1 (ja) 作業分析装置および作業分析方法
CN111437583A (zh) 一种基于Kinect的羽毛球基本动作辅助训练系统
JPWO2014042121A1 (ja) 動作評価装置及びそのプログラム
JP6362085B2 (ja) 画像認識システム、画像認識方法およびプログラム
US20150347717A1 (en) Hybrid personal training system and method
CN110751100A (zh) 一种体育场馆辅助训练方法与系统
CN112464915B (zh) 一种基于人体骨骼点检测的俯卧撑计数方法
CN110309722B (zh) 基于动作热点图的体育运动视频动作识别方法
CN115482580A (zh) 一种基于机器视觉骨骼追踪术的多人评测系统
CN114783001A (zh) 游泳姿态评估方法、系统、装置及计算机可读存储介质
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
CN115227234A (zh) 一种基于摄像头的心肺复苏按压动作评估方法与系统
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN116129524A (zh) 一种基于红外图像的姿态自动识别系统和方法
CN117333932A (zh) 基于机器视觉识别肌少症的方法、装备、设备以及介质
CN116189301A (zh) 一种基于姿态估计的立定跳远动作规范性评估方法
CN114360052A (zh) 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统
CN112818801B (zh) 运动计数方法、识别装置、识别系统及存储介质
JP3098276B2 (ja) 表情認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231120

Address after: Room 2401, 2402, 2403, 2407, 24/F, Building B, No. 6, Yiyang Road, Qixianling, High-tech Industrial Park, Dalian, Liaoning, 116000

Patentee after: Dalian Houren Technology Co.,Ltd.

Address before: No. 116500, Shahekou Road, Dalian City, Liaoning Province

Patentee before: LIAONING NORMAL University