CN112560817B - 人体动作识别方法、装置、电子设备及存储介质 - Google Patents

人体动作识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112560817B
CN112560817B CN202110194948.5A CN202110194948A CN112560817B CN 112560817 B CN112560817 B CN 112560817B CN 202110194948 A CN202110194948 A CN 202110194948A CN 112560817 B CN112560817 B CN 112560817B
Authority
CN
China
Prior art keywords
array
human body
position relation
video
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110194948.5A
Other languages
English (en)
Other versions
CN112560817A (zh
Inventor
韦洪雷
张健
梁锐
申浩
邹琳
李雪
刘晨
曹礼聪
彭洪霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Lejian Dreamer Technology Co ltd
Southwest Jiaotong University
Original Assignee
Sichuan Lejian Dreamer Technology Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Lejian Dreamer Technology Co ltd, Southwest Jiaotong University filed Critical Sichuan Lejian Dreamer Technology Co ltd
Priority to CN202110194948.5A priority Critical patent/CN112560817B/zh
Publication of CN112560817A publication Critical patent/CN112560817A/zh
Application granted granted Critical
Publication of CN112560817B publication Critical patent/CN112560817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了人体动作识别方法、装置、电子设备及存储介质。人体动作识别方法包括：选择需要识别的人体关键点；针对各关键点对视频帧图像进行区域划分；建立单一目标动作对应的各关键点与区域的位置关系数组作为参考数组；对待测视频连续帧图像中的关键点及各关键点对应的区域进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组作为待测数组；将待测数组与参考数组进行比对，从而判断待测视频连续帧中的人体动作是否为单一目标动作。装置、电子设备及存储介质均在方法的基础上实现。本发明通过建立人体关键点与图像区域之间的位置关系数组，用具体的位置关系数组表征预设的动作，对人体动作进行准确识别。

Description

人体动作识别方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及人体动作识别方法、装置、电子设备及存储介质。
背景技术
动作识别是机器学习对空间事务的理解，其基本流程为：图像获取→特征提取→分类训练→分类决策（即动作识别）；是人工智能技术中的一项重要技术。在基于图像处理技术的人体动作识别技术中，通常会对利用成像设备采集人体动作图像，然后基于人体动作图像进行静态的分类识别。通常人体动作是受到身体结构之间的协调关系的约束、且在时间上连续的行为，每个动作在时间维度上都具有上下文信息，基于静态图像分类识别的动作识别技术难以对这些信息加以利用。现有的动作识别方法在对简单动作的识别上已取得较好的成绩，而对于复杂动作的识别欠缺丰富性，特征信息损失严重，不能完全代表识别目标的整个动作过程。
发明内容
本发明提供了人体动作识别方法、装置、电子设备及存储介质，达到了通过对视频帧进行解析得到对人体动作进行准确识别的效果，通过下述技术方案实现：
一方面，本申请提供了一种人体动作识别方法，包括如下步骤：
T1：选择需要识别的人体关键点，包括m个关键点
Figure 695141DEST_PATH_IMAGE001
；
T2：针对各关键点对视频帧图像进行区域划分，划分为n个区域
Figure 644905DEST_PATH_IMAGE002
；
T3：建立单一目标动作对应的各关键点与区域的位置关系数组（
Figure 283696DEST_PATH_IMAGE003
），作为参考数组，i、j为小于等于n的正整数；
T4：对待测视频连续帧图像中的关键点及各关键点对应的区域进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组（
Figure 741223DEST_PATH_IMAGE004
），作为待测数组，i1、j1为小于等于n的正整数；
T5：将待测数组与参考数组进行比对，从而判断待测视频连续帧中的人体动作是否为单一目标动作。
上述方案通过建立人体关键点与图像区域之间的位置关系数组，用具体的位置关系数组表征预设的动作，对人体动作进行准确识别，解决了现有技术中对于复杂动作的识别欠缺丰富性的技术问题。
在上述方案的基础上，进一步有：
步骤T1中的人体关键点
Figure 617912DEST_PATH_IMAGE005
包括关键点：双/单手、双/单肘、双/单肩、头顶、双/单髋、双/单膝、双/单足中的一个或多个点。
在上述方案的基础上，进一步有：
步骤T1和步骤T2之间还包括步骤T20：计算视频帧图像中的人体身高和四肢长度，选择与其身高和四肢长度预设比例区域大小的图像数据框；步骤T2对步骤T20选定的图像数据框进行进一步处理。
在上述方案的基础上，进一步有：
步骤T2具体包括：针对所有关键点的活动轨迹将视频帧图像划分为等面积或预设面积的n个区域
Figure 4156DEST_PATH_IMAGE006
；
或针对各关键点的活动轨迹分别对视频帧图像进行不同大小且不同数量的区域划分，针对关键点
Figure 67927DEST_PATH_IMAGE007
将视频帧图像划分为区域
Figure 594723DEST_PATH_IMAGE008
，针对关键点
Figure 60340DEST_PATH_IMAGE009
将视频帧图像划分为区域
Figure 788124DEST_PATH_IMAGE010
；v和u为不相关的正整数。
在上述方案的基础上，进一步有：
步骤T3进一步包括：分别建立多个单一目标动作对应的各关键点与区域的位置关系数组作为参考数组库，每个单一目标动作对应一个或多个参考数组。
在上述方案的基础上，进一步有：
步骤T3中的多个单一目标动作根据预设顺序排列得到一个组合目标动作，每个组合目标动作对应一个或多个参考数组序列，参考数组序列包括组合目标动作内依次排列的每个单一目标动作的一个参考数组。
步骤T4进一步包括：对待测视频一段时间内的连续帧图像中的关键点及各关键点对应的区域依次进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组序列，将相邻的连续帧图像中相同的位置关系数组进行合并，得到待测数组序列。
步骤T5进一步包括：将参考数组序列放入待测数组序列中进行比对，参考数组序列从待测数组序列中的第一个位置关系数组开始比对，每比对一次向后移动一个位置关系数组的位置，参考数组序列在待测数组序列中每比对出一组相同序列，则判定待测视频连续帧中的人体动作包含一次组合目标动作；
直到参考数组序列中的最后一个位置关系数组与待测数组序列中的最后一个位置关系数组重合时完成比对；从而判断待测视频连续帧中的人体动作是否包含及包含几次组合目标动作。
在上述方案的基础上，进一步有：
在步骤T3或步骤T4中，若某一关键点处于多区域的邻接处，将该关键点的位置判定为：处于多个邻接区域中距离视频帧图像中心最远的区域。
第二方面，本申请提供了一种人体动作识别装置，包括录像模块和数据分析模块；
所述录像模块：用于获取连续的视频帧图像；
所述数据分析模块：用于对连续的视频帧图像进行人体动作识别，实现上述人体动作识别方法的各个步骤。
第三方面，本申请提供了一种人体动作识别电子设备，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述程序，实现上述人体动作识别方法的各个步骤。
第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现上述人体动作识别方法的各个步骤。
本发明与现有技术相比，具有如下的优点和有益效果：
1.本发明通过建立人体关键点与图像区域之间的位置关系数组，用具体的位置关系数组表征预设的动作，对人体动作进行准确识别。
2.本发明通过针对不同的关键点分别划分图像区域，解决了具体的人体动作各关键点的不同动作尺度的识别精度需求，进一步提高了人体动作识别的准确性。
3.本发明通过设置单一目标动作对应一个或多个位置关系数组，组合动作对应一个或多个位置关系数组序列的方式，降低了人体动作漏识别或错误识别的概率。
附图说明
结合附图，可以得到对本发明实施例的进一步理解，从本发明的权利要求和优选实施例的以下描述可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在附图中：
图1为本发明的逻辑流程图；
图2为图像数据框示意图；
图3为区域划分示意图；
图4为组合动与关键点及所处区域的解析示意图；
图5为实施例3的图像分区示意图；
图6为实施例4的图像分区示意图；
图7为实施例5的图像分区示意图；
图8为实施例5的组合动作变化示意图。
附图标记说明：01-视频帧图像，02-图像数据框，03-左右对称轴，04-人体最大高度中点。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：
如图1所示，在本实施例中，一种人体动作识别方法，包括如下步骤：
T1：选择需要识别的人体关键点，包括关键点：头顶、双手、双肘、双肩、双髋、双膝和双足，共13个点，依次表示为
Figure 840656DEST_PATH_IMAGE011
；
T20：如图2所示，计算视频帧图像01中的人体身高和四肢长度，选择与其身高和四肢长度预设比例区域大小的图像数据框02；所选取的图像数据框02的边长为测试者的身高的1.5倍，且图像数据框02的底边与测试者与地面接触点在图像中的最下位置点相交；测试者人体最大高度中点04位置在图像数据框的左右对称轴03上。
T2：如图3所示，设定图像数据框的面积为
Figure 436723DEST_PATH_IMAGE012
，对图像数据框进行区域划分，划分为等面积的4个区域
Figure 22425DEST_PATH_IMAGE013
；再将区域
Figure 249007DEST_PATH_IMAGE014
分别进一步划分为等面积的4个区域，共16个区域
Figure 225053DEST_PATH_IMAGE015
；各关键点可匹配不同层次的区域位置，此方式在动作分割时更细致与复杂，适合不同关键点数量的多类动作识别。
T3：建立单一目标动作A对应的各关键点与区域的位置关系数组1（
Figure 63958DEST_PATH_IMAGE016
Figure 504167DEST_PATH_IMAGE017
）和
位置关系数组2（
Figure 698388DEST_PATH_IMAGE018
Figure 224047DEST_PATH_IMAGE019
）作为参考数组；
单一目标动作B对应的各关键点与区域的位置关系数组3（
Figure 866643DEST_PATH_IMAGE020
Figure 426938DEST_PATH_IMAGE021
）和
位置关系数组4（
Figure 933005DEST_PATH_IMAGE022
Figure 477119DEST_PATH_IMAGE023
）作为参考数组；
若某一关键点处于多区域的邻接处，将该关键点的位置判定为：处于多个邻接区域中距离视频帧图像中心最远的区域；
组合目标动作C由单一目标动作A和单一目标动作B排列组成，组合目标动作C对应4个参考数组序列，包括位置关系数组1+位置关系数组3、位置关系数组1+位置关系数组4、位置关系数组2+位置关系数组3、位置关系数组2+位置关系数组4。
T4：对待测图像数据框中的关键点及各关键点对应的区域进行识别，得到待测图像数据框的各关键点与区域的位置关系数组（
Figure 156362DEST_PATH_IMAGE024
），作为待测数组，
Figure 977688DEST_PATH_IMAGE025
为4个区域
Figure 280755DEST_PATH_IMAGE013
或16个区域
Figure 515427DEST_PATH_IMAGE026
中的任意一个区域；对待测视频一段时间内的连续帧图像中的关键点及各关键点对应的区域依次进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组序列，将相邻的连续帧图像中相同的位置关系数组进行合并，得到待测数组序列。
T5：将待测数组与参考数组进行比对，从而判断待测视频连续帧中的人体动作是否为单一目标动作；
将参考数组序列放入待测数组序列中进行比对，参考数组序列从待测数组序列中的第一个位置关系数组开始比对，每比对一次向后移动一个位置关系数组的位置，参考数组序列在待测数组序列中每比对出一组相同序列，则判定待测视频连续帧中的人体动作包含一次组合目标动作；
直到参考数组序列中的最后一个位置关系数组与待测数组序列中的最后一个位置关系数组重合时完成比对；从而判断待测视频连续帧中的人体动作是否包含及包含几次组合目标动作。
为了进一步实现本发明的目的，本发明还提出了第二个实施例。
实施例2：
在实施例1的基础上，在步骤T2中，针对关键点
Figure 670465DEST_PATH_IMAGE027
将图像数据框划分为区域
Figure 939773DEST_PATH_IMAGE028
，在步骤T4中，对待测视频一段时间内的连续帧图像中的关键点及各关键点对应的区域依次进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组序列，将相邻的连续帧图像中相同的位置关系数组进行合并，得到待测数组序列；即，连续动作时，各个关键点会经过一到多个所对应划分的区域。逐帧识别关键点的位置，当存在任意关键点所对应划分的区域位置变化时，进行一个动作的划分，则可以按照时间顺序完整识别出连续动作中的全部单一目标动作。实际表现出来为一连串的坐标点位。如图4所示，当
Figure 912277DEST_PATH_IMAGE029
或
Figure 135710DEST_PATH_IMAGE030
的位置区域变化时，进行动作划分，如图所示情况可划分为9个具体单一目标动作。其待测位置关系数组序列为
Figure 94439DEST_PATH_IMAGE031
Figure 952673DEST_PATH_IMAGE032
Figure 96079DEST_PATH_IMAGE033
。
在步骤T5中将组合动作1+2+3的参考数组序列，即
Figure 305343DEST_PATH_IMAGE034
，放入待测数组序列中进行比对，参考数组序列从待测数组序列中的第一个位置关系数组开始比对，每比对一次向后移动一个位置关系数组的位置，参考数组序列在待测数组序列中每比对出一组相同序列，则判定待测视频连续帧中的人体动作包含一次组合目标动作；
直到参考数组序列中的最后一个位置关系数组与待测数组序列中的最后一个位置关系数组重合时完成比对；从而判断待测视频连续帧中的人体动作是否包含及包含几次组合目标动作。则在图4所解析出的位置关系数组序列中可检测出2组该组合动作。
为了进一步实现本发明的目的，本发明还提出了第三个实施例。
实施例3：
如图5所示，本实施例提供了一种关键点保持区域不变的单一目标动作：平板支撑的动作识别案例。
平板支撑的动作要领为“俯卧，双肘弯曲支撑在地面上，肩膀和肘关节垂直于地面，双脚踩地，身体离开地面，躯干伸直，头部、肩部、胯部和踝部保持在同一平面”,故所选取的关键点为“脚尖、脚跟、膝盖、髋部、肩部、肘部、手掌”共14个关键点，以单侧为例则可识别到7个关键点，依次定义为K1~K7。
所选取的区域可以进行如图5-1的划分，在图5-1的区域划分下，会多出较多相对平板支撑作动无意义区域，故进行如图5-2的区域划分简化；而在图5-2区域划分下部分区域划分过大影响动作识别的准确性，如S6区域，当膝盖触地时与不触地时均在S6区域；进行如图5-3区域划分优化，即区域划分按照所有关键点无区别的进行面积差异性划分。
根据平板支撑的动作要领，定义单一目标动作平板支撑的关键点与区域对应的位置关系数组为：（K1S6,K2S5,K3S2,K4S3,K5S4,K6S8,K7S9），作为参考数组。
对待测视频连续帧图像中的关键点及各关键点对应的区域进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组作为待测数组，将待测数组与参考数组（K1S6,K2S5,K3S2,K4S3,K5S4,K6S8,K7S9）进行比对，匹配到即完成平板支撑的单一目标动作识别。
为了进一步实现本发明的目的，本发明还提出了第四个实施例。
实施例4：
如图6所示，本实施例提供了一种关键点多个区域变化的组合动作：弹力带臂屈伸的动作识别案例。
弹力带臂屈伸动作要领为：脚掌踩实弹力带，双手过顶握紧弹力带，手臂用力向上伸直肘，故需要识别的关键点有“左肩、右肩、左肘、右肘、左手、右手”6个关键点，依次定为K1~K6，所选取的区域可以进行如图6-1的划分。
根据弹力带臂屈伸的动作要领，定义单一目标动作弹力带臂屈伸初始动作对应的位置关系数组1为：（K1S6,K2S7,K3S3,K4S5,K5S5,K6S4），单一目标动作弹力带臂屈伸结束动作对应的位置关系数组2为：（K1S6,K2S7,K3S3,K4S5,K5S2,K6S2）；
组合动作弹力带臂屈伸对应的单一目标动作序列为位置关系数组1（图6-1）+位置关系数组2（图6-2）+位置关系数组1（图6-3），作为参考数组序列，即{（K1S6,K2S7,K3S3,K4S5,K5S5,K6S4）（K1S6,K2S7,K3S3,K4S5,K5S2,K6S2）（K1S6,K2S7,K3S3,K4S5,K5S5,K6S4）}。
对待测视频一段时间内的连续帧图像中的关键点及各关键点对应的区域依次进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组序列，将相邻的连续帧图像中相同的位置关系数组进行合并，得到待测数组序列。
将组合动作弹力带臂屈伸对应的参考数组序列：位置关系数组1+位置关系数组2+位置关系数组1，即{（K1S6,K2S7,K3S3,K4S5,K5S5,K6S4）（K1S6,K2S7,K3S3,K4S5,K5S2,K6S2）（K1S6,K2S7,K3S3,K4S5,K5S5,K6S4）}放入待测数组序列中进行比对，比对时从第一个位置关系数组开始，依次后移一个位置关系数组，直到参考数组序列中的最后一个位置关系数组与待测数组序列中的最后一个位置关系数组位置重合，匹配到即完成一次弹力带臂屈伸的组合动作识别。
为了进一步实现本发明的目的，本发明还提出了第五个实施例。
实施例5：
如图7所示，本实施例提供了一种多个关键点多区域变划的组合动作：俯身交替收腿的动作识别案例。
俯身交替收腿动作要领为：提膝向上尽量靠近胸部、腹部持续紧张、手臂自然伸直垂直地面，故需要识别的关键点有“左脚尖、右脚尖、左脚跟、右脚跟、左膝、右膝、左髋部、右髋部、左肩部、右肩部、左肘部、右肘部、左手掌、右手掌”共14个关键点，如图7-1依次定义为K1~K14。所选取的区域可以进行如图7-2的划分。
定义单一目标动作俯身交替收腿动作初始与结束动作对应的位置关系数组1为：（K1S9,K2S9,K3S5,K4S5,K5S2,K6S2,K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）；
定义单一目标动作俯身交替收腿动作右腿动作1对应的位置关系数组2为：（K1S9,K2S9,K3S5,K4S5,K5S2,K6S6,K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）；
定义单一目标动作俯身交替收腿动作右腿动作2对应的位置关系数组3为：（K1S9,K2S9,K3S5,K4S5,K5S2,K6S7,K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）；
定义单一目标动作俯身交替收腿动作右腿动作3对应的位置关系数组4为：（K1S9,K2S10,K3S5,K4S6,K5S2,K6S7,K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）；
组合动作俯身交替收腿动作右腿动作对应的单一目标动作序列为：位置关系数组1+位置关系数组2+位置关系数组3+位置关系数组4+位置关系数组3+位置关系数组2+位置关系数组1；如图8所示，即：
{（K1S9,K2S9,K3S5,K4S5,K5S2,K6S2,K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）；（K1S9,K2S9,K3S5,K4S5,K5S2,K6S6,K7S3,K8S3,K9S4,
K10S4,K11S7,K12S7,K13S12,K14S12）；（K1S9,K2S9,K3S5,K4S5,K5S2,K6S7,
K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）；（K1S9,K2S10,K3S5,
K4S6,K5S2,K6S7,K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）（K1S9,K2S9,K3S5,K4S5,K5S2,K6S7,K7S3,K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）；（K1S9,K2S9,K3S5,K4S5,K5S2,K6S6,K7S3,K8S3,K9S4,K10S4,
K11S7,K12S7,K13S12,K14S12）；（K1S9,K2S9,K3S5,K4S5,K5S2,K6S2,K7S3,
K8S3,K9S4,K10S4,K11S7,K12S7,K13S12,K14S12）}
同理建立组合动作俯身交替收腿动作左腿动作对应的单一目标动作序列。
对待测视频一段时间内的连续帧图像中的关键点及各关键点对应的区域依次进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组序列，将相邻的连续帧图像中相同的位置关系数组进行合并，得到待测数组序列。
将组合动作俯身交替收腿动作右腿动作或组合动作俯身交替收腿动作左腿动作对应的参考数组序列放入待测数组序列中进行比对，比对时从第一个位置关系数组开始，依次后移一个位置关系数组，直到参考数组序列中的最后一个位置关系数组与待测数组序列中的最后一个位置关系数组位置重合，匹配到即完成一次俯身交替收腿的组合动作识别。
为了进一步实现本发明的目的，本发明还提出了第六个实施例。
实施例6：
本实施例提供了一种人体动作识别装置，包括录像模块和数据分析模块；
所述录像模块：用于获取连续的视频帧图像；
所述数据分析模块：用于对连续的视频帧图像进行人体动作识别，实现实施例1-5所述的人体动作识别方法的各个步骤。
本实施例提供了一种人体动作识别电子设备，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述程序，实现实施例1-5所述的人体动作识别方法的各个步骤。
本实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1-5所述的人体动作识别方法的各个步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种人体动作识别方法，其特征在于，包括如下步骤：
T1：选择需要识别的人体关键点；
T2：针对各关键点的活动轨迹对视频帧图像进行区域划分，划分为多个区域；
T3：建立单一目标动作对应的各关键点与各关键点在T2中对应的区域的位置关系数组作为参考数组；
T4：对待测视频连续帧图像中的关键点及各关键点对应的区域进行识别，得到待测视频连续帧图像的各关键点与各关键点实际落在T2中划分的区域内的位置关系数组作为待测数组；
T5：将待测数组与参考数组进行比对，从而判断待测视频连续帧中的人体动作是否为单一目标动作。
2.根据权利要求1所述的一种人体动作识别方法，其特征在于，步骤T1中的人体关键点包括：双/单手、双/单肘、双/单肩、头顶、双/单髋、双/单膝、双/单足中的一个或多个点。
3.根据权利要求1所述的一种人体动作识别方法，其特征在于，步骤T1和步骤T2之间还包括步骤T20：计算视频帧图像中的人体身高和四肢长度，选择与其身高和四肢长度预设比例区域大小的图像数据框；步骤T2对步骤T20选定的图像数据框进行进一步处理。
4.根据权利要求1所述的一种人体动作识别方法，其特征在于，步骤T2具体包括：针对所有关键点的活动轨迹将视频帧图像划分为等面积或预设面积的多个区域。
5.根据权利要求1所述的一种人体动作识别方法，其特征在于，步骤T2具体包括：针对各关键点的活动轨迹分别对视频帧图像进行不同大小且不同数量的区域划分。
6.根据权利要求1所述的一种人体动作识别方法，其特征在于，步骤T3进一步包括：分别建立多个单一目标动作对应的各关键点与区域的位置关系数组作为参考数组库，每个单一目标动作对应一个或多个参考数组。
7.根据权利要求6所述的一种人体动作识别方法，其特征在于，步骤T3中的多个单一目标动作根据预设顺序排列得到一个组合目标动作，每个组合目标动作对应一个或多个参考数组序列，参考数组序列包括组合目标动作内依次排列的每个单一目标动作的一个参考数组。
8.根据权利要求7所述的一种人体动作识别方法，其特征在于，步骤T4进一步包括：对待测视频一段时间内的连续帧图像中的关键点及各关键点对应的区域依次进行识别，得到待测视频连续帧图像的各关键点与区域的位置关系数组序列，将相邻的连续帧图像中相同的位置关系数组进行合并，得到待测数组序列。
9.根据权利要求8所述的一种人体动作识别方法，其特征在于，步骤T5进一步包括：将参考数组序列放入待测数组序列中进行比对，参考数组序列从待测数组序列中的第一个位置关系数组开始比对，每比对一次向后移动一个位置关系数组的位置，参考数组序列在待测数组序列中每比对出一组相同序列，则判定待测视频连续帧中的人体动作包含一次组合目标动作；
直到参考数组序列中的最后一个位置关系数组与待测数组序列中的最后一个位置关系数组重合时完成比对；从而判断待测视频连续帧中的人体动作是否包含及包含几次组合目标动作。
10.根据权利要求1所述的一种人体动作识别方法，其特征在于，在步骤T3或步骤T4中，若某一关键点处于多区域的邻接处，将该关键点的位置判定为：处于多个邻接区域中距离视频帧图像中心最远的区域。
11.一种人体动作识别装置，其特征在于，包括录像模块和数据分析模块；
所述录像模块：用于获取连续的视频帧图像；
所述数据分析模块：用于对连续的视频帧图像进行人体动作识别，实现如权利要求1-10中任一项所述的人体动作识别方法的各个步骤。
12.一种人体动作识别电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述程序，实现如权利要求1-10中任一项所述的人体动作识别方法的各个步骤。
13.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-10中任一项所述的人体动作识别方法的各个步骤。
CN202110194948.5A 2021-02-22 2021-02-22 人体动作识别方法、装置、电子设备及存储介质 Active CN112560817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110194948.5A CN112560817B (zh) 2021-02-22 2021-02-22 人体动作识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110194948.5A CN112560817B (zh) 2021-02-22 2021-02-22 人体动作识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112560817A CN112560817A (zh) 2021-03-26
CN112560817B true CN112560817B (zh) 2021-07-06

Family

ID=75034442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110194948.5A Active CN112560817B (zh) 2021-02-22 2021-02-22 人体动作识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112560817B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673356A (zh) * 2021-07-26 2021-11-19 浙江大华技术股份有限公司 行为识别方法、存储介质及计算机设备
CN113780253B (zh) * 2021-11-12 2022-02-18 佛山科学技术学院 一种人体关节运动关键点识别方法及系统
CN113989944B (zh) * 2021-12-28 2022-04-08 北京瑞莱智慧科技有限公司 操作动作识别方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317386A (zh) * 2014-06-25 2015-01-28 西南科技大学 一种姿势序列有限状态机动作识别方法
CN104616028A (zh) * 2014-10-14 2015-05-13 北京中科盘古科技发展有限公司 基于空间分割学习的人体肢体姿势动作识别方法
CN105608467A (zh) * 2015-12-16 2016-05-25 西北工业大学 基于Kinect的无接触式学生体质测评方法
CN108108699A (zh) * 2017-12-25 2018-06-01 重庆邮电大学 融合深度神经网络模型和二进制哈希的人体动作识别方法
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法
CN111275031A (zh) * 2020-05-07 2020-06-12 西南交通大学 基于人体关键点的平板支撑检测方法、装置、设备及介质
CN111814587A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 人体行为检测方法、教师行为检测方法及相关系统和装置
CN112052809A (zh) * 2020-09-10 2020-12-08 四川创客知佳科技有限公司 基于智慧园区的设施监控保护方法
CN112237730A (zh) * 2019-07-17 2021-01-19 腾讯科技（深圳）有限公司 健身动作纠正方法及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063721B (zh) * 2014-07-04 2017-06-16 中国科学院自动化研究所 一种基于语义特征自动学习与筛选的人类行为识别方法
WO2018113911A1 (en) * 2016-12-20 2018-06-28 Softkinetic Software Distance-independent keypoint detection
CN110309768B (zh) * 2019-06-28 2020-11-20 上海眼控科技股份有限公司 车检工位的工作人员检测方法及设备
CN112287868B (zh) * 2020-11-10 2021-07-13 上海依图网络科技有限公司 一种人体动作识别方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317386A (zh) * 2014-06-25 2015-01-28 西南科技大学 一种姿势序列有限状态机动作识别方法
CN104616028A (zh) * 2014-10-14 2015-05-13 北京中科盘古科技发展有限公司 基于空间分割学习的人体肢体姿势动作识别方法
CN105608467A (zh) * 2015-12-16 2016-05-25 西北工业大学 基于Kinect的无接触式学生体质测评方法
CN108108699A (zh) * 2017-12-25 2018-06-01 重庆邮电大学 融合深度神经网络模型和二进制哈希的人体动作识别方法
CN112237730A (zh) * 2019-07-17 2021-01-19 腾讯科技（深圳）有限公司 健身动作纠正方法及电子设备
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法
CN111275031A (zh) * 2020-05-07 2020-06-12 西南交通大学 基于人体关键点的平板支撑检测方法、装置、设备及介质
CN111814587A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 人体行为检测方法、教师行为检测方法及相关系统和装置
CN112052809A (zh) * 2020-09-10 2020-12-08 四川创客知佳科技有限公司 基于智慧园区的设施监控保护方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A Review on Human Activity Recognition Using Vision-Based Method;Shugang Zhang 等;《Journal of Healthcare Engineering》;20170720;第1-32页 *
DB-LSTM: Densely-connected Bi-directional LSTM for human action recognition;Jun-Yan He 等;《Neurocomputing》;20201125;第1-13页 *
一种人体动作分类的局部描述方法;魏英姿 等;《电子世界》;20201115;第102-104页 *
一种优化动作特征表示的动作姿态评测模型;王婧 等;《西安工程大学学报》;20191012;第33卷(第5期);第562-567页 *
基于视频的人体动作识别算法综述;黄晴晴 等;《计算机应用研究》;20191226;第37卷(第11期);第3213-3219页 *
基于骨架信息的人体动作识别与实时交互技术;张继凯 等;《内蒙古科技大学学报》;20200915;第39卷(第3期);第266-272页 *
基于骨骼关节点投影特征的人体行为识别方法;黄潇逸;《现代计算机》;20191225;第3-7页 *

Also Published As

Publication number Publication date
CN112560817A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112560817B (zh) 人体动作识别方法、装置、电子设备及存储介质
CN110969114B (zh) 一种人体动作功能检测系统、检测方法及检测仪
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
Shi et al. Recognition of finger flexion motion from ultrasound image: A feasibility study
CN109753891A (zh) 基于人体关键点检测的足球运动员姿势校准方法及系统
CN112970074A (zh) 身体活动量化和监测
CN111883229B (zh) 一种基于视觉ai的智能运动指导方法及系统
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
WO2017161733A1 (zh) 通过电视和体感配件进行康复训练及系统
CN105975934A (zh) 一种用于增强现实辅助维修的动态手势识别方法及系统
CN101533528A (zh) 基于模块分段线性模型的光学运动捕捉数据处理方法
CN112800892B (zh) 一种基于openpose的人体姿态识别方法
CN109753868A (zh) 运动动作的评估方法及装置、智能手环
Vox et al. Recognition of human motion exercises using skeleton data and SVM for rehabilitative purposes
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
Ong et al. Investigation of feature extraction for unsupervised learning in human activity detection
CN115035037A (zh) 一种基于图像处理和多特征融合的肢体康复训练方法及系统
CN113368487A (zh) 基于OpenPose的3D私人健身系统及其工作方法
CN117653084A (zh) 利用步态评估脊柱侧弯康复状态的方法
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN116343325A (zh) 一种居家健身智能辅助系统
CN111210424B (zh) 一种骨龄x光片rus骨块近轮廓点定位方法
Chang et al. iFitness: A Deep Learning-Based Physical Fitness Motion Detection System for Elderly People
CN109886123B (zh) 一种识别人体动作的方法及终端
Zaher et al. A framework for assessing physical rehabilitation exercises

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant