CN115240247A - 一种用于进行动作和姿态检测的识别方法及系统 - Google Patents

Abstract

本申请公开了一种用于进行动作和姿态检测的识别方法，包括：实时采集人体图像信息或是接收来自移动端的人体图像信息；根据所述人体图像信息进行目标对象面部关键点检测和身体关键点检测；所述人体图像信息为图片时，根据图片自动生成评价基准线，根据评价基准线对目标对象进行静态检测；所述人体图像信息为视频时，根据目标对象在视频中完成待测项指定动作过程中，目标关键点位置的变化趋势以及与目标关键点相关联的关联关键点的随动变化，对目标对象的目标关键点进行动态检测。本申请不仅可以实现现场检测，还能通过检测者发来的视频和图片完成动作和姿态检测；并能消除人在做动作时容易出现的肌肉代偿情况，使得检测结果更加准确。

Description

一种用于进行动作和姿态检测的识别方法及系统

技术领域

本申请涉及计算机技术领域，特别涉及一种用于进行动作和姿态检测的识别方法及系统。

背景技术

不良的站姿不管是在形体外貌上，还是在生理健康方面，都会对人体产生消极的影响。但随着现代生活方式的转变，电脑、手机等设备的普及，站立、坐下时具有驼背等不良姿势的人群在不断壮大。而且，人很难自己对自己的姿势进行判断或纠正，所以便捷准确检测出人体姿势是一个很大的难题。

现有的检测系统大多采用现场检测分析的方式，检测者需要到专门的机构进行检测，十分不便；加之正常情况下，检测者在执行指定动作时，应达到除待测项所涉及的相关身体关节活动，而其他无关关节不活动，但实际上，人在做动作时，或多或少会出现肌肉代偿的情况，且身体运动能力受损的人群代偿情况更为明显。如果忽略肌肉代偿直接根据检测结果对检测者进行姿态判断，则容易出现检测结果与实际身体状况的较大偏差，失去了检测的意义。

发明内容

本申请的目的在于解决现有技术中需要现场检测给检测者带来的不便，提供一种通过视频和图片即可完成动作和姿态检测的检测系统和方法。

本发明通过以下技术措施来实现的：一种用于进行动作和姿态检测的识别系统，包括：实时采集人体图像信息或是接收来自移动端的人体图像信息；根据所述人体图像信息进行目标对象面部关键点检测和身体关键点检测；所述人体图像信息为图片时，根据图片自动生成评价基准线，根据评价基准线对目标对象进行静态检测；所述人体图像信息为视频时，根据目标对象在视频中完成待测项指定动作过程中，目标关键点位置的变化趋势以及与目标关键点相关联的关联关键点的随动变化，对目标对象的目标关键点进行动态检测；所述目标关键点为面部关键点和身体关键点中的部分关键点。

作为优选，将所述人体图像信息输入人体关键点检测模型获得面部关键点和身体关键点。

作为优选，所述对目标对象进行动态检测，包括：根据目标关键点定义与其相关的关联关键点，每个关键点通过三维坐标进行定位；将每一帧中目标关键点和关联关键点进行顺序连接，绘制得到多张目标关键点和关联关键点的连线，其中，连线至少包括目标关键点沿两个不同方向的线段，提取目标关键点处连线形成的夹角，得到夹角集合ρ＝{ρ₁，ρ₂，...，ρ_i}，其中i为视频帧数；在既定时长内确定夹角的最大值ρ_max和最小值ρ_min，ρ_max＝max{ρ₁，ρ₂，...，ρ_i}，ρ_min＝min{ρ₁，ρ₂，...，ρ_i},即得到目标关键点的关节活动度检测结果,活动范围在ρ_min～ρ_max。

作为优选，所述动态检测的目标关键点包括肩、肘、腕、颈、胸、骶、髋、膝以及踝处的关节活动度检测。

作为优选，所述对目标对象进行静态检测，包括：提取图片中的目标关键点，按预设的连接顺序进行目标关键点的连接，获得关键点连接线，将关键点连接线与自动生成的评价基准线进行对比，获得静态检测结果。

作为优选，所述静态检测包括长短腿测试、肢体倾斜检测、头颈与脊椎弯曲检测及头颈与脊椎侧弯检测。

作为优选，动态检测时，视频画面中每一帧中的目标关键点生成一个数据列表，所述数据列表中包括所述目标关键点的三维坐标值、时间戳以及GRAY值，n为面部关键点检测和身体关键点的总个数，即一帧画面可形成n个数据列表集合的字典；最终形成由m组数据列表集合的字典，m为视频的总帧数，通过识别出的字典中关联关键点数据列表的变化，根据关联关键点的变化幅度对检测结果进行修正。

作为优选，所述面部关键点包括鼻子、左眼内眼角、左眼瞳孔、左眼外眼角、右眼内眼角、右眼瞳孔、右眼外眼角、左耳、右耳、左嘴角以及右嘴角；身体关键点包括左肩、右肩、左肘、右肘、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左脚跟、右脚跟、左脚尖以及右脚尖。

本申请还公开了一种用于进行动作和姿态检测的识别系统，用于实现所述的识别方法，包括：人体图像信息获取单元；判断单元，用于判断所述人体图像信息为图片还是视频；静态检测单元，用于当所述人体图像信息为图片时，根据图片自动生成评价基准线，根据评价基准线对目标对象进行静态检测；动态检测单元，用于当所述人体图像信息为视频时，根据目标对象在视频中完成待测项指定动作过程中，目标关键点位置的变化趋势以及与目标关键点相关联的关联关键点的随动变化，对目标对象的目标关键点进行动态检测。

本申请的有益效果：(1)本申请不仅可以实现现场检测，还能通过检测者发来的视频和图片完成动作和姿态检测，使得检测者可以更方便地完成检测，而无需跑到专门的机构排队检测，省时省力，更加便捷；(2)本申请不仅可完成静态检测还能根据目标关键点的关节活动度完成动态检测；(3)本申请通过对其他关键点随目标关键点的坐标变化的分析，识别出目标关键点的关联关键点，监测关联数据列表中由目标对象完成待测项指定动作引起的关联关键点坐标的变化幅度，根据所述变化幅度修正检测结果，以此来消除人在做动作时容易出现的肌肉代偿情况，使得检测结果更加准确。

附图说明

附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。在附图中：

图1为动作和姿态检测的识别方法框图；

图2为动作和姿态检测的识别系统框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

一种用于进行动作和姿态检测的识别方法，用于检测目标对象的动作检测，如图1所示，包括：

S11,实时采集人体图像信息或是接收来自移动端的人体图像信息；

测试者可以在手机摄像头或是摄像机前录制好完成待测项指定动作的视频，或是拍摄特定姿势的照片，发送到识别系统的人体图像信息获取单元；也可以在识别系统的人体图像信息获取单元(包括摄像装置)前完成指定动作或姿势的实时采集。具体地，针对实时采集，测试环境包括检测区域、位于检测区域前方的双目摄像头以及与双目摄像头连接的识别系统。预先获取大批量的人体数据，经过处理后进行机器学习，得到人体关键点检测模型。当目标对象进图检测区域时，调用人体关键点检测模型进行人体面部关键点和身体关键点检测。同理，针对来自移动端的视频信息，将其输入人体关键点检测模型，调用人体关键点检测模型进行人体面部关键点和身体关键点检测。每个画面中每个关键点对应一组三维数据，包括长度方向、高度方向以及深度方向上的坐标值，以Ci(xi,yi,zi)表示。

S12,根据所述人体图像信息进行目标对象面部关键点检测和身体关键点检测；

将所述人体图像信息输入人体关键点检测模型，常见的人体关键点检测模型有PoseNet、openpose、mediapipe模型。本实施例中，采用现行用于获取人体关键点的常用模型——PoseNet模型，根据PoseNet模型获得面部关键点和身体关键点。其中，面部关键点包括鼻子、左眼内眼角、左眼瞳孔、左眼外眼角、右眼内眼角、右眼瞳孔、右眼外眼角、左耳、右耳、左嘴角以及右嘴角；身体关键点包括左肩、右肩、左肘、右肘、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左脚跟、右脚跟、左脚尖以及右脚尖。在本实施例中分别以表1中序号表示：

表1

S13,所述人体图像信息为图片时，根据图片自动生成评价基准线，根据评价基准线对目标对象进行静态检测。

这里采用人体静态姿势检测模型：首先，获取人体不同姿势图像并对图像进行姿态标注，生成样本集，样本集拆分为训练集和测试集；识别训练集和测试集中人体姿势样本图像中的关节点，并将识别出的关节点进行连接，得到人体姿势样本图像的关节线；根据训练集中人体姿势样本图像的关节线和标注信息，进行训练得到人体姿势检测初始模型；基于随机梯度下降法，根据测试集中人体姿势样本图像的关节线，对人体姿势检测初始模型进行测试，以得到人体静态姿势检测模型。静态检测包括长短腿测试、肢体倾斜检测、头颈与脊椎弯曲检测及头颈与脊椎侧弯检测。

进一步地，对目标对象进行静态检测，包括：提取图片中的目标关键点，按预设的连接顺序进行目标关键点的连接，获得关键点连接线，将关键点连接线与对应的评价基准线进行对比，获得静态检测结果。需要说明的是，生成评价基准线是图像识别中的常用手段。

以“头颈与脊椎弯曲检测”为例，目标关键点为鼻子C1、左肩C12、右肩C13三处，需获取鼻子C1、左肩C12、右肩C13的身体关键点数据C1(x1,y1,z1)、C12(x12,y12,z12)、C13(x13,y13,z13)，进一步计算获得左右肩连线中心点位置C0(x0,y0,z0)，将鼻子C1和左右肩连线中心点C0连线，得到与人体垂直中线的相对夹角A，即为目标检测结果，头颈与脊椎弯曲角度A。

此外，长短腿测试的目标关键点包括左髋C18、左膝C20、左脚踝C22、右髋C19、右膝C21以及右脚踝C23，通过身体两侧髋膝踝连线长度的对比，识别是否存在长短腿。肢体倾斜检测的目标关键点包括左耳C8、右耳C9、左肩C12、右肩C13、左髋C18、右髋C19、左膝C20以及右膝C21，通过双耳、双肩、双髋、双膝关键点连接与水平线夹角的检测，识别肢体的倾斜程度。头颈与脊椎侧弯检测通过正面头颈肩连线与人体垂直中线的夹角，识别头颈与脊椎的侧弯程度。

S14,所述人体图像信息为视频时，根据目标对象在视频中完成待测项指定动作过程中，目标关键点位置的变化趋势以及与目标关键点相关联的关联关键点的随动变化，对目标对象的目标关键点进行动态检测；所述目标关键点为面部关键点和身体关键点中的部分关键点。

其中，动态检测包括肩、肘、腕、颈、胸、骶、髋、膝以及踝关节的关节活动度检测，节活动度检测，包括外展、内收、外旋、内旋等等。本实施例中所指目标关键点指的是表1所列举的27个关键点中的部分或全部关键点。

进一步地，对目标对象进行动态检测，包括：

(11)根据目标关键点定义与其相关的关联关键点，每个关键点通过三维坐标进行定位。具体地，动态检测时，视频画面中每一帧中的目标关键点生成一个数据列表，所述数据列表中包括所述目标关键点的三维坐标值、时间戳以及GRAY值，n为面部关键点检测和身体关键点的总个数，即一帧画面可形成n个数据列表集合的字典。最终形成由m组数据列表集合的字典，m为视频的总帧数。进行动态检测时，每个目标关键点动作时涉及到的关联关键点至少包括2个。

(12)将每一帧中目标关键点和关联关键点进行顺序连接，绘制得到多张目标关键点和关联关键点的连线，其中，连线至少包括目标关键点沿两个不同方向的线段，提取目标关键点处连线形成的夹角，得到夹角集合ρ＝{ρ₁，ρ₂，...，ρ_i}，其中i为视频帧数。

(13)在既定时长内确定夹角的最大值ρ_max和最小值ρ_min，ρ_max＝max{ρ₁，ρ₂，...，ρ_i}，ρ_min＝min{ρ₁，ρ₂，...，ρ_i},即得到目标关键点的关节活动度检测结果,活动范围在ρ_min～ρ_max。

以“右肩关节活动度检测”为例，目标关键点为右肩，根据预先的矩阵图分析，得到关联关键点为右肘、右髋。获取右肩C13、右肘C15、右髋C19的身体关键点数据C13(x13,y13,z13)、C15(x15,y15,z15)、C19(x19,y19,z19)，将右肩C13和右肘C15两点相连、右肩C13和右髋C19两点相连，得到右肩关节活动夹角B。假设既定时长为90s，每秒30帧画面，则可获得目标对象在检测过程中的2700个画面，即可得到右肩关节活动夹角ρ(0-2699)的数集，筛选确定右肩关节活动夹角ρ_min和ρ_max，即为目标检测结果右肩关节活动度范围ρ_min～ρ_max。

(14)通过识别出的字典中关联关键点数据列表的变化，根据关联关键点的变化对检测结果进行修正。监测关联数据列表中由目标对象完成待测项指定动作引起的关联关键点坐标的变化幅度，根据所述变化幅度修正检测结果。

值得注意的是，正常情况下，目标对象在执行指定动作时，应达到除待测项所涉及的相关身体关键点活动，而其他无关关键点不活动，但实际上，人在做动作时，或多或少会出现肌肉代偿的情况，且身体运动能力受损的人群代偿情况更为明显。因此，提取目标关键点的同时，需关注与目标关键点关联的关联关键点的变化，根据关联关键点的变化对检测结果进行修正。

仍以“右肩关节活动度检测”为例，理想状态下，肩关节活动时，其他关节为静止状态，而运动能力受损或较弱的人群易出现髋关节肌肉代偿现象，故增加获取右膝C21的身体关键点数据C21(x21,y21,z21),进一步得到肩髋连线C13C19与髋膝C19C21连线的夹角D，当监测到夹角D发生变化时，主动修正到待测项的目标检测结果右肩关节活动度活动度范围中。如右肩关节活动度范围ρ_min～ρ_max为0～180°，髋关节代偿夹角D为20°，则该用户的右肩关节活动度范围ρ_min～ρ_max为0～160°。

一种用于进行动作和姿态检测的识别系统，用于实现上述的识别方法，如图2所示，包括：人体图像信息获取单元100；判断单元200，用于判断所述人体图像信息为图片还是视频；静态检测单元300，用于当所述人体图像信息为图片时，根据图片自动生成评价基准线，根据评价基准线对目标对象进行静态检测；动态检测单元400，用于当所述人体图像信息为视频时，根据目标对象在视频中完成待测项指定动作过程中，目标关键点位置的变化趋势以及与目标关键点相关联的关联关键点的随动变化，对目标对象的目标关键点进行动态检测。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种用于进行动作和姿态检测的识别方法，其特征在于，包括：

实时采集人体图像信息或是接收来自移动端的人体图像信息；

根据所述人体图像信息进行目标对象面部关键点检测和身体关键点检测；

所述人体图像信息为图片时，根据图片自动生成评价基准线，根据评价基准线对目标对象进行静态检测；

所述人体图像信息为视频时，根据目标对象在视频中完成待测项指定动作过程中，目标关键点位置的变化趋势以及与目标关键点相关联的关联关键点的随动变化，对目标对象的目标关键点进行动态检测；所述目标关键点为面部关键点和身体关键点中的部分关键点。

2.根据权利要求1所述的一种用于进行动作和姿态检测的识别方法，其特征在于，将所述人体图像信息输入人体关键点检测模型获得面部关键点和身体关键点。

3.根据权利要求1所述的一种用于进行动作和姿态检测的识别方法，其特征在于，所述对目标对象进行动态检测，包括：

根据目标关键点定义与其相关的关联关键点，每个关键点通过三维坐标进行定位；

将每一帧中目标关键点和关联关键点进行顺序连接，绘制得到多张目标关键点和关联关键点的连线，其中，连线至少包括目标关键点沿两个不同方向的线段，提取目标关键点处连线形成的夹角，得到夹角集合ρ＝{ρ₁，ρ₂，…，ρ_i}，其中i为视频帧数

在既定时长内确定夹角的最大值ρ_max和最小值ρ_min，ρ_max＝max{ρ₁，ρ₂，…，ρ_i}，ρ_min＝min{ρ₁，ρ₂，…，ρ_i}，即得到目标关键点的关节活动度检测结果，活动范围在ρ_min～ρ_max。

4.根据权利要求3所述的一种用于进行动作和姿态检测的识别方法，其特征在于，所述动态检测的目标关键点包括肩、肘、腕、颈、胸、骶、髋、膝以及踝处的关节活动度检测。

5.根据权利要求3所述的一种用于进行动作和姿态检测的识别方法，其特征在于，动态检测时，视频画面中每一帧中的目标关键点生成一个数据列表，所述数据列表中包括所述目标关键点的三维坐标值、时间戳以及GRAY值，n为面部关键点检测和身体关键点的总个数，即一帧画面可形成n个数据列表集合的字典；最终形成由m组数据列表集合的字典，m为视频的总帧数，通过识别出的字典中关联关键点数据列表的变化，根据关联关键点的变化幅度对检测结果进行修正。

6.根据权利要求1所述的一种用于进行动作和姿态检测的识别方法，其特征在于，所述对目标对象进行静态检测，包括：

提取图片中的目标关键点，按预设的连接顺序进行目标关键点的连接，获得关键点连接线，将关键点连接线与自动生成的评价基准线进行对比，获得静态检测结果。

7.根据权利要求6所述的一种用于进行动作和姿态检测的识别方法，其特征在于，所述静态检测包括长短腿测试、肢体倾斜检测、头颈与脊椎弯曲检测及头颈与脊椎侧弯检测。

8.根据权利要求1所述的一种用于进行动作和姿态检测的识别方法，其特征在于，所述面部关键点包括鼻子、左眼内眼角、左眼瞳孔、左眼外眼角、右眼内眼角、右眼瞳孔、右眼外眼角、左耳、右耳、左嘴角以及右嘴角；身体关键点包括左肩、右肩、左肘、右肘、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝、左脚跟、右脚跟、左脚尖以及右脚尖。

9.一种用于进行动作和姿态检测的识别系统，用于实现权利要求1-8任一所述的识别方法，其特征在于，包括：

人体图像信息获取单元；

判断单元，用于判断所述人体图像信息为图片还是视频；

静态检测单元，用于当所述人体图像信息为图片时，根据图片自动生成评价基准线，根据评价基准线对目标对象进行静态检测；

动态检测单元，用于当所述人体图像信息为视频时，根据目标对象在视频中完成待测项指定动作过程中，目标关键点位置的变化趋势以及与目标关键点相关联的关联关键点的随动变化，对目标对象的目标关键点进行动态检测。

Images