CN108898119A - 一种弯曲动作识别方法 - Google Patents

Abstract

本发明属于姿势识别领域，具体的说是一种弯曲动作识别方法。该识别方法包括以下步骤：步骤一、弯曲动作范围测算的方法准备；步骤二、判断工作人员弯曲类动作；本发明要求工作人员在指定的位置进行零件的装配或拆卸，当对应骨骼长度低于标准距离时，在竖直XOY平面中，以双脚落脚点作为基点，给定椭圆离心率，根据不同的弯曲动作调整椭圆的双焦点位置获得不同的动作活动区域范围，根据骨骼长度和双膝落点对弯曲动作进行识别。本发明是一种从模特法出发，旨在充分考虑操作人员双脚间距变化，设计出一种通过计算机编程即可对现场操作人员的弯曲类动作进行识别的方法。

Description

一种弯曲动作识别方法

技术领域

本发明属于姿势识别领域，具体的说是一种弯曲动作识别方法。

背景技术

模特值测算方法是根据身体不同部位的表现动作进行时间测定，该方法在车间环境中测试后与MTM-1、MTM-2比较后，效果俱佳，1966年公布后，得到广泛应用，现今依旧被各类制造业企业所采用。弯曲类动作是模特法中的一种动作评价方法，标记时间为B17。该动作记录了从站立状态到弯曲身体、蹲下、单膝触地、双膝触地，然后再返回原状态的整个过程，时间为17MOD。

弯曲类动作现今已有相关研究，专利CN 107783654A讨论了通过人体骨骼坐标构建三个平面的方式对弯曲动作进行自动识别，能够在操作人员正常站立时对弯曲动作进行识别，但是该方法未考虑到如果双脚站立间距出现变动之后，单膝触底和双膝触地再用骨骼长度设置的平面衡量将出现巨大误差，从而限制了应用的范围，另外平面限制是一种宽泛的定义，精确度有待考量。

发明内容

本发明提供了一种从模特法出发，旨在充分考虑操作人员双脚间距变化，设计出一种通过计算机编程即可对现场操作人员的弯曲类动作进行识别的方法，解决专利CN107783654A的不足。

本发明技术方案结合附图说明如下：

一种弯曲动作识别方法，该识别方法包括以下步骤：

步骤一、弯曲动作范围测算的方法准备；具体方法如下：

11)首先要求工作人员在指定的位置进行零件的装配或拆卸的操作动作，保证Kinect V2设备竖直放置，此时需要通过Kinect V2设备捕捉人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；

其中，A₁(x_1,i,y_1,i,z_1,i)表示第i帧肩中心的坐标点，每秒25帧，1帧0.04秒；

A₂(x_2,i,y_2,i,z_2,i)表示第i帧髋关节中心的坐标点，每秒25帧，1帧0.04秒；A₃(x_3,i,y_3,i,z_3,i)表示第i帧左臀的坐标点，每秒25帧，1帧0.04秒；A₄(x_4,i,y_4,i,z_4,i)表示第i帧左膝盖的坐标点，每秒25帧，1帧0.04秒；A₅(x_5,i,y_5,i,z_5,i)表示第i帧右膝盖的坐标点，每秒25帧，1帧0.04秒；A₆(x_6,i,y_6,i,z_6,i)表示第i帧左脚踝的坐标点，每秒25帧，1帧0.04秒；

A₇(x_7,i,y_7,i,z_7,i)表示第i帧右脚踝的坐标点，每秒25帧，1帧0.04秒；A₈(x_8,i,y_8,i,z_8,i)表示第i帧右臀的坐标点，每秒25帧，1帧0.04秒；

12)在范围测定前需要记录i＝1时人体骨骼的长度距离；记录肩中心到髋关节中心的距离髋关节中心到左臀的距离左臀到左膝盖的距离左膝盖到左脚踝的距离设置标准距离1:标准距离2:L₂＝l₃+l₄；

13)当工作人员对应骨骼长度低于标准距离的范围值后，开始进行动作评测，弯曲类动作评测,在竖直XOY平面中，以双脚落脚点作为基点，给定椭圆离心率，范围在到根据不同的弯曲动作调整椭圆的双焦点位置获得不同的动作活动区域范围，根据骨骼长度和双膝落点对弯曲动作进行识别；

采集得到动作评测之后的左脚踝和右脚踝的坐标点A₆(x_6,i,y_6,i,z_6,i)和A₇(x_7,i,y_7,i,z_7,i)；

14)弯曲身体活动范围需要设置两个标准范围，如下：

椭圆标准方程1：椭圆的左焦点为(x_6,i,y_6,i+l₄)，右焦点为(x_7,i,y_7,i+l₄)，椭圆中心点为(h₁,k₁)，离心率取

根据推出可得到椭圆标准方程1为

椭圆标准方程2：椭圆的左焦点为(x_6,i,y_6,i+l₄+l₃)，右焦点为(x_7,i,y_7,i+l₄+l₃)，椭圆中心点为(h₂,k₂)，离心率取

根据推出可得到椭圆标准方程2为

15)蹲下身体活动范围需要设置一个标准范围，如下：

椭圆标准方程3：椭圆的左焦点为(x_6,i,y_6,i+0.4l₄)，右焦点为(x_7,i,y_7,i+0.4l₄)，椭圆中心点为(h₃,k₃)，离心率取

根据推出可得到椭圆标准方程3为

16)单膝触地身体活动范围需要设置两个标准范围，如下：

椭圆标准方程4：椭圆的左焦点为(x_6,i,y_6,i+l₄)，右焦点为(x_7,i,y_7,i)，椭圆中心点为(h₄,k₄)，离心率取

根据推出可得到椭圆标准方程4为

椭圆标准方程5：椭圆的左焦点为(x_6,i,y_6,i)，右焦点为(x_7,i,y_7,i+l₄)，椭圆中心点为(h₅,k₅)离心率取

根据推出可得到椭圆标准方程5为

17)双膝触地身体活动范围需要设置一个标准范围，如下：

椭圆标准方程6：椭圆的左焦点为(x_6,i,y_6,i)，右焦点为(x_7,i,y_7,i)，椭圆中心点为(h₆,k₆)，离心率取

根据推出可得到椭圆标准方程6为

步骤二、判断工作人员弯曲类动作；具体方法如下：

21)采集得到肩中心的坐标点A₁(x_1,i,y_1,i,z_1,i)、左臀的坐标点A₃(x_3,i,y_3,i,z_3,i)、右臀的坐标点A₈(x_8,i,y_8,i,z_8,i)、左膝盖坐标点A₄(x_4,i,y_4,i,z_4,i)、右膝盖坐标点A₅(x_5,i,y_5,i,z_5,i)、左脚踝的坐标点A₆(x_6,i,y_6,i,z_6,i)、右脚踝的坐标点A₇(x_7,i,y_7,i,z_7,i)；每一帧都计算肩中心到左脚踝和右脚踝中心的距离左臀到左脚踝的距离右臀到右脚踝的距离

22)弯腰动作的识别；

判定条件1：首先判定躯体是否弯曲，如果l₅<0.6L₁，且l₆>0.8L₂和l₇>0.8L₂，则认为弯曲，转判定条件2；反之未出现弯曲，继续计算；

判定条件2：接着需要判定左臀和右臀是否在椭圆标准方程1中，当且则认为左臀和右臀在在椭圆标准方程1中，转判定条件3；反之未出现弯曲，转判定条件1；

判定条件3：判断左膝盖和右膝盖是否在椭圆标准方程2中，当且则认为完成弯曲动作，反之未完成，转判定条件1；

23)蹲下和单膝触地动作的识别；

判定条件1：首先判定身躯未弯曲，膝盖弯曲，如果l₅≥0.6L₁，且l₆≤0.8L₂和l₇≤0.8L₂，转判定条件2；反之未达标，继续计算；

判定条件2：接着判定是否是蹲下动作，当且则认为完成蹲下动作，反之未完成蹲下动作，转判定条件3；

判定条件3：继续判定是否为单膝触底，当且则认为完成单膝触地(右膝跪地)，当且则认为完成单膝触地(左膝跪地)，反之未完成单膝触底动作，转判定条件1；

24)双膝触地动作的识别；

判定条件1：首先判定身躯未弯曲，膝盖大幅度弯曲，如果l₅≥0.6L₁，且l₆≤0.3L₂和l₇≤0.3L₂，转判定条件2；反之未达标，继续计算；

判定条件2：接着判定是否是双膝触地，当且则认为完成双膝触地动作，反之未完成，转判定条件2。

本发明的有益效果为：

本发明能对实际工作人员的弯曲动作进行自动识别，从而减少专业人员的工作量，减少人力成本。

附图说明

图1为本发明的骨骼点图；

图2为本发明的骨骼长度示意图；

图3为本发明的弯腰范围示意图；

图4为本发明的蹲下范围示意图；

图5为本发明的单膝触地范围逻辑图。

图6为本发明的双膝触地范围示意图。

具体实施方式

本发明要求工作人员在指定的位置进行零件的装配(拆卸)，当对应骨骼长度低于标准距离时，在竖直XOY平面中，以双脚落脚点作为基点，给定椭圆离心率，根据不同的弯曲动作调整椭圆的双焦点位置获得不同的动作活动区域范围，根据骨骼长度和双膝落点对弯曲动作进行识别。

参阅图1，一种弯曲动作识别方法，该识别方法包括以下步骤：

步骤一、弯曲动作范围测算的方法准备；

首先要求工作人员在指定的位置进行零件的装配(拆卸)等操作动作，保证KinectV2竖直放置，此时需要通过Kinect V2设备捕捉人体25个部位骨骼点数据，如图1所示，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；其中，A₁(x_1,i,y_1,i,z_1,i)表示第i帧肩中心的坐标点，每秒25帧，1帧0.04秒；A₂(x_2,i,y_2,i,z_2,i)表示第i帧髋关节中心的坐标点，每秒25帧，1帧0.04秒；A₃(x_3,i,y_3,i,z_3,i)表示第i帧左臀的坐标点，每秒25帧，1帧0.04秒；A₄(x_4,i,y_4,i,z_4,i)表示第i帧左膝盖的坐标点，每秒25帧，1帧0.04秒；A₅(x_5,i,y_5,i,z_5,i)表示第i帧右膝盖的坐标点，每秒25帧，1帧0.04秒；A₆(x_6,i,y_6,i,z_6,i)表示第i帧左脚踝的坐标点，每秒25帧，1帧0.04秒；A₇(x_7,i,y_7,i,z_7,i)表示第i帧右脚踝的坐标点，每秒25帧，1帧0.04秒；A₈(x_8,i,y_8,i,z_8,i)表示第i帧右臀的坐标点，每秒25帧，1帧0.04秒。

如图2所示，在范围测定前需要记录i＝1时人体骨骼的长度距离。记录肩中心到髋关节中心的距离髋关节中心到左臀的距离左臀到左膝盖的距离左膝盖到左脚踝的距离设置标准距离1:标准距离2:L₂＝l₃+l₄。

当工作人员对应骨骼长度低于标准距离的范围值后，开始进行动作评测，弯曲类动作评测,在竖直XOY平面中，以双脚落脚点作为基点，给定椭圆离心率(范围在到)，根据不同的弯曲动作调整椭圆的双焦点位置获得不同的动作活动区域范围，根据骨骼长度和双膝落点对弯曲动作进行识别。

采集得到动作评测之后的左脚踝和右脚踝的坐标点A₆(x_6,i,y_6,i,z_6,i)和A₇(x_7,i,y_7,i,z_7,i)。

如图3所示，弯曲身体活动范围需要设置两个标准范围，如下。

椭圆标准方程1：椭圆的左焦点为(x_6,i,y_6,i+l₄)，右焦点为(x_7,i,y_7,i+l₄)，椭圆中心点为(h₁,k₁)离心率取

根据推出可得到椭圆标准方程1为

椭圆标准方程2：椭圆的左焦点为(x_6,i,y_6,i+l₄+l₃)，右焦点为(x_7,i,y_7,i+l₄+l₃)，椭圆中心点为(h₂,k₂)离心率取

根据推出可得到椭圆标准方程2为

如图4所示，蹲下身体活动范围需要设置一个标准范围，如下。

椭圆标准方程3：椭圆的左焦点为(x_6,i,y_6,i+0.4l₄)，右焦点为(x_7,i,y_7,i+0.4l₄)，椭圆中心点为(h₃,k₃)离心率取

根据推出可得到椭圆标准方程3为

如图5所示，单膝触地身体活动范围需要设置两个标准范围，如下。

椭圆标准方程4：椭圆的左焦点为(x_6,i,y_6,i+l₄)，右焦点为(x_7,i,y_7,i)，椭圆中心点为(h₄,k₄)离心率取

根据推出可得到椭圆标准方程4为

椭圆标准方程5：椭圆的左焦点为(x_6,i,y_6,i)，右焦点为(x_7,i,y_7,i+l₄)，椭圆中心点为(h₅,k₅)离心率取

根据推出可得到椭圆标准方程5为

如图6所示，双膝触地身体活动范围需要设置一个标准范围，如下。

椭圆标准方程6：椭圆的左焦点为(x_6,i,y_6,i)，右焦点为(x_7,i,y_7,i)，椭圆中心点为(h₆,k₆)离心率取

根据推出可得到椭圆标准方程6为椭圆标准如图3所示。

步骤二、判断工作人员弯曲类动作；

采集得到肩中心的坐标点A₁(x_1,i,y_1,i,z_1,i)、左臀的坐标点A₃(x_3,i,y_3,i,z_3,i)、右臀的坐标点A₈(x_8,i,y_8,i,z_8,i)、左膝盖坐标点A₄(x_4,i,y_4,i,z_4,i)、右膝盖坐标点A₅(x_5,i,y_5,i,z_5,i)、左脚踝的坐标点A₆(x_6,i,y_6,i,z_6,i)、右脚踝的坐标点A₇(x_7,i,y_7,i,z_7,i)。每一帧都计算肩中心到左脚踝和右脚踝中心的距离左臀到左脚踝的距离右臀到右脚踝的距离

(1)弯腰识别

判定条件1：首先判定躯体是否弯曲，如果l₅<0.6L₁，且l₆>0.8L₂和l₇>0.8L₂，则认为弯曲，转判定条件2；反之未出现弯曲，继续计算。

判定条件2：接着需要判定左臀和右臀是否在椭圆标准方程1中，当且则认为左臀和右臀在在椭圆标准方程1中，转判定条件3；反之未出现弯曲，转判定条件1。

判定条件3：判断左膝盖和右膝盖是否在椭圆标准方程2中，当且则认为完成弯曲动作，反之未完成，转判定条件1。

(2)蹲下和单膝触地识别

判定条件1：首先判定身躯未弯曲，膝盖弯曲，如果l₅≥0.6L₁，且l₆≤0.8L₂和l₇≤0.8L₂，转判定条件2；反之未达标，继续计算。

判定条件2：接着判定是否是蹲下动作，当且则认为完成蹲下动作，反之未完成蹲下动作，转判定条件3。

判定条件3：继续判定是否为单膝触底，当且则认为完成单膝触地(右膝跪地)，当且则认为完成单膝触地(左膝跪地)，反之未完成单膝触底动作，转判定条件1。

(3)双膝触地识别

判定条件1：首先判定身躯未弯曲，膝盖大幅度弯曲，如果l₅≥0.6L₁，且l₆≤0.3L₂和l₇≤0.3L₂，转判定条件2；反之未达标，继续计算。

判定条件2：接着判定是否是双膝触地，当且则认为完成双膝触地动作，反之未完成，转判定条件2。

Claims (1)

1.一种弯曲动作识别方法，其特征在于，该识别方法包括以下步骤：

步骤一、弯曲动作范围测算的方法准备；具体方法如下：

11)首先要求工作人员在指定的位置进行零件的装配或拆卸的操作动作，保证KinectV2设备竖直放置，此时需要通过Kinect V2设备捕捉人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；

其中，A₁(x_1,i,y_1,i,z_1,i)表示第i帧肩中心的坐标点，每秒25帧，1帧0.04秒；A₂(x_2,i,y_2,i,z_2,i)表示第i帧髋关节中心的坐标点，每秒25帧，1帧0.04秒；A₃(x_3,i,y_3,i,z_3,i)表示第i帧左臀的坐标点，每秒25帧，1帧0.04秒；A₄(x_4,i,y_4,i,z_4,i)表示第i帧左膝盖的坐标点，每秒25帧，1帧0.04秒；A₅(x_5,i,y_5,i,z_5,i)表示第i帧右膝盖的坐标点，每秒25帧，1帧0.04秒；A₆(x_6,i,y_6,i,z_6,i)表示第i帧左脚踝的坐标点，每秒25帧，1帧0.04秒；A₇(x_7,i,y_7,i,z_7,i)表示第i帧右脚踝的坐标点，每秒25帧，1帧0.04秒；A₈(x_8,i,y_8,i,z_8,i)表示第i帧右臀的坐标点，每秒25帧，1帧0.04秒；

12)在范围测定前需要记录i＝1时人体骨骼的长度距离；记录肩中心到髋关节中心的距离髋关节中心到左臀的距离左臀到左膝盖的距离左膝盖到左脚踝的距离设置标准距离标准距离2:L₂＝l₃+l₄；

13)当工作人员对应骨骼长度低于标准距离的范围值后，开始进行动作评测，弯曲类动作评测,在竖直XOY平面中，以双脚落脚点作为基点，给定椭圆离心率，范围在到根据不同的弯曲动作调整椭圆的双焦点位置获得不同的动作活动区域范围，根据骨骼长度和双膝落点对弯曲动作进行识别；

采集得到动作评测之后的左脚踝和右脚踝的坐标点A₆(x_6,i,y_6,i,z_6,i)和A₇(x_7,i,y_7,i,z_7,i)；

14)弯曲身体活动范围需要设置两个标准范围，如下：

椭圆标准方程1：椭圆的左焦点为(x_6,i,y_6,i+l₄)，右焦点为(x_7,i,y_7,i+l₄)，椭圆中心点为(h₁,k₁)，离心率取

根据推出可得到椭圆标准方程1为

椭圆标准方程2：椭圆的左焦点为(x_6,i,y_6,i+l₄+l₃)，右焦点为(x_7,i,y_7,i+l₄+l₃)，椭圆中心点为(h₂,k₂)，离心率取

根据推出可得到椭圆标准方程2为

15)蹲下身体活动范围需要设置一个标准范围，如下：

椭圆标准方程3：椭圆的左焦点为(x_6,i,y_6,i+0.4l₄)，右焦点为(x_7,i,y_7,i+0.4l₄)，椭圆中心点为(h₃,k₃)，离心率取

根据推出可得到椭圆标准方程3为

16)单膝触地身体活动范围需要设置两个标准范围，如下：

椭圆标准方程4：椭圆的左焦点为(x_6,i,y_6,i+l₄)，右焦点为(x_7,i,y_7,i)，椭圆中心点为(h₄,k₄)，离心率取

根据推出可得到椭圆标准方程4为

椭圆标准方程5：椭圆的左焦点为(x_6,i,y_6,i)，右焦点为(x_7,i,y_7,i+l₄)，椭圆中心点为(h₅,k₅)离心率取

根据推出可得到椭圆标准方程5为

17)双膝触地身体活动范围需要设置一个标准范围，如下：

椭圆标准方程6：椭圆的左焦点为(x_6,i,y_6,i)，右焦点为(x_7,i,y_7,i)，椭圆中心点为(h₆,k₆)，离心率取

根据推出可得到椭圆标准方程6为

步骤二、判断工作人员弯曲类动作；具体方法如下：

21)采集得到肩中心的坐标点A₁(x_1,i,y_1,i,z_1,i)、左臀的坐标点A₃(x_3,i,y_3,i,z_3,i)、右臀的坐标点A₈(x_8,i,y_8,i,z_8,i)、左膝盖坐标点A₄(x_4,i,y_4,i,z_4,i)、右膝盖坐标点A₅(x_5,i,y_5,i,z_5,i)、左脚踝的坐标点A₆(x_6,i,y_6,i,z_6,i)、右脚踝的坐标点A₇(x_7,i,y_7,i,z_7,i)；每一帧都计算肩中心到左脚踝和右脚踝中心的距离左臀到左脚踝的距离右臀到右脚踝的距离

22)弯腰动作的识别；

判定条件1：首先判定躯体是否弯曲，如果l₅<0.6L₁，且l₆>0.8L₂和l₇>0.8L₂，则认为弯曲，转判定条件2；反之未出现弯曲，继续计算；

判定条件2：接着需要判定左臀和右臀是否在椭圆标准方程1中，当且则认为左臀和右臀在在椭圆标准方程1中，转判定条件3；反之未出现弯曲，转判定条件1；

判定条件3：判断左膝盖和右膝盖是否在椭圆标准方程2中，当且则认为完成弯曲动作，反之未完成，转判定条件1；

23)蹲下和单膝触地动作的识别；

判定条件1：首先判定身躯未弯曲，膝盖弯曲，如果l₅≥0.6L₁，且l₆≤0.8L₂和l₇≤0.8L₂，转判定条件2；反之未达标，继续计算；

判定条件2：接着判定是否是蹲下动作，当且则认为完成蹲下动作，反之未完成蹲下动作，转判定条件3；

判定条件3：继续判定是否为单膝触底，当且则认为完成单膝触地(右膝跪地)，当且则认为完成单膝触地(左膝跪地)，反之未完成单膝触底动作，转判定条件1；

24)双膝触地动作的识别；

判定条件1：首先判定身躯未弯曲，膝盖大幅度弯曲，如果l₅≥0.6L₁，且l₆≤0.3L₂和l₇≤0.3L₂，转判定条件2；反之未达标，继续计算；

判定条件2：接着判定是否是双膝触地，当且则认为完成双膝触地动作，反之未完成，转判定条件2。