CN110852135B - 一种拆卸动作识别方法 - Google Patents

Abstract

本发明属于体感交互领域，具体的说是一种在装配中对拆卸动作进行自动识别的拆卸动作识别方法。本发明利用Kinect V2设备采集人体骨骼数据，通过角度和距离对抓取动作判定、拆卸状态、啮合程度、操作难易程度进行综合判定，最终根据拆卸标准时间表得到拆卸标准时间，再加上可能出现的握住物件动作(G2)和加压动作(AP1)得到本次操作的最终时间的拆卸动作识别方法，填补了当前该技术上的空白。

Description

一种拆卸动作识别方法

技术领域

本发明属于体感交互领域，具体的说是一种在装配中对拆卸动作进行自动识别的拆卸动作识别方法。

背景技术

MTM是今日世界上应用最为广泛的预定时间方法，由此成为跨国公司所属各个单位的一种统一的生产过程计划与效率规范。英文全称为Method-Time-Measurement，中文翻译为时间测量方法，它是一种描述操作过程的方法，以编码的组合反映工作方法，并可以得出唯一的时间值，以此作为某项工作的手工操作标准，并树立改善的方向。它可以用来设计工作系统，如工作台，生产线，操作过程(方法)，也可以用来改善工作系统。

拆离两啮合之物体时，两相接合物件必定有摩擦力或分开时必有回跳现象发生，称为拆卸。拆卸需要考虑两个变动因素。分别是啮合程度A和操作难易程度B。啮合程度分为3级，分别为放松、紧密和紧固状态；操作难易程度分为操作容易和操作困难。

拆卸动作只包括应用力量至物件及回跳移动的距离所需时间。如需在拆卸的过程中重新握住物体或需应用额外力量，就称为卡住情形。如果是放松配合，将不存在卡住现象；如果是紧密配合，每出现一次卡住现象，需重新握住该物件，此时需要加上G2动作；如果是紧固配合，每出现一次卡住现象，就需要重新握住物件进行加压动作，加上AP2。

发明内容

本发明提供了一种用Kinect V2设备采集人.体骨骼数据，通过角度和距离对抓取动作判定、拆卸状态、啮合程度、操作难易程度进行综合判定，最终根据拆卸标准时间表得到拆卸标准时间，再加上可能出现的握住物件动作(G2)和加压动作(AP1)得到本次操作的最终时间的拆卸动作识别方法，填补了当前该技术上的空白。

本发明技术方案结合附图说明如下：

一种拆卸动作识别方法，该识别方法包括以下步骤：

步骤一、利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指A₁(x_1,i,y_1,i,z_1,i)、右拇指A₂(x_2,i,y_2,i,z_2,i)、左指尖A₃(x_3,i,y_3,i,z_3,i)、右指尖A₄(x_4,i,y_4,i,z_4,i)、左手A₅(x_5,i,y_5,i,z_5,i)、右手A₆(x_6,i,y_6,i,z_6,i)、左手腕A₇(x_7,i,y_7,i,z_7,i)、右手腕A₈(x_8,i,y_8,i,z_8,i)、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；其中A₁(x_1,i,y_1,i,z_1,i)表示第i帧的左拇指点的坐标点，1秒25帧；A₂(x_2,i,y_2,i,z_2,i)表示第i帧的右拇指点的坐标点，1秒25帧；A₃(x_3,i,y_3,i,z_3,i)表示第i帧的左指尖点的坐标点，1秒25帧；A₄(x_4,i,y_4,i,z_4,i)表示第i帧的右指尖点的坐标点，1秒25帧；A₅(x_5,i,y_5,i,z_5,i)表示第i帧的左手点的坐标点，1秒25帧；A₆(x_6,i,y_6,i,z_6,i)表示第i帧的右手点的坐标点，1秒25帧；A₇(x_7,i,y_7,i,z_7,i)表示第i帧的左手腕点的坐标点，1秒25帧；A₈(x_8,i,y_8,i,z_8,i)表示第i帧的右手腕点的坐标点，1秒25帧；

步骤二、抓取动作判定；

抓取动作需要根据手部的弯曲程度和指尖与拇指的距离判定；具体如下：

以左手为例，此时左手至左拇指向量

左手至左指尖向量

夹角

左指尖与左手的距离

条件1：当θ₁小于15°转条件2；

条件2：开始计算左指尖与左拇指的距离

当

认为完成抓取动作；

右手的抓取动作判定如左手；如果任意左手或右手完成抓取动作，记录此时刻i＝n₁，转步骤三；

步骤三、拆卸状态判定；

拆卸的单双手操作状态会影响啮合程度和操作难易程度判定，本步骤将根据双手的抓取情况、双手中心点的距离和双手移动情况来判断，如果判定不是双手拆卸，即为单手拆卸；

双手拆卸判定需要得到左指尖到左拇指的中心点

右指尖到右拇指的中心点

计算中心B_1,i与B_2,i的距离

条件1：左手和右手均完成抓取动作，转条件2；

条件2：取n₁帧到n₁+74帧的l_3,i，求得均值

标准差

当标准差σ₁≤3时，认为双手间距未产生变动，转条件3；

条件3：分别计算左指尖和右指尖在n₁帧到n₁+74帧中的偏移距离

和

当L₂>5cm且L₃>5cm，条件3符合，认为现在是双手拆卸状态；如果不满足以上判定条件就认为是单手拆卸；

步骤四、啮合程度判定；

步骤三中如果为双手拆卸，啮合程度将以左手的相关骨骼点进行啮合程度判定，如果是单手拆卸，即使用拆卸手的相关骨骼点进行判定；

以左手相关骨骼点为例进行啮合程度判定；

啮合程度分为放松、紧密和紧固状态，从n₁帧开始，左手就在进行拆卸动作，已知左指尖到左拇指的中心点

需求得中心点B_1,i第i帧到第i+1帧的向量

简化方程

判定过程1：持续计算

当θ_2,i+2＜50°，认为未发生反动作，此时如果左手满足放手判定，且判定后10帧θ_2,i+2均满足θ_2,i+2＜50°，记录此时刻i＝n₂，中止识别，此时j＝0、k＝0，认为啮合程度放松，拆卸过程无明显反动动作，拆卸后，左手自然脱离；此时j>0、k＝0，认为啮合程度紧固，拆卸过程G2动作次数为j次；此时k>0，认为啮合程度紧密，拆卸过程G2动作次数为j次，AP1动作次数为k次；当出现θ_2,i+2≥50°，认为发生反动作，转判定过程2；θ_2,i+2表示抓取过程中左指尖到左拇指的中心点3个连续点组成的两个向量的夹角，如果反向运动，夹角必大于50°，j用于记录握住物件动作G2，k用于记录加压动作AP1；

判定过程2：当出现θ_2,i+2＜50°，说明反动作结束，

当l₄＜10cm，认为啮合程度放松；当l₄∈[10cm,13cm]，认为啮合程度紧固，j＝j+1，初始j为0；当l₄∈(13cm,30cm]，认为啮合程度紧密，k＝k+1，初始k为0；转条件1；

右手啮合程度判定同左手；

步骤五、操作难易程度判定；

操作的难易程度分为操作容易和操作困难，单手拆卸将根据方案1进行识别，双手拆卸根据方案2进行识别；拆卸的放手判定满足条件1、2任意一条即可；条件1：当θ₁大于15°；条件2：

方案1、单手拆卸，以左手为例；

过程1：记录从开始时刻n₁到结束时刻n₂完成抓取和放手动作时，记录左手腕到左手的向量

m指抓取动作和放手的总和，转过程2；

过程2：计算过程1中其它向量与第一次抓取记录向量的夹角，求得最大夹角为

当大于D₁≤45°，说明不需要改变手对物体最初握持位置，认为操作容易；当大于D₁>45°，说明需要调整对物件的握持位置，认为操作困难；

方案2、双手拆卸；

过程1：记录从开始时刻n₁到结束时刻n₂完成抓取和放手动作时，记录左手腕到左手的向量

m指左手抓取动作和左手放手的总和，右手腕到右手的向量

l指右手抓取动作和右手放手的总和；左指尖到左拇指的中心点

右指尖到右拇指的中心点

左手完成抓取和放手动作时，记录向量

过程2：计算过程1中其它向量与第一次抓取记录向量的夹角，求得最大夹角为

D₄＝max{D₁,D₂,D₃}，当大于D₄≤45°，说明不需要改变手对物体最初握持位置，认为操作容易；当大于D₄>45°，说明需要调整对物件的握持位置，认为操作困难；

步骤六、MTM标准时间测算；

根据啮合程度和操作难易程度，对照拆卸动作时间标准表即可得到拆卸动作的标准时间E；与此同时，还需要加上拆卸过程中可能出现的握住物件动作即G2和加压动作即AP1，拆卸动作的具体标准时间为E+j×G2+k×AP1。

本发明的有益效果为：本发明能将拆卸动作设计成计算机能够接受的数学方法，从而减少专业人员的工作量，减少人力成本。当前领域暂未有相关技术研究，本方法提供一种技术方案填补当前空白。

附图说明

图1为本发明的骨骼关节点分布示意图；

图2为本发明的抓取向量、距离示意图；

图3为本发明的双手中心点及距离示意图。

具体实施方式

一种拆卸动作识别方法，该识别方法包括以下步骤：

参阅图1，步骤一、利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指A₁(x_1,i,y_1,i,z_1,i)、右拇指A₂(x_2,i,y_2,i,z_2,i)、左指尖A₃(x_3,i,y_3,i,z_3,i)、右指尖A₄(x_4,i,y_4,i,z_4,i)、左手A₅(x_5,i,y_5,i,z_5,i)、右手A₆(x_6,i,y_6,i,z_6,i)、左手腕A₇(x_7,i,y_7,i,z_7,i)、右手腕A₈(x_8,i,y_8,i,z_8,i)、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；其中A₁(x_1,i,y_1,i,z_1,i)表示第i帧的左拇指点的坐标点，1秒25帧；A₂(x_2,i,y_2,i,z_2,i)表示第i帧的右拇指点的坐标点，1秒25帧；A₃(x_3,i,y_3,i,z_3,i)表示第i帧的左指尖点的坐标点，1秒25帧；A₄(x_4,i,y_4,i,z_4,i)表示第i帧的右指尖点的坐标点，1秒25帧；A₅(x_5,i,y_5,i,z_5,i)表示第i帧的左手点的坐标点，1秒25帧；A₆(x_6,i,y_6,i,z_6,i)表示第i帧的右手点的坐标点，1秒25帧；A₇(x_7,i,y_7,i,z_7,i)表示第i帧的左手腕点的坐标点，1秒25帧；A₈(x_8,i,y_8,i,z_8,i)表示第i帧的右手腕点的坐标点，1秒25帧；

拆卸动作的识别过程需要经历抓取动作判定、拆卸状态判定(单手或双手)、啮合程度判定、操作难易程度判定和MTM标准时间测算。

步骤二、抓取动作判定；

抓取动作需要根据手部的弯曲程度和指尖与拇指的距离判定；具体如下：

参阅图2，以左手为例，此时左手至左拇指向量

左手至左指尖向量

夹角

左指尖与左手的距离

条件1：当θ₁小于15°转条件2；

条件2：开始计算左指尖与左拇指的距离

当

认为完成抓取动作；

右手的抓取动作判定如左手；如果任意左手或右手完成抓取动作，记录此时刻i＝n₁，转步骤三；

步骤三、拆卸状态判定；

拆卸的单双手操作状态会影响啮合程度和操作难易程度判定，本步骤将根据双手的抓取情况、双手中心点的距离和双手移动情况来判断，如果判定不是双手拆卸，即为单手拆卸；

参阅图3，双手拆卸判定需要得到左指尖到左拇指的中心点

右指尖到右拇指的中心点

计算中心B_1,i与B_2,i的距离

条件1：左手和右手均完成抓取动作，转条件2；

条件2：取n₁帧到n₁+74帧的l_3,i，求得均值

标准差

当标准差σ₁≤3时，认为双手间距未产生变动，转条件3；

条件3：分别计算左指尖和右指尖在n₁帧到n₁+74帧中的偏移距离

和

当L₂>5cm且L₃>5cm，条件3符合，认为现在是双手拆卸状态；如果不满足以上判定条件就认为是单手拆卸；

步骤四、啮合程度判定；

步骤三中如果为双手拆卸，啮合程度将以左手的相关骨骼点进行啮合程度判定，如果是单手拆卸，即使用拆卸手的相关骨骼点进行判定；

以左手相关骨骼点为例进行啮合程度判定；

啮合程度分为放松、紧密和紧固状态，从n₁帧开始，左手就在进行拆卸动作，已知左指尖到左拇指的中心点

需求得中心点B_1,i第i帧到第i+1帧的向量

简化方程

判定过程1：持续计算

当θ_2,i+2＜50°，认为未发生反动作，此时如果左手满足放手判定，且判定后10帧θ_2,i+2均满足θ_2,i+2＜50°，记录此时刻i＝n₂，中止识别，此时j＝0、k＝0，认为啮合程度放松，拆卸过程无明显反动动作，拆卸后，左手自然脱离；此时j>0、k＝0，认为啮合程度紧固，拆卸过程G2动作次数为j次；此时k>0，认为啮合程度紧密，拆卸过程G2动作次数为j次，AP1动作次数为k次；当出现θ_2,i+2≥50°，认为发生反动作，转判定过程2；θ_2,i+2表示抓取过程中左指尖到左拇指的中心点3个连续点组成的两个向量的夹角，如果反向运动，夹角必大于50°，本专利凭此判断是否发生反动作；j用于记录握住物件动作G2，k用于记录加压动作AP1；

判定过程2：当出现θ_2,i+2＜50°，说明反动作结束，

当l₄＜10cm，认为啮合程度放松；当l₄∈[10cm,13cm]，认为啮合程度紧固，j＝j+1，初始j为0；当l₄∈(13cm,30cm]，认为啮合程度紧密，k＝k+1，初始k为0；转条件1；

右手啮合程度判定同左手；

步骤五、操作难易程度判定；

操作的难易程度分为操作容易和操作困难，单手拆卸将根据方案1进行识别，双手拆卸根据方案2进行识别；拆卸的放手判定满足条件1、2任意一条即可；条件1：当θ₁大于15°；条件2：

方案1、单手拆卸，以左手为例；

过程1：记录从开始时刻n₁到结束时刻n₂完成抓取和放手动作时，记录左手腕到左手的向量

m指抓取动作和放手的总和，转过程2；

过程2：计算过程1中其它向量与第一次抓取记录向量的夹角，求得最大夹角为

当大于D₁≤45°，说明不需要改变手对物体最初握持位置，认为操作容易；当大于D₁>45°，说明需要调整对物件的握持位置，认为操作困难；

方案2、双手拆卸；

过程1：记录从开始时刻n₁到结束时刻n₂完成抓取和放手动作时，记录左手腕到左手的向量

m指左手抓取动作和左手放手的总和，右手腕到右手的向量

l指右手抓取动作和右手放手的总和；左指尖到左拇指的中心点

右指尖到右拇指的中心点

左手完成抓取和放手动作时，记录向量

过程2：计算过程1中其它向量与第一次抓取记录向量的夹角，求得最大夹角为

D₄＝max{D₁,D₂,D₃}，当大于D₄≤45°，说明不需要改变手对物体最初握持位置，认为操作容易；当大于D₄>45°，说明需要调整对物件的握持位置，认为操作困难；

步骤六、MTM标准时间测算；

根据啮合程度和操作难易程度，对照拆卸动作时间标准表即可得到拆卸动作的标准时间E；与此同时，还需要加上拆卸过程中可能出现的握住物件动作即G2和加压动作即AP1，握住物件动作G2和加压动作AP1是通过反向动作的距离求得，拆卸动作的具体标准时间为E+j×G2+k×AP1。拆卸动作时间标准表如下表1所示：

表1拆卸动作时间标准表

Claims (1)

1.一种拆卸动作识别方法，其特征在于，该识别方法包括以下步骤：

步骤一、利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指A₁(x_1,i,y_1,i,z_1,i)、右拇指A₂(x_2,i,y_2,i,z_2,i)、左指尖A₃(x_3,i,y_3,i,z_3,i)、右指尖A₄(x_4,i,y_4,i,z_4,i)、左手A₅(x_5,i,y_5,i,z_5,i)、右手A₆(x_6,i,y_6,i,z_6,i)、左手腕A₇(x_7,i,y_7,i,z_7,i)、右手腕A₈(x_8,i,y_8,i,z_8,i)、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；其中A₁(x_1,i,y_1,i,z_1,i)表示第i帧的左拇指点的坐标点，1秒25帧；A₂(x_2,i,y_2,i,z_2,i)表示第i帧的右拇指点的坐标点，1秒25帧；A₃(x_3,i,y_3,i,z_3,i)表示第i帧的左指尖点的坐标点，1秒25帧；A₄(x_4,i,y_4,i,z_4,i)表示第i帧的右指尖点的坐标点，1秒25帧；A₅(x_5,i,y_5,i,z_5,i)表示第i帧的左手点的坐标点，1秒25帧；A₆(x_6,i,y_6,i,z_6,i)表示第i帧的右手点的坐标点，1秒25帧；A₇(x_7,i,y_7,i,z_7,i)表示第i帧的左手腕点的坐标点，1秒25帧；A₈(x_8,i,y_8,i,z_8,i)表示第i帧的右手腕点的坐标点，1秒25帧；

步骤二、抓取动作判定；

抓取动作需要根据手部的弯曲程度和指尖与拇指的距离判定；具体如下：

以左手为例，此时左手至左拇指向量

左手至左指尖向量

夹角

左指尖与左手的距离

条件1：当θ₁小于15°转条件2；

条件2：开始计算左指尖与左拇指的距离

当

认为完成抓取动作；

右手的抓取动作判定如左手；如果任意左手或右手完成抓取动作，记录此时刻i＝n₁，转步骤三；

步骤三、拆卸状态判定；

拆卸的单双手操作状态会影响啮合程度和操作难易程度判定，本步骤将根据双手的抓取情况、双手中心点的距离和双手移动情况来判断，如果判定不是双手拆卸，即为单手拆卸；

双手拆卸判定需要得到左指尖到左拇指的中心点

右指尖到右拇指的中心点

计算中心B_1,i与B_2,i的距离

条件1：左手和右手均完成抓取动作，转条件2；

条件2：取n₁帧到n₁+74帧的l_3,i，求得均值

标准差

当标准差σ₁≤3时，认为双手间距未产生变动，转条件3；

条件3：分别计算左指尖和右指尖在n₁帧到n₁+74帧中的偏移距离

和

当L₂>5cm且L₃>5cm，条件3符合，认为现在是双手拆卸状态；如果不满足以上判定条件就认为是单手拆卸；

步骤四、啮合程度判定；

步骤三中如果为双手拆卸，啮合程度将以左手的相关骨骼点进行啮合程度判定，如果是单手拆卸，即使用拆卸手的相关骨骼点进行判定；

以左手相关骨骼点为例进行啮合程度判定；

啮合程度分为放松、紧密和紧固状态，从n₁帧开始，左手就在进行拆卸动作，已知左指尖到左拇指的中心点

需求得中心点B_1,i第i帧到第i+1帧的向量

简化方程

判定过程1：持续计算

当θ_2,i+2＜50°，认为未发生反动作，此时如果左手满足放手判定，且判定后10帧θ_2,i+2均满足θ_2,i+2＜50°，记录此时刻i＝n₂，中止识别，此时j＝0、k＝0，认为啮合程度放松，拆卸过程无明显反动动作，拆卸后，左手自然脱离；此时j>0、k＝0，认为啮合程度紧固，拆卸过程G2动作次数为j次；此时k>0，认为啮合程度紧密，拆卸过程G2动作次数为j次，AP1动作次数为k次；当出现θ_2,i+2≥50°，认为发生反动作，转判定过程2；θ_2,i+2表示抓取过程中左指尖到左拇指的中心点3个连续点组成的两个向量的夹角，如果反向运动，夹角必大于50°，j用于记录握住物件动作G2，k用于记录加压动作AP1；

判定过程2：当出现θ_2,i+2＜50°，说明反动作结束，

当l₄＜10cm，认为啮合程度放松；当l₄∈[10cm,13cm]，认为啮合程度紧固，j＝j+1，初始j为0；当l₄∈(13cm,30cm]，认为啮合程度紧密，k＝k+1，初始k为0；转条件1；

右手啮合程度判定同左手；

步骤五、操作难易程度判定；

操作的难易程度分为操作容易和操作困难，单手拆卸将根据方案1进行识别，双手拆卸根据方案2进行识别；拆卸的放手判定满足条件1、2任意一条即可；条件1：当θ₁大于15°；条件2：

方案1、单手拆卸，以左手为例；

过程1：记录从开始时刻n₁到结束时刻n₂完成抓取和放手动作时，记录左手腕到左手的向量

m指抓取动作和放手的总和，转过程2；过程2：计算过程1中其它向量与第一次抓取记录向量的夹角，求得最大夹角为

当大于D₁≤45°，说明不需要改变手对物体最初握持位置，认为操作容易；当大于D₁>45°，说明需要调整对物件的握持位置，认为操作困难；

方案2、双手拆卸；

过程1：记录从开始时刻n₁到结束时刻n₂完成抓取和放手动作时，记录左手腕到左手的向量

m指左手抓取动作和左手放手的总和，右手腕到右手的向量

l指右手抓取动作和右手放手的总和；左指尖到左拇指的中心点

右指尖到右拇指的中心点

左手完成抓取和放手动作时，记录向量

过程2：计算过程1中其它向量与第一次抓取记录向量的夹角，求得最大夹角为

D₄＝max{D₁,D₂,D₃}，当大于D₄≤45°，说明不需要改变手对物体最初握持位置，认为操作容易；当大于D₄>45°，说明需要调整对物件的握持位置，认为操作困难；

步骤六、MTM标准时间测算；

根据啮合程度和操作难易程度，对照拆卸动作时间标准表即可得到拆卸动作的标准时间E；与此同时，还需要加上拆卸过程中出现的握住物件动作即G2和加压动作即AP1，拆卸动作的具体标准时间为E+j×G2+k×AP1。

Images