CN106774896B - 一种坐式手工装配线模特值评测系统 - Google Patents

Abstract

本发明涉及一种坐式手工装配线模特值评测系统，属于体感交互领域，旨在设计，利用体感交互技术和计算机技术自动计算工人动作时间，旨在替代传统的人工计时方法。具体包括Kinect v2外设，Kinect v2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块。Kinect v2定位机构，包括定位结构、纵向移动结构和横向移动结构。模特法识别模块，采用半身识别的方法，模特法识别模块仅对模特法中上肢动作进行评测，其中包括移动动作、终结动作、放置动作测算，其中移动动作包括范围测算方法和时间测算方法，范围测算方法包括移动范围测算、移动动作的速度测算、移动动作的判定。评估模块分为识别双手平衡、独臂工作和无效动作。

Description

一种坐式手工装配线模特值评测系统

技术领域

本发明涉及体感交互领域，具体涉及一种基于Kinect v2的动作时间研究的系统。

背景技术

对动作时间的研究是为后序进行精益改善的关键，因此对一系列动作时间的准确测定是工业工程领域极其重要的一个环节。目前作业测定常用方法有直接法和间接法，直接法的代表就是直接用秒表测量动作时间，这个方法有其固有的缺陷，像工人在进行操作时可能会受到计时人员影响使动作时间失真，而且安排一个测时员整日跟踪会耗费大量人力物力。间接法则是基于假设进行计算时间方法，其代表是模特法。模特法假设人的动作是由几个基本动作构成，每个人的相同的基本动作时间是相同的，因此我们只需要将人的动作进行分解就能直接查表计算出动作时间。本文从模特法出发，旨在利用体感交互技术和计算机技术自动计算工人动作时间。提出一种坐式手工装配线模特值评测系统，替代传统的人工计时方法。

发明内容

本发明提出一种坐式手工装配线模特值评测系统，替代传统的人工计时方法。

结合附图，说明如下：

一种坐式手工装配线模特值评测系统，可以实现计算机记录工人动作时间，本产品经过Kinect v2识别，通过内置算法即可得到坐式手工装配线的模特值，并根据模特值给出评价，其中Kinect v2可通过定位机构实现横纵向移动，具体包括：Kinect v2外设，Kinect v2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块；

所述Kinect v2外设需要供电电源驱动，Kinect v2外设包含三个体感交互模块：语音识别模块、面孔识别模块、骨骼识别模块，Kinect v2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置，采集的数据将被送到CPU进行下一步处理；

所述Kinect v2定位机构由电机驱动，包含滚珠丝杠机构和连杆机构，分别控制Kinect左右位置和上下位置的移动；

所述数据处理模块分为两个子模块：模特法识别模块和Kinect v2位置调整模块，模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理，得到动作的时间结果返回CPU并存入数据库；Kinect v2位置调整模块将CPU传来的用户相对位置数据进行识别、分析，并计算出要使Kinect v2正对用户时，Kinect v2需要调整的位置数据，并输出给A/D转换模块；

所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量；数据处理模块输出的是要使Kinect v2与用户正对应调整的位置代码，经过A/D转换成真实的位置量后传输到可活动固定机构；

所述数显模块将CPU传来的数据处理模块结果显示到界面，便于研究者采集和进行下一步精益研究；

所述数据库模块从CPU接收数据处理模块和A/D转换模块数据，便于研究者采集和进行下一步精益研究；

所述评估模块，将数据库模块储存数据导出，通过评估算法进行分析处理，输出评估结果和改进方案。

所述Kinect v2定位机构，包括定位结构、纵向移动结构和横向移动结构；

所述定位结构，通过将固定螺母I2和固定螺母II14上的螺栓I1和螺栓II11旋动，可调节挡板I3和挡板II13与基座的间距，使装置定位在坐式装配线工人操作台的对面，其中定位宽度可调节，从而适应不同操作台，保证Kinect v2与操作台水平；

所诉纵向移动结构，电机II12驱动使得连杆I5和连杆II10移动，完成纵向移动；

所诉横向移动结构，电机I6驱动使得丝杠7旋转，滚珠板8横向移动；

取出固定件9，将Kinect v2放在滚珠板8上，再放置固定件9，即可保证Kinect v2与操作台保持水平，从而简化之后的模特法的换算。

所述Kinect v2在探测时会以自己为坐标原点，X轴是从Kinect v2感应器角度观看，左边为正半轴，右边为负半轴，Y轴正轴竖直向上，仅表示Kinect v2正常放置，并未出现倒置现象，，Z表示纵深程度，Kinect v2摄像方向为正方向；

当装配线工人坐在工位上，Kinect v2通过面孔识别模块识别，将采集的面孔数据与数数据库中面孔数据对比，相似度达到95％时，启动设备，Kinect v2骨骼识别追踪采集人体各个部分三坐标数据，其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。

所述模特法识别模块，采用半身识别的方法，模特法识别模块仅对模特法中上肢动作进行评测，其中包括移动动作、终结动作、放置动作测算。

所述的移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂，范围测算方法具体测算包括移动范围测算；移动动作的速度测算；移动动作的判定；

步骤一：首先确定默认范围

在移动范围测算之前，需要装配线工人坐在Kinect v2设备前，等待5秒，此时Kinect v2根据工人骨骼测算出移动的作业范围，并默认装配线工人仅在长为A，宽为B的范围内活动；

步骤二：移动范围测算

采集相关骨骼点，针对左右手，测算出在M2、M3、M4和M5模特值的移动范围，其中M2、M3、M4范围是以左右肩膀为原点，根据相关的距离测算公式计算出的距离l绕点旋转的半圆即为相关模特值的活动范围，其它范围即为M5范围；其中M2还有一个限制，必须不能超过左/右肩膀点向左/右发射出的45度直线；

步骤三：移动动作的速度测算

需要监测左手动态数据右手动态数据左指尖动态数据右指尖动态数据通过计算出左指尖的移动速度，进而求出右指尖速度V₂，左手速度V₃，右手速度V₄，其中速度超过阈值即视为移动动作启动，定义阈值为v；

步骤四：移动动作的判定

手指动作通过判断V₁和V₂是否大于v，当大于之后即为M1；手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素，即V₃和V₄大于后v即认为开始移动，当V₃和V₄小于v时即认为停止移动，此时左右手位置在模特值M2、M3、M4和M5的相关范围内，即认为完成相关的模特值动作；

由于手腕动作、小臂动作、大臂动作和伸直手臂均会带动手指空间移动，所以本文认为当左右手视为移动后，即停止判断手指模特值。

所述移动动作也可根据时间测算方法测算模特值：

已知左指尖速度V₁，右指尖速度V₂，左手速度V₃，右手速度V₄，速度超过阈值v即视为移动动作启动，当速度低于阈值v时，移动动结束，根据差值T判断模特值，手移动时间为0≤T≤0.1548视为指尖移动M1，手移动时间为0.1548＜T≤0.3096视为手腕动作M2，手移动时间为0.3096≤T≤0.4644视为小臂动作M3，手移动时间为0.4644＜T≤0.6192视为大臂动作M4，手移动时间为0.6192＜T视为大臂动作M5。

所述终结动作中抓捏动作包括接触、简单地抓和复杂的抓；放置动作包括简单放置、复杂地抓和装配，终结动作和放置动作具备先后关系；

监测左拇指动态数据右拇指动态数据左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为

当θ₁和θ₂小于阈值θ时，认为开始终结动作，开始计时，当移动动作开启，认为终结动作终止，停止计时，根据差值T判断模特值；接触M1时间为0≤T≤0.1548，简单地抓M2时间为0.1548＜T≤0.3096，复杂的抓M3时间为0.3096＜T。

完成终结动作，在移动动作结束后放置动作开始计时，当θ₁和θ₂大于阈值θ时，计时停止，根据差值T判断模特值；简单放置M1时间为0≤T≤0.1548，复杂地抓M2时间为0.1548＜T≤0.3096，装配M3时间为0.3096＜T。

所述的评估模块要求对系统在一定时间段获取的工人双手动作时间进行作业分析，并对该过程工序合不合理、动作有没有等待和浪费现象给予评价，最后给出改善建议；

本模块的关键算法是识别双手平衡、独臂工作和无效动作；

所述双手平衡的识别根据输出表格，分别计算左右手的总模特值S1，B1，当两者之差的绝对值与两者中最大值的比率，即平衡率超过某一阈值N％时则认为双手不平衡，即：

当确定双手不平衡后，系统将时间多的一方中花费时间最小的动作编号转移给另一只手并重新计算总模特值以及平衡率，直到平衡率低于某一阈值N％即认为平衡；

所述独臂工作即只有一只手在工作，在本模块识别独臂工作算法中，模块只要检测出任一只手的总模特值接近为0即认为独臂工作，此时应给出分摊作业的算法，因为是独臂工作，所以动作编号都是紧前紧后关系，首先将第二个动作转移到另一只手，计算当前第二个动作以前左右手动作总模特值，若平衡率未达到阈值，则再将第三个动作进行转移并继续计算平衡率；当平衡率达到阈值，将独臂工作的下一个动作计入该只手总模特值并继续计算平衡率，如果未达到，则将其转移；反之，则计算下一个动作，以此类推，直到最后一个动作计入平衡率为止；

所述无效动作即对作业没有帮助却消耗时间的动作，通过找寻出数据中无模特值的数据定义无效动作。

附图说明

图1是本发明的整体框架；

图2是本发明的Kinect v2定位机构；

图3是本发明的Kinect v2定位机构主视图；

图4是本发明的Kinect v2定位机构俯视图；

图5是本发明的Kinect v2定位机构左视图；

图6是本发明的Kinect v2骨骼；

图7是本发明移动动作逻辑框图；

图8是本发明的Kinect v2移动作业监测示意图；

图9是本发明移动作业范围；

图10是本发明移动速度计算逻辑框图；

图11是本发明移动动作判断图；

图12是本发明移动动作逻辑框图；

图13是本发明双手夹角图；

图14是本发明的评价系统总逻辑框图；

1、螺栓I 2、固定螺母I 3、挡板I 4、螺母I 5、连杆I 6、电机I 7、丝杠 8、滚珠板9、固定件 10、连杆II 11、螺母II 12、电机II 13、挡板II 14、固定螺母II 15、螺栓II

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。

本发明的目的在于提供一种坐式手工装配线模特值评测系统，可以实现计算机记录工人动作时间。本产品经过Kinect v2识别，通过内置算法即可得到工人的模特值，并根据模特值给出评价，其中Kinect v2可通过定位机构实现横纵向移动。具体包括：Kinect v2外设，Kinect v2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块。

所述Kinect v2外设需要供电电源驱动。Kinect v2外设包含三个体感交互模块：语音识别模块、面孔识别模块、骨骼识别模块。Kinect v2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置，采集的数据将被送到CPU进行下一步处理。

所述Kinect v2定位机构由电机驱动。包含滚珠丝杠机构和连杆机构，分别控制Kinect左右位置和上下位置的移动。

所述数据处理模块分为两个子模块：模特法识别模块和Kinect v2位置调整模块。模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理，得到动作的时间结果返回CPU并存入数据库；Kinect v2位置调整模块将CPU传来的用户相对位置数据进行识别、分析，并计算出要使Kinect v2正对用户时，Kinect v2需要调整的位置数据，并输出给A/D转换模块。

所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量。数据处理模块输出的是要使Kinect v2与用户正对应调整的位置代码，经过A/D转换成真实的位置量后传输到可活动固定机构。

所述数显模块将CPU传来的数据处理模块结果显示到界面，便于研究者采集和进行下一步精益研究。

所述数据库模块从CPU接收数据处理模块和A/D转换模块数据，便于研究者采集和进行下一步精益研究。

所述评估模块，将数据库模块储存数据导出，通过评估算法进行分析处理，输出评估结果和改进方案。

如图2所示，Kinect v2定位机构，包括定位结构、纵向移动结构和横向移动结构。

所述定位结构，通过将固定螺母I2和固定螺母II14上的螺栓I1和螺栓II11旋动，可调节挡板I3和挡板II13与基座的间距，使装置定位在坐式装配线工人操作台的对面，其中定位宽度可调节，从而适应不同操作台，保证Kinect v2与操作台水平。

所诉纵向移动结构，电机II12驱动使得连杆I5和连杆II10移动，完成纵向移动。

所诉横向移动结构，电机I6驱动使得丝杠7旋转，滚珠板8横向移动。

取出固定件9，将Kinect v2放在滚珠板8上，再放置固定件9，即可保证Kinect v2与操作台保持水平，从而简化之后的模特法的换算。

其中正视图如图3，俯视图如图4，左视图如图5。

所述Kinect v2在探测时会以自己为坐标原点，X轴是从Kinect v2感应器角度观看，左边为正半轴，右边为负半轴，Y轴正轴竖直向上(仅表示Kinect v2正常放置，并未出现倒置现象)，Z表示纵深程度，Kinect v2摄像方向为正方向。

当装配线工人坐在工位上，Kinect v2通过面孔识别模块识别，将采集的面孔数据与数数据库中面孔数据对比，相似度达到95％时，启动设备。Kinect v2骨骼识别追踪采集人体各个部分三坐标数据，其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。具体的骨骼坐标如图6所示。

模特法识别模块，采用半身识别的方法，模特法识别模块仅对模特法中上肢动作进行评测，其中移动动作、终结动作、放置动作测算。

如图7所示，模特法识别模块采用范围测算方法的具体实施过程如下，以左手为例的模特法评测逻辑：

(1)首先设定i＝0,j＝0，转(2)；

(2)计算当前V₁,V₃,θ₁，此时时间为t，转(3)；

(3)判断是否满足V₃＞v，满足T_i＝t,i＝i+1转(4)，不满足转(6)；

(4)计算当前V₃,此时时间为t，转(5)；

(5)判断是否满足V₃＞v，满足转(4)。不满足T_i＝t,如果在M2范围内即可知时间T_i-1到T_i为M2；如果在M3范围内即可知时间T_i-1到T_i为M3；如果在M4范围内即可知时间T_i-1到T_i为M4；均不在M2、M3、M4范围内，可知时间T_i-1到T_i为M5；i＝i+1转(2)；

(6)判断是否满足V₁＞v，满足T_i＝t,i＝i+1转(7)，不满足转(9)；

(7)计算当前V₁，此时时间为t，转(8)；

(8)判断是否满足V₁＞v，满足转(7)。不满足T_i＝t，T_i-1到T_i为M1，转(16)；

(9)判断是否满足j＝1，满足转(10)，不满足转(12)；

(10)计算当前θ₁，此时时间为t，转(11)；

(11)判断是否满足θ₁＞θ。满足T_i＝t,T＝T_i-T_i-1，如果0≤T≤0.1548，T_i-1到T_i为P1，j＝0；如果0.1548＜T≤0.3096，T_i-1到T_i为P2，j＝0；如果0.3096＜T，T_i-1到T_i为P3，j＝0；转(15)。不满足转(10)；

(12)判断是否满足θ₁＜θ，满足T_i＝t,i＝i+1转(13)，不满足转(15)；

(13)计算当前V₁,V₃，此时时间为t，转(14)；

(14)判断是否满足V₁＞v或V₃＞v，满足T_i＝t,T＝T_i-T_i-1，如果0≤T≤0.1548，T_i-1到T_i为G1，j＝1；如果0.1548＜T≤0.3096，T_i-1到T_i为G2，j＝1；如果0.3096＜T，T_i-1到T_i为G3，j＝1；转(16)。不满足转(13)；

(15)判断KINECT是否关闭，关闭即结束，未关闭转(16)；

(16)i＝i+1，转(2)。

右手模特值计算过程与之相同。

移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂，范围测算方法具体包括移动范围测算；移动动作的速度测算；移动动作的判定；

步骤一：首先确定默认范围

在进行评测时Kinect v2的放置如图8所示。在移动范围测算之前，需要装配线工人坐在Kinect v2设备前，等待5秒，此时Kinect v2根据工人骨骼测算出移动的作业范围，如图9所示，默认装配线工人仅在长为A，宽为B的范围内活动；

步骤二：移动范围测算

采集相关骨骼点，针对左右手，测算出在M2、M3、M4和M5模特值的移动范围，其中M2、M3、M4范围是以左右肩膀为原点，根据相关的距离测算公式计算出的距离l绕点旋转的半圆即为相关模特值的活动范围，其它范围即为M5范围；其中M2还有一个限制，必须不能超过左/右肩膀点向左/右发射出的45度直线；

具体为采集左肩膀右肩膀左肘右肘左手右手左指尖右指尖

左手腕活动距离分为M2、M3、M4和M5，其中M2的活动最大距离M3的活动最大距离M4的活动最大距离

右手腕活动距离分为M2、M3、M4和M5，其中M2的活动最大距离M3的活动最大距离M4的活动最大距离

监测左手动态数据右手动态数据其中两条直线分别是z＝x+(z₁-x₁)，z＝-x+(z₂+x₂)。

左手在M2的范围需要满足：

左手在M3的范围需要满足：

左手在M4的范围需要满足：

左手脱离以上区域即为达到M5区域。

右手在M2的范围需要满足：

右手在M3的范围需要满足：

或

或

右手在M4的范围需要满足：

右手脱离以上区域即为达到M5区域。

最佳作业区范围如下定义：

或

或

步骤三：移动动作的速度测算

需要监测左手动态数据右手动态数据左指尖动态数据右指尖动态数据通过以下方法测算出移动速度。

Kinect v2持续采集数据，左手计算过程如图10所示，框图逻辑为下：

(1)首先设定i＝0，转(2)；

(2)获取动态数值时间为t，转(3)；

(3)判断是否满足i＞0，不满足X_i＝x₁₁,Y_i＝y₁₁,Z_i＝z₁₁,T_i＝t,i＝i+1，转(2)，满足转(4)；

(4)X_i＝x₁₁,Y_i＝y₁₁,Z_i＝z₁₁,T_i＝t，计算速度V₁，转(5)；

(5)判断Kinect v2是否关闭，关闭结束，未关闭i＝i+1，转(2)。

其中同理可求出右指尖速度V₂，左手速度V₃，右手速度V₄。其中速度超过阈值即视为移动动作启动，定义阈值为v。

步骤四：移动动作的判定

手指动作通过判断V₁和V₂是否大于v，当大于之后即为M1；手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素，即V₃和V₄大于后v即认为开始移动，当V₃和V₄小于v时即认为停止移动，此时左右手位置在模特值M2、M3、M4和M5的相关范围内，即认为完成相关的模特值动作；

由于手腕动作、小臂动作、大臂动作和伸直手臂均会带动手指空间移动，所以本文认为当左右手视为移动后，即停止判断手指模特值。

所述移动动作也可根据时间测算方法测算模特值：

已知左指尖速度V₁，右指尖速度V₂，左手速度V₃，右手速度V₄，如图11所示，速度超过阈值v即视为移动动作启动，当速度低于阈值v时，移动动结束，根据差值T判断模特值，手移动时间为0≤T≤0.1548视为指尖移动M1，手移动时间为0.1548＜T≤0.3096视为手腕动作M2，手移动时间为0.3096≤T≤0.4644视为小臂动作M3，手移动时间为0.4644＜T≤0.6192视为大臂动作M4，手移动时间为0.6192＜T视为大臂动作M5。

以左指尖为例，如图12所示，框图逻辑为下：

(1)首先设定i＝0，转(2)；

(2)计算当前速度V₁，此时时间为t，转(3)；

(3)判断是否满足V₁＞v，不满足转(2)，满足T_i＝t,i＝i+1转(4)；

(4)计算当前速度V₁，此时时间为t，转(5)；

(5)判断是否满足V₁＞v，满足转(4)，不满足T_i＝t，T＝T_i-T_i-1，转(6)；

(6)判断是否满足0.1032≤T≤0.1548，满足T_i-1到T_i时间段完成M1转(7)，不满足转(7)；

(7)判断Kinect v2是否关闭，关闭结束，未关闭i＝i+1，转(2)。

手腕动作、小臂动作、大臂动作和伸直手臂与之相同。

终结动作中抓捏动作包括接触、简单地抓和复杂的抓；放置动作包括简单放置、复杂地抓和装配，终结动作和放置动作具备先后关系；

监测左拇指动态数据右拇指动态数据如图13所示：左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为

当θ₁和θ₂小于阈值θ时，认为开始终结动作，开始计时，当移动动作开启，认为终结动作终止，停止计时，根据差值T判断模特值；接触M1时间为0≤T≤0.1548，简单地抓M2时间为0.1548＜T≤0.3096，复杂的抓M3时间为0.3096＜T。

完成终结动作，在移动动作结束后放置动作开始计时，当θ₁和θ₂大于阈值θ时，计时停止，根据差值T判断模特值；简单放置M1时间为0≤T≤0.1548，复杂地抓M2时间为0.1548＜T≤0.3096，装配M3时间为0.3096＜T。

评估模块要求对系统在一定时间段获取的工人双手动作时间进行作业分析，并对该过程(工序合不合理、动作有没有等待和浪费现象等)给予评价，最后智能地提出改善建议以供用户参考改善。作业分析即对以人为主的工序进行细致研究，使作业者、辅助设备、作业对象科学合理地安排，达到减少作业时间的浪费和实现最佳作业的效果。

本评估模块主要针对下述问题进行改善最终实现提高生产效率目的：通过ECRS四原则，使操作者操作总数低简单易行、工序排列满意；杜绝某一部位的肌肉关节重复使用；缩减左右手空闲等待。

本评估模块采用双手操作分析原理，和以往不同的是，本操作分析是完全基于计算机算法实现，无须人为计算，省去大量工作量。图14是双手操作分析流程图。具体思路是首先进行双手动作平衡判断，如果未达到平衡，则评价降级并应该采用平衡算法来进行改善；其次对独臂动作进行判断，如果存在独臂动作，则评价降级(与上一判断累加)并采用独臂平衡算法进行改善；最后对无效动作进行识别，如果存在无效动作则评价降级并给出设备摆放的改善建议。

本文动作与动作之间是靠停顿时间区分，停顿时间达到一定阈值，即认为该时间前后是两个动作，应分别计算模特值。根据系统输入，经评价系统处理，应得到如下输出信息表格。

本模块的关键算法是识别双手平衡、独臂工作和无效动作。下面分别用算法进行解释。

双手平衡的识别根据上述输出表格，分别计算左右手的总模特值S1，B1，当两者之差的绝对值与两者中最大值的比率(平衡率)超过某一阈值N％时则认为双手不平衡。即：

当确定双手不平衡后，系统将时间多的一方中花费时间最小的动作编号转移给另一只手并重新计算总模特值以及平衡率，直到平衡率低于某一阈值N％即认为平衡。

独臂工作即只有一只手在工作，在本模块识别独臂工作算法中，模块只要检测出任一只手的总模特值接近为0即认为独臂工作，此时应给出分摊作业的算法，因为是独臂工作，所以动作编号都是紧前紧后关系。首先将第二个动作转移到另一只手，计算当前(第二个动作以前)左右手动作总模特值，若平衡率未达到阈值，则再将第三个动作进行转移并继续计算平衡率；当平衡率达到阈值，将独臂工作的下一个动作计入该只手总模特值并继续计算平衡率，如果未达到，则将其转移；反之，则计算下一个动作，以此类推。直到最后一个动作计入平衡率为止。

无效动作即对作业没有帮助却消耗时间的动作，无效动作的研究对象是工具的摆放，当工具摆放不合理，就会造成工人花费较长时间去抓取物体，因此对工具摆放的研究尤为关键。模特法定义了耗时长的动作模特值，都应予以优化。因此本模块识别出了这些不合理的动作，并建议用户对和这些不合理动作的设备进行重新布局。

Claims (4)

1.一种坐式手工装配线模特值评测系统，可以实现计算机记录工人动作时间，其特征在于：本产品经过Kinect v2识别，通过内置算法即可得到坐式手工装配线的模特值，并根据模特值给出评价，其中Kinect v2可通过定位机构实现横纵向移动，具体包括：Kinect v2外设，Kinect v2定位机构，数据处理模块，A/D转换模块，数显模块，数据库模块，评估模块；

所述Kinect v2外设需要供电电源驱动，Kinect v2外设包含三个体感交互模块：语音识别模块、面孔识别模块、骨骼识别模块，Kinect v2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置，采集的数据将被送到CPU进行下一步处理；

所述Kinect v2定位机构由电机驱动，包含滚珠丝杠机构和连杆机构，分别控制Kinect左右位置和上下位置的移动；

所述数据处理模块分为两个子模块：模特法识别模块和Kinect v2位置调整模块，所述模特法识别模块，采用半身识别的方法，模特法识别模块仅对模特法中上肢动作进行评测，其中包括移动动作、终结动作、放置动作；测算得到动作的时间结果返回CPU并存入数据库；Kinect v2位置调整模块将CPU传来的用户相对位置数据进行识别、分析，并计算出要使Kinect v2正对用户时，Kinect v2需要调整的位置数据，并输出给A/D转换模块；

所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量；数据处理模块输出的是要使Kinect v2与用户正对应调整的位置代码，经过A/D转换成真实的位置量后传输到可活动固定机构；

所述数显模块将CPU传来的数据处理模块结果显示到界面，便于研究者采集和进行下一步精益研究；

所述数据库模块从CPU接收数据处理模块和A/D转换模块数据，便于研究者采集和进行下一步精益研究；

所述评估模块，将数据库模块储存数据导出，通过评估算法进行分析处理，输出评估结果和改进方案；

所述Kinect v2定位机构，包括定位结构、纵向移动结构和横向移动结构；

所述定位结构，通过将固定螺母I(2)和固定螺母II(14)上的螺栓I(1)和螺栓II(11)旋动，可调节挡板I(3)和挡板II(13)与基座的间距，使装置定位在坐式装配线工人操作台的对面，其中定位宽度可调节，从而适应不同操作台，保证Kinect v2与操作台水平；

所述纵向移动结构，电机II(12)驱动使得连杆I(5)和连杆II(10)移动，完成纵向移动；

所述横向移动结构，电机I(6)驱动使得丝杠(7)旋转，滚珠板(8)横向移动；

取出固定件(9)，将Kinect v2放在滚珠板(8)上，再放置固定件(9)，即可保证Kinectv2与操作台保持水平，从而简化之后的模特法的换算；

所述Kinect v2在探测时会以自己为坐标原点，X轴是从Kinect v2感应器角度观看，左边为正半轴，右边为负半轴，Y轴正轴竖直向上，仅表示Kinect v2正常放置，并未出现倒置现象，Z表示纵深程度，Kinect v2摄像方向为正方向；

当装配线工人坐在工位上，Kinect v2通过面孔识别模块识别，将采集的面孔数据与数据库中面孔数据对比，相似度达到95％时，启动设备，Kinect v2骨骼识别追踪采集人体各个部分三坐标数据，其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱；

所述的移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂，范围测算方法具体测算包括移动范围测算；移动动作的速度测算；移动动作的判定；

步骤一：首先确定默认范围

在移动范围测算之前，需要装配线工人坐在Kinect v2设备前，等待5秒，此时Kinectv2根据工人骨骼测算出移动的作业范围，并默认装配线工人仅在长为A，宽为B的范围内活动；

步骤二：移动范围测算

采集相关骨骼点，针对左右手，测算出在M2、M3、M4和M5模特值的移动范围，其中M2、M3、M4范围是以左右肩膀为原点，根据相关的距离测算公式计算出的距离l绕点旋转的半圆即为相关模特值的活动范围，其它范围即为M5范围；其中M2还有一个限制，必须不能超过左/右肩膀点向左/右发射出的45度直线；

步骤三：移动动作的速度测算

需要监测左手动态数据右手动态数据左指尖动态数据右指尖动态数据通过计算出左指尖的移动速度，进而求出右指尖速度V₂，左手速度V₃，右手速度V₄，其中速度超过阈值即视为移动动作启动，定义阈值为v；

步骤四：移动动作的判定

手指动作通过判断V₁和V₂是否大于v，当大于之后即为M1指尖移动；手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素，即V₃和V₄大于v后即认为开始移动，当V₃和V₄小于v时即认为停止移动，此时左右手位置在模特值M2、M3、M4和M5的相关范围内，即认为完成相关的模特值动作；

由于手腕动作、小臂动作、大臂动作和伸直手臂均会带动手指空间移动，所以认为当左右手视为移动后，即停止判断手指模特值。

2.根据权利要求1所述的一种坐式手工装配线模特值评测系统，其特征在于，所述移动动作也可根据时间测算方法测算模特值：

已知左指尖速度V₁，右指尖速度V₂，左手速度V₃，右手速度V₄，速度超过阈值v即视为移动动作启动，当速度低于阈值v时，移动动结束，根据差值T判断模特值，手移动时间为0≤T≤0.1548视为指尖移动M1，手移动时间为0.1548＜T≤0.3096视为手腕动作M2，手移动时间为0.3096≤T≤0.4644视为小臂动作M3，手移动时间为0.4644＜T≤0.6192视为大臂动作M4，手移动时间为0.6192＜T视为大臂动作M5。

3.根据权利要求1所述的一种坐式手工装配线模特值评测系统，其特征在于：所述终结动作中抓捏动作包括接触、简单地抓和复杂的抓；放置动作包括简单放置、复杂地抓和装配，终结动作和放置动作具备先后关系；

监测左拇指动态数据右拇指动态数据左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为

当θ₁和θ₂小于阈值θ时，认为开始终结动作，开始计时，当移动动作开启，认为终结动作终止，停止计时，根据差值T判断模特值；接触M1时间为0≤T≤0.1548，简单地抓M2时间为0.1548＜T≤0.3096，复杂的抓M3时间为0.3096＜T；

完成终结动作，在移动动作结束后放置动作开始计时，当θ₁和θ₂大于阈值θ时，计时停止，根据差值T判断模特值；简单放置M1时间为0≤T≤0.1548，复杂地抓M2时间为0.1548＜T≤0.3096，装配M3时间为0.3096＜T。

4.根据权利要求1所述的一种坐式手工装配线模特值评测系统，其特征在于，所述的评估模块要求对系统在一定时间段获取的工人双手动作时间进行作业分析，并对该过程工序合不合理、动作有没有等待和浪费现象给予评价，最后给出改善建议；

本模块的关键算法是识别双手平衡、独臂工作和无效动作；

所述双手平衡的识别根据输出表格，分别计算左右手的总模特值S1，B1，当两者之差的绝对值与两者中最大值的比率，即平衡率超过某一阈值N％时则认为双手不平衡，即：

当确定双手不平衡后，系统将时间多的一方中花费时间最小的动作编号转移给另一只手并重新计算总模特值以及平衡率，直到平衡率低于某一阈值N％即认为平衡；

所述独臂工作即只有一只手在工作，在本模块识别独臂工作算法中，模块只要检测出任一只手的总模特值接近为0即认为独臂工作，此时应给出分摊作业的算法，因为是独臂工作，所以动作编号都是紧前紧后关系，首先将第二个动作转移到另一只手，计算当前第二个动作以前左右手动作总模特值，若平衡率未达到阈值，则再将第三个动作进行转移并继续计算平衡率；当平衡率达到阈值，将独臂工作的下一个动作计入该只手总模特值并继续计算平衡率，如果未达到，则将其转移；反之，则计算下一个动作，以此类推，直到最后一个动作计入平衡率为止；

所述无效动作即对作业没有帮助却消耗时间的动作，通过找寻出数据中无模特值的数据定义无效动作。