CN106774896A - 一种坐式手工装配线模特值评测系统 - Google Patents

一种坐式手工装配线模特值评测系统 Download PDF

Info

Publication number
CN106774896A
CN106774896A CN201611173924.7A CN201611173924A CN106774896A CN 106774896 A CN106774896 A CN 106774896A CN 201611173924 A CN201611173924 A CN 201611173924A CN 106774896 A CN106774896 A CN 106774896A
Authority
CN
China
Prior art keywords
action
kinect
hand
model
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611173924.7A
Other languages
English (en)
Other versions
CN106774896B (zh
Inventor
姜盛乾
刘鹏
罗文涛
付丹妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201611173924.7A priority Critical patent/CN106774896B/zh
Publication of CN106774896A publication Critical patent/CN106774896A/zh
Application granted granted Critical
Publication of CN106774896B publication Critical patent/CN106774896B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种坐式手工装配线模特值评测系统,属于体感交互领域,旨在设计,利用体感交互技术和计算机技术自动计算工人动作时间,旨在替代传统的人工计时方法。具体包括Kinect v2外设,Kinect v2定位机构,数据处理模块,A/D转换模块,数显模块,数据库模块,评估模块。Kinect v2定位机构,包括定位结构、纵向移动结构和横向移动结构。模特法识别模块,采用半身识别的方法,模特法识别模块仅对模特法中上肢动作进行评测,其中包括移动动作、终结动作、放置动作测算,其中移动动作包括范围测算方法和时间测算方法,范围测算方法包括移动范围测算、移动动作的速度测算、移动动作的判定。评估模块分为识别双手平衡、独臂工作和无效动作。

Description

一种坐式手工装配线模特值评测系统
技术领域
本发明涉及体感交互领域,具体涉及一种基于Kinect v2的动作时间研究的系统。
背景技术
对动作时间的研究是为后序进行精益改善的关键,因此对一系列动作时间的准确测定是工业工程领域极其重要的一个环节。目前作业测定常用方法有直接法和间接法,直接法的代表就是直接用秒表测量动作时间,这个方法有其固有的缺陷,像工人在进行操作时可能会受到计时人员影响使动作时间失真,而且安排一个测时员整日跟踪会耗费大量人力物力。间接法则是基于假设进行计算时间方法,其代表是模特法。模特法假设人的动作是由几个基本动作构成,每个人的相同的基本动作时间是相同的,因此我们只需要将人的动作进行分解就能直接查表计算出动作时间。本文从模特法出发,旨在利用体感交互技术和计算机技术自动计算工人动作时间。提出一种坐式手工装配线模特值评测系统,替代传统的人工计时方法。
发明内容
本发明提出一种坐式手工装配线模特值评测系统,替代传统的人工计时方法。
结合附图,说明如下:
一种坐式手工装配线模特值评测系统,可以实现计算机记录工人动作时间,本产品经过Kinect v2识别,通过内置算法即可得到坐式手工装配线的模特值,并根据模特值给出评价,其中Kinect v2可通过定位机构实现横纵向移动,具体包括:Kinect v2外设,Kinect v2定位机构,数据处理模块,A/D转换模块,数显模块,数据库模块,评估模块;
所述Kinect v2外设需要供电电源驱动,Kinect v2外设包含三个体感交互模块:语音识别模块、面孔识别模块、骨骼识别模块,Kinect v2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置,采集的数据将被送到CPU进行下一步处理;
所述Kinect v2定位机构由电机驱动,包含滚珠丝杠机构和连杆机构,分别控制Kinect左右位置和上下位置的移动;
所述数据处理模块分为两个子模块:模特法识别模块和Kinect v2位置调整模块,模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理,得到动作的时间结果返回CPU并存入数据库;Kinect v2位置调整模块将CPU传来的用户相对位置数据进行识别、分析,并计算出要使Kinect v2正对用户时,Kinect v2需要调整的位置数据,并输出给A/D转换模块;
所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量;数据处理模块输出的是要使Kinect v2与用户正对应调整的位置代码,经过A/D转换成真实的位置量后传输到可活动固定机构;
所述数显模块将CPU传来的数据处理模块结果显示到界面,便于研究者采集和进行下一步精益研究;
所述数据库模块从CPU接收数据处理模块和A/D转换模块数据,便于研究者采集和进行下一步精益研究;
所述评估模块,将数据库模块储存数据导出,通过评估算法进行分析处理,输出评估结果和改进方案。
所述Kinect v2定位机构,包括定位结构、纵向移动结构和横向移动结构;
所述定位结构,通过将固定螺母I2和固定螺母II14上的螺栓I1和螺栓II11旋动,可调节挡板I3和挡板II13与基座的间距,使装置定位在坐式装配线工人操作台的对面,其中定位宽度可调节,从而适应不同操作台,保证Kinect v2与操作台水平;
所诉纵向移动结构,电机II12驱动使得连杆I5和连杆II10移动,完成纵向移动;
所诉横向移动结构,电机I6驱动使得丝杠7旋转,滚珠板8横向移动;
取出固定件9,将Kinect v2放在滚珠板8上,再放置固定件9,即可保证Kinect v2与操作台保持水平,从而简化之后的模特法的换算。
所述Kinect v2在探测时会以自己为坐标原点,X轴是从Kinect v2感应器角度观看,左边为正半轴,右边为负半轴,Y轴正轴竖直向上,仅表示Kinect v2正常放置,并未出现倒置现象,,Z表示纵深程度,Kinect v2摄像方向为正方向;
当装配线工人坐在工位上,Kinect v2通过面孔识别模块识别,将采集的面孔数据与数数据库中面孔数据对比,相似度达到95%时,启动设备,Kinect v2骨骼识别追踪采集人体各个部分三坐标数据,其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。
所述模特法识别模块,采用半身识别的方法,模特法识别模块仅对模特法中上肢动作进行评测,其中包括移动动作、终结动作、放置动作测算。
所述的移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂,范围测算方法具体测算包括移动范围测算;移动动作的速度测算;移动动作的判定;
步骤一:首先确定默认范围
在移动范围测算之前,需要装配线工人坐在Kinect v2设备前,等待5秒,此时Kinect v2根据工人骨骼测算出移动的作业范围,并默认装配线工人仅在长为A,宽为B的范围内活动;
步骤二:移动范围测算
采集相关骨骼点,针对左右手,测算出在M2、M3、M4和M5模特值的移动范围,其中M2、M3、M4范围是以左右肩膀为原点,根据相关的距离测算公式计算出的距离l绕点旋转的半圆即为相关模特值的活动范围,其它范围即为M5范围;其中M2还有一个限制,必须不能超过左/右肩膀点向左/右发射出的45度直线;
步骤三:移动动作的速度测算
需要监测左手动态数据右手动态数据左指尖动态数据右指尖动态数据通过计算出左指尖的移动速度,进而求出右指尖速度V2,左手速度V3,右手速度V4,其中速度超过阈值即视为移动动作启动,定义阈值为v;
步骤四:移动动作的判定
手指动作通过判断V1和V2是否大于v,当大于之后即为M1;手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即V3和V4大于后v即认为开始移动,当V3和V4小于v时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
由于手腕动作、小臂动作、大臂动作和伸直手臂均会带动手指空间移动,所以本文认为当左右手视为移动后,即停止判断手指模特值。
所述移动动作也可根据时间测算方法测算模特值:
已知左指尖速度V1,右指尖速度V2,左手速度V3,右手速度V4,速度超过阈值v即视为移动动作启动,当速度低于阈值v时,移动动结束,根据差值T判断模特值,手移动时间为0≤T≤0.1548视为指尖移动M1,手移动时间为0.1548<T≤0.3096视为手腕动作M2,手移动时间为0.3096≤T≤0.4644视为小臂动作M3,手移动时间为0.4644<T≤0.6192视为大臂动作M4,手移动时间为0.6192<T视为大臂动作M5。
所述终结动作中抓捏动作包括接触、简单地抓和复杂的抓;放置动作包括简单放置、复杂地抓和装配,终结动作和放置动作具备先后关系;
监测左拇指动态数据右拇指动态数据左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为
当θ1和θ2小于阈值θ时,认为开始终结动作,开始计时,当移动动作开启,认为终结动作终止,停止计时,根据差值T判断模特值;接触M1时间为0≤T≤0.1548,简单地抓M2时间为0.1548<T≤0.3096,复杂的抓M3时间为0.3096<T。
完成终结动作,在移动动作结束后放置动作开始计时,当θ1和θ2大于阈值θ时,计时停止,根据差值T判断模特值;简单放置M1时间为0≤T≤0.1548,复杂地抓M2时间为0.1548<T≤0.3096,装配M3时间为0.3096<T。
所述的评估模块要求对系统在一定时间段获取的工人双手动作时间进行作业分析,并对该过程工序合不合理、动作有没有等待和浪费现象给予评价,最后给出改善建议;
本模块的关键算法是识别双手平衡、独臂工作和无效动作;
所述双手平衡的识别根据输出表格,分别计算左右手的总模特值S1,B1,当两者之差的绝对值与两者中最大值的比率,即平衡率超过某一阈值N%时则认为双手不平衡,即:
当确定双手不平衡后,系统将时间多的一方中花费时间最小的动作编号转移给另一只手并重新计算总模特值以及平衡率,直到平衡率低于某一阈值N%即认为平衡;
所述独臂工作即只有一只手在工作,在本模块识别独臂工作算法中,模块只要检测出任一只手的总模特值接近为0即认为独臂工作,此时应给出分摊作业的算法,因为是独臂工作,所以动作编号都是紧前紧后关系,首先将第二个动作转移到另一只手,计算当前第二个动作以前左右手动作总模特值,若平衡率未达到阈值,则再将第三个动作进行转移并继续计算平衡率;当平衡率达到阈值,将独臂工作的下一个动作计入该只手总模特值并继续计算平衡率,如果未达到,则将其转移;反之,则计算下一个动作,以此类推,直到最后一个动作计入平衡率为止;
所述无效动作即对作业没有帮助却消耗时间的动作,通过找寻出数据中无模特值的数据定义无效动作。
附图说明
图1是本发明的整体框架;
图2是本发明的Kinect v2定位机构;
图3是本发明的Kinect v2定位机构主视图;
图4是本发明的Kinect v2定位机构俯视图;
图5是本发明的Kinect v2定位机构左视图;
图6是本发明的Kinect v2骨骼;
图7是本发明移动动作逻辑框图;
图8是本发明的Kinect v2移动作业监测示意图;
图9是本发明移动作业范围;
图10是本发明移动速度计算逻辑框图;
图11是本发明移动动作判断图;
图12是本发明移动动作逻辑框图;
图13是本发明双手夹角图;
图14是本发明的评价系统总逻辑框图;
1、螺栓I 2、固定螺母I 3、挡板I 4、螺母I 5、连杆I 6、电机I 7、丝杠 8、滚珠板9、固定件 10、连杆II 11、螺母II 12、电机II 13、挡板II 14、固定螺母II 15、螺栓II
具体实施方式
下面结合附图和具体实施方式对本发明作进一步描述。
本发明的目的在于提供一种坐式手工装配线模特值评测系统,可以实现计算机记录工人动作时间。本产品经过Kinect v2识别,通过内置算法即可得到工人的模特值,并根据模特值给出评价,其中Kinect v2可通过定位机构实现横纵向移动。具体包括:Kinect v2外设,Kinect v2定位机构,数据处理模块,A/D转换模块,数显模块,数据库模块,评估模块。
所述Kinect v2外设需要供电电源驱动。Kinect v2外设包含三个体感交互模块:语音识别模块、面孔识别模块、骨骼识别模块。Kinect v2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置,采集的数据将被送到CPU进行下一步处理。
所述Kinect v2定位机构由电机驱动。包含滚珠丝杠机构和连杆机构,分别控制Kinect左右位置和上下位置的移动。
所述数据处理模块分为两个子模块:模特法识别模块和Kinect v2位置调整模块。模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理,得到动作的时间结果返回CPU并存入数据库;Kinect v2位置调整模块将CPU传来的用户相对位置数据进行识别、分析,并计算出要使Kinect v2正对用户时,Kinect v2需要调整的位置数据,并输出给A/D转换模块。
所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量。数据处理模块输出的是要使Kinect v2与用户正对应调整的位置代码,经过A/D转换成真实的位置量后传输到可活动固定机构。
所述数显模块将CPU传来的数据处理模块结果显示到界面,便于研究者采集和进行下一步精益研究。
所述数据库模块从CPU接收数据处理模块和A/D转换模块数据,便于研究者采集和进行下一步精益研究。
所述评估模块,将数据库模块储存数据导出,通过评估算法进行分析处理,输出评估结果和改进方案。
如图2所示,Kinect v2定位机构,包括定位结构、纵向移动结构和横向移动结构。
所述定位结构,通过将固定螺母I2和固定螺母II14上的螺栓I1和螺栓II11旋动,可调节挡板I3和挡板II13与基座的间距,使装置定位在坐式装配线工人操作台的对面,其中定位宽度可调节,从而适应不同操作台,保证Kinect v2与操作台水平。
所诉纵向移动结构,电机II12驱动使得连杆I5和连杆II10移动,完成纵向移动。
所诉横向移动结构,电机I6驱动使得丝杠7旋转,滚珠板8横向移动。
取出固定件9,将Kinect v2放在滚珠板8上,再放置固定件9,即可保证Kinect v2与操作台保持水平,从而简化之后的模特法的换算。
其中正视图如图3,俯视图如图4,左视图如图5。
所述Kinect v2在探测时会以自己为坐标原点,X轴是从Kinect v2感应器角度观看,左边为正半轴,右边为负半轴,Y轴正轴竖直向上(仅表示Kinect v2正常放置,并未出现倒置现象),Z表示纵深程度,Kinect v2摄像方向为正方向。
当装配线工人坐在工位上,Kinect v2通过面孔识别模块识别,将采集的面孔数据与数数据库中面孔数据对比,相似度达到95%时,启动设备。Kinect v2骨骼识别追踪采集人体各个部分三坐标数据,其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。具体的骨骼坐标如图6所示。
模特法识别模块,采用半身识别的方法,模特法识别模块仅对模特法中上肢动作进行评测,其中移动动作、终结动作、放置动作测算。
如图7所示,模特法识别模块采用范围测算方法的具体实施过程如下,以左手为例的模特法评测逻辑:
(1)首先设定i=0,j=0,转(2);
(2)计算当前V1,V31,此时时间为t,转(3);
(3)判断是否满足V3>v,满足Ti=t,i=i+1转(4),不满足转(6);
(4)计算当前V3,此时时间为t,转(5);
(5)判断是否满足V3>v,满足转(4)。不满足Ti=t,如果在M2范围内即可知时间Ti-1到Ti为M2;如果在M3范围内即可知时间Ti-1到Ti为M3;如果在M4范围内即可知时间Ti-1到Ti为M4;均不在M2、M3、M4范围内,可知时间Ti-1到Ti为M5;i=i+1转(2);
(6)判断是否满足V1>v,满足Ti=t,i=i+1转(7),不满足转(9);
(7)计算当前V1,此时时间为t,转(8);
(8)判断是否满足V1>v,满足转(7)。不满足Ti=t,Ti-1到Ti为M1,转(16);
(9)判断是否满足j=1,满足转(10),不满足转(12);
(10)计算当前θ1,此时时间为t,转(11);
(11)判断是否满足θ1>θ。满足Ti=t,T=Ti-Ti-1,如果0≤T≤0.1548,Ti-1到Ti为P1,j=0;如果0.1548<T≤0.3096,Ti-1到Ti为P2,j=0;如果0.3096<T,Ti-1到Ti为P3,j=0;转(15)。不满足转(10);
(12)判断是否满足θ1<θ,满足Ti=t,i=i+1转(13),不满足转(15);
(13)计算当前V1,V3,此时时间为t,转(14);
(14)判断是否满足V1>v或V3>v,满足Ti=t,T=Ti-Ti-1,如果0≤T≤0.1548,Ti-1到Ti为G1,j=1;如果0.1548<T≤0.3096,Ti-1到Ti为G2,j=1;如果0.3096<T,Ti-1到Ti为G3,j=1;转(16)。不满足转(13);
(15)判断KINECT是否关闭,关闭即结束,未关闭转(16);
(16)i=i+1,转(2)。
右手模特值计算过程与之相同。
移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂,范围测算方法具体包括移动范围测算;移动动作的速度测算;移动动作的判定;
步骤一:首先确定默认范围
在进行评测时Kinect v2的放置如图8所示。在移动范围测算之前,需要装配线工人坐在Kinect v2设备前,等待5秒,此时Kinect v2根据工人骨骼测算出移动的作业范围,如图9所示,默认装配线工人仅在长为A,宽为B的范围内活动;
步骤二:移动范围测算
采集相关骨骼点,针对左右手,测算出在M2、M3、M4和M5模特值的移动范围,其中M2、M3、M4范围是以左右肩膀为原点,根据相关的距离测算公式计算出的距离l绕点旋转的半圆即为相关模特值的活动范围,其它范围即为M5范围;其中M2还有一个限制,必须不能超过左/右肩膀点向左/右发射出的45度直线;
具体为采集左肩膀右肩膀左肘右肘左手右手左指尖右指尖
左手腕活动距离分为M2、M3、M4和M5,其中M2的活动最大距离M3的活动最大距离M4的活动最大距离
右手腕活动距离分为M2、M3、M4和M5,其中M2的活动最大距离M3的活动最大距离M4的活动最大距离
监测左手动态数据右手动态数据其中两条直线分别是z=x+(z1-x1),z=-x+(z2+x2)。
左手在M2的范围需要满足:
左手在M3的范围需要满足:
左手在M4的范围需要满足:
左手脱离以上区域即为达到M5区域。
右手在M2的范围需要满足:
右手在M3的范围需要满足:
右手在M4的范围需要满足:
右手脱离以上区域即为达到M5区域。
最佳作业区范围如下定义:
步骤三:移动动作的速度测算
需要监测左手动态数据右手动态数据左指尖动态数据右指尖动态数据通过以下方法测算出移动速度。
Kinect v2持续采集数据,左手计算过程如图10所示,框图逻辑为下:
(1)首先设定i=0,转(2);
(2)获取动态数值时间为t,转(3);
(3)判断是否满足i>0,不满足Xi=x11,Yi=y11,Zi=z11,Ti=t,i=i+1,转(2),满足转(4);
(4)Xi=x11,Yi=y11,Zi=z11,Ti=t,计算速度V1,转(5);
(5)判断Kinect v2是否关闭,关闭结束,未关闭i=i+1,转(2)。
其中同理可求出右指尖速度V2,左手速度V3,右手速度V4。其中速度超过阈值即视为移动动作启动,定义阈值为v。
步骤四:移动动作的判定
手指动作通过判断V1和V2是否大于v,当大于之后即为M1;手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即V3和V4大于后v即认为开始移动,当V3和V4小于v时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
由于手腕动作、小臂动作、大臂动作和伸直手臂均会带动手指空间移动,所以本文认为当左右手视为移动后,即停止判断手指模特值。
所述移动动作也可根据时间测算方法测算模特值:
已知左指尖速度V1,右指尖速度V2,左手速度V3,右手速度V4,如图11所示,速度超过阈值v即视为移动动作启动,当速度低于阈值v时,移动动结束,根据差值T判断模特值,手移动时间为0≤T≤0.1548视为指尖移动M1,手移动时间为0.1548<T≤0.3096视为手腕动作M2,手移动时间为0.3096≤T≤0.4644视为小臂动作M3,手移动时间为0.4644<T≤0.6192视为大臂动作M4,手移动时间为0.6192<T视为大臂动作M5。
以左指尖为例,如图12所示,框图逻辑为下:
(1)首先设定i=0,转(2);
(2)计算当前速度V1,此时时间为t,转(3);
(3)判断是否满足V1>v,不满足转(2),满足Ti=t,i=i+1转(4);
(4)计算当前速度V1,此时时间为t,转(5);
(5)判断是否满足V1>v,满足转(4),不满足Ti=t,T=Ti-Ti-1,转(6);
(6)判断是否满足0.1032≤T≤0.1548,满足Ti-1到Ti时间段完成M1转(7),不满足转(7);
(7)判断Kinect v2是否关闭,关闭结束,未关闭i=i+1,转(2)。
手腕动作、小臂动作、大臂动作和伸直手臂与之相同。
终结动作中抓捏动作包括接触、简单地抓和复杂的抓;放置动作包括简单放置、复杂地抓和装配,终结动作和放置动作具备先后关系;
监测左拇指动态数据右拇指动态数据如图13所示:左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为
当θ1和θ2小于阈值θ时,认为开始终结动作,开始计时,当移动动作开启,认为终结动作终止,停止计时,根据差值T判断模特值;接触M1时间为0≤T≤0.1548,简单地抓M2时间为0.1548<T≤0.3096,复杂的抓M3时间为0.3096<T。
完成终结动作,在移动动作结束后放置动作开始计时,当θ1和θ2大于阈值θ时,计时停止,根据差值T判断模特值;简单放置M1时间为0≤T≤0.1548,复杂地抓M2时间为0.1548<T≤0.3096,装配M3时间为0.3096<T。
评估模块要求对系统在一定时间段获取的工人双手动作时间进行作业分析,并对该过程(工序合不合理、动作有没有等待和浪费现象等)给予评价,最后智能地提出改善建议以供用户参考改善。作业分析即对以人为主的工序进行细致研究,使作业者、辅助设备、作业对象科学合理地安排,达到减少作业时间的浪费和实现最佳作业的效果。
本评估模块主要针对下述问题进行改善最终实现提高生产效率目的:通过ECRS四原则,使操作者操作总数低简单易行、工序排列满意;杜绝某一部位的肌肉关节重复使用;缩减左右手空闲等待。
本评估模块采用双手操作分析原理,和以往不同的是,本操作分析是完全基于计算机算法实现,无须人为计算,省去大量工作量。图14是双手操作分析流程图。具体思路是首先进行双手动作平衡判断,如果未达到平衡,则评价降级并应该采用平衡算法来进行改善;其次对独臂动作进行判断,如果存在独臂动作,则评价降级(与上一判断累加)并采用独臂平衡算法进行改善;最后对无效动作进行识别,如果存在无效动作则评价降级并给出设备摆放的改善建议。
本文动作与动作之间是靠停顿时间区分,停顿时间达到一定阈值,即认为该时间前后是两个动作,应分别计算模特值。根据系统输入,经评价系统处理,应得到如下输出信息表格。
本模块的关键算法是识别双手平衡、独臂工作和无效动作。下面分别用算法进行解释。
双手平衡的识别根据上述输出表格,分别计算左右手的总模特值S1,B1,当两者之差的绝对值与两者中最大值的比率(平衡率)超过某一阈值N%时则认为双手不平衡。即:
当确定双手不平衡后,系统将时间多的一方中花费时间最小的动作编号转移给另一只手并重新计算总模特值以及平衡率,直到平衡率低于某一阈值N%即认为平衡。
独臂工作即只有一只手在工作,在本模块识别独臂工作算法中,模块只要检测出任一只手的总模特值接近为0即认为独臂工作,此时应给出分摊作业的算法,因为是独臂工作,所以动作编号都是紧前紧后关系。首先将第二个动作转移到另一只手,计算当前(第二个动作以前)左右手动作总模特值,若平衡率未达到阈值,则再将第三个动作进行转移并继续计算平衡率;当平衡率达到阈值,将独臂工作的下一个动作计入该只手总模特值并继续计算平衡率,如果未达到,则将其转移;反之,则计算下一个动作,以此类推。直到最后一个动作计入平衡率为止。
无效动作即对作业没有帮助却消耗时间的动作,无效动作的研究对象是工具的摆放,当工具摆放不合理,就会造成工人花费较长时间去抓取物体,因此对工具摆放的研究尤为关键。模特法定义了耗时长的动作模特值,都应予以优化。因此本模块识别出了这些不合理的动作,并建议用户对和这些不合理动作的设备进行重新布局。

Claims (8)

1.一种坐式手工装配线模特值评测系统,可以实现计算机记录工人动作时间,其特征在于:本产品经过Kinect v2识别,通过内置算法即可得到坐式手工装配线的模特值,并根据模特值给出评价,其中Kinect v2可通过定位机构实现横纵向移动,具体包括:Kinect v2外设,Kinect v2定位机构,数据处理模块,A/D转换模块,数显模块,数据库模块,评估模块;
所述Kinect v2外设需要供电电源驱动,Kinect v2外设包含三个体感交互模块:语音识别模块、面孔识别模块、骨骼识别模块,Kinect v2根据上述体感交互模块能够捕捉用户动作以及用户的相对位置,采集的数据将被送到CPU进行下一步处理;
所述Kinect v2定位机构由电机驱动,包含滚珠丝杠机构和连杆机构,分别控制Kinect左右位置和上下位置的移动;
所述数据处理模块分为两个子模块:模特法识别模块和Kinect v2位置调整模块,模特法识别模块将CPU传来的用户动作数据进行识别、分析、处理,得到动作的时间结果返回CPU并存入数据库;Kinect v2位置调整模块将CPU传来的用户相对位置数据进行识别、分析,并计算出要使Kinect v2正对用户时,Kinect v2需要调整的位置数据,并输出给A/D转换模块;
所述A/D转换模块是将数据处理模块计算输出的数字量转换成模拟量;数据处理模块输出的是要使Kinect v2与用户正对应调整的位置代码,经过A/D转换成真实的位置量后传输到可活动固定机构;
所述数显模块将CPU传来的数据处理模块结果显示到界面,便于研究者采集和进行下一步精益研究;
所述数据库模块从CPU接收数据处理模块和A/D转换模块数据,便于研究者采集和进行下一步精益研究;
所述评估模块,将数据库模块储存数据导出,通过评估算法进行分析处理,输出评估结果和改进方案。
2.根据权利要求1所述的一种坐式手工装配线模特值评测系统,其特征在于,所述Kinect v2定位机构,包括定位结构、纵向移动结构和横向移动结构;
所述定位结构,通过将固定螺母I(2)和固定螺母II(14)上的螺栓I(1)和螺栓II(11)旋动,可调节挡板I(3)和挡板II(13)与基座的间距,使装置定位在坐式装配线工人操作台的对面,其中定位宽度可调节,从而适应不同操作台,保证Kinect v2与操作台水平;
所诉纵向移动结构,电机II(12)驱动使得连杆I(5)和连杆II(10)移动,完成纵向移动;
所诉横向移动结构,电机I(6)驱动使得丝杠(7)旋转,滚珠板(8)横向移动;
取出固定件(9),将Kinect v2放在滚珠板(8)上,再放置固定件(9),即可保证Kinectv2与操作台保持水平,从而简化之后的模特法的换算。
3.根据权利要求1所述的一种坐式手工装配线模特值评测系统,其特征在于,所述Kinect v2在探测时会以自己为坐标原点,X轴是从Kinect v2感应器角度观看,左边为正半轴,右边为负半轴,Y轴正轴竖直向上,仅表示Kinect v2正常放置,并未出现倒置现象,Z表示纵深程度,Kinect v2摄像方向为正方向;
当装配线工人坐在工位上,Kinect v2通过面孔识别模块识别,将采集的面孔数据与数数据库中面孔数据对比,相似度达到95%时,启动设备,Kinect v2骨骼识别追踪采集人体各个部分三坐标数据,其中包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。
4.根据权利要求1所述的一种坐式手工装配线模特值评测系统,其特征在于,所述模特法识别模块,采用半身识别的方法,模特法识别模块仅对模特法中上肢动作进行评测,其中包括移动动作、终结动作、放置动作测算。
5.根据权利要求4所述的一种坐式手工装配线模特值评测系统,所述的移动动作包括手指动作、手腕动作、小臂动作、大臂动作和伸直手臂,范围测算方法具体测算包括移动范围测算;移动动作的速度测算;移动动作的判定;
步骤一:首先确定默认范围
在移动范围测算之前,需要装配线工人坐在Kinect v2设备前,等待5秒,此时Kinectv2根据工人骨骼测算出移动的作业范围,并默认装配线工人仅在长为A,宽为B的范围内活动;
步骤二:移动范围测算
采集相关骨骼点,针对左右手,测算出在M2、M3、M4和M5模特值的移动范围,其中M2、M3、M4范围是以左右肩膀为原点,根据相关的距离测算公式计算出的距离l绕点旋转的半圆即为相关模特值的活动范围,其它范围即为M5范围;其中M2还有一个限制,必须不能超过左/右肩膀点向左/右发射出的45度直线;
步骤三:移动动作的速度测算
需要监测左手动态数据右手动态数据左指尖动态数据右指尖动态数据通过计算出左指尖的移动速度,进而求出右指尖速度V2,左手速度V3,右手速度V4,其中速度超过阈值即视为移动动作启动,定义阈值为v;
步骤四:移动动作的判定
手指动作通过判断V1和V2是否大于v,当大于之后即为M1;手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即V3和V4大于后v即认为开始移动,当V3和V4小于v时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
由于手腕动作、小臂动作、大臂动作和伸直手臂均会带动手指空间移动,所以本文认为当左右手视为移动后,即停止判断手指模特值。
6.根据权利要求4所述的一种坐式手工装配线模特值评测系统,其特征在于,所述移动动作也可根据时间测算方法测算模特值:
已知左指尖速度V1,右指尖速度V2,左手速度V3,右手速度V4,速度超过阈值v即视为移动动作启动,当速度低于阈值v时,移动动结束,根据差值T判断模特值,手移动时间为0≤T≤0.1548视为指尖移动M1,手移动时间为0.1548<T≤0.3096视为手腕动作M2,手移动时间为0.3096≤T≤0.4644视为小臂动作M3,手移动时间为0.4644<T≤0.6192视为大臂动作M4,手移动时间为0.6192<T视为大臂动作M5。
7.根据权利要求4所述的一种坐式手工装配线模特值评测系统,其特征在于:所述终结动作中抓捏动作包括接触、简单地抓和复杂的抓;放置动作包括简单放置、复杂地抓和装配,终结动作和放置动作具备先后关系;
监测左拇指动态数据右拇指动态数据左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为
当θ1和θ2小于阈值θ时,认为开始终结动作,开始计时,当移动动作开启,认为终结动作终止,停止计时,根据差值T判断模特值;接触M1时间为0≤T≤0.1548,简单地抓M2时间为0.1548<T≤0.3096,复杂的抓M3时间为0.3096<T。
完成终结动作,在移动动作结束后放置动作开始计时,当θ1和θ2大于阈值θ时,计时停止,根据差值T判断模特值;简单放置M1时间为0≤T≤0.1548,复杂地抓M2时间为0.1548<T≤0.3096,装配M3时间为0.3096<T。
8.根据权利要求1所述的一种坐式手工装配线模特值评测系统,其特征在于,所述的评估模块要求对系统在一定时间段获取的工人双手动作时间进行作业分析,并对该过程工序合不合理、动作有没有等待和浪费现象给予评价,最后给出改善建议;
本模块的关键算法是识别双手平衡、独臂工作和无效动作;
所述双手平衡的识别根据输出表格,分别计算左右手的总模特值S1,B1,当两者之差的绝对值与两者中最大值的比率,即平衡率超过某一阈值N%时则认为双手不平衡,即:
| S 1 - B 1 | M a x ( S 1 , B 1 ) > N %
当确定双手不平衡后,系统将时间多的一方中花费时间最小的动作编号转移给另一只手并重新计算总模特值以及平衡率,直到平衡率低于某一阈值N%即认为平衡;
所述独臂工作即只有一只手在工作,在本模块识别独臂工作算法中,模块只要检测出任一只手的总模特值接近为0即认为独臂工作,此时应给出分摊作业的算法,因为是独臂工作,所以动作编号都是紧前紧后关系,首先将第二个动作转移到另一只手,计算当前第二个动作以前左右手动作总模特值,若平衡率未达到阈值,则再将第三个动作进行转移并继续计算平衡率;当平衡率达到阈值,将独臂工作的下一个动作计入该只手总模特值并继续计算平衡率,如果未达到,则将其转移;反之,则计算下一个动作,以此类推,直到最后一个动作计入平衡率为止;
所述无效动作即对作业没有帮助却消耗时间的动作,通过找寻出数据中无模特值的数据定义无效动作。
CN201611173924.7A 2016-12-19 2016-12-19 一种坐式手工装配线模特值评测系统 Expired - Fee Related CN106774896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611173924.7A CN106774896B (zh) 2016-12-19 2016-12-19 一种坐式手工装配线模特值评测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611173924.7A CN106774896B (zh) 2016-12-19 2016-12-19 一种坐式手工装配线模特值评测系统

Publications (2)

Publication Number Publication Date
CN106774896A true CN106774896A (zh) 2017-05-31
CN106774896B CN106774896B (zh) 2018-03-13

Family

ID=58889867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611173924.7A Expired - Fee Related CN106774896B (zh) 2016-12-19 2016-12-19 一种坐式手工装配线模特值评测系统

Country Status (1)

Country Link
CN (1) CN106774896B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423650A (zh) * 2017-08-09 2017-12-01 青岛理工大学 一种投影式增强现实装配诱导与监测系统及其实现方法
CN107885320A (zh) * 2017-08-24 2018-04-06 吉林大学 一种装配线工人活动区域的布置方法
CN108090448A (zh) * 2017-12-20 2018-05-29 吉林大学 一种虚拟装配中模特值评价方法
CN108656113A (zh) * 2018-05-16 2018-10-16 吉林大学 一种虚拟装配操作中对准动作识别方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100540871B1 (ko) * 2005-04-13 2006-01-10 박정식 근골격계 질환 진단 및 예방관리 방법 및 그 프로그램이기록된 기록매체
US20080253650A1 (en) * 2005-06-20 2008-10-16 Nikon Corporation Image Processing Device, Image Processing Method, Image Processing Program Product, and Image-Capturing Device
CN102814814A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种双臂机器人基于Kinect的人机交互方法
US20130158439A1 (en) * 2011-12-19 2013-06-20 Steven Donald CLARKE Upper limb impairment measurement system
US20130182904A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for video content analysis using depth sensing
CN103258078A (zh) * 2013-04-02 2013-08-21 上海交通大学 融合Kinect设备和Delmia环境的人机交互虚拟装配系统
CN103529855A (zh) * 2013-10-11 2014-01-22 华南农业大学 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用
CN103529944A (zh) * 2013-10-17 2014-01-22 合肥金诺数码科技股份有限公司 一种基于Kinect的人体动作识别方法
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
CN104035557A (zh) * 2014-05-22 2014-09-10 华南理工大学 一种基于关节活跃度的Kinect动作识别方法
CN105389006A (zh) * 2015-10-27 2016-03-09 成都斯斐德科技有限公司 一种基于Kinect的裸眼3D交互改进方法
CN106503752A (zh) * 2016-11-14 2017-03-15 吉林大学 一种坐式手工装配线疲劳度检测系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100540871B1 (ko) * 2005-04-13 2006-01-10 박정식 근골격계 질환 진단 및 예방관리 방법 및 그 프로그램이기록된 기록매체
US20080253650A1 (en) * 2005-06-20 2008-10-16 Nikon Corporation Image Processing Device, Image Processing Method, Image Processing Program Product, and Image-Capturing Device
US20130158439A1 (en) * 2011-12-19 2013-06-20 Steven Donald CLARKE Upper limb impairment measurement system
US20130182904A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for video content analysis using depth sensing
CN102814814A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种双臂机器人基于Kinect的人机交互方法
CN103258078A (zh) * 2013-04-02 2013-08-21 上海交通大学 融合Kinect设备和Delmia环境的人机交互虚拟装配系统
CN103529855A (zh) * 2013-10-11 2014-01-22 华南农业大学 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用
CN103529944A (zh) * 2013-10-17 2014-01-22 合肥金诺数码科技股份有限公司 一种基于Kinect的人体动作识别方法
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
CN104035557A (zh) * 2014-05-22 2014-09-10 华南理工大学 一种基于关节活跃度的Kinect动作识别方法
CN105389006A (zh) * 2015-10-27 2016-03-09 成都斯斐德科技有限公司 一种基于Kinect的裸眼3D交互改进方法
CN106503752A (zh) * 2016-11-14 2017-03-15 吉林大学 一种坐式手工装配线疲劳度检测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
佐立营: "面向机器人抓取的散乱零件自动识别与定位技术研究", 《中国优秀硕士学位论文全文数据库.信息科技辑》 *
孔繁森等: "装配生产线人因质量事故的追溯方法", 《北京工业大学学报》 *
彭琪琪: "典型手工装配过程的作业人员疲劳成因与控制研究", 《事故预防学报》 *
王朝增: "基于Kinect的装配仿真及其人机工效分析", 《中国优秀硕士学位论文全文数据库.工程科技I辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423650A (zh) * 2017-08-09 2017-12-01 青岛理工大学 一种投影式增强现实装配诱导与监测系统及其实现方法
CN107885320A (zh) * 2017-08-24 2018-04-06 吉林大学 一种装配线工人活动区域的布置方法
CN108090448A (zh) * 2017-12-20 2018-05-29 吉林大学 一种虚拟装配中模特值评价方法
CN108090448B (zh) * 2017-12-20 2018-09-28 吉林大学 一种虚拟装配中模特值评价方法
CN108656113A (zh) * 2018-05-16 2018-10-16 吉林大学 一种虚拟装配操作中对准动作识别方法

Also Published As

Publication number Publication date
CN106774896B (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN106774896B (zh) 一种坐式手工装配线模特值评测系统
CN104382595B (zh) 一种基于肌电信号与虚拟现实交互技术的上肢康复系统及方法
CN102722312B (zh) 一种基于压力传感器的动作趋势预测交互体验方法及系统
KR20210010989A (ko) 수영하는 사람의 동작의 퍼포먼스 메트릭을 공식화하는 시스템 및 방법
Wu et al. Learning to combine high variability with high precision: Lack of transfer to a different task
CN104207793B (zh) 一种抓握功能评估与训练系统
CN104156068B (zh) 一种基于虚拟手交互特征层模型的虚拟维修交互操作方法
CN106344026A (zh) 基于imu的便捷式人体关节参数估计方法
CN101533578A (zh) 一种仿人机器人模拟人体上肢潜意识动作姿态的方法
CN108634957A (zh) 基于人手“手指内收外展”动作的手功能康复定量评估方法
Saggio et al. Objective surgical skill assessment: An initial experience by means of a sensory glove paving the way to open surgery simulation?
TW201121525A (en) Training system and upper limb exercise function estimation for hemiplegic stroke patient.
CN102023707A (zh) 基于dsp-pc机器视觉系统的斑纹式数据手套
CN105261253B (zh) 一种通用型火电站仿真培训自动评分评价系统和方法
JP2016035651A (ja) 在宅リハビリテーションシステム
CN211460187U (zh) 一种新型运动心肺代谢功能测试装置
CN104156063A (zh) 一种面向三维交互界面的手势速度估计方法
CN106037640B (zh) 一种伤病远程分析系统及方法
Guo et al. A novel fuzzy neural network-based rehabilitation stage classifying method for the upper limb rehabilitation robotic system
CN108185986A (zh) 基于人手前臂旋前动作的手功能康复定量评估方法
CN111027470B (zh) 一种基于认知分解的行为度量与评价方法
Nie et al. The Application of Virtual Reality Technology in Teaching of Industrial Design− Outline of the Project for the Human-Computer Interactive Simulation of the Upper Limb Operations
Xu et al. Design and verification of piano playing assisted hand exoskeleton robot
Li et al. Key techniques of upper limb rehabilitation training system based on Kinect
CN112415914A (zh) 一种基于数字孪生的高炉鼓风与trt启停机仿真控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180313

Termination date: 20191219