CN103455657A

CN103455657A - 一种基于Kinect的现场作业仿真方法及其系统

Info

Publication number: CN103455657A
Application number: CN2013102527503A
Authority: CN
Inventors: 孙永剑; 万昌江; 李仁旺; 王朝增; 王海燕
Original assignee: Zhejiang Sci Tech University ZSTU
Current assignee: Zhejiang Sci Tech University ZSTU; Zhejiang University of Science and Technology ZUST
Priority date: 2013-06-21
Filing date: 2013-06-21
Publication date: 2013-12-18
Anticipated expiration: 2033-06-21
Also published as: CN103455657B

Abstract

本发明公开了一种能够很好地满足实现对现场工人作业实时捕捉从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的基于Kinect的现场作业仿真方法及其系统。它包括用于采集人体图像的Kinect体感装置、数据输入接口、通过处理采集到的人体图像来分析现场作业的数据处理装置、数据输出接口和用于显示作业现场作业人员动作的显示设备，所述的Kinect体感装置通过数据输入接口连接数据处理装置，所述的数据处理装置通过数据输出接口连接显示设备。本发明的有益效果是：能够很好地满足实现对现场工人作业实时捕捉，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计的要求；对作业现场适用性强，且有利于提高工作效率。

Description

一种基于Kinect的现场作业仿真方法及其系统

技术领域

本发明涉及现场作业分析仿真相关技术领域，尤其是指一种基于Kinect的现场作业仿真方法及其系统。

背景技术

提高手工作业的装配工人的生产效率，对于减少企业的人力成本支出至关重要。作业现场数据的收集是工效学分析研究的第一步，传统的工效学研究中，研究人员利用秒表、记录纸或视频的方式来观察现场记录作业者的操作，然后对记录的信息进行手工分析或利用相关的处理软件分析来评价工人的作业和工作量。这些方法需要研究人员手工分析整理，分析工作量高，劳动强度大，而且不能达到实时的要求。随着运动捕捉技术、计算机仿真技术的发展，人体形态特征地获取由手工活体测量的方法转变为运动捕捉方法来进行，不仅可以获得静态特征，而且可以获得动态特征，其数据采集速度和准确度都有了明显的改善。但是目前已有的各种运动捕捉技术如光学式、机械式、电磁式等，由于各方面的限制，不能很好地满足实现对现场工人作业实时捕捉的要求。

中国专利申请公布号：CN 102638653A，申请公布日2012年8月15日，公开了一种基于Kinect的自动面部追踪方法，步骤为：（1）将Kinect与可编程旋转摄像机组成为追踪设备并进行标定；（2）通过Kinect获取人体骨骼数据序列，并从中提取头部骨骼点在Kinect坐标系中的坐标；（3）利用当前摄像机的外参数和当前Kinect的外参数得到Kinect坐标系到摄像机坐标系的变换矩阵；（4）利用步骤（3）中获取的变换矩阵将步骤（2）中得到的头部骨骼点坐标变换到摄像机坐标系中，而后计算摄像机在水平和垂直方向需要旋转的角度以及需要缩放的倍数；（5）根据步骤（4）中求得的角度和倍数，驱动摄像机进行相应的旋转和缩放，使得摄像机能够追踪人的面部运动。该发明利用连续获取的骨骼数据序列驱动摄像机旋转和缩放，可有效地实现自动面部追踪，该发明的不足之处在于，不能很好地满足实现对现场工人作业实时捕捉，从而不能够满足制造领域对现场作业过程、作业环境等因素的优化设计要求。

发明内容

本发明是为了克服现有技术中不能很好地满足实现对现场工人作业实时捕捉从而不能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的不足，提供了一种能够很好地满足实现对现场工人作业实时捕捉从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的基于Kinect的现场作业仿真方法及其系统。

为了实现上述目的，本发明采用以下技术方案：

一种基于Kinect的现场作业仿真方法，包括以下操作步骤：

（1）通过Kinect体感装置分别获取现场作业人员作业姿势的彩色图像数据、骨架数据和深度图像数据；

（2）将获得的彩色图像数据、骨架数据和深度图像数据转化为人体骨骼中20个关节在系统空间坐标系中的三维坐标值；

（3）通过识别的人体骨骼中各关节的三维坐标值来跟踪同一时刻人体骨骼的运动状态，从而确定该时刻的人体姿势；

（4）通过国标的人体尺寸数据库来建立以人体身高或体重百分位为标准的男性和女性三维人体模型；

（5）通过获取在不同采样时间的人体骨骼中20个关节的三维坐标值，来驱动合适的三维人体模型来产生不同采样时间的人体的姿势；

（6）通过导入预设的三维图形数据来建立作业现场仿真环境；

（7）通过分析在作业现场仿真环境中的人体姿势，利用生理学下背部模型来进行作业者下背部受力分析、工作的作业时间分析以及作业姿势的舒适度等人因工效分析。

通过Kinect体感装置采集人体的动作状态，同时将采集到的信息进行数据处理，获取三维的人体模型，其中在三维人体模型中包含了19个人体部位和20个人体关节，根据国内标准的人体尺寸来识别人体的运动状态，通过设置的采样频率来捕获人体的连续动作状态，然后结合作业现场的仿真环境来分析人体的作业工效，以便于能进行更好的优化，达到了满足实现对现场工人作业实时捕捉，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的目的。

作为优选，步骤（1）中，所述的Kinect体感装置中包括彩色摄像头和红外摄像头，彩色摄像头主要根据所设置的采样频率来捕捉彩色图像，红外摄像头主要根据所设置的采样频率捕捉景深图像，然后从彩色图像数据、景深图像数据中获取人体骨架图像数据，通过所设置的采样频率能够实时采集所需的不同图像数据来获取人体骨架图像数据，便于进一步的人体运动状态捕捉。

作为优选，在步骤（2）中，先建立系统空间坐标系，然后以系统空间坐标系为基准确定彩色摄像头系统空间坐标和红外摄像头系统空间坐标，再以系统空间坐标系为基准通过彩色摄像头系统空间坐标和红外摄像头系统空间坐标来确定人体骨骼关键关节的系统空间坐标，之后建立人体骨骼与系统空间的转换矩阵，最后确定人体骨骼20个关节的系统空间坐标，通过确定的人体骨骼20个关节系统空间坐标，然后再根据国内标准的人体尺寸来确定人体的运动姿势，不同的采样时间采取不同的运动姿势序列，从而完成动作的捕捉。

作为优选，在步骤（6）中，所述的三维图形数据为VRML、IGES和STL文件格式的三维图形数据，使用VRML、IGES和STL该三种文件格式便于对作业场景进行仿真建模，使得人体动作捕捉能够结合作业场景，更好的对现场作业过程、作业环境等因素进行优化。

一种基于Kinect的现场作业仿真系统，包括用于采集人体图像的Kinect体感装置、数据输入接口、通过处理采集到的人体图像来分析现场作业的数据处理装置、数据输出接口和用于显示作业现场作业人员动作的显示设备，所述的Kinect体感装置通过数据输入接口连接数据处理装置，所述的数据处理装置通过数据输出接口连接显示设备。

结合一种基于Kinect的现场作业仿真方法而设计的系统，通过数据处理装置来处理Kinect体感装置捕获的人体动作状态，并将人体动作姿势做成一个动作姿势序列，并将动作姿势序列放置在作业现场的仿真建模中，能够进行实时的分析作业工效，进一步优化现场作业过程、作业环境等因素，同时通过显示设备能够给人以视觉上的直观感受，使其能够身临其境，充分考虑到现场作业的情况，做出最好的优化措施。

作为优选，所述的Kinect体感装置包括彩色摄像头、红外摄像头和图像采集器，所述的彩色摄像头和红外摄像头均连接图像采集器，所述的图像采集器连接数据输入接口，通过图像采集器将彩色摄像头和红外摄像头采集到的图像进行初步处理，在提取重要图像数据的同时，可以减少一定的图像信息，提高了整个系统的工作效率。

作为优选，所述的数据处理装置包括人体骨骼运动识别模块、人体骨骼运动跟踪模块、三维人体建模模块、三维人体运动仿真模块、作业工效仿真分析模块和作业场景仿真建模模块，所述的人体骨骼运动识别模块、人体骨骼运动跟踪模块、三维人体建模模块、三维人体运动仿真模块、作业工效仿真分析模块和作业场景仿真建模模块依次连接，所述的人体骨骼运动识别模块连接数据输入接口，所述的作业工效仿真分析模块连接数据输出接口，通过人体骨骼运动识别模块对20个人体关节进行捕获，通过人体骨骼运动跟踪模块能够采样不同时刻人体骨骼的运动姿势，通过三维人体建模模块并以国内标准建立三维人体模型，通过三维人体运动仿真模块将采集到的不同时刻人体骨骼运动姿势进行动作仿真，通过作业工效仿真分析模块将采集到动作状态进行分析，同时通过作业场景仿真建模模块建立仿真的作业场景，两者相结合能够更好的优化现场作业过程、作业环境等因素。

作为优选，还包括音频输出设备，所述的音频输出设备连接数据输出接口，能够直观的告诉使用者人体运动状态，同时也可以对不合理的动作进行实时的警告，避免潜在的危险因素，提高安全性能。

作为优选，还包括信号发射接收器和远程监控装置，所述的信号发射接收器连接数据输出接口，所述的信号发射接收器连接远程监控装置，这样设计便于进行远程监控，同时也方便管理，有利于提高工作效率。

本发明的有益效果是：能够很好地满足实现对现场工人作业实时捕捉，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计的要求；同时通过分析在作业现场仿真环境中的人体姿势，利用生理学下背部模型来进行作业者下背部受力分析、工作的作业时间分析以及作业姿势的舒适度等人因工效分析；对作业现场适用性强，且有利于提高工作效率。

附图说明

图1是本发明的系统框图；

图2是三维人体模型结构图；

图3是系统空间坐标系转换流程图。

图中：1. Kinect体感装置，2. 数据输入接口，3. 人体骨骼运动识别模块，4. 人体骨骼运动跟踪模块，5. 三维人体建模模块，6.三维人体运动仿真模块，7. 作业工效仿真分析模块，8. 作业场景仿真建模模块，9. 数据输出接口，10. 显示设备，11. 音频输出设备，12. 信号发射接收器，13. 远程监控装置，14. 数据处理装置，15.关节。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1、图2、图3所述的实施例中，一种基于Kinect的现场作业仿真系统，包括用于采集人体图像的Kinect体感装置1、数据输入接口2、通过处理采集到的人体图像来分析现场作业的数据处理装置14、数据输出接口9、用于显示作业现场作业人员动作的显示设备10、音频输出设备11、信号发射接收器12和远程监控装置13， Kinect体感装置1通过数据输入接口2连接数据处理装置14，数据处理装置14通过数据输出接口9连接显示设备10，音频输出设备11和信号发射接收器12连接数据输出接口9，信号发射接收器12连接远程监控装置13。其中：Kinect体感装置1包括彩色摄像头、红外摄像头和图像采集器，彩色摄像头和红外摄像头均连接图像采集器，图像采集器连接数据输入接口2；数据处理装置14包括人体骨骼运动识别模块3、人体骨骼运动跟踪模块4、三维人体建模模块5、三维人体运动仿真模块6、作业工效仿真分析模块7和作业场景仿真建模模块8，人体骨骼运动识别模块3、人体骨骼运动跟踪模块4、三维人体建模模块5、三维人体运动仿真模块6、作业工效仿真分析模块7和作业场景仿真建模模块8依次连接，人体骨骼运动识别模块3连接数据输入接口2，作业工效仿真分析模块7连接数据输出接口9。其中：数据输入接口2采用的是USB接口。

基于上述系统所对应的一种基于Kinect的现场作业仿真方法，包括以下操作步骤：

（1）通过Kinect体感装置1分别获取现场作业人员作业姿势的彩色图像数据、骨架数据和深度图像数据，其中Kinect体感装置1包括彩色摄像头、红外发射光源、红外摄像头和图像采集器，彩色摄像头主要根据所设置的采样频率来捕捉彩色图像，红外摄像头主要根据所设置的采样频率捕捉景深图像，然后从彩色图像数据和景深图像数据中获取人体骨架图像数据；

（2）将获得的彩色图像数据、骨架数据和深度图像数据转化为人体骨骼中20个关节在系统空间坐标系中的三维坐标值，具体操作方法为：先建立系统空间坐标系16，然后以系统空间坐标系为基准确定彩色摄像头系统空间坐标17和红外摄像头系统空间坐标18，再以系统空间坐标系为基准通过彩色摄像头系统空间坐标和红外摄像头系统空间坐标来确定人体骨骼关键关节的系统空间坐标19，之后建立人体骨骼与系统空间的转换矩阵20，最后确定人体骨骼20个关节的系统空间坐标21；

（3）通过识别的人体骨骼中各关节15的三维坐标值来跟踪同一时刻人体骨骼的运动状态，从而确定该时刻的人体姿势，其中：人体骨骼20个关节15构成了人体的19个部位，通过人体关节15之间的连接形成人体部位，再构成一个人体模型确定人体的运动姿势；

（4）通过国标的人体尺寸数据库来建立以人体身高或体重百分位为标准的男性和女性三维人体模型，其中国标为国内标准，具体采用的是国标GB 10000-88，三维人体模型的尺寸可以根据国标GB 10000-88的人体尺寸来建立各百分位数的三维人体模型库；

（5）通过获取在不同采样时间的人体骨骼中20个关节15的三维坐标值，来驱动合适的三维人体模型来产生不同采样时间的人体的姿势，主要是将不同时刻的人体运动姿势同时作用在一个三维人体模型上，根据采样时间的不同做出不同的人体运动姿势，将其连接起来可以形成一个整体的运动状态，即为驱动合适的三维人体模型做出不同的人体姿势；

（6）通过导入预设的三维图形数据来建立作业现场仿真环境，其中：三维图形数据为VRML、IGES和STL文件格式的三维图形数据，通过三者之间的相互配合建立一个作业现场的仿真环境，从而方便人体结合作业环境便于数据分析；

（7）通过分析在作业现场仿真环境中的人体姿势，利用生理学下背部模型来进行作业者下背部受力分析、工作的作业时间分析以及作业姿势的舒适度等人因工效分析，以便于能进行更好的优化，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求。

Claims

1. 一种基于Kinect的现场作业仿真方法，其特征是，包括以下操作步骤：

通过Kinect体感装置（1）分别获取现场作业人员作业姿势的彩色图像数据、骨架数据和深度图像数据；

将获得的彩色图像数据、骨架数据和深度图像数据转化为人体骨骼中20个关节（15）在系统空间坐标系中的三维坐标值；

通过识别的人体骨骼中各关节（15）的三维坐标值来跟踪同一时刻人体骨骼的运动状态，从而确定该时刻的人体姿势；

通过国标的人体尺寸数据库来建立以人体身高或体重百分位为标准的男性和女性三维人体模型；

通过获取在不同采样时间的人体骨骼中20个关节（15）的三维坐标值，来驱动合适的三维人体模型来产生不同采样时间的人体的姿势；

通过导入预设的三维图形数据来建立作业现场仿真环境；

通过分析在作业现场仿真环境中的人体姿势，利用生理学下背部模型来进行作业者下背部受力分析、工作的作业时间分析以及作业姿势的舒适度等人因工效分析。

2.根据权利要求1所述的一种基于Kinect的现场作业仿真方法，其特征是，在步骤（1）中，所述的Kinect体感装置（1）中包括彩色摄像头和红外摄像头，彩色摄像头主要根据所设置的采样频率来捕捉彩色图像，红外摄像头主要根据所设置的采样频率捕捉景深图像，然后从彩色图像数据、景深图像数据中获取人体骨架图像数据。

3.根据权利要求2所述的一种基于Kinect的现场作业仿真方法，其特征是，在步骤（2）中，先建立系统空间坐标系，然后以系统空间坐标系为基准确定彩色摄像头系统空间坐标和红外摄像头系统空间坐标，再以系统空间坐标系为基准通过彩色摄像头系统空间坐标和红外摄像头系统空间坐标来确定人体骨骼关键关节（15）的系统空间坐标，之后建立人体骨骼与系统空间的转换矩阵，最后确定人体骨骼20个关节（15）的系统空间坐标。

4.根据权利要求1或2所述的一种基于Kinect的现场作业仿真方法，其特征是，在步骤（6）中，所述的三维图形数据为VRML、IGES和STL文件格式的三维图形数据。

5.一种基于Kinect的现场作业仿真系统，其特征是，包括用于采集人体图像的Kinect体感装置（1）、数据输入接口（2）、通过处理采集到的人体图像来分析现场作业的数据处理装置（14）、数据输出接口（9）和用于显示作业现场作业人员动作的显示设备（10），所述的Kinect体感装置（1）通过数据输入接口（2）连接数据处理装置（14），所述的数据处理装置（14）通过数据输出接口（9）连接显示设备（10）。

6.根据权利要求5所述的一种基于Kinect的现场作业仿真系统，其特征是，所述的Kinect体感装置（1）包括彩色摄像头、红外摄像头和图像采集器，所述的彩色摄像头和红外摄像头均连接图像采集器，所述的图像采集器连接数据输入接口（2）。

7.根据权利要求5所述的一种基于Kinect的现场作业仿真系统，其特征是，所述的数据处理装置（14）包括人体骨骼运动识别模块（3）、人体骨骼运动跟踪模块（4）、三维人体建模模块（5）、三维人体运动仿真模块（6）、作业工效仿真分析模块（7）和作业场景仿真建模模块（8），所述的人体骨骼运动识别模块（3）、人体骨骼运动跟踪模块（4）、三维人体建模模块（5）、三维人体运动仿真模块（6）、作业工效仿真分析模块（7）和作业场景仿真建模模块（8）依次连接，所述的人体骨骼运动识别模块（3）连接数据输入接口（2），所述的作业工效仿真分析模块（7）连接数据输出接口（9）。

8.根据权利要求5或6或7所述的一种基于Kinect的现场作业仿真系统，其特征是，还包括音频输出设备（11），所述的音频输出设备（11）连接数据输出接口（9）。

9.根据权利要求5或6或7所述的一种基于Kinect的现场作业仿真系统，其特征是，还包括信号发射接收器（12）和远程监控装置（13），所述的信号发射接收器（12）连接数据输出接口（9），所述的信号发射接收器（12）连接远程监控装置（13）。