CN103258078B - 融合Kinect设备和Delmia环境的人机交互虚拟装配系统及装配方法 - Google Patents

Abstract

本发明公开了一种融合Kinect设备和Delmia环境的人机交互虚拟装配系统，其特征在于，包括数据连接的人机交互设备数据采集处理服务模块和Delmia环境下虚拟装配客户端处理模块，人机交互设备数据采集处理服务模块，用于人机交互设备数据采集处理服务模块，用于进行人体动作捕捉以及语音命令采集；Delmia环境下虚拟装配客户端处理模块，用于在Delmia环境下对人机交互设备数据采集处理服务模块采集到的数据进行数据整合以及数据驱动。本发明采用Kinect设备采集人体的空间位姿和语音信息，人体的空间位置用来驱动Delmia虚拟装配中的虚拟人和可活动装配部件，语音信息可以用来形成装配和系统控制指令，本发明造价低廉，适用性广泛。

Description

融合Kinect设备和Delmia环境的人机交互虚拟装配系统及装配方法

技术领域

本发明涉及虚拟装配过程中的人机交互技术领域，具体是一种融合Kinect设备和Delmia环境的人机交互虚拟装配系统。

背景技术

虚拟装配广泛应用于飞机、汽车等领域，通过虚拟装配可视化和仿真校验，可以确定产品装配过程中最优的装配、拆卸和重组顺序，校验和修改装配流程，进行装配可行性、可制造性、可维护性分析。在装配过程中往往需要考虑人因工程，分析工人和仿真环境中其它物体的关系，从而得出了合理的装配序列及路径并检验了产品的装配过程装配可达性、可维修性和可视性。

Delmia本身包含有人体模块，装配功能强大而复杂。在利用虚拟人进行装配仿真时，人体的各种动作需要进行反复协调、不断调整装配位置，建模繁琐，费事费力。已有的动作捕捉系统，比如VICON，A．R．T等可以通过光学、电磁或者超声波来捕捉配置在人体上的传感器，从而获得人体各部件的位置。但是动作捕捉系统和虚拟装配结合的技术还不够成熟，动作捕捉大多限定在特殊的领域中，比如电影制作等，很少有直接用于虚拟装配系统中。目前已知的文献时Haption公司开发出了RTID(Real-TimeInteractionforDelmiaHuman)模块，可以将这些捕捉系统来集成到Delmia环境中，来驱动人体运动，并实现装配动作。

然而，RTID给出的方案只能接口动作捕捉系统，其造价昂贵，配置复杂繁琐。中国专利[公开号：CNl02521464A]记录了基于Delmia环境下的沉浸式虚拟维修仿真系统虚拟人控制方法，提出了利用ShapeWarp(运动捕捉设备)无线光纤来进行动作捕捉，实时驱动Delmia虚拟人动作控制，和Haption的RTID模块类似，虽然捕捉精度高，但是应用面非常受限。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种融合Kinect设备和Delmia环境的人机交互虚拟装配系统。本发明考虑到RTID的缺陷并结合虚拟装配中考虑人体的装配需求，利用Kinect设备(体感交互设备)结合Delmia(数字制造解决方案)装配环境，提供了能够满足虚拟装配中精度要求且容易配置的人机交互虚拟装配系统。

本发明是通过以下技术方案实现的。

一种融合Kinect设备和Delmia环境的人机交互虚拟装配系统，包括数据连接的人机交互设备数据采集处理服务模块和Delmia环境下虚拟装配客户端处理模块，其中：

-人机交互设备数据采集处理服务模块，用于进行人体动作捕捉以及语音命令采集；

-Delmia环境下虚拟装配客户端处理模块，用于在Delmia环境下对人机交互设备数据采集处理服务模块采集到的数据进行数据整合以及数据驱动。

所述人机交互设备数据采集处理服务模块，包括数据连接的信号采集子模块以及信号转换和服务子模块，其中：

-信号采集子模块，通过Kinect设备获取操作者身体姿态的三维信息和人的语音信号；

-信号转换和服务子模块，将信号采集子模块采集的人体位姿信息，转换为包含人体13个部位的六自由度信息，同时，将识别的语音信息转换成文本信息，通过已经定义的语音命令库，匹配为语言控制指令，通过服务接口向Delmia环境下虚拟装配客户端处理模块提供实时数据服务；

所述Delmia环境下虚拟装配客户端处理模块，包括数据连接的虚拟人动作匹配子模块、装配装配胖模型子模块以及语音命令控制子模块，其中：

-虚拟人动作匹配子模块，通过CAAAutomationAPI方式将实时的人体六自由度信息映射为Delmia中虚拟人相应的部位，通过仿真循环，驱动人体进行运动；

-装配装配胖模型子模块，通过CAAAutomationAPI方式将选定的人体手部位置映射成Delmia中可活动部件的装配路径，并将装配路径记录成模型的一种附加属性；

-语音命令控制子模块，将语音命令，通过CAAAutomationAPI转换为Delmia的系统控制指令，并定制为特殊的装配指令。

所述人体13个部位包括左手、左臂、左肩、右手、右臂、右肩、头部、胸部、臀部、左腿、左脚、右腿以及右脚，其中，所述左手和右手不包括手指。

所述系统控制指令包括：放大、缩小、选择以及退出系统，所述特殊的装配指令包括记录装配路径、播放装配动画以及停止播放。

一种利用上述融合Kinect设备和Delmia环境的人机交互虚拟装配系统的装配方法，包括以下步骤：

步骤l，通过人机交互设备数据采集处理服务模块进行人体动作捕捉和语音命令采集；

步骤2，利用Delmia环境下虚拟装配客户端处理模块对人机交互设备数据采集处理服务模块采集的数据进行数据整合和数据驱动；

步骤3，重复以上步骤，直至用户退出应用程序；

所述步骤l包括以下步骤：

步骤1．1，信号采集子模块利用Kinect设备，通过MSKinectSDK编写专用程序对人体的动作进行实时捕捉，通过Kinect设备的深度相机获取人体的13处骨架信息作为人体位姿信息，并存储在内存中，其中每条信息通过时间戳来唯一记录信息；同时，利用MSSpeechSDK获取Kinect设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，并通过时间戳唯一指定；

步骤1．2，信号转换和服务子模块将信号采集子模块采集的人体位姿信息，通过一个转换矩阵转换为包含人体13个部位的人体六自由度信息，该13个部位的人体六自由度信息对应Delmia中虚拟人的13个部位，将对应的人体六自由度信息加载到Delmia定义部位的质心上，不同比例的人体，质心位置不同；信号转换和服务子模块将识别的语音信息转换成文本信息，通过已经定义的语音命令库，匹配为语言控制指令；

所述步骤2包括以下步骤：

步骤2．1，虚拟人动作匹配子模块通过CAAAutomationAPI方式将实时的人体六自由度信息映射为Delmia中虚拟人相应的部位，并通过调用Delmia的人体模块进行赋值，从而驱动人体进行运动；

步骤2．2，装配装配胖模型子模块通过CAAAutomationAPI，加载装配模型，定义并指定可活动部件，同时在可活动部件上，添加属性、约束方式信息；选定人体手部位置映射成Delmia中可活动部件的位置，并且记录运动路径，添加到胖模型的属性中；调用人体动作和可活动部件的运动路径，实现人装配的过程；

步骤2．3，语音命令控制子模块通过CAAAutomationAPI转换为Delmia的系统控制指令，并定制为特殊的装配指令。

所述时间戳按照1／24s增长。

所述人体13个部位以及Delmia中虚拟人的13个部位均包括左手、左臂、左肩、右手、右臂、右肩、头部、胸部、臀部、左腿、左脚、右腿以及右脚，其中，所述左手和右手不包括手指；

所述语言控制指令格式包括：ID号、语音命令描述、语音字符串、语音动作函数以及备注。

所述信号转换和服务子模块利用C#建立数据服务程序，不断监控信号采集子模块和Delmia环境下虚拟装配客户端处理模块的请求，实现客户服务器通信。

所述步骤2．1中，当虚拟人动作匹配子模块在驱动人体过程中出现误差时，通过调整转换矩阵中的第4行x，y，z值进行解决。

本发明相比现有技术，具有以下技术特点：

本发明提供的融合Kinect设备和Delmia环境的人机交互虚拟装配系统，其系统构架简单、可扩展，不需要佩戴任何传感器设备；Kinect设备支持多人动作捕捉，可以映射到Delmia的多个虚拟人身上。

本发明采用Kinect设备，该设备低廉可靠，接口开发软件免费，配置简单；Kinect提供的空间三维精度满足虚拟装配的需要，并且还能提供其他方案都没用语音命令。

本发明提出的虚拟装配胖模型，通过CAAAutomationAPI将Delmia中的模型几何属性，附加上装配约束，装配属性信息，并且可以将人体部位动作扩展到可活动部件上，用作记录装配路径。

本发明融合了微软Kinect体感设备和Delmia虚拟装配环境下，形成了一种可以进行人机交互虚拟装配系统。具体的说，是一种利用微软Kinect体感设备采集人的三维空间位姿和语音命令，将这两类信息分别用来驱动Delmia环境中的虚拟人、可活动部件进行装配动作仿真和系统、装配过程的控制命令。使得用户装配时，将对真实产品一样进行实时装配操作，身临其境地进行装配。它属于虚拟装配过程中的人机交互技术领域。

本发明通过微软提供的MSKinectSDK读取Kinect设备数据，采集操作者身体姿态的三维信息和人的语音信号，利用Delmia提供的CAAAutomationAPl对Delmia进行二次开发，并在Delmia建立虚拟装配胖模型，该模型可以记录装配的几何信息，还可以记录装配工艺属性信息、人体动作信息；实时处理这些数据，驱动定义在Delmia中虚拟人各个部件进行运动。同时也可以将某个部位的三维信息映射到虚拟装配环境中的可活动部件，记录其运动轨迹。从而达到动作捕捉和Delmia的实施融合。

附图说明

图1为本发明系统结构框架图；

图2为本发明Kinect设备人体可定义部位图；

图3为本发明胖模型示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本实施公开了一种融合Kinect设备和Delmia环境的人机交互虚拟装配系统，包括数据连接的人机交互设备数据采集处理服务模块和Delmia环境下虚拟装配客户端处理模块，其中：

-人机交互设备数据采集处理服务模块，用于进行人体动作捕捉以及语音命令采集；

-Delmia环境下虚拟装配客户端处理模块，用于在Delmia环境下对人机交互设备数据采集处理服务模块采集到的数据进行数据整合以及数据驱动。

进一步地，所述人机交互设备数据采集处理服务模块，包括数据连接的信号采集子模块以及信号转换和服务子模块，其中：

-信号采集子模块，通过Kinect设备获取操作者身体姿态的三维信息和人的语音信号；

-信号转换和服务子模块，将信号采集子模块采集的人体位姿信息，转换为包含人体13个部位的六自由度信息，同时，将识别的语音信息转换成文本信息，通过已经定义的语音命令库，匹配为语言控制指令，通过服务接口向Delmia环境下虚拟装配客户端处理模块提供实时数据服务；

所述Delmia环境下虚拟装配客户端处理模块，包括数据连接的虚拟人动作匹配子模块、装配装配胖模型子模块以及语音命令控制子模块，其中：

-虚拟人动作匹配子模块，通过CAAAutomationAPl方式将实时的人体六自由度信息映射为Delmia中虚拟人相应的部位，通过仿真循环，驱动人体进行运动；

-装配装配胖模型子模块，通过CAAAutomationAPl方式将选定的人体手部位置映射成Delmia中可活动部件的装配路径，并将装配路径记录成模型的一种附加属性；

-语音命令控制子模块，将语音命令，通过CAAAutomationAPl转换为Delmia的系统控制指令，并定制为特殊的装配指令。

进一步地，所述人体13个部位包括左手、左臂、左肩、右手、右臂、右肩、头部、胸部、臀部、左腿、左脚、右腿以及右脚，其中，所述左手和右手不包括手指；六自由度信息包括：X，Y，Z，H，P，R。

进一步地，所述系统控制指令包括：放大、缩小、选择以及退出系统，所述特殊的装配指令包括记录装配路径、播放装配动画以及停止播放。

本实施例提供的融合Kinect设备和Delmia环境的人机交互虚拟装配系统，其装配方法包括以下步骤：

步骤1，通过人机交互设备数据采集处理服务模块进行人体动作捕捉和语音命令采集：

步骤1．1，信号采集：信号采集子模块利用Kinect设备，通过MsKinectSDK编写专用程序对人体的动作进行实时捕捉，通过Kinect设备的深度相机获取人体的13处骨架信息作为人体位姿信息，并存储在内存中，其中每条信息通过时问戳来唯一记录信息；同时，利用MSSpeechSDK获取Kinect设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，并通过时间戳唯一指定；

步骤1．2，信号转换和服务：信号转换和服务子模块将信号采集子模块采集的人体位姿信息，通过一个转换矩阵转换为包含人体13个部位的人体六自由度信息，该13个部位的人体六自由度信息对应Delmia中虚拟人的13个部位，将对应的人体六自由度信息加载到Delmia定义部位的质心上，不同比例的人体，质心位置不同；信号转换和服务子模块将识别的语音信息转换成文本信息，通过已经定义的语音命令库，匹配为语言控制指令；

步骤2，利用Delmia环境下虚拟装配客户端处理模块对人机交互设备数据采集处理服务模块采集的数据进行数据整合和数据驱动：

步骤2．1，虚拟人动作匹配：虚拟人动作匹配子模块通过CAAAutomationAPl方式将实时的人体六自由度信息映射为Delmia中虚拟人相应的部位，并通过调用Delmia的人体模块进行赋值，从而驱动人体进行运动；此步骤具体为，通过CAAAutomationAPl方式将实时的人体六自由度信息映射为Delmia中虚拟人相应的部位，通过调用DelmiaHuman模块的Body，DOF等类的方法进行赋值(如SetPostureValues，SetPositon等函数)，从而驱动人体进行运动；如果出现误差，可以将调整步骤1．2中的转换矩阵的第4行x，y，z值来调整；

步骤2．2，装配胖模型建模：装配装配胖模型子模块通过CAAAutomationAPI，加载装配模型，定义并指定可活动部件，同时在可活动部件上，添加属性、约束方式信息按照某个轴平移、旋转，约束平面等)；选定人体手部位置映射成Delmia中可活动部件的位置，并且记录运动路径，添加到胖模型的属性中；调用人体动作和可活动部件的运动路径，实现人装配的过程；

步骤2．3，语音命令控制：语音命令控制子模块通过CAAAutomati。nAPl转换为Delmia的系统控制指令，并定制为特殊的装配指令；

步骤3，重复以上步骤，直至用户退出应用程序。

进一步地，所述时间戳按照1／24s增长。

进一步地，所述人体13个部位以及Delmia中虚拟人的13个部位均包括左手、左臂、左肩、右手、右臂、右肩、头部、胸部、臀部、左腿、左脚、右腿以及右脚，其中，所述左手和右手不包括手指；所述人体六自由度信息包括：X，Y，Z，H，P，R。

进一步地，所述语言控制指令格式包括：ID号、语音命令描述、语音字符串、语音动作函数以及备注。

进一步地，所述信号转换和服务子模块利用C#建立数据服务程序，不断监控信号采集子模块和Delmia环境下虚拟装配客户端处理模块的请求，实现客户服务器通信。

进一步地，所述步骤2．1中，当虚拟人动作匹配子模块在驱动人体过程中出现误差时，通过调整转换矩阵中的第4行x，y，z值进行解决。

上述CAAAutomationAPl为Delmia软件内置的应用开发接口；

上述MSKinectSDK为Kinect设备的驱动程序；

上述MSSpeechSDK为语音设备接口软件；

上述KinectDevelopStudio为开发Kinect设备提供的开发包。

具体为：

本实施例以微软第一代Kinect设备，Delmia采用V5R20版本，KinectSDK1．6为例进行说明。

使用一台Pc工作站，操作系统安装为Windows7。按照KinectSDK1．6安装说明安装KinectSDK1．6，然后按照MSSpeechSDK和KinectDevelopStudi0模块，将Kinect设备插到计算机上并运行；

信号采集子模块开始捕捉人体13个部位的人体六自由度信息，信号转换和服务子模块启动监听；

虚拟人动作匹配子模块链接Kinect设备数据，如果成功，数据将实时在窗口中滚动，然后即可启动“打开Delmia装配工程”按钮，Delmia加载工程，调出虚拟人，程序自动匹配虚拟人并驱动虚拟人运动；

装配装配胖模型子模块选择捕获的人体部位信息匹配到Delmia中的可活动对象ID上，运行即可实现部件运动，点击“记录”，即可将部件运动路径记录下来，用来进行虚拟装配。

点击语音命令控制子模块的“语音控制”按钮，即可实现定义好的几种命令对Delmia进行控制，发出“放大”声音，Delmia窗口将放大130％，发出“缩小”声音，Delmia窗口对象将缩小110％。

本实施例提供的融合Kinect设备和Delmia环境的人机交互虚拟装配系统，采用Kinect设备进行虚拟装配，虚拟人和真实的人进行了关联，本实施例实施简单，部署方便。可以迅速开发基于Delmia的多种虚拟装配应用。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种融合Kinect设备和Delmia环境的人机交互虚拟装配系统，其特征在于，包括数据连接的人机交互设备数据采集处理服务模块和Delmia环境下虚拟装配客户端处理模块，其中：

-人机交互设备数据采集处理服务模块，用于进行人体动作捕捉以及语音命令采集；

-Delmia环境下虚拟装配客户端处理模块，用于在Delmia环境下对人机交互设备数据采集处理服务模块采集到的数据进行数据整合以及数据驱动；

所述人机交互设备数据采集处理服务模块包括数据连接的信号采集子模块以及信号转换和服务子模块，其中：

-信号采集子模块，通过Kinect设备获取操作者身体姿态的三维信息和人的语音信号；

-信号转换和服务子模块，将信号采集子模块采集的人体位姿信息，转换为包含人体13个部位的人体六自由度信息，同时，将识别的语音信息转换成文本信息，通过已经定义的语音命令库，匹配为语言控制指令，通过服务接口向Delmia环境下虚拟装配客户端处理模块提供实时数据服务；

所述Delmia环境下虚拟装配客户端处理模块包括数据连接的虚拟人动作匹配子模块、装配胖模型子模块以及语音命令控制子模块，其中：

-虚拟人动作匹配子模块，通过CAAAutomationAPI方式将实时的人体六自由度信息映射为Delmia中虚拟人相应的部位，通过仿真循环，驱动人体进行运动；

-装配胖模型子模块，通过CAAAutomationAPI方式将选定的人体手部位置映射成Delmia中可活动部件的装配路径，并将装配路径记录成模型的一种附加属性；

-语音命令控制子模块，将语音命令，通过CAAAutomationAPI转换为Delmia的系统控制指令，并定制为特殊的装配指令。

2.根据权利要求1所述的融合Kinect设备和Delmia环境的人机交互虚拟装配系统，其特征在于，所述人体13个部位包括左手、左臂、左肩、右手、右臂、右肩、头部、胸部、臀部、左腿、左脚、右腿以及右脚，其中，所述左手和右手不包括手指。

3.根据权利要求1所述的融合Kinect设备和Delmia环境的人机交互虚拟装配系统，其特征在于，所述系统控制指令包括：放大、缩小、选择以及退出系统，所述特殊的装配指令包括记录装配路径、播放装配动画以及停止播放。

4.一种利用权利要求1至3中任一项所述的融合Kinect设备和Delmia环境的人机交互虚拟装配系统的装配方法，其特征在于，包括以下步骤：

步骤1，通过人机交互设备数据采集处理服务模块进行人体动作捕捉和语音命令采集；

步骤2，利用Delmia环境下虚拟装配客户端处理模块对人机交互设备数据采集处理服务模块采集的数据进行数据整合和数据驱动；

步骤3，重复以上步骤，直至用户退出应用程序；

所述步骤1包括以下步骤：

步骤1.1，信号采集子模块利用Kinect设备，通过MSKinectSDK编写专用程序对人体的动作进行实时捕捉，通过Kinect设备的深度相机获取人体的13处骨架信息作为人体位姿信息，并存储在内存中，其中每条信息通过时间戳来唯一记录信息；同时，利用MSSpeechSDK获取Kinect设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，并通过时间戳唯一指定；

步骤1.2，信号转换和服务子模块将信号采集子模块采集的人体位姿信息，通过一个转换矩阵转换为包含人体13个部位的人体六自由度信息，该13个部位的人体六自由度信息对应Delmia中虚拟人的13个部位，将对应的人体六自由度信息加载到Delmia定义部位的质心上，不同比例的人体，质心位置不同；信号转换和服务子模块将识别的语音信息转换成文本信息，通过已经定义的语音命令库，匹配为语言控制指令；

所述步骤2包括以下步骤：

步骤2.1，虚拟人动作匹配子模块通过CAAAutomationAPI方式将实时的人体六自由度信息映射为Delmia中虚拟人相应的部位，并通过调用Delmia的人体模块进行赋值，从而驱动人体进行运动；

步骤2.2，装配胖模型子模块通过CAAAutomationAPI，加载装配模型，定义并指定可活动部件，同时在可活动部件上，添加属性、约束方式信息；选定人体手部位置映射成Delmia中可活动部件的位置，并且记录运动路径，添加到胖模型的属性中；调用人体动作和可活动部件的运动路径，实现人装配的过程；

步骤2.3，语音命令控制子模块通过CAAAutomationAPI转换为Delmia的系统控制指令，并定制为特殊的装配指令。

5.根据权利要求4所述的融合Kinect设备和Delmia环境的人机交互虚拟装配系统的装配方法，其特征在于，所述时间戳按照1/24s增长。

6.根据权利要求4所述的融合Kinect设备和Delmia环境的人机交互虚拟装配系统的装配方法，其特征在于，所述人体13个部位以及Delmia中虚拟人的13个部位均包括左手、左臂、左肩、右手、右臂、右肩、头部、胸部、臀部、左腿、左脚、右腿以及右脚，其中，所述左手和右手不包括手指；

所述语言控制指令格式包括：ID号、语音命令描述、语音字符串、语音动作函数以及备注。

7.根据权利要求4所述的融合Kinect设备和Delmia环境的人机交互虚拟装配系统的装配方法，其特征在于，所述信号转换和服务子模块利用C#建立数据服务程序，不断监控信号采集子模块和Delmia环境下虚拟装配客户端处理模块的请求，实现客户服务器通信。

8.根据权利要求4所述的融合Kinect设备和Delmia环境的人机交互虚拟装配系统的装配方法，其特征在于，所述步骤2.1中，当虚拟人动作匹配子模块在驱动人体过程中出现误差时，通过调整步骤1.2中的转换矩阵中的第4行x，y，z值来调整。