CN106980385A - 一种虚拟装配装置、系统及方法 - Google Patents

一种虚拟装配装置、系统及方法 Download PDF

Info

Publication number
CN106980385A
CN106980385A CN201710223047.8A CN201710223047A CN106980385A CN 106980385 A CN106980385 A CN 106980385A CN 201710223047 A CN201710223047 A CN 201710223047A CN 106980385 A CN106980385 A CN 106980385A
Authority
CN
China
Prior art keywords
kinect
virtual
user
computer
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710223047.8A
Other languages
English (en)
Other versions
CN106980385B (zh
Inventor
姜盛乾
刘鹏
徐若兰
付丹妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201710223047.8A priority Critical patent/CN106980385B/zh
Publication of CN106980385A publication Critical patent/CN106980385A/zh
Application granted granted Critical
Publication of CN106980385B publication Critical patent/CN106980385B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Abstract

本发明属于虚拟装配过程中的人机交互技术领域，具体的说是一种虚拟装配装置、系统及方法。该装置包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；Kinect V2人机交互设备包括Kinect V2；Unity 3D虚拟环境构建设备包括两个摄像机和计算机；摄像机、Kinect V2人机交互设备和力与触觉反馈设备和计算机相连；VR眼镜分别与Kinect V2人机交互设备和计算机相连。本发明是一种虚拟装配装置、系统及方法，利用Kinect V2设备捕捉人体的双眼，将Unity 3D虚拟环境中的摄像头与之绑定，从而使用户通过查看虚拟环境。并按照1：1设计零部件和装配环境，通过骨骼识别模块反求虚拟环境中的现实位置，从而实现虚拟与现实的同步，完成高沉浸的虚拟装配。

Description

一种虚拟装配装置、系统及方法
技术领域
本发明属于虚拟装配过程中的人机交互技术领域，具体的说是一种虚拟装配装置、系统及方法。
背景技术
虚拟装配技术广泛应用于制造领域，通过虚拟装配可以真实模拟产品三维装配过程，并允许用户以交互方式控制产品的三维真实模拟装配过程，以检验产品的可装配性。在装配过程，通过虚拟装配可以确定装配过程最优的装配、拆卸顺序，可对装配可行性进行评估。虚拟装配中可以分析工人在仿真环境中与其它物体的关系，从而确定合理的装配顺序及检验装配的可视性及可达性，并能通过虚拟装配训练用户的装配技巧。
现今，虚拟装配难以达到高沉浸的状态，即用户通过VR观看到虚拟场景，难以抓取到虚拟的物体，并难以自主观看虚拟世界，这来源于虚拟世界与现实的差异性。
发明内容
本发明提供了一种虚拟装配装置、系统及方法，克服虚拟世界和现实的不匹配问题。本发明利用Kinect V2设备捕捉人体的双眼，将Unity 3D虚拟环境中的摄像头与之绑定，从而使用户通过查看虚拟环境。并按照1：1设计零部件和装配环境，通过骨骼识别模块反求虚拟环境中的现实位置，从而实现虚拟与现实的同步，完成高沉浸的虚拟装配。
本发明技术方案结合附图说明如下：
一种虚拟装配装置，该装置包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；所述的Kinect V2人机交互设备，用于数据采集及数据整合及数据驱动；所述的Unity 3D虚拟环境构建设备，用于构建人机交互虚拟装配环境，整合CATIA设计的零件结构、SKETCH UP设计的建筑和3D MAX设计的人物模型；所述的VR眼镜，用于增强虚拟环境的沉浸性；所述的力与触觉反馈设备，用于使用者双手接触虚拟零件时提供力的作用和真实触觉；所述的Kinect V2人机交互设备包括Kinect V2；所述的Unity3D虚拟环境构建设备包括两个摄像机和计算机，所述的摄像机绑定在使用者的双眼中间位置；所述的摄像机、Kinect V2人机交互设备和力与触觉反馈设备和计算机相连；所述的VR眼镜分别与Kinect V2人机交互设备和计算机相连。
所述的力与触觉反馈设备包括力反馈设备和触觉反馈设备；其中力反馈设备直接与计算机连接，触觉反馈设备通过移动信号接收器与计算机连接；所述的力反馈设备包括电源1、ARDUINO控制板2、电子秤I3、弹簧I4、电磁铁I5、电磁铁II10、弹簧II11、电子秤II12、底座13，其中电源为ARDUINO控制板2、电子秤3、电磁铁I5、电磁铁II10提供电力； 所述的电磁铁I5置于弹簧I4上，所述的电磁铁II10置于弹簧II11上；所述的弹簧I4放置在电子秤I3上；所述的弹簧II11放置在电子秤II12上；所述的电子秤I、II3、12放置在底座13上；所述的ARDUINO控制板2与电子秤I、II3、12和计算机连接；所述的触觉反馈设备包括CPU与移动信号接收器Ⅰ6、手套Ⅰ7、CPU与移动信号接收器Ⅱ8、手套Ⅱ9、电源I14、电源II21；所述的CPU与移动信号接收器Ⅰ、Ⅱ6、8与手套Ⅰ、Ⅱ7、9相连接；所述的电源I、II14、21固定在CPU与移动信号接收器Ⅰ、Ⅱ6、8上；所述的手套Ⅰ7包括磁铁I15和第一、二、三、四、五压电陶瓷振动片16、17、18、19、20；所述的手套Ⅱ9包括磁铁II23和第六、七、八、九、十压电陶瓷振动片24、25、26、27、28；所述的磁铁I、II15、23固定在手套Ⅰ、Ⅱ7、9的掌心中；所述的第一、二、三、四、五、六、七、八、九、十压电陶瓷振动片16、17、18、19、20、23、24、25、26、27、28设置在手套Ⅰ、Ⅱ7、9的指尖上。
一种虚拟装配系统，该系统包括：
计算机：用于处理信息并传输信号；
Kinect V2：用于采集图像、语音信息，并辅助完成骨骼识别、面孔识别、语音识别；
骨骼识别模块：用于获取人体的25个部位骨骼点数据，对人体的动作进行实时捕捉，并能计算出身高、抓取和放置零件的动作是否完成；
面孔识别模块：用于提取人脸的特征点；
语音识别模块：用于获取Kinect V2人机交互设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，并通过与数据库模板比较，从而控制虚拟装配环境变换，窗口变换；
装配模块：用于将CATIA设计出的所有零件，组合出装配图，再通过KEYSHOT渲染得到最后产品；
建筑模块：用于将Sketch Up按照1:1设计出装配环境并渲染，再导入Unity 3D虚拟环境构建设备中，再将装配模型置于建筑模型中，并绑定语音指令；
虚拟人物匹配模块：用于将之前测量的身高与身高最近似的人物模型进行匹配，建立人物模型数据库，并将Kinect V2人机交互设备采集的25个骨骼点与模型进行绑定。
VR眼镜：用于增强虚拟环境的沉浸性；
力与触觉反馈设备：用于使用者双手接触虚拟零件时提供力的作用和真实触觉；
所述的计算机、Kinect V2、骨骼识别模块、面孔识别模块、语音识别模块、装配模块、建筑模块、虚拟人物匹配模块、VR眼镜和力与触觉反馈设备，其中计算机与Kinect V2、VR眼镜和力与触觉反馈设备连接，骨骼识别模块、面孔识别模块、语音识别模块需要计算机和Kinect V2共同支撑，装配模块、建筑模块、虚拟人物匹配模块由计算机实现。
一种虚拟装配方法，该方法包括以下步骤：
步骤一、使用者带上VR眼镜，穿戴虚拟现实手套，启动Kinect V2人机交互设备和Unity 3D虚拟环境构建设备，由Kinect V2人机交互设备中的面孔识别模块提取使用者人脸的121个面孔特征点，并且定义双眼中心位置左眼中心位置τ1、右眼中心位置τ2；由KinectV2人机交互设备中的骨骼识别模块测算身高、匹配人物模型，并且由Kinect V2人机交互设备中的语音识别模块通过Speech SDK获取Kinect V2记录的语音信息，生成语音文本字符串，记录在语音命令链表中，将使用者的语音信息与数据库模板比较，若相似度在90％上，则执行步骤二；
步骤二、生成装配的虚拟环境，导入人物模型，根据脊柱点反求抓取节点、装配节点和配合节点，面孔识别模块锁定使用者的左、右眼的中心点上，并将两个摄像机分别绑定在使用者的双眼上。
步骤三、在虚拟现实场景中，当使用者进入后，出现文字指导使用者进行装配，使用者双手接近零件，完成抓取和放置零件动作，虚拟现实手套反馈相应的触觉，并出现装配轨迹，当零件移动，虚拟现实手套反馈一定的拉力，直到装配完成，拉力消失，手脱离零件，触觉消失；
步骤四、重复步骤三，用户可通过语音识别模块实现环境重建并转换装配环境即转入步骤二，当取消文字或轨迹指导时，退出系统。
步骤一中所述的骨骼识别模块通过Kinect SDK编写专用程序对人体的动作进行实时捕捉，通过Kinect V2人机交互设备中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。
步骤一中所述的测算身高方法如下：
其中，定义Kinect感应器的左边为X正半轴，右边为负半轴，Y轴正轴竖直向上，Z表示纵深程度，深度相机摄像方向为正方向，x1、y1、z1为头X、Y、Z方向的数据、x2、y2、z2为髋关节中心X、Y、Z方向的数据；x3、y3、z3为左臀X、Y、Z方向的数据；x4、y4、z4为左脚踝X、Y、Z方向的数据。
步骤二中所述的左、右眼的中心点的计算方法如下：
通过面部识别模块提取人脸的121个特征点，从而确定主要面部器官的位置，其中特征点为N1(X1,Y1,Z1)、N2(X2,Y2,Z2)、N3(X3,Y3,Z3)…N121(X121,Y121,Z121)，其中取N53、N54、N55、N56、N98、N100、N106、N108计算右眼中心点τ1(X右,Y右,Z右)，取N20、N21、N22、N23、N97、N99、N105、N107计算左眼中心点τ2(X左,Y左,Z左)，具体方法如下：
步骤三中所述的抓取零件方法如下：
步骤1、计算左手到左指尖向量与左手到左拇指向量夹角，可得
如果θ1小于阈值10°时，认为使用者完成抓取动作，其中左手到左指尖向量为n11(x7-x5,y7-y5,z7-z5)，左手到左拇指向量为n12(x6-x5,y6-y5,z6-z5)，其中左手的特征点为n5(x5,y5,z5)，左拇指的特征点为n6(x6,y6,z6)，左指尖的特征点为n7(x7,y7,z7)；右手到左指尖向量与右手到左拇指向量夹角的计算方法同左手到左指尖向量与左手到左拇指向量；
步骤2、计算左手与零件关节点的位置关系，可得如果l1小于阈值3cm时，认为使用者完成抓取起零件，如果零件需要双手抓起，即双手都需完成抓取动作，并双手在不同的抓取区域范围内才能抓起零件；右手与零件关节点的位置关系的计算方法同左手与零件关节点的位置关系；其中，ni(xi,yi,zi)为零件抓取关节点；
步骤3、在轴承的两边设置关节点ξ1、ξ2，当双手均完成抓取动作，右手n8与关节点ξ1距离小于阈值5cm时且右手n5与关节点ξ2距离小于阈值5cm时，零件被抓起，跟随双手进行移动；
步骤三中所述的放置零件的方法如下：
计算左手到左指尖向量与左手到左拇指向量夹角，可得
如果θ1大于阈值10°时，认为使用者完成放置动作，零件如果完成装配，就与壳体结合，否则回归原位，如果零件需要双手抓起，在放置时需要双手同时完成放置动作；右手的放置动作同左手。
步骤三中所述的装配完成的判断方法如下：
在虚拟现实场景中，当使用者进入后，出现文字指导使用者进行装配，并在使用者依照指示抓起零件时，出现装配轨迹，使用者可根据文字提示或轨迹提示完成规定装配任务，也可通过语音识别取消提示。零件中有装配节点Kj(xj,yj,zj)，机箱有配合节点Mq(xq,yq,zq)，当抓取的零件与机箱接合，此时对应的装配节点与配合节点如果l2小于阈值5cm时，认为零件装配完成。
本发明的有益效果为：
本发明利用Kinect V2设备捕捉人体的双眼，将Unity 3D虚拟环境中的摄像头与之绑定，从而使用户通过查看虚拟环境。并按照1：1设计零部件和装配环境，通过骨骼识别模块反求虚拟环境中的现实位置，从而实现虚拟与现实的同步，完成高沉浸的虚拟装配。
附图说明
图1为本发明的整体结构框图；
图2为本发明中骨骼关节点分布示意图；
图3为本发明中右眼特征点示意图；
图4为本发明中左眼特征点示意图；
图5为本发明中鼻子特征点示意图；
图6为本发明中嘴巴特征点示意图；
图7为本发明中面孔捕捉连接图像；
图8为本发明的抓取夹角图；
图9为本发明的抓取零件图；
图10为本发明的KEYSHOT渲染后的减速器图；
图11为本发明的减速器底座的配合节点示意图；
图12为本发明中利于触觉模块结构示意图；
图13为本发明中手套的结构示意图。
图中：1、电源；2、ARDUINO控制板；3、电子秤I；4、弹簧I；5、电磁铁I；6、CPU与移动信号接收器Ⅰ；7、手套Ⅰ；8、CPU与移动信号接收器Ⅱ；9、手套Ⅱ；10、电磁铁II；11、弹簧II；12、电子秤II；13、底座；14、电源I；15、磁铁I；16、第一压电陶瓷振动片；17、第二压电陶瓷振动片；18、第三压电陶瓷振动片；19、第四压电陶瓷 振动片；20、第五压电陶瓷振动片；21、电源II；23磁铁Ⅱ；24、第六压电陶瓷振动片；25、第七压电陶瓷振动片；26、第八压电陶瓷振动片；27、第九压电陶瓷振动片；28、第十压电陶瓷振动片。
具体实施方式
参阅图1、图12、图13，一种虚拟装配装置，该系统包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；
所述的Kinect V2人机交互设备，用于数据采集及数据整合及数据驱动；
所述的Unity 3D虚拟环境构建设备，用于构建人机交互虚拟装配环境，整合CATIA设计的零件结构、SKETCH UP设计的建筑和3D MAX设计的人物模型并且与装配模块、建筑模块、虚拟人物匹配模块匹配；
所述的VR眼镜，用于增强虚拟环境的沉浸性；
所述的力与触觉反馈设备，用于使用者双手接触虚拟零件时提供力的作用和真实触觉；所述的Kinect V2人机交互设备包括Kinect V2；
所述的Unity 3D虚拟环境构建设备包括两个摄像机和计算机，所述的摄像机绑定在使用者的双眼中间位置；所述的摄像机、Kinect V2人机交互设备和力与触觉反馈设备和计算机相连；所述的VR眼镜分别与Kinect V2人机交互设备和计算机相连。
所述的力反馈设备包括电源1、ARDUINO控制板2、电子秤I3、弹簧I4、电磁铁I5、电磁铁II10、弹簧II11、电子秤II12、底座13，其中电源为ARDUINO控制板2、电子秤3、电磁铁I5、电磁铁II10提供电力；所述的电磁铁I5置于弹簧I4上，所述的电磁铁II10置于弹簧II11上；所述的弹簧I4放置在电子秤I3上；所述的弹簧II11放置在电子秤II12上；所述的电子秤I、II3、12放置在底座13上；所述的ARDUINO控制板2与电子秤I、II3、12和计算机连接；所述的触觉反馈设备包括CPU与移动信号接收器Ⅰ6、手套Ⅰ7、CPU与移动信号接收器Ⅱ8、手套Ⅱ9、电源I14、电源II21；所述的CPU与移动信号接收器Ⅰ、Ⅱ6、8与手套Ⅰ、Ⅱ7、9相连接；所述的电源I、II14、21固定在CPU与移动信号接收器Ⅰ、Ⅱ6、8上；所述的手套Ⅰ7包括磁铁I15和第一、二、三、四、五压电陶瓷振动片16、17、18、19、20；所述的手套Ⅱ9包括磁铁II23和第六、七、八、九、十压电陶瓷振动片24、25、26、27、28；所述的磁铁I、II15、23固定在手套Ⅰ、Ⅱ7、9的掌心中；所述的第一、二、三、四、五、六、七、八、九、十压电陶瓷振动片16、17、18、19、20、23、24、25、26、27、28设置在手套Ⅰ、Ⅱ7、9的指尖上。
参阅图1—图11，一种虚拟装配系统，该系统包括：
计算机：用于处理信息并传输信号；
Kinect V2：用于采集图像、语音信息，并辅助完成骨骼识别、面孔识别、语音识别；
骨骼识别模块：参阅图2，用于获取人体的25个部位骨骼点数据，对人体的动作进行实时捕捉，并能计算出身高、抓取和放置零件的动作是否完成；其中25个部位包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；所述的骨骼识别模块中还包括身高、抓取和放置算法，通过服务程序作用于虚拟装配。
面孔识别模块：参阅图3-图7，通过FaceTracker SDK可提取人脸的特征点，可提取121个面孔特征点，从而确定主要面部器官的位置，其中特征点由kinect v2根据识别图像，通过机器学习算法自动得到面孔的121个特征点，Kinect感应器在探测时会以自己为坐标原点，X轴是从Kinect感应器角度观看，左边为正半轴，右边为负半轴，Y轴正轴竖直向上，Z表示纵深程度，Kinect摄像方向为正方向；121个特征点分别为N1(X1,Y1,Z1)、N2(X2,Y2,Z2)、N3(X3,Y3,Z3)…N121(X121,Y121,Z121)；参阅图3、图4，取N53、N54、N55、N56、N98、N100、N106、N108计算右眼中心点，取N20、N21、N22、N23、N97、N99、N105、N107计算左眼中心点，右眼中心点τ1(X右,Y右,Z右)，左眼中心点τ2(X左,Y左,Z左)，其中
参阅图3-图7，通过连接相应的特征点得到面孔的区域图，定义双眼中心位置分别为τ1、τ2，输出双眼位置至虚拟装配中；其中，特征点的连接顺序：其中右眼特征点为，外圈逆时针：56、104、52、96、53、102、57、110，内圈逆时针：106、73、54、69、98、100、0、55、74、108；左眼特征点为，外圈逆时针：23、109、24、101、20、95、19、103，内圈逆时针：107、72、22、68、99、97、67、21、71、105；鼻子特征点为78、37、77、94、93、92、58、25、69、76、38、75、26、112、39、111；嘴巴特征点为外圈，逆时针：31、79、7、39、80、64、86、9、41、8、85，内圈逆时针：88、81、37、82、89、84、40、83。
语音识别模块：通过Speech SDK获取Kinect V2设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，通过与数据库模板比较，相似度在90％上启动对应命令，从而控制虚拟装配环境变换，窗口变换。
所述的身高、抓取和放置算法作用于虚拟装配，需要使用骨骼点包涵头n1(x1,y1,z1)，髋关节中心n2(x2,y2,z2)，左臀n3(x3,y3,z3)，左脚踝n4(x4,y4,z4)，左手n5(x5,y5,z5)，左拇指n6(x6,y6,z6)，左指尖n7(x7,y7,z7)，右手n8(x8,y8,z8)，右拇指n9(x9,y9,z9)，右指尖n10(x10,y10,z10)，零件抓取关节点ni(xi,yi,zi)，其中：
身高算法为如下所示。
所述的抓取零件方法如下：
步骤1、计算左手到左指尖向量与左手到左拇指向量夹角，可得
如果θ1小于阈值10°时，认为使用者完成抓取动作，其中左手到左指尖向量为n11(x7-x5,y7-y5,z7-z5)，左手到左拇指向量为n12(x6-x5,y6-y5,z6-z5)，其中左手的特征点为n5(x5,y5,z5)，左拇指的特征点为n6(x6,y6,z6)，左指尖的特征点为n7(x7,y7,z7)；右手到左指尖向量与右手到左拇指向量夹角的计算方法同左手到左指尖向量与左手到左拇指向量；
步骤2、计算左手与零件关节点的位置关系，可得如果l1小于阈值3cm时，认为使用者完成抓取起零件，如果零件需要双手抓起，即双手都需完成抓取动作，并双手在不同的抓取区域范围内才能抓起零件；右手与零件关节点的位置关系的计算方法同左手与零件关节点的位置关系；其中，ni(xi,yi,zi)为零件抓取关节点；
步骤3、参阅图8，在轴承的两边设置关节点ξ1、ξ2，当双手均完成抓取动作，右手n8与关节点ξ1距离小于阈值5cm时且右手n5与关节点ξ2距离小于阈值5cm时，零件被抓起，跟随双手进行移动；
步骤三中所述的放置零件的方法如下：
计算左手到左指尖向量与左手到左拇指向量夹角，可得
如果θ1大于阈值10°时，认为使用者完成放置动作，零件如果完成装配，就与壳体结合，否则回归原位，如果零件需要双手抓起，在放置时需要双手同时完成放置动作；右手的放置动作同左手。
装配模块：需要通过CATIA设计出所有的零件，组合出装配图，通过KEYSHOT渲染得到最后产品，参阅图9，即为KEYSHOT渲染渲染后的减速器图，在虚拟装配中德零件均需要经过渲染提高真实度。其中零部件设计采用1：1的尺寸画图，每个零件在需要抓取的部位均有抓取关节点(需要双手抓取的零件有两个关节点，分别对应左右手)，便于抓取识别。
在虚拟现实场景中，当使用者进入后，出现文字指导使用者进行装配，并在使用者依照指示抓起零件时，出现装配轨迹，使用者可根据文字提示或轨迹提示完成规定装配任务，也可通过语音识别取消提示。零件中有装配节点Kj(xj,yj,zj)，机箱有配合节点Mq(xq,yq,zq)，当抓取的零件与机箱接合，此时对应的装配节点与配合节点如果l2小于阈值5cm时，认为零件装配完成。其中所述的装配节点即为相应零件在装配中，选定完成装配时，零件与结合物体的配合轴心，选取零件配合轴心上一点位装配节点；所述的配合节点即为相应零件在装配过程中，选定未完成装配时，零件与结合物体的配合轴心，选取结合物体配合轴心上一点位装配节点。
建筑模块：用于将Sketch Up按照1:1设计出装配环境并渲染，再导入Unity 3D虚拟环境构建设备中，再将装配模型置于建筑模型中，并绑定语音指令；
虚拟人物匹配模块：为保证装配的真实性，根据之前的身高测量，需要匹配与身高最近似的人物模型，需要建立人物模型数据库，其中男女各11个人物模型，其中包括150cm、155cm、160cm、165cm、170cm、175cm、180cm、185cm、190cm、195cm、200cm。使用者开启设备后，取min|h-l模型|模型为模板模型，并将Kinect V2采集的25个骨骼点与模型进行绑定。男女分别11个人物模型均在这两个模型基础上调整，从而调整出不同身高的3D模型用于虚拟装配。
Unity 3D虚拟环境中，人物模型出现的位置固定，其它装配零件在空间位置固定不变，以人物模型脊柱点为固定点，测算出不同模型出现时，抓取节点、装配节点和配合节点与脊柱点的相对位置。当使用者进入环境，根据Kinect V2测算出的脊柱点坐标和选择的不同模型，推算出不同节点在Kinect V2中的位置，从而实现虚拟装配
VR眼镜：用于增强虚拟环境的沉浸性；
所述VR眼镜与Kinect V2人机交互设备和Unity 3D虚拟环境相连，Kinect V2通过面孔识别锁定使用者的双眼，Unity 3D虚拟环境设有两个摄像机，将两个摄像机分别绑定在使 用者的τ1、τ2上，而使用者与人物模型绑定，即可从第一视角完成虚拟装配。
力与触觉反馈设备：用于使用者双手接触虚拟零件时提供力的作用和真实触觉；
力反馈装置根据可由移动信号接收器接收计算机的信号，ARDUINO控制板2根据相关信号调节电流大小，从而控制电磁铁I、II5、10磁力大小。此时弹簧I、Ⅱ4、11会出现形变，电子秤I、II3、12将测力大小传送至移动信号接收器并传送至计算机，计算机根据力的变化间接控制电流变化，保证力反馈力的大小不变。
手套Ⅰ、Ⅱ7、9可由移动信号接收器接收计算机的信号，通过CPU控制压电陶瓷振动片产生相应振动，从而产生真实触觉，其中磁铁会被电磁铁吸引，产生重力感。
具体实施过程为当Kinect V2识别到使用者抓起零件，计算机会给双手的移动信号接收器传递信号，移动信号接收器接收到信号后，CPU会对信号进行分析，再根据传输信号控制压电陶瓷振动片产生相应振动，反馈真实触觉。抓起零件时力反馈装置同时接收计算机信号，ARDUINO控制板2根据相关信号，给电磁铁I、II5、10通电，吸引双手的磁铁I、II15、22，对双手产生磁力，从而提供真实重力感。其中在电流不变的情况下，磁力大小会因为距离产生变化，因此本文的电流大小通过电子秤I、II3、12的反馈数据进行调节，在力发生变化时，弹簧I、Ⅱ4、11受力即产生变化，从而同过电子秤测算的大小会产生变化，ARDUINO控制板根据力的变化调节电流大小，从而保证虚拟装配过程中力反馈的准确性。

Claims (9)

1.一种虚拟装配装置，其特征在于，该系统包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；所述的Kinect V2人机交互设备，用于数据采集及数据整合及数据驱动；所述的Unity 3D虚拟环境构建设备，用于构建人机交互虚拟装配环境，整合CATIA设计的零件结构、SKETCH UP设计的建筑和3D MAX设计的人物模型；所述的VR眼镜，用于增强虚拟环境的沉浸性；所述的力与触觉反馈设备，用于使用者双手接触虚拟零件时提供力的作用和真实触觉；所述的Kinect V2人机交互设备包括Kinect V2；所述的Unity 3D虚拟环境构建设备包括两个摄像机和计算机，所述的摄像机绑定在使用者的双眼中间位置；所述的摄像机、Kinect V2人机交互设备和力与触觉反馈设备和计算机相连；所述的VR眼镜分别与Kinect V2人机交互设备和计算机相连。
2.根据权利要求1所述的一种虚拟装配装置，其特征在于，所述的力与触觉反馈设备包括力反馈设备和触觉反馈设备；其中力反馈设备直接与计算机连接，触觉反馈设备通过移动信号接收器与计算机连接；所述的力反馈设备包括电源(1)、ARDUINO控制板(2)、电子秤I(3)、弹簧I(4)、电磁铁I(5)、电磁铁II(10)、弹簧II(11)、电子秤II(12)、底座(13)；其中电源(1)为ARDUINO控制板(2)、电子秤(3)、电磁铁I(5)、电磁铁II(10)提供电力；所述的电磁铁I(5)置于弹簧I(4)上，所述的电磁铁II(10)置于弹簧II(11)上；所述的弹簧I(4)放置在电子秤I(3)上；所述的弹簧II(11)放置在电子秤II(12)上；所述的电子秤I、II(3、12)放置在底座(13)上所述的ARDUINO控制板(2)与电子秤I、II(3、12)和计算机连接；所述的触觉反馈设备包括CPU与移动信号接收器Ⅰ(6)、手套Ⅰ(7)、CPU与移动信号接收器Ⅱ(8)、手套Ⅱ(9)、电源I(14)、电源II(21)；所述的CPU与移动信号接收器Ⅰ、Ⅱ(6、8)与手套Ⅰ、Ⅱ(7、9)相连接；所述的电源I、II(14、21)固定在CPU与移动信号接收器Ⅰ、Ⅱ(6、8)上；所述的手套Ⅰ(7)包括磁铁I(15)和第一、二、三、四、五压电陶瓷振动片(16、17、18、19、20)；所述的手套Ⅱ(9)包括磁铁II(23)和第六、七、八、九、十压电陶瓷振动片(24、25、26、27、28)；所述的磁铁I、II(15、23)固定在手套Ⅰ、Ⅱ(7、9)的掌心中；所述的第一、二、三、四、五、六、七、八、九、十压电陶瓷振动片(16、17、18、19、20、24、25、26、27、28)设置在手套Ⅰ、Ⅱ(7、9)的指尖上。
3.一种虚拟装配系统，其特征在于，该系统包括：
计算机：用于处理信息并传输信号；
Kinect V2：用于采集图像、语音信息，并辅助完成骨骼识别、面孔识别、语音识别；
骨骼识别模块：用于获取人体的25个部位骨骼点数据，对人体的动作进行实时捕捉，并能计算出身高、抓取和放置零件的动作是否完成；
面孔识别模块：用于提取人脸的特征点；
语音识别模块：用于获取Kinect V2人机交互设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，并通过与数据库模板比较，从而控制虚拟装配环境变换，窗口变换；
装配模块：用于将CATIA设计出的所有零件，组合出装配图，再通过KEYSHOT渲染得到最后产品；
建筑模块：用于将Sketch Up按照1:1设计出装配环境并渲染，再导入Unity 3D虚拟环境构建设备中，再将装配模型置于建筑模型中，并绑定语音指令；
虚拟人物匹配模块：用于将之前测量的身高与身高最近似的人物模型进行匹配，建立人物模型数据库，并将Kinect V2人机交互设备采集的25个骨骼点与模型进行绑定。
VR眼镜：用于增强虚拟环境的沉浸性；
力与触觉反馈设备：用于使用者双手接触虚拟零件时提供力的作用和真实触觉；
所述的计算机、Kinect V2、骨骼识别模块、面孔识别模块、语音识别模块、装配模块、建筑模块、虚拟人物匹配模块、VR眼镜和力与触觉反馈设备，其中计算机与Kinect V2、VR眼镜和力与触觉反馈设备连接，骨骼识别模块、面孔识别模块、语音识别模块需要计算机和Kinect V2共同支撑，装配模块、建筑模块、虚拟人物匹配模块由计算机实现。
4.一种虚拟装配方法，其特征在于，该方法包括以下步骤：
步骤一、使用者带上VR眼镜，穿戴虚拟现实手套，启动Kinect V2人机交互设备和Unity3D虚拟环境构建设备，由Kinect V2人机交互设备中的面孔识别模块提取使用者人脸的121个面孔特征点，并且定义双眼中心位置左眼中心位置τ1、右眼中心位置τ2；由KinectV2人机交互设备中的骨骼识别模块测算身高、匹配人物模型，并且由Kinect V2人机交互设备中的语音识别模块通过Speech SDK获取Kinect V2记录的语音信息，生成语音文本字符串，记录在语音命令链表中，将使用者的语音信息与数据库模板比较，若相似度在90％上，则执行步骤二；
步骤二、生成装配的虚拟环境，导入人物模型，根据脊柱点反求抓取节点、装配节点和配合节点，面孔识别模块锁定使用者的左、右眼的中心点上，并将两个摄像机分别绑定在使用者的双眼上。
步骤三、在虚拟现实场景中，当使用者进入后，出现文字指导使用者进行装配，使用者双手接近零件，完成抓取和放置零件动作，虚拟现实手套反馈相应的触觉，并出现装配轨迹，当零件移动，虚拟现实手套反馈一定的拉力，直到装配完成，拉力消失，手脱离零件，触觉消失；
步骤四、重复步骤三，用户可通过语音识别模块实现环境重建并转换装配环境即转入步 骤二，当取消文字或轨迹指导时，退出系统。
5.根据权利要求4所述的一种虚拟装配方法，其特征在于，步骤一中所述的骨骼识别模块通过Kinect SDK编写专用程序对人体的动作进行实时捕捉，通过Kinect V2人机交互设备中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。
6.根据权利要求4所述的一种虚拟装配方法，其特征在于，步骤一中所述的测算身高方法如下：
其中，定义Kinect感应器的左边为X正半轴，右边为负半轴，Y轴正轴竖直向上，Z表示纵深程度，深度相机摄像方向为正方向，x1、y1、z1为头X、Y、Z方向的数据、x2、y2、z2为髋关节中心X、Y、Z方向的数据；x3、y3、z3为左臀X、Y、Z方向的数据；x4、y4、z4为左脚踝X、Y、Z方向的数据。
7.根据权利要求4所述的一种虚拟装配方法，其特征在于，步骤二中所述的左、右眼的中心点的计算方法如下：
通过面部识别模块提取人脸的121个特征点，从而确定主要面部器官的位置，其中特征点为N1(X1,Y1,Z1)、N2(X2,Y2,Z2)、N3(X3,Y3,Z3)…N121(X121,Y121,Z121)，其中取N53、N54、N55、N56、N98、N100、N106、N108计算右眼中心点τ1(X右,Y右,Z右)，取N20、N21、N22、N23、N97、N99、N105、N107计算左眼中心点τ2(X左,Y左,Z左)，具体方法如下：
8.根据权利要求7所述的一种虚拟装配方法，其特征在于，步骤三中所述的抓取零件方法 如下：
步骤1、计算左手到左指尖向量与左手到左拇指向量夹角，可得
如果θ1小于阈值10°时，认为使用者完成抓取动作，其中左手到左指尖向量为n11(x7-x5,y7-y5,z7-z5)，左手到左拇指向量为n12(x6-x5,y6-y5,z6-z5)，其中左手的特征点为n5(x5,y5,z5)，左拇指的特征点为n6(x6,y6,z6)，左指尖的特征点为n7(x7,y7,z7)；右手到左指尖向量与右手到左拇指向量夹角的计算方法同左手到左指尖向量与左手到左拇指向量；
步骤2、计算左手与零件关节点的位置关系，可得如果l1小于阈值3cm时，认为使用者完成抓取起零件，如果零件需要双手抓起，即双手都需完成抓取动作，并双手在不同的抓取区域范围内才能抓起零件；右手与零件关节点的位置关系的计算方法同左手与零件关节点的位置关系；其中，ni(xi,yi,zi)为零件抓取关节点；
步骤3、在轴承的两边设置关节点ξ1、ξ2，当双手均完成抓取动作，右手n8与关节点ξ1距离小于阈值l时且右手n5与关节点ξ2距离小于阈值l时，零件被抓起，跟随双手进行移动；
步骤三中所述的放置零件的方法如下：
计算左手到左指尖向量与左手到左拇指向量夹角，可得
如果θ1大于阈值10°时，认为使用者完成放置动作，零件如果完成装配，就与壳体结合，否则回归原位，如果零件需要双手抓起，在放置时需要双手同时完成放置动作；右手的放置动作同左手。
9.根据权利要求4所述的一种虚拟装配方法，其特征在于，步骤三中所述的装配完成的判断方法如下：
在虚拟现实场景中，当使用者进入后，出现文字指导使用者进行装配，并在使用者依照指示抓起零件时，出现装配轨迹，使用者可根据文字提示或轨迹提示完成规定装配任务，也可通过语音识别取消提示。零件中有装配节点Kj(xj,yj,zj)，机箱有配合节点Mq(xq,yq,zq)，当抓取的零件与机箱接合，此时对应的装配节点与配合节点 如果l2小于阈值5cm时，认为零件装配完成。
CN201710223047.8A 2017-04-07 2017-04-07 一种虚拟装配装置、系统及方法 Expired - Fee Related CN106980385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710223047.8A CN106980385B (zh) 2017-04-07 2017-04-07 一种虚拟装配装置、系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710223047.8A CN106980385B (zh) 2017-04-07 2017-04-07 一种虚拟装配装置、系统及方法

Publications (2)

Publication Number Publication Date
CN106980385A true CN106980385A (zh) 2017-07-25
CN106980385B CN106980385B (zh) 2018-07-10

Family

ID=59344116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710223047.8A Expired - Fee Related CN106980385B (zh) 2017-04-07 2017-04-07 一种虚拟装配装置、系统及方法

Country Status (1)

Country Link
CN (1) CN106980385B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678537A (zh) * 2017-09-04 2018-02-09 全球能源互联网研究院有限公司 增强现实环境中识别装配操作、模拟装配的方法和装置
CN107731081A (zh) * 2017-11-15 2018-02-23 电子科技大学 减速器虚拟现实装配系统
CN107783654A (zh) * 2017-11-08 2018-03-09 吉林大学 一种虚拟装配操作中身体弯曲类动作检测方法
CN107862081A (zh) * 2017-11-29 2018-03-30 四川无声信息技术有限公司 网络信息源查找方法、装置及服务器
CN107967057A (zh) * 2017-11-30 2018-04-27 西安交通大学 一种基于Leap Motion的虚拟装配示教方法
CN108088437A (zh) * 2017-12-04 2018-05-29 成都思悟革科技有限公司 一种依托动作捕捉的智能辅助锻炼系统
CN108090448A (zh) * 2017-12-20 2018-05-29 吉林大学 一种虚拟装配中模特值评价方法
CN108133119A (zh) * 2018-01-19 2018-06-08 吉林大学 一种虚拟装配中旋摆动作测时方法
CN108268137A (zh) * 2018-01-24 2018-07-10 吉林大学 一种虚拟装配中握取、移动和放手动作测算方法
CN108346177A (zh) * 2018-01-15 2018-07-31 浙江大学 一种基于Unity3D的虚拟陶瓷设计方法
CN108363984A (zh) * 2018-03-06 2018-08-03 吉林大学 一种虚拟装配中疲劳度监测方法
CN108656113A (zh) * 2018-05-16 2018-10-16 吉林大学 一种虚拟装配操作中对准动作识别方法
CN108721870A (zh) * 2018-01-23 2018-11-02 吉林大学 一种基于虚拟环境的运动训练评价方法
CN109064818A (zh) * 2018-07-23 2018-12-21 国网电力科学研究院武汉南瑞有限责任公司 一种基于虚拟现实的电力设备培训系统
CN109214964A (zh) * 2018-08-21 2019-01-15 合肥创旗信息科技有限公司 一种vr课堂课程教学管理系统
CN109493670A (zh) * 2018-11-21 2019-03-19 苏州工业园区职业技术学院 一种机电气一体化生产培训系统
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
CN109839827A (zh) * 2018-12-26 2019-06-04 哈尔滨拓博科技有限公司 一种基于全空间位置信息的手势识别智能家居控制系统
CN109961473A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 双眼定位方法及装置、电子设备和计算机可读存储介质
CN110299042A (zh) * 2019-06-04 2019-10-01 中广核工程有限公司 一种沉浸式核电厂主设备工艺仿真推演方法及系统
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
CN110414694A (zh) * 2019-07-19 2019-11-05 中国船舶重工集团公司第七一六研究所 一种船用潜液泵虚拟机关键部件远程运维装配方法
US10663938B2 (en) 2017-09-15 2020-05-26 Kohler Co. Power operation of intelligent devices
CN111862716A (zh) * 2020-07-30 2020-10-30 江苏建筑职业技术学院 基于建筑信息模型的预制装配式结构施工虚拟实训系统和方法
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11921794B2 (en) 2017-09-15 2024-03-05 Kohler Co. Feedback for water consuming appliance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050210496A1 (en) * 2004-03-19 2005-09-22 Fuji Photo Film Co., Ltd. Disc cartridge
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN103246785A (zh) * 2013-05-21 2013-08-14 西安电子科技大学 一种力引导的虚拟装配方法
CN104932804A (zh) * 2015-06-19 2015-09-23 济南大学 一种智能虚拟装配动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050210496A1 (en) * 2004-03-19 2005-09-22 Fuji Photo Film Co., Ltd. Disc cartridge
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN103246785A (zh) * 2013-05-21 2013-08-14 西安电子科技大学 一种力引导的虚拟装配方法
CN104932804A (zh) * 2015-06-19 2015-09-23 济南大学 一种智能虚拟装配动作识别方法

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678537A (zh) * 2017-09-04 2018-02-09 全球能源互联网研究院有限公司 增强现实环境中识别装配操作、模拟装配的方法和装置
US11949533B2 (en) 2017-09-15 2024-04-02 Kohler Co. Sink device
US11892811B2 (en) 2017-09-15 2024-02-06 Kohler Co. Geographic analysis of water conditions
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11921794B2 (en) 2017-09-15 2024-03-05 Kohler Co. Feedback for water consuming appliance
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US10663938B2 (en) 2017-09-15 2020-05-26 Kohler Co. Power operation of intelligent devices
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
CN107783654B (zh) * 2017-11-08 2018-07-31 吉林大学 一种虚拟装配操作中身体弯曲类动作检测方法
CN107783654A (zh) * 2017-11-08 2018-03-09 吉林大学 一种虚拟装配操作中身体弯曲类动作检测方法
CN107731081A (zh) * 2017-11-15 2018-02-23 电子科技大学 减速器虚拟现实装配系统
CN107862081A (zh) * 2017-11-29 2018-03-30 四川无声信息技术有限公司 网络信息源查找方法、装置及服务器
CN107967057A (zh) * 2017-11-30 2018-04-27 西安交通大学 一种基于Leap Motion的虚拟装配示教方法
CN107967057B (zh) * 2017-11-30 2020-03-31 西安交通大学 一种基于Leap Motion的虚拟装配示教方法
CN108088437A (zh) * 2017-12-04 2018-05-29 成都思悟革科技有限公司 一种依托动作捕捉的智能辅助锻炼系统
CN108090448A (zh) * 2017-12-20 2018-05-29 吉林大学 一种虚拟装配中模特值评价方法
CN108090448B (zh) * 2017-12-20 2018-09-28 吉林大学 一种虚拟装配中模特值评价方法
CN109961473A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 双眼定位方法及装置、电子设备和计算机可读存储介质
CN108346177B (zh) * 2018-01-15 2020-09-08 浙江大学 一种基于Unity3D的虚拟陶瓷设计方法
CN108346177A (zh) * 2018-01-15 2018-07-31 浙江大学 一种基于Unity3D的虚拟陶瓷设计方法
CN108133119B (zh) * 2018-01-19 2018-10-02 吉林大学 一种虚拟装配中旋摆动作测时方法
CN108133119A (zh) * 2018-01-19 2018-06-08 吉林大学 一种虚拟装配中旋摆动作测时方法
CN108721870A (zh) * 2018-01-23 2018-11-02 吉林大学 一种基于虚拟环境的运动训练评价方法
CN108721870B (zh) * 2018-01-23 2023-05-26 吉林大学 一种基于虚拟环境的运动训练评价方法
CN108268137A (zh) * 2018-01-24 2018-07-10 吉林大学 一种虚拟装配中握取、移动和放手动作测算方法
CN108268137B (zh) * 2018-01-24 2018-11-06 吉林大学 一种虚拟装配中握取、移动和放手动作测算方法
CN108363984B (zh) * 2018-03-06 2018-11-16 吉林大学 一种虚拟装配中疲劳度监测方法
CN108363984A (zh) * 2018-03-06 2018-08-03 吉林大学 一种虚拟装配中疲劳度监测方法
CN108656113A (zh) * 2018-05-16 2018-10-16 吉林大学 一种虚拟装配操作中对准动作识别方法
CN109064818A (zh) * 2018-07-23 2018-12-21 国网电力科学研究院武汉南瑞有限责任公司 一种基于虚拟现实的电力设备培训系统
CN109214964A (zh) * 2018-08-21 2019-01-15 合肥创旗信息科技有限公司 一种vr课堂课程教学管理系统
CN109493670A (zh) * 2018-11-21 2019-03-19 苏州工业园区职业技术学院 一种机电气一体化生产培训系统
CN109839827B (zh) * 2018-12-26 2021-11-30 哈尔滨拓博科技有限公司 一种基于全空间位置信息的手势识别智能家居控制系统
CN109839827A (zh) * 2018-12-26 2019-06-04 哈尔滨拓博科技有限公司 一种基于全空间位置信息的手势识别智能家居控制系统
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
CN110299042A (zh) * 2019-06-04 2019-10-01 中广核工程有限公司 一种沉浸式核电厂主设备工艺仿真推演方法及系统
CN110414694B (zh) * 2019-07-19 2022-03-22 中国船舶重工集团公司第七一六研究所 一种船用潜液泵虚拟机关键部件远程运维装配方法
CN110414694A (zh) * 2019-07-19 2019-11-05 中国船舶重工集团公司第七一六研究所 一种船用潜液泵虚拟机关键部件远程运维装配方法
CN111862716A (zh) * 2020-07-30 2020-10-30 江苏建筑职业技术学院 基于建筑信息模型的预制装配式结构施工虚拟实训系统和方法

Also Published As

Publication number Publication date
CN106980385B (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
CN106980385B (zh) 一种虚拟装配装置、系统及方法
CN110599573B (zh) 一种基于单目相机的人脸实时交互动画的实现方法
CN106078752A (zh) 一种基于Kinect的仿人机器人人体行为模仿方法
CN107433021A (zh) 一种基于镜像神经元的vr康复系统
CN104778872A (zh) 用于机械臂遥操作人机交互研究的仿真实验训练平台
CN206105869U (zh) 一种机器人快速示教装置
CN107818318B (zh) 一种人形机器人模仿相似度评价方法
CN204406327U (zh) 基于三维体感摄影机的肢体康复模拟仿真训练系统
Yang et al. A study of the human-robot synchronous control system based on skeletal tracking technology
Shao et al. A natural interaction method of multi-sensory channels for virtual assembly system of power transformer control cabinet
CN103729879A (zh) 基于力觉计算的虚拟手稳定抓取方法
CN113703583A (zh) 一种多模态交叉融合的虚拟影像融合系统、方法、装置
CN107643820A (zh) Vr被动型机器人及其实现方法
CN107644686A (zh) 基于虚拟现实的医学数据采集系统及方法
Tian et al. Design and implementation of dance teaching system based on Unity3D
Uzunova et al. Virtual reality system for motion capture analysis and visualization for folk dance training
CN107243147A (zh) 基于体感传感器的拳击训练虚拟现实系统及其实现方法
CN114282837A (zh) 一种物理化学实验教学系统
CN113610018A (zh) 结合5g、表情跟踪与美颜的vr实时通讯交互系统及方法
Jiang et al. Research on low cost virtual assembly training platform based on somatosensory technology
Qi et al. Research and prospects of virtual reality systems applying exoskeleton technology
Guo et al. Scene Construction and Application of Panoramic Virtual Simulation in Interactive Dance Teaching Based on Artificial Intelligence Technology
Tao et al. Visual perception method based on human pose estimation for humanoid robot imitating human motions
Zhang Development and analysis of educational virtual reality system using static image
Yan et al. AGRMTS: A virtual aircraft maintenance training system using gesture recognition based on PSO‐BPNN model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Jiang Shengqian

Inventor after: Liu Peng

Inventor after: Gao Dawei

Inventor after: Liang Yeyin

Inventor after: Hou Shengdong

Inventor after: Chen Xuechun

Inventor after: Zhang Cuanying

Inventor after: Cai Weilu

Inventor after: Zhang Kaigan

Inventor before: Jiang Shengqian

Inventor before: Liu Peng

Inventor before: Xu Ruolan

Inventor before: Fu Danni

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180710

Termination date: 20200407