CN106529838A - 虚拟装配方法及装置 - Google Patents
虚拟装配方法及装置 Download PDFInfo
- Publication number
- CN106529838A CN106529838A CN201611166656.6A CN201611166656A CN106529838A CN 106529838 A CN106529838 A CN 106529838A CN 201611166656 A CN201611166656 A CN 201611166656A CN 106529838 A CN106529838 A CN 106529838A
- Authority
- CN
- China
- Prior art keywords
- data
- product
- assembling
- assembly
- assembled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 230000008569 process Effects 0.000 claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims abstract description 56
- 230000000694 effects Effects 0.000 claims abstract description 47
- 210000003414 extremity Anatomy 0.000 claims description 99
- 230000003238 somatosensory effect Effects 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 210000004247 hand Anatomy 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims 1
- 238000012549 training Methods 0.000 description 23
- 230000000007 visual effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Educational Technology (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Computer Graphics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种虚拟装配方法及装置。所述方法包括：获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取装配操作人员手部肢体的RGB图像数据和深度图像数据；根据手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型；根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据；基于手部肢体模型、装配车间模型和待装配产品及其部件模型，根据运动学数据进行虚拟装配过程；对虚拟装配过程进行分析，获得装配效果分析结果。本发明实现了虚拟产品装配过程，提高了装配效率及效果。
Description
技术领域
本发明涉及计算机视觉技术，尤其涉及一种虚拟装配方法及装置。
背景技术
装配作为产品生产制造过程中的重要组成部分，决定了整个产品生命周期中技术体系的发展，提高产品装配水平具有重大意义。随着产品复杂度以及精密度的增强，装配人员的业务水平面临着严峻的考验，由此，对装配人员的培训变得越来越重要。
目前，现有的装配培训方式有以下两种：一种是人工装配教学，具体通过专业教员在装配车间进行实际操作教学，或者，通过观看事先录制的视频进行教学培训；另一种是虚拟装配教学，大多采用PC桌面系统，使用键盘和鼠标作为数据收集器，以及采用大型动捕设备实现虚拟装配过程。
然而，现有技术具有以下不足之处：首先，针对人工装配方式，既消耗大量的人力、物力及财力，又存在一定的操作危险性。且受限于装配教学的时间和地点，无法多人同时、反复操作；其次，虚拟装配方式的交互感不强，从而导致装配效率低下，装配效果有限，难以广泛应用，此外，采用大型动捕设备使得成本过高。
发明内容
本发明的目的在于，提供一种虚拟装配方法及装置，以实现虚拟现实的产品装配过程，提升产品装配过程的交互感，提高装配效率和装配效果，成本低，且应用广泛。
根据本发明的一方面，提供一种虚拟装配方法。所述方法包括：获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据；根据所述手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型；根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据；基于所述手部肢体模型、装配车间模型和待装配产品及其部件模型，根据所述运动学数据进行虚拟装配过程；对所述虚拟装配过程进行分析，获得装配效果分析结果。
优选地，所述获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据包括：
通过Kinect体感器获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据。
优选地，所述获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据包括：
通过Kinect体感器获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据。
优选地，所述对所述虚拟装配过程进行分析，获得装配效果分析结果包括：
根据部件装配位置、装配顺序、装配动作和装配时间中一种或多种装配信息对所述虚拟装配过程进行分析，获得装配效果分析结果。
优选地，所述方法还包括：
根据所述待装配产品及其部件模型，制作用于展示待装配产品及其部件的教学素材视频，并且，根据所述装配效果分析结果获得所述装配操作人员的装配文档；
存储以下数据中一种或多种到虚拟装配数据库中：所述装配操作人员的手部肢体三维数据、所述装配车间的三维数据、所述待装配产品及其部件的三维数据、所述手部肢体的RGB图像数据、所述手部肢体的深度图像数据、所述手部肢体模型、所述装配车间模型、所述待装配产品及其部件模型、所述教学素材视频和所述装配文档。
根据本发明的另一方面，提供一种虚拟装配装置。所述装置包括：数据获取模块，用于获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据；模型建立模块，用于根据所述手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型；姿态分析模块，用于根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据；虚拟装配模块，用于基于所述手部肢体模型、装配车间模型和待装配产品及其部件模型，根据所述运动学数据进行虚拟装配过程；装配效果分析模块，用于对所述虚拟装配过程进行分析，获得装配效果分析结果。
优选地，所述数据获取模块用于通过Kinect体感器获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据。
优选地，所述数据获取模块用于通过Kinect体感器获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据。
优选地，所述装配效果分析模块用于根据部件装配位置、装配顺序、装配动作和装配时间中一种或多种装配信息对所述虚拟装配过程进行分析，获得装配效果分析结果。
优选地，所述装置还包括：
视频制作及文档获取模块，用于根据所述待装配产品及其部件模型，制作用于展示待装配产品及其部件的教学素材视频，并且，根据所述装配效果分析结果获得所述装配操作人员的装配文档；
数据存储模块，用于存储以下数据中一种或多种到虚拟装配数据库中：所述装配操作人员的手部肢体三维数据、所述装配车间的三维数据、所述待装配产品及其部件的三维数据、所述手部肢体的RGB图像数据、所述手部肢体的深度图像数据、所述手部肢体模型、所述装配车间模型、所述待装配产品及其部件模型、所述教学素材视频和所述装配文档。
根据本发明实施例提供的虚拟装配方法及装置，通过获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，以此为依据建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型，根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据。进一步基于手部肢体模型、装配车间模型和待装配产品及其部件模型，根据运动学数据进行虚拟装配过程，对虚拟装配过程进行分析，获得装配效果分析结果。从而实现了虚拟现实的产品装配过程，提升了产品装配过程的交互感，使操作者获得真实的装配体验。同时，提高了装配效率和装配效果，成本低，且应用广泛。
附图说明
图1是示出根据本发明实施例一的虚拟装配方法的流程图；
图2是示出根据本发明实施例二的虚拟装配方法的流程图；
图3是示出根据本发明实施例三的虚拟装配装置的逻辑框图；
图4是示出根据本发明实施例四的虚拟装配装置的逻辑框图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
图1是示出根据本发明实施例一的虚拟装配方法的流程图。可在如图3所示的装置执行所述方法。
参照图1，在步骤S110，获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取装配操作人员手部肢体的RGB图像数据和深度图像数据。
具体地，可利用体感交互设备如Kinect体感器采集装配操作人员手臂、装配车间、待装配产品及其零部件的信息，完成三维数据的输入，为后续建模处理和教学素材制作提供数据源。同时，利用Kinect体感器获得装配操作人员的RGB图像和深度图像数据，为后续姿态分析处理提供数据基础。
在步骤S120，根据手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型。
具体地，基于采集到的RGB数据和深度数据，利用现有的三维模型重建算法，建立手部肢体模型(即虚拟手)、装配车间模型、待装配产品及其零部件模型。
其中，虚拟手是进行虚拟装配的执行机构，可实现精细的抓取操作。模仿装配操作人员的手臂建立虚拟手模型，使其与真实手臂具有相同的结构，从而使得产品装配过程中的抓取、移动、释放物体等操作更加逼真。装配车间模型可以为装配操作人员提供一种具有多感应、较强的真实感和交互感的虚拟装配环境。通过这种虚拟装配环境使装配操作人员产生强烈的真实感。考虑到半透明模型可清晰看到产品或部件的内部结构，便于观察、学习和掌握其工作原理，因此，本实施例中，产品及其部件的三维模型可设置为半透明模式。
在实际应用中，可以使用3DMAX软件对场景中的手臂、装配车间、待装配产品及其零部件模型添加纹理，并进行渲染和着色，以增加模型的立体感与真实感。
在步骤S130，根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据。
通过前述利用Kinect体感器获取装配操作人员手臂的RGB图像和深度图像数据，可以支持实时的手臂和骨骼跟踪，自动识别操作手抓取及释放等一系列动作，获得手部肢体的运动学数据，其中包括手臂的姿态参数及各种运动学参数(如人手的空间位置的坐标数据和方位数据)，进而驱动手部肢体模型的运动，以实现控制虚拟手的装配操作姿势。
在步骤S140，基于手部肢体模型、装配车间模型和待装配产品及其部件模型，根据运动学数据进行虚拟装配过程。
上述步骤中根据姿态分析所获得的运动学数据驱动虚拟手运动。即根据获得的操作手空间位置的坐标数据和方位数据，并将其转换为虚拟手在虚拟空间中的坐标值和方位值，通过坐标值的不断改变，使虚拟手带动零件在虚拟环境中实现各种空间的位姿变换，从而实现零件的抓取装配过程。由于捕获到的是手臂真实运动的数据，因此虚拟手的运动基本上是人手运动的复制品，模拟效果非常逼真。
利用基于距离的碰撞检测技术反馈虚拟手模型与待装配零件、已拆装零件之间的距离信息，很好的实现了零件与虚拟手模型之间的同步运动。为了使零部件接触时具备力反馈功能，可通过改变待装配零件的颜色(或声音)的方式来通知装配操作人员已经发生碰撞。也就是说，当虚拟手模型运动到待装配零件的设定范围内时，待装配零件的颜色发生改变(或发出提示音)，这时可以进行零件的抓取动作。将待装配零件的坐标与虚拟手的坐标同步，随着虚拟手一起运动，把待装配零件移动到目标位置后，松开手指释放零件，零件变回初始时的颜色(或发出完成提示音)，则完成零件的虚拟装配过程。上述过程中，通过输出视觉或听觉反馈来提示装配操作人员可以进行下一步操作，使得虚拟装配过程的交互感更强，极大地提升了装配操作人员的虚拟装配操作体验。
在步骤S150，对虚拟装配过程进行分析，获得装配效果分析结果。
具体地，在完成整个装配过程后，可以从零部件装配位置和装配顺序、装配的动作规范、装配时间等方面对虚拟手的装配过程进行自动分析，并给出评分和建议。并输出装配文档，以便于装配操作人员纠正错误操作，以达到装配训练的个性化、最优化，提高了装配效率。
以下结合具体的处理示例，来进一步更直观地说明一下本发明实施例的具体应用。
首先是数据准备阶段，利用Kinect体感器获取产品装配车间中的实训场地、操作者手臂、工具箱和产品零部件的RGB图像数据和深度图像数据，并通过三维模型重建算法建立产品零部件模型、工具模型、三维实训场地模型和虚拟手模型，并添加纹理，增加模型的立体感与真实感。利用flash软件制作辅助虚拟教学的三维动画和二维视频，并将建好的模型和辅助教学材料导入系统数据库；
其次是虚拟装配教学、训练及考核阶段：应用了本发明实施例的虚拟装配方法的虚拟装配系统可以启动三种模式，即教学、训练和考核。在教学和训练模式中，分别由教员和学员进行操作，可以随时调用系统数据库中的辅助教学材料，允许操作者切换视角，从不同的角度观察产品的零部件结构，以交互、直观且生动的方式帮助操作者了解产品运行原理，掌握其内部结构和装配顺序。装备完毕后，系统自动给出效果分析和建议的文档。当进入考核模式，则由学员进行操作，系统数据库中仅提供考核所需的各类零部件模型，学员装配完毕后，系统自动给出评分结果，并以装配文档形式输出。
本发明实施例提供的虚拟装配方法，通过获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，以此为依据建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型，根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据。进一步基于手部肢体模型、装配车间模型和待装配产品及其部件模型，根据运动学数据进行虚拟装配过程，对虚拟装配过程进行分析，获得装配效果分析结果。从而实现了虚拟现实的产品装配过程，提升了产品装配过程的交互感，使操作者获得真实的装配体验。同时，提高了装配效率和装配效果，成本低，且应用广泛。
实施例二
图2是示出根据本发明实施例二的虚拟装配方法的流程图，所述实施例可视为图1的一种具体的实现方案。可在如图4所示的装置执行所述方法。
参照图2，在步骤S210，获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取装配操作人员手部肢体的RGB图像数据和深度图像数据。
根据本发明示例性实施例，步骤S210中获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据的处理可包括：通过Kinect体感器获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据。
根据本发明另一示例性实施例，步骤S210中获取装配操作人员手部肢体的RGB图像数据和深度图像数据的处理可包括：通过Kinect体感器获取装配操作人员手部肢体的RGB图像数据和深度图像数据。
在步骤S220，根据手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型。
在步骤S230，根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据。
其中，上述步骤S230的步骤内容与上述实施例一中步骤S130的步骤内容相同，在此不再赘述。
在步骤S240，基于手部肢体模型、装配车间模型和待装配产品及其部件模型，根据运动学数据进行虚拟装配过程。
其中，上述步骤S240的步骤内容与上述实施例一中步骤S140的步骤内容相同，在此不再赘述。
在步骤S250，对虚拟装配过程进行分析，获得装配效果分析结果。
根据本发明示例性实施例，步骤S250可包括：根据部件装配位置、装配顺序、装配动作和装配时间中一种或多种装配信息对虚拟装配过程进行分析，获得装配效果分析结果。
在步骤S260，根据待装配产品及其部件模型，制作用于展示待装配产品及其部件的教学素材视频，并且，根据装配效果分析结果获得装配操作人员的装配文档。
在具体的实现方式中，结合产品及其零部件模型，采用flash软件制作二维视频和三维动画。借助于二维视频学习产品工作原理，熟悉其典型结构；通过三维动画了解产品零件的形态、外观以及组件、部件间的关系，实现对装配过程的感性认识。
其中，将待装配的产品及其零部件的模型可设置为半透明式，并通过半透明式三维动画、操作视频对操作者进行示范和讲解，在演示的过程中允许用户切换视角，从不同的角度观察产品的零部件结构，以交互的、直观的、生动的方式帮助装配操作人员理解产品的运行原理，熟悉其内部结构和构造，从而掌握产品的装配方法。
在步骤S270，存储以下数据中一种或多种到虚拟装配数据库中：装配操作人员的手部肢体三维数据、装配车间的三维数据、待装配产品及其部件的三维数据、手部肢体的RGB图像数据、手部肢体的深度图像数据、手部肢体模型、装配车间模型、待装配产品及其部件模型、教学素材视频和装配文档。
在实际应用中，虚拟装配数据库用于存储各类模型数据和教学素材。并能够提供灵活的数据维护和更新功能，使用者可以通过简单的数据接口，实现数据库中数据信息的更新。
本发明实施例提供的虚拟装配方法，具有以下技术效果：
一方面，利用Kinect体感器作为信息(骨骼信息)采集器，以虚拟人第一视角进行装配，通过虚拟手动作来增强视觉反馈。与现有虚拟装配方式相比，本实施例的虚拟装配方法使得交互方式具有更高的代入感，营造了整个装配过程是在真实客观环境中进行的氛围，增强了体验效果，调动了装配操作人员进行虚拟装配学习的积极性；
另一方面，将虚拟现实技术引入产品装配过程中，能够激发装配操作人员培训时的兴趣和积极性，提高了装配训练效果；此外，利用虚拟现实技术的安全、经济、可重复、直观等优势，用虚拟样品替代产品实物，节省了大量的实践教学经费，缩短了培训周期，提高了产品装配的操作水平，并能够保证装配过程在高效、高质量、短时间、低成本、安全性高的环境下完成；
再一方面，在本实施例中，可以对装配效果进行自动分析。分析结果可以作为对装配操作人员的装配过程做出评价，以及提出训练建议的依据。有利于教员直观系统地分析装配操作人员的装配动作，并且，有助于装配操作人员及时发现、领悟自身缺陷，对整体提高装配操作人员的装配质量和装配效率有较大的促进作用；
又一方面，既实现了对产品装配方法的教学，又可以实现学员对于装配知识的学习与技能的训练以及学员的考核，将教学、训练和考核融为一体。满足了在产品装配教学、训练和考核方面的技术需求，使装配操作人员在获得真实的装配体验的同时，提高了其装配方面的专业素养。
实施例三
基于相同的技术构思，图3是示出根据本发明实施例三的虚拟装配装置的逻辑框图。可用以执行如实施例一所述的虚拟装配方法流程。
参照图3，虚拟装配装置包括数据获取模块310、模型建立模块320、姿态分析模块330、虚拟装配模块340和装配效果分析模块350。
数据获取模块310用于获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取装配操作人员手部肢体的RGB图像数据和深度图像数据。
模型建立模块320用于根据手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型。
姿态分析模块330用于根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据。
虚拟装配模块340用于基于手部肢体模型、装配车间模型和待装配产品及其部件模型，根据运动学数据进行虚拟装配过程。
装配效果分析模块350用于对虚拟装配过程进行分析，获得装配效果分析结果。
本发明实施例提供的虚拟装配装置，通过获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，以此为依据建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型，根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据。进一步基于手部肢体模型、装配车间模型和待装配产品及其部件模型，根据运动学数据进行虚拟装配过程，对虚拟装配过程进行分析，获得装配效果分析结果。从而实现了虚拟现实的产品装配过程，提升了产品装配过程的交互感，使操作者获得真实的装配体验。同时，提高了装配效率和装配效果，成本低，且应用广泛。
实施例四
基于相同的技术构思，图4是示出根据本发明实施例四的虚拟装配装置的逻辑框图。可用以执行如实施例二所述的虚拟装配方法流程。
参照图4，具体地，数据获取模块310可用于通过Kinect体感器获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据。
进一步地，数据获取模块310可用于通过Kinect体感器获取装配操作人员手部肢体的RGB图像数据和深度图像数据。
优选地，装配效果分析模块350可用于根据部件装配位置、装配顺序、装配动作和装配时间中一种或多种装配信息对虚拟装配过程进行分析，获得装配效果分析结果。
可选地，该虚拟装配装置还包括：
视频制作及文档获取模块360用于根据待装配产品及其部件模型，制作用于展示待装配产品及其部件的教学素材视频，并且，根据装配效果分析结果获得装配操作人员的装配文档。
数据存储模块370用于存储以下数据中一种或多种到虚拟装配数据库中：装配操作人员的手部肢体三维数据、装配车间的三维数据、待装配产品及其部件的三维数据、手部肢体的RGB图像数据、手部肢体的深度图像数据、手部肢体模型、装配车间模型、待装配产品及其部件模型、教学素材视频和装配文档。
本发明实施例提供的虚拟装配装置，具有以下技术效果：
第一，利用Kinect体感器作为信息(骨骼信息)采集器，以虚拟人第一视角进行装配，通过虚拟手动作来增强视觉反馈。与现有虚拟装配方式相比，本实施例的虚拟装配方法使得交互方式具有更高的代入感，营造了整个装配过程是在真实客观环境中进行的氛围，增强了体验效果，调动了装配操作人员进行虚拟装配学习的积极性；
第二，将虚拟现实技术引入产品装配过程中，能够激发装配操作人员培训时的兴趣和积极性，提高了装配训练效果；此外，利用虚拟现实技术的安全、经济、可重复、直观等优势，用虚拟样品替代产品实物，节省了大量的实践教学经费，缩短了培训周期，提高了产品装配的操作水平，并能够保证装配过程在高效、高质量、短时间、低成本、安全性高的环境下完成；
第三，在本实施例中，可以对装配效果进行自动分析。分析结果可以作为对装配操作人员的装配过程做出评价，以及提出训练建议的依据。有利于教员直观系统地分析装配操作人员的装配动作，并且，有助于装配操作人员及时发现、领悟自身缺陷，对整体提高装配操作人员的装配质量和装配效率有较大的促进作用；
第四，既实现了对产品装配方法的教学，又可以实现学员对于装配知识的学习与技能的训练以及学员的考核，将教学、训练和考核融为一体。满足了在产品装配教学、训练和考核方面的技术需求，使装配操作人员在获得真实的装配体验的同时，提高了其装配方面的专业素养。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种虚拟装配方法，其特征在于，所述方法包括：
获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据；
根据所述手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型；
根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据；
基于所述手部肢体模型、装配车间模型和待装配产品及其部件模型，根据所述运动学数据进行虚拟装配过程；
对所述虚拟装配过程进行分析，获得装配效果分析结果。
2.根据权利要求1所述的方法，其特征在于，所述获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据包括：
通过Kinect体感器获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据。
3.根据权利要求1所述的方法，其特征在于，所述获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据包括：
通过Kinect体感器获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述虚拟装配过程进行分析，获得装配效果分析结果包括：
根据部件装配位置、装配顺序、装配动作和装配时间中一种或多种装配信息对所述虚拟装配过程进行分析，获得装配效果分析结果。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
根据所述待装配产品及其部件模型，制作用于展示待装配产品及其部件的教学素材视频，并且，根据所述装配效果分析结果获得所述装配操作人员的装配文档；
存储以下数据中一种或多种到虚拟装配数据库中：所述装配操作人员的手部肢体三维数据、所述装配车间的三维数据、所述待装配产品及其部件的三维数据、所述手部肢体的RGB图像数据、所述手部肢体的深度图像数据、所述手部肢体模型、所述装配车间模型、所述待装配产品及其部件模型、所述教学素材视频和所述装配文档。
6.一种虚拟装配装置，其特征在于，所述装置包括：
数据获取模块，用于获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，并且，获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据；
模型建立模块，用于根据所述手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据，分别建立相应的手部肢体模型、装配车间模型和待装配产品及其部件模型；
姿态分析模块，用于根据获取到的RGB图像数据和深度图像数据进行姿态分析，获得手部肢体的运动学数据；
虚拟装配模块，用于基于所述手部肢体模型、装配车间模型和待装配产品及其部件模型，根据所述运动学数据进行虚拟装配过程；
装配效果分析模块，用于对所述虚拟装配过程进行分析，获得装配效果分析结果。
7.根据权利要求6所述的装置，其特征在于，所述数据获取模块用于通过Kinect体感器获取装配操作人员的手部肢体三维数据、装配车间的三维数据和待装配产品及其部件的三维数据。
8.根据权利要求6所述的装置，其特征在于，所述数据获取模块用于通过Kinect体感器获取所述装配操作人员手部肢体的RGB图像数据和深度图像数据。
9.根据权利要求6所述的装置，其特征在于，所述装配效果分析模块用于根据部件装配位置、装配顺序、装配动作和装配时间中一种或多种装配信息对所述虚拟装配过程进行分析，获得装配效果分析结果。
10.根据权利要求6-9中任一项所述的装置，其特征在于，所述装置还包括：
视频制作及文档获取模块，用于根据所述待装配产品及其部件模型，制作用于展示待装配产品及其部件的教学素材视频，并且，根据所述装配效果分析结果获得所述装配操作人员的装配文档；
数据存储模块，用于存储以下数据中一种或多种到虚拟装配数据库中：所述装配操作人员的手部肢体三维数据、所述装配车间的三维数据、所述待装配产品及其部件的三维数据、所述手部肢体的RGB图像数据、所述手部肢体的深度图像数据、所述手部肢体模型、所述装配车间模型、所述待装配产品及其部件模型、所述教学素材视频和所述装配文档。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611166656.6A CN106529838A (zh) | 2016-12-16 | 2016-12-16 | 虚拟装配方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611166656.6A CN106529838A (zh) | 2016-12-16 | 2016-12-16 | 虚拟装配方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106529838A true CN106529838A (zh) | 2017-03-22 |
Family
ID=58340918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611166656.6A Pending CN106529838A (zh) | 2016-12-16 | 2016-12-16 | 虚拟装配方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106529838A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730591A (zh) * | 2017-09-14 | 2018-02-23 | 北京致臻智造科技有限公司 | 一种基于混合现实设备的装配引导方法及系统 |
| CN107993290A (zh) * | 2017-12-18 | 2018-05-04 | 快创科技（大连）有限公司 | 一种基于ar和云存储技术的机械部件装配演示系统 |
| CN108022459A (zh) * | 2017-12-18 | 2018-05-11 | 快创科技（大连）有限公司 | 一种基于ar的机械部件装配演示系统 |
| CN108090967A (zh) * | 2017-12-18 | 2018-05-29 | 快创科技（大连）有限公司 | 一种基于ar和精度验证技术的机械部件装配演示系统 |
| CN108197383A (zh) * | 2017-12-29 | 2018-06-22 | 杭州百子尖科技有限公司 | 基于虚拟增强现实的炼油和化工设备的构建和分解的系统及方法 |
| CN111028595A (zh) * | 2019-11-30 | 2020-04-17 | 国网河南省电力公司孟州市供电公司 | 一种利用vr技术实现电缆头制作虚拟场景的方法 |
| CN113593314A (zh) * | 2020-04-30 | 2021-11-02 | 青岛海尔空调器有限总公司 | 设备虚拟拆装培训系统及其培训方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881202A (zh) * | 2012-10-09 | 2013-01-16 | 江苏省电力公司徐州供电公司 | 基于虚拟现实的有载分接开关检修实训方法 |
| CN103106688A (zh) * | 2013-02-20 | 2013-05-15 | 北京工业大学 | 基于双层配准方法的室内三维场景重建方法 |
| CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
| CN103258078A (zh) * | 2013-04-02 | 2013-08-21 | 上海交通大学 | 融合Kinect设备和Delmia环境的人机交互虚拟装配系统 |
| CN103413352A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于rgbd多传感器融合的场景三维重建方法 |
| CN104915986A (zh) * | 2015-06-26 | 2015-09-16 | 北京航空航天大学 | 一种实体三维模型自动建模方法 |
| CN105045496A (zh) * | 2015-07-01 | 2015-11-11 | 中北大学 | 一种基于关节点变换的手势交互方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
-
2016
- 2016-12-16 CN CN201611166656.6A patent/CN106529838A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881202A (zh) * | 2012-10-09 | 2013-01-16 | 江苏省电力公司徐州供电公司 | 基于虚拟现实的有载分接开关检修实训方法 |
| CN103106688A (zh) * | 2013-02-20 | 2013-05-15 | 北京工业大学 | 基于双层配准方法的室内三维场景重建方法 |
| CN103258078A (zh) * | 2013-04-02 | 2013-08-21 | 上海交通大学 | 融合Kinect设备和Delmia环境的人机交互虚拟装配系统 |
| CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
| CN103413352A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于rgbd多传感器融合的场景三维重建方法 |
| CN104915986A (zh) * | 2015-06-26 | 2015-09-16 | 北京航空航天大学 | 一种实体三维模型自动建模方法 |
| CN105045496A (zh) * | 2015-07-01 | 2015-11-11 | 中北大学 | 一种基于关节点变换的手势交互方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
Non-Patent Citations (5)
| Title |
|---|
| HINCAPIE M 等: "An introduction to augmented reality with applications in aeronautical maintenance", 《TRANSPARENT OPTICAL NETWORKS》 * |
| 张荣等: "基于虚拟现实的船体装配工艺仿真技术研究", 《2015年CAD/CAM学术交流会议论文集》 * |
| 杨广玉: "板框过滤虚拟现实实验系统开发设计", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
| 赵阳: "增强现实环境下汽车发动机装配训练系统研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
| 郭连朋: "基于kinect传感器的物体三维重建", 《信息科学与控制工程》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730591A (zh) * | 2017-09-14 | 2018-02-23 | 北京致臻智造科技有限公司 | 一种基于混合现实设备的装配引导方法及系统 |
| CN107993290A (zh) * | 2017-12-18 | 2018-05-04 | 快创科技（大连）有限公司 | 一种基于ar和云存储技术的机械部件装配演示系统 |
| CN108022459A (zh) * | 2017-12-18 | 2018-05-11 | 快创科技（大连）有限公司 | 一种基于ar的机械部件装配演示系统 |
| CN108090967A (zh) * | 2017-12-18 | 2018-05-29 | 快创科技（大连）有限公司 | 一种基于ar和精度验证技术的机械部件装配演示系统 |
| CN108197383A (zh) * | 2017-12-29 | 2018-06-22 | 杭州百子尖科技有限公司 | 基于虚拟增强现实的炼油和化工设备的构建和分解的系统及方法 |
| CN111028595A (zh) * | 2019-11-30 | 2020-04-17 | 国网河南省电力公司孟州市供电公司 | 一种利用vr技术实现电缆头制作虚拟场景的方法 |
| CN113593314A (zh) * | 2020-04-30 | 2021-11-02 | 青岛海尔空调器有限总公司 | 设备虚拟拆装培训系统及其培训方法 |
| CN113593314B (zh) * | 2020-04-30 | 2023-10-20 | 青岛海尔空调器有限总公司 | 设备虚拟拆装培训系统及其培训方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106529838A (zh) | 虚拟装配方法及装置 | |
| CN104111861B (zh) | 一种无人机模拟训练系统及其控制方法 | |
| CN108646926A (zh) | 机械制造模具虚拟装配培训系统及培训方法 | |
| CN109118869B (zh) | 一种高真实感的船舶机舱设备三维虚拟考评训练系统 | |
| Gallegos-Nieto et al. | The analysis and evaluation of the influence of haptic-enabled virtual assembly training on real assembly performance | |
| CN103594005B (zh) | 一种变压器制造工艺三维立体仿真培训系统及方法 | |
| CN106485973A (zh) | 基于虚拟现实技术的电力技能培训平台 | |
| Rossmann et al. | Virtual robotic testbeds: A foundation for e-robotics in space, in industry-and in the woods | |
| CN109591013B (zh) | 一种柔性装配仿真系统及其实现方法 | |
| CN105500370A (zh) | 一种基于体感技术的机器人离线示教编程系统及方法 | |
| CN113297701B (zh) | 多种类工业零件堆叠场景的仿真数据集生成方法及装置 | |
| CN112150875A (zh) | 一种模具虚拟拆装实训工厂交互式教学平台 | |
| CN107738256A (zh) | 一种手把手仿人示教机器人编程系统 | |
| Kang et al. | Animation Character Generation and Optimization Algorithm Based on Computer Aided Design and Virtual Reality | |
| Büth et al. | Supporting SMEs towards adopting mixed reality: A training concept to bring the reality-virtuality continuum into application | |
| Kirakosian et al. | Immersive simulation and training of person-to-3d character dance in real-time | |
| CN113160639A (zh) | 一种电子对抗装备虚拟认知训练系统及其工作方法 | |
| Roßmann | From space to the forest and to construction sites: virtual testbeds pave the way for new technologies | |
| Romdhane et al. | Interactive MATLAB based project learning in a robotics course: Challenges and achievements | |
| Li | Virtual reality for fixture design and assembly | |
| Ramírez et al. | Application of virtual technologies for the representation of physical phenomena in maintenance tasks | |
| Guo et al. | [Retracted] Scene Construction and Application of Panoramic Virtual Simulation in Interactive Dance Teaching Based on Artificial Intelligence Technology | |
| Hamade et al. | Applying a design approach to robotics in education | |
| Rossmann | Advanced virtual testbeds: Robotics know how for virtual worlds | |
| Mu et al. | Smart Factory Visualization Research Based on Virtual Reality Emulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170322 |