CN107423650A

CN107423650A - 一种投影式增强现实装配诱导与监测系统及其实现方法

Info

Publication number: CN107423650A
Application number: CN201710674440.9A
Authority: CN
Inventors: 陈成军; 庞列勇; 李东年; 洪军
Original assignee: Qingdao University of Technology
Current assignee: Qingdao University of Technology
Priority date: 2017-08-09
Filing date: 2017-08-09
Publication date: 2017-12-01

Abstract

本发明涉及一种投影式增强现实装配诱导与监测系统，包括加载有装配诱导信息的计算机、电子标签扫描仪、电子标签、工作台以及投影仪组，所述投影仪组和电子标签扫描仪连接至所述计算机，所述投影仪组通过安装支架固定于所述工作台的上方，所述电子标签设置于所述被操作部件。本发明还涉及一种投影式增强现实装配诱导与监测系统的实现方法，包括如下步骤：建立部件工位数据库、部件信息采集和诱导、装配动作监测、装配力以及力矩的监测以及监测信息反馈。本发明通过投影式诱导装配，提高工人装配效率，通过多维力传感器和体感传感器监测装配动作、装配力、力矩，提高装配准确性，保证装配质量，适用于大规模定制生产。

Description

一种投影式增强现实装配诱导与监测系统及其实现方法

技术领域

本发明涉及一种投影式增强现实装配诱导与监测系统及其实现方法，可用于工业产品拆卸、装配、维修等作业，属于制造业与信息化交叉领域。

背景技术

目前生产系统的特点是高度自动化，但却难以实现完全自动化。此外，市场逐渐从大规模生产转变为大规模定制生产，产品在大规模批量生产的同时还需一个灵活的生产过程，因此手动装配显得尤为重要。

拆装 ( 拆卸和装配 ) 是工业产品进行生产、维修的重要步骤，合理的拆装工艺和操作过程可以有效的提高产品的生产效率。在生产过程中嵌入人工装配工位，对工人要求很高，尤其是在大规模定制中，即使是两个连续生产的产品也可能完全不同。这使装配难度增加，导致生产率降低和错误率提高。对工人的培训往往花费大量的时间和金钱，提高了成本，并且在大规模定制生产中，难以在短时间内形成对工人有显著效果的培训。

传统的复杂装配体的拆装往往要求工作人员拥有丰富的经验，并且在实际的操作中，工作人员需要查看技术手册，导致操作难度大、工作效率低。工作人员频繁操作容易出现拆装错误，如装配顺序不当导致装配精度不达标，工具使用不当导致装配工艺不合格。

现有的一些增强现实的辅助装配系统，往往采用智能眼镜的显示方式，目前的智能眼镜往往因重量太大而不能舒适地使用，长时间佩戴会引起不适，无法满足工人每天八小时工作制。

发明内容

本发明要解决的技术问题之一，在于提供一种投影式增强现实装配诱导与监测系统，其能够对装配进行诱导、对装配力、力矩和装配动作进行检测，使操作员感受沉浸式体验，提高操作员的装配准确性和装配效率。

本发明是通过技术方案一解决上述技术问题之一的：

技术方案一：

一种投影式增强现实装配诱导与监测系统，包括加载有装配诱导信息的计算机、电子标签扫描仪和电子标签扫描仪连接至所述计算机，所述投影仪组通过安装支架固定于所述工作台的上方，所述电子标签设置于所述被操作部件上。

更优地，所述投影式增强现实装配诱导与监测系统还包括一体感传感器组，所述体感传感器组连接至所述计算机，所述体感传感器组固定于所述安装支架上。

更优地，所述投影式增强现实装配诱导与监测系统还包括一多维力传感器组和一支撑台，所述一多维力传感器组和一支撑台均设于所述工作台的下方，且所述多维力传感器组位于所述所述工作台和支撑台之间；所述多维力传感器组连接所述计算机。

更优地，所述投影式增强现实装配诱导与监测系统还包括一夹紧装置，所述夹紧装置固定于所述工作台上。

更优地，所述投影式增强现实装配诱导与监测系统还包括一传送机构，所述传送机构设于所述工作台的两侧。

更优地，所述投影式增强现实装配诱导与监测系统还包括一投影平面，所述投影平面设置于所述工作台的周边，实现平面投影。

本发明要解决的技术问题之二，在于提供一种投影式增强现实装配诱导与监测的实现方法，其通过投影诱导、装配动作检测、装配力、力矩监测，提高操作员的装配准确性和装配效率。

本发明是通过技术方案二解决上述技术问题之二的：

技术方案二：

一种投影式增强现实装配诱导与监测的实现方法，包括如下步骤：

步骤一、建立部件工位数据库：所述部件工位数据库存储装配诱导信息，所述装配诱导信息是装配的标准数据；

步骤二、部件信息采集和诱导：通过电子标签扫描仪读取被操作部件上的电子标签，并将读取到的信息传送给计算机，计算机从所述部件工位数据库中查询并获取该部件在该工位需要完成的拆装操作的装配诱导信息，然后将该装配诱导信息通过投影仪组投影到装配空间内，以指导操作员完成相应的操作。

更优地，在执行步骤二的过程中，还可以同时执行步骤三：

步骤三、装配动作监测：利用体感传感器组中体感传感器的骨骼追踪技术对操作员的骨骼点进行识别、追踪，计算机根据骨骼点的三维坐标信息，获得骨骼点的运动轨迹和位置，然后将其与所述部件工位数据库中的装配诱导信息进行比对，判断操作员是否完成相应的装配动作；

更优地，在执行步骤二的过程中，还可以同时执行步骤四：

步骤四、装配力以及力矩的监测：在工作台的上方设置一夹紧装置，在工作台下方的设置多维力传感器，并通过支撑台支撑所述多维力传感器，通过所述多维力传感器采集操作员施加在部件上的力和力矩的数据，然后将采集到的力和力矩的数据与所述部件工位数据库中装配诱导信息进行比对，判断配力是否合格。

更优地，所述步骤三或步骤四的执行过程中，当检测到装配动作、装配力以及装配力矩中有不合格时，执行步骤五：

步骤五、监测信息反馈：当检测到装配动作、装配力以及装配力矩中有不合格时，计算机及时做出错误提示信息，并通过投影仪组13投影在装配空间的平面上。

本发明具有如下有益效果：

1、通过电子标签扫描仪、电子标签、计算机以及投影仪组实现部件装配诱导信息的查询、调用以及投影，将计算机生成的虚拟对象与真实装配进行融合，构造出虚实结合的虚拟空间增强现实系统，对装配过程进行诱导，减少工人培训时间，消除现有技术中佩戴智能眼镜引起的不适；

2、通过体感传感器组和计算机实现装配动作的监测，当出现不合格操作时，通过投影仪组及时反馈监测结果，提醒并诱导操作员进行正确装配，大大提高了装配准确性、装配效率以及部件的合格率；

3、通过多维力传感器组和计算机实现装配力、力矩的监测，当出现不合格操作时，通过投影仪组及时反馈监测结果，提醒并诱导操作员进行正确装配，大大提高了装配准确性、装配效率以及部件的合格率；

综上，本发明通过投影式诱导装配，提高工人装配效率，同时，通过多维力传感器和体感传感器监测装配动作、装配力、力矩，提高装配准确性，保证装配质量，适用于大规模定制生产。

附图说明

图1为本发明一种投影式增强现实装配诱导与监测系统的结构示意图；

图2为本发明一种投影式增强现实装配诱导与监测系统的人体骨骼追踪示意图；

图3为本发明一种投影式增强现实装配诱导与监测的实现方法的流程图。

图中附图标记表示为：

1-计算机、2-电子标签扫描仪、3-电子标签、4-多维力传感器、5-支撑台、6-夹紧装置、7-工作台、8-投影平面、9-被操作部件、10-传送机构、11-安装支架、12-体感传感器组、13-投影仪组。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一：

一种投影式增强现实装配诱导与监测系统，包括加载有装配诱导信息的计算机1、电子标签扫描仪2、电子标签3、工作台7以及投影仪组13，所述投影仪组13和电子标签扫描仪2连接至所述计算机1，所述投影仪组13通过安装支架11固定于所述工作台7的上方，所述电子标签3设置于所述被操作部件9上。

所述投影仪组13包括至少一投影仪，图1中显示两台投影仪，当使用两台投影仪时，每台投影仪可以投影不同的诱导信息，这样可以在装配空间同时显示更多的装配诱导信息。所述投影仪组13不仅可以投影包含诱导信息的图片、文字等，也可将装配位置、拧紧方向、拧紧力矩等信息直接投影在被操作部件9。

其中，所述投影式增强现实装配诱导与监测系统还可以设置一投影平面8，所述投影平面8设置于所述工作台7的周边，实现平面投影，图1中将所述投影平面设于所述工作台的左侧，实际运用过程中，也可以设于工作台的前方、右侧等。该投影平面8用于投影包含诱导信息的图片、文字等。投影平面8的固定的方式可以是支架支撑也可以是吊装（未图示），为本领域惯用技术手段，在此不做限制。

所述电子标签扫描仪2一般可以固定于所述安装支架11上，通过电子标签扫描仪2扫描电子标签3，将电子标签3上记载的信息发送至计算机1。计算机1根据获取的该信息从数据库中找到相关的装配诱导信息，然后通过投影仪组13投影在装配空间内，以指导操作员完成相应的操作。所述装配诱导信息是装配的标准数据。所述装配诱导信息可以以数据库的形式加载于计算机1中，该数据库可以以部件名称为数据索引，建立该工位装配各种部件时的装配诱导信息，所述装配诱导信息包括部件形状、装配位置、装配顺序、装配动作动画、所用的工具、螺栓拧紧力矩及文字图片等。例如，该工位安装一组螺栓，投影仪显示螺栓装配的位置、工艺，其中包括投影仪组13将螺栓的图像投影到部件中要安装的位置，在投影平面8上投影显示出拧紧螺栓所需要的力、力矩，投影的内容以文字或图片显示。

更优地，所述投影式增强现实装配诱导与监测系统还包括一体感传感器组12，所述体感传感器组12连接至所述计算机1，所述体感传感器组12固定于所述安装支架11上。所述体感传感器组12包括至少一台体感传感器（图1中显示两台体感传感器）。操作员在拆装过程中，操作员的装配动作通过所述体感传感器组12进行监测。所述体感传感器组12能够采集装配空间内的颜色和深度数据，计算机1可以根据采集到的数据生成RGB图像和深度图像，识别、跟踪人体的骨骼运动数据，得到人体姿态和运动，从而判断装配动作是否正确。所述体感传感器的选择范围是：只要能采集到RGB图像和深度图像的RGB-D传感器都可以选用，一般可以选用微软的Kinect传感器，也可以选用XTion传感器。请参阅图2，利用体感传感器的骨骼追踪技术，对头部、肩部中心、左肩、左肘部、左手腕、左手、右肩、右肘部、右手腕、右手外以及脊柱等11个骨骼点进行识别、追踪，获得骨骼点的三维坐标信息和人体上半身详细的姿势。根据人体上半身关节骨骼点的运动轨迹和位置判断操作员是否完成相应的装配动作是否合格，例如跟踪手腕骨骼点的轨迹信息判断在拧紧螺栓螺栓的过程中操作是否完成，手部骨骼点是否围绕螺栓做圆周运动。若装配动作不合格，则计算机1及时做出错误提示信息，并投影在装配空间的投影平面8上。关于骨骼追踪技术在多篇公开文献中均有记载，例如CVPR, 2011.会议上的论文《Real-time human pose recognition in partsfrom single depth images》重点讲述了从深度图像提取人体骨骼信息的流程与步骤，在此不再赘述。关于装配动作匹配可采用基于模板的匹配方法、基于RNN（循环神经网络）人体动作识别方法等，也属于现有技术，在此不再赘述。

更优地，所述投影式增强现实装配诱导与监测系统，还包括一多维力传感器组4和一支撑台5，所述一多维力传感器组4和一支撑台5均设于所述工作台7的下方，且所述多维力传感器组4位于所述所述工作台7和支撑台5之间；所述多维力传感器组4连接所述计算机1。在设置有多维力传感器时，在所述工作台上必须设置一夹紧装置，以实现力及力矩的传导。拆装过程中，操作员施加在所述被操作部件9上的力、力矩会通过夹紧装置6和工作台7传递到多维力传感器4上，由多维力传感器4采集并传送到计算机1进行处理。多维力传感器4能够检测空间的任意力系中的三维正交力及三维正交力矩分量。计算机1将接收到的力和力矩数据与数据库中保存的标准数据进行比对，判断装配力是否合格，若不合格，则计算机1及时做出错误提示信息，并投影在装配空间的投影平面8上。一般地，所述多维力传感器4选用六维力传感器即可实现力和力矩的监测。

在使用投影仪组投影装配诱导信息时，或通过体感传感器组12监测装配动作时，所述夹紧装置6具有可选择性，视装配需求确定是否需要设置所述夹紧装置6。所述夹紧装置6可以是手动的，也可以是液压的。

更优地，所述被操作部件9还可以通过一传送机构10传送至工作台7上，装配完成后，还可以通过所述传送机构10送至下一道工序，通过传送机构10提高生产自动化水平和生产效率。一般地，所述传送机构10设于所述工作台7的两侧。

本发明一种投影式增强现实装配诱导与监测系统，通过电子标签扫描仪2、电子标签3、计算机1以及投影仪组13实现部件装配诱导信息的查询、调用以及投影，将计算机1生成的虚拟对象与真实装配进行融合，构造出虚实结合的虚拟空间增强现实系统，对装配过程进行诱导，使操作员感受沉浸式体验，提高工作效率和装配准确率；通过体感传感器组12和计算机1实现装配动作的监测，通过多维力传感器4和计算机1实现装配力、力矩的监测，当出现不合格操作时，通过投影仪组13及时反馈监测结果，提醒并诱导操作员进行正确装配，大大提高了装配质量和装配效率。

实施例二：

请参阅图1至图3，一种投影式增强现实装配诱导与监测的实现方法，包括如下步骤：

所述部件工位数据库可以以部件名称为数据索引，建立该工位装配各种部件时的装配诱导信息，包括部件形状、装配位置、装配顺序、装配动作动画、所用的工具、螺栓拧紧力矩及文字图片；

步骤二、部件信息采集和诱导：通过电子标签扫描仪2读取被操作部件9上的电子标签3，并将读取到的信息传送给计算机1，计算机1从所述部件工位数据库中查询并获取该部件在该工位需要完成的拆装操作的装配诱导信息，然后将该装配诱导信息通过投影仪组13投影到装配空间内，以指导操作员完成相应的操作。所述部件工位数据库建立数据索引，则所述电子标签扫描仪2可以从电子标签3上获取所述数据索引，计算机1根据所述数据索引进行查询。所述装配空间包括工作台7以及设置于工作台7周边的投影平面8和被操作部件9。例如，该工位安装一组螺栓，投影仪显示螺栓装配的位置、工艺，其中包括投影仪将螺栓的图像投影到部件需要安装的位置，在所述投影平面8上投影现实出拧紧螺栓所需要力矩，投影的内容以文字或图片显示。也可在被操作部件9上投影出螺栓的装配位置、拧紧方向、拧紧力矩等信息，所述投影仪组13内投影仪的数量为至少一台。

上述实施方式是通过电子标签扫描仪2、电子标签3、计算机1以及投影仪组13实现部件装配诱导信息的查询、调用以及投影，将计算机1生成的虚拟对象与真实装配进行融合，构造出虚实结合的虚拟空间增强现实系统，对装配过程进行诱导，使操作员感受沉浸式体验，提高工作效率和装配准确率；

更优地，在执行步骤二的过程中，还可以同时执行步骤三：

步骤三、装配动作监测：利用体感传感器组12中体感传感器的骨骼追踪技术对操作员的骨骼点进行识别、追踪，计算机1根据骨骼点的三维坐标信息，获得骨骼点的运动轨迹和位置，然后将其与所述部件工位数据库中的装配诱导信息进行比对，判断操作员是否完成相应的装配动作；例如，跟踪手腕骨骼点的轨迹信息判断在拧紧螺栓螺栓的过程中操作是否完成，手部骨骼点是否围绕螺栓做圆周运动；所述体感传感器的选择是：只要能采集到RGB图像和深度图像的RGB-D传感器都可以选用，一般可以选用微软的Kinect传感器，也可以选用XTion传感器；所述体感传感器的数量为至少一台。若装配动作涉及下半身的肢体动作，还可以通过增设一体感传感器获取该信息。

在执行步骤二和步骤三的过程中，可以视操作需要对被操作部件进行固定，例如可以通过夹紧装置6进行定位，所述夹紧装置6可以是手动，也可以是液压的。

请重点请参阅图3，更优地，在执行步骤二的同时，还可以执行步骤四；或者在执行步骤二的同时，执行步骤三和步骤四：

步骤四、装配力以及力矩的监测：在工作台7的上方设置必须设置所述夹紧装置6，在工作台7下方的设置多维力传感器4，并通过支撑台5支撑所述多维力传感器4，通过所述多维力传感器4采集操作员施加在部件9上的力和力矩的数据，然后将采集到的力和力矩的数据与所述部件工位数据库中装配诱导信息进行比对，判断配力是否合格。一般地，所述多维力传感器4选用六维力传感器即可实现力和力矩的监测；

在所述步骤三或步骤四的执行过程中，当检测到装配动作、装配力以及装配力矩中有不合格时，执行步骤五：

步骤五、监测信息反馈：当检测到装配动作、装配力以及装配力矩中有不合格时，计算机1及时做出错误提示信息，并通过投影仪组13投影在装配空间的平面上。

在本实施中，所述被操作部件9还可以通过一传送机构10传送至工作台7上，装配完成后，还可以通过所述传送机构10送至下一道工序，通过传送机构10提高生产自动化水平和生产效率。一般地，所述传送机构10设于所述工作台7的两侧；

本发明一种投影式增强现实装配诱导与监测的实现方法，对装配过程进行诱导、对装配力、力矩以及装配动作进行检测，使操作员感受沉浸式体验，同时提高了操作员的装配准确性和装配效率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种投影式增强现实装配诱导与监测系统，包括加载有装配诱导信息的计算机（1）、电子标签扫描仪（2）、电子标签（3）、工作台（7）以及投影仪组（13），所述投影仪组（13）和电子标签扫描仪（2）连接至所述计算机（1），所述投影仪组（13）通过安装支架（11）固定于所述工作台（7）的上方，所述电子标签（3）设置于所述被操作部件（9）上。

2.如权利要求1所述的一种投影式增强现实装配诱导与监测系统，其特征在于：还包括一体感传感器组（12），所述体感传感器组（12）连接至所述计算机（1），所述体感传感器组（12）固定于所述安装支架（11）上。

3.如权利要求1所述的一种投影式增强现实装配诱导与监测系统，其特征在于：还包括一多维力传感器组（4）和一支撑台（5），所述一多维力传感器组（4）和一支撑台（5）均设于所述工作台（7）的下方，且所述多维力传感器组（4）位于所述所述工作台（7）和支撑台（5）之间；所述多维力传感器组（4）连接所述计算机（1）。

4.如权利要求1所述的一种投影式增强现实装配诱导与监测系统，其特征在于：还包括一夹紧装置（6），所述夹紧装置（6）固定于所述工作台（7）上。

5.如权利要求1所述的一种投影式增强现实装配诱导与监测系统，其特征在于：还包括一传送机构（10），所述传送机构（10）设于所述工作台（7）的两侧。

6.如权利要求1所述的一种投影式增强现实装配诱导与监测系统，其特征在于：还包括一投影平面（8），所述投影平面（8）设置于所述工作台（7）的周边，实现平面投影。

7.一种投影式增强现实装配诱导与监测的实现方法，其特征在于，包括如下步骤：

步骤二、部件信息采集和诱导：通过电子标签扫描仪（2）读取部件（9）上的电子标签（3），并将读取到的信息传送给计算机（1），计算机（1）从所述部件工位数据库中查询并获取该部件在该工位需要完成的拆装操作的装配诱导信息，然后将该装配诱导信息通过投影仪组（13）投影到装配空间内，以指导操作员完成相应的操作。

8.根据权利要求7所述的一种投影式增强现实装配诱导与监测的实现方法，其特征在于：在执行步骤二的过程中，还可以同时执行步骤三：

步骤三、装配动作监测：利用体感传感器组（12）中体感传感器的骨骼追踪技术对操作员的骨骼点进行识别、追踪，计算机（1）根据骨骼点的三维坐标信息，获得骨骼点的运动轨迹和位置，然后将其与所述部件工位数据库中的装配诱导信息进行比对，判断操作员是否完成相应的装配动作。

9.根据权利要求7所述的一种投影式增强现实装配诱导与监测的实现方法，其特征在于：在执行步骤二的过程中，还可以同时执行步骤四：

步骤四、装配力以及力矩的监测：在工作台（7）的上方设置一夹紧装置（6），在工作台（7）下方的设置多维力传感器（4），并通过支撑台（5）支撑所述多维力传感器（4），通过所述多维力传感器（4）采集操作员施加在部件（9）上的力和力矩的数据，然后将采集到的力和力矩的数据与所述部件工位数据库中装配诱导信息进行比对，判断配力是否合格。

10.根据权利要求8或9所述一种投影式增强现实装配诱导与监测的实现方法，其特征在于：所述步骤三或步骤四的执行过程中，当检测到装配动作、装配力以及装配力矩中有不合格时，执行步骤五：

步骤五、监测信息反馈：当检测到装配动作、装配力以及装配力矩中有不合格时，计算机（1）及时做出错误提示信息，并通过投影仪组（13）投影在装配空间的平面上。