CN107678537A - 增强现实环境中识别装配操作、模拟装配的方法和装置 - Google Patents

Abstract

本发明提供了一种增强现实环境中识别装配操作、模拟装配的方法和装置，所述识别方法包括获取装配人员的多帧连续图像；提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；根据所述深度信息识别预设的装配操作。该方案通过实时获取装配人员的多帧连续图像，并进行图像分析，提取每一帧图像里所述装配人员的人体骨骼节点的深度信息，并根据该深度信息来识别装配人员的装配操作，从而实现将体感技术应用于装配领域，与现有技术中采用碰撞检测的识别方案相比，操作更加简单，更加人性化。

Description

增强现实环境中识别装配操作、模拟装配的方法和装置

技术领域

本发明涉及装配技术领域，具体涉及一种增强现实环境中识别装配操作、模拟装配的方法和装置。

背景技术

装配技术是现代制造业中非常重要的领域，传统的装配过程一般在产品的整个设计制造过程中占用约40％-60％的人时数。如何找到高效、可靠，能够保证产品质量，同时又能够减少生产成本，提高产品竞争力的装配技术对整个制造业都有着重要意义。传统的装配方式就是加工出产品的物理原型零件，通过零件装配过程帮助用户发现设计的不足和漏洞，进而改进产品设计，这种装配方式由于是制造出产品原型，能够给用户提供真实的视觉、听觉和触觉反馈，在过去二十多年中得到非常广泛的应用，但是原型方式是一个非常耗时耗资源的过程，加工出产品的原型后如果发现出产品设计缺陷，无法在原型上直接修改，需要重新设计，重新制造，反复整个过程直到得到满意的设计结果，因此导致整个设计开发周期长，成本高。

随着计算机辅助技术和虚拟现实技术的发展，虚拟原型技术逐渐发展成熟并得到应用，被称之为虚拟装配(Virtual Assembly)。虚拟装配采用虚拟现实技术，通过计算机生成一个全虚拟的三维装配环境，虚拟装配系统通过运动跟踪和力反馈等技术给用户提供在装配环境中的操作手段，仿真整个装配过程。具体地，操作人员先将在CAD系统建立的零件模型导入到虚拟装配系统中，然后佩戴定位系统和力反馈设备，在虚拟装配环境中直接操作虚拟零件进行装配，通过虚拟的装配过程检验产品的可装配性，获得装配体验，评估和改进产品设计。

由此可见，虚拟装配不需要加工出产品原型，而只是操作虚拟的CAD模型，可以反复设计修改，因此能够大幅度的缩短开发周期和降低开发成本，使装配过程变得更加快速、高效、经济。然而虚拟装配技术同样存在一定的缺陷，那就是操作人员处在一个完全由计算机图形组成的虚拟的装配环境中，没有包含真实环境中的信息，仅仅是通过虚拟场景来模拟出真实的工作环境，其通过视觉，力反馈等技术所虚拟出来的真实感是有限的。虽然现在的计算机软硬件性能已经越来越强，但是要开发能够满足生成有足够真实感的场景，能够处理复杂的装配操作，同时又达到实时性要求的系统往往还是很困难的。

增强现实技术(Augmented Reality，简称AR)由于其虚实结台的特性，恰恰能够解执虚拟现实的场景真实感不足的问题，如果将增强现实技术应用到装配领域中，则能够给操作者提供一个即包含周围真实装配环境又同时有虚拟信息的混台环境，大大增强用户的真实感。在AR环境下，工程师通过操作真实装配车间里的虚拟模型来设计和规划产品装配及其装配序列，并根据车间设计规划反馈的信息调整和完善产品装配。许多学者不断研究探索增强现实在装配技术中的关键技术和应用。为了提高技术人员对日益复杂的新兴机械设备装配维修的快速学习能力。华中科技大学研究了增强现实环境下装配系统的虚实融合技术，根据虚实模型混合特点构建装配模型，采用机器视觉标志跟踪法进行三维注册，利用深度图逐点对比虚实对象的深度位置关系以解决虚实遮挡问题，并实现虚实零件的融合。但是现有的基于增强现实的装配方法，在交互模型中，一般是通过碰撞检测的方法识别操作人员的装配操作的，这种方式需要配合相关的虚拟手套或者虚拟笔等工具才能实现，操作十分不方便。而体感技术还未能应用到装配领域中。

发明内容

因此，本发明要解决的技术问题在于现有技术中基于增强现实的模拟装配方法操作复杂，从而提供一种增强现实环境中识别装配操作、模拟装配的方法和装置。

有鉴于此，本发明实施例的第一方面提供了一种在增强现实环境中识别装配操作的方法，包括：获取装配人员的多帧连续图像；提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；根据所述深度信息识别预设的装配操作。

优选地，所述装配操作是选择零件模型，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的至少一个手骨骼节点的初始状态；在预先建立的装配操作库中选取与所述初始状态匹配的第一动作集；对所述手骨骼节点的运动轨迹进行跟踪，剔除掉所述第一动作集中不符合所述运动轨迹的第一动作，得到第二动作集；根据所述第二动作集确定选择目标零件模型。

优先地，所述装配操作是添加零件模型，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的至少一个手臂骨骼节点的运动轨迹；当所述手臂骨骼节点的运动轨迹为所述手臂上举时，加载零件模型库，以供操作人员进行零件模型选择；当所述手臂骨骼节点的运动轨迹为所述手臂朝前推时，确认添加被选择的目标零件模型；以及当所述手臂骨骼节点的运动轨迹为所述手臂下放时，隐藏所述零件模型库。

优先地，所述装配操作是移动零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手骨骼节点的运动轨迹；当所述手骨骼节点的运动轨迹为所述手保持悬停状态达到预设时长时，确认取得所述目标零件模型的空间坐标移动权限；将所述目标零件模型的空间坐标跟随所述手的运动轨迹，以使所述目标零件模型移动到指定位置。

优先地，所述装配操作是缩放零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的双手骨骼节点的运动轨迹；当所述双手骨骼节点的运动轨迹为所述双手相对张开时，将所述目标零件模型放大至第一预设尺寸，所述第一预设尺寸小于或等于所述目标零件模型的最大放大尺寸；当所述双手骨骼节点的运动轨迹为所述双手相对合拢时，将所述目标零件模型缩小至第二预设尺寸，所述第二预设尺寸小于或等于所述目标零件模型的最小缩小尺寸。

优先地，所述装配操作是旋转零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手骨骼节点的运动轨迹；当所述手骨骼节点的运动轨迹为所述手原地旋转，将所述目标零件模型跟随所述手的旋转轨迹，以使所述目标零件模型旋转到指定方位。

优先地，所述装配操作是删除零件模型，所述根据所述深度信息识别预设的装配操作包括：在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手臂骨骼节点的运动轨迹；当所述手臂骨骼节点的运动轨迹为所述手臂以其上臂作为中轴线左右挥动时，确定删除所述目标零件模型。

优先地，所述装配操作是执行下一步装配工序，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的单个手臂骨骼节点的运动轨迹；当所述单个手臂骨骼节点的运动轨迹为所述单个手臂朝第一预设方向摆动时，判断是否已完成所有装配工序；当未完成所有装配工序时，确认执行下一步装配工序，否则确认本次操作无效。

优先地，所述装配操作是返回上一步装配工序，所述根据所述深度信息识别预设的装配操作包括：获取所述深度信息中所述装配人员的单个手臂骨骼节点的运动轨迹；当所述单个手臂骨骼节点的运动轨迹为所述单个手臂朝第二预设方向摆动时，判断当前进行的是否是第一步装配工序；若当前进行的不是所述第一道装配工序，确认返回上一步装配工序，否则确认本次操作无效。

本发明实施例的第二方面提供了一种基于增强现实的模拟装配方法，包括：采用本发明实施例的第一方面及其任一优选方案所述的在增强现实环境中识别装配操作的方法识别装配人员的装配操作；根据所述装配操作驱动预先建立的虚拟手对被选中的目标零件模型执行所述装配操作，所述目标零件模型是在增强现实环境中根据目标设备建立的虚拟模型。

本发明实施例的第三方面提供了一种在增强现实环境中识别装配操作的装置，包括：获取模块，用于获取装配人员的多帧连续图像；提取模块，用于提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；第一识别模块，用于根据所述深度信息识别预设的装配操作。

本发明实施例的第四方面提供了一种基于增强现实的模拟装配装置，包括：第二识别模块，用于采用本发明实施例的第一方面及其任一优选方案所述的在增强现实环境中识别装配操作的方法识别装配人员的装配操作；执行模块，用于根据所述装配操作驱动预先建立的虚拟手对被选中的目标零件模型执行所述装配操作，所述目标零件模型是在增强现实环境中根据目标设备建立的虚拟模型。

本发明的技术方案具有以下优点：

1.本发明实施例提供的增强现实环境中识别装配操作、模拟装配的方法和装置，在增强现实环境中，通过实时获取装配人员的多帧连续图像，并进行图像分析，提取每一帧图像里所述装配人员的人体骨骼节点的深度信息，并根据该深度信息来识别装配人员的装配操作，从而实现将体感技术应用于装配领域，与现有技术中采用碰撞检测的识别方案相比，操作更加简单，更加人性化。

2.本发明实施例提供的增强现实环境中识别装配操作、模拟装配的方法和装置，将增强现实引入导装配操作中，不仅能够有效检验产品设计是否合理或满足要求，与现有技术中的虚拟装配方案相比，可以使装配人员处在一种虚实融合、亦真亦幻的混合现实场景中，同时对虚拟的零件模型对象和真实对象实现交互操作，极大地提高了用户对周围真实世界的直接感知能力和实时的交互体验。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的在增强现实环境中识别装配操作的方法的一个流程图；

图2为本发明实施例1的基于Kinect的体感识别方法的一个流程图；

图3为本发明实施例1的对零件模型缩放方法的一个流程图；

图4为本发明实施例2的基于增强现实的模拟装配方法的一个流程图；

图5为本发明实施例2的装配体零件模型的树状结构示意图；

图6为本发明实施例2的实现虚拟手交互方法的一个流程图；

图7为本发明实施例3的在增强现实环境中识别装配操作的装置的一个框图；

图8为本发明实施例4的基于增强现实的模拟装配装置的一个框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种在增强现实环境中识别装配操作的方法，可适用于工业装配领域中对装配过程进行模拟，从而提高早期设计阶段中装配设计和规划的效率和质量，如图1所示，该方法包括如下步骤：

S11：获取装配人员的多帧连续图像；具体地，可以采用深度体感设备对装配人员的手势进行捕捉，深度体感设备可以实现即时动态捕捉、麦克风输入、图像识别和语音识别等功能，使用户摆脱了传统输入设备的束缚，此处深度体感设备可以是Kinect，其工作流程如图2所示。为了识别装配操作，需要对连续多帧图像进行处理，通过对手的运动轨迹的检测提取手势特征并进行分类识别。

S12：提取多帧连续图像中每一帧图像里装配人员的人体骨骼节点的深度信息；深度信息中包含装配人员的各种人体特征，其中至少包括骨骼节点特征，对于某一时刻，可以采集骨豁节点的空间位置，进而获取骨豁节点之问的相对位置和夹角，而对于某个连续的一段时间段，则可以获取骨骼节点的运动向量。通过利用这些获取到的三维信息数据，可以用来对人体的姿势和手势进行识别。具体地，从Kinect采集的连续多帧图像中的每一帧图像里提取人体骨骼节点的深度信息。

S13：根据深度信息识别预设的装配操作。具体地，可以将骨骼节点的运动轨迹作为动态手势的特征，尤其要对动态手势骨骼节点初始状态和终止状态的检测，最终由人体骨骼节点空间位置变换计算和识别出预定义的交互手势。将体感技术应用于装配领域，根据深度信息识别装配操作无需借助辅助工具，减轻了装配人员的负担，与现有技术中采用碰撞检测的识别方案相比，操作更加简单，更加人性化。

作为一种优选方案，步骤S13可以包括：装配操作是选择零件模型，根据深度信息识别预设的装配操作包括：获取深度信息中装配人员的至少一个手骨骼节点的初始状态；在预先建立的装配操作库中选取与初始状态匹配的第一动作集；对手骨骼节点的运动轨迹进行跟踪，剔除掉第一动作集中不符合运动轨迹的第一动作，得到第二动作集；根据第二动作集确定选择目标零件模型。具体地，设备很多的零部件，在进行装配过程中，不论是添加删除模型，还是平移旋转缩放模型，都要先对模型进行选择，因此选择零件模型是装配过程中模型交互的基础。选择零件模型交互可以通过Kinect对装配人员的至少一个手(比如可以是右手)骨骼节点进行跟踪识别，通过获取深度信息中右手骨骼节点的初始状态，然后再装配操作库中选出所有与改初始状态匹配的第一动作作为第一动作集，对右手骨骼节点进行运动轨迹跟踪，在此过程中剔除掉第一动作集中不符合右手骨骼节点运动轨迹的第一动作，剩下的组成第二动作集，根据第二动作集确定选择的目标零件模型。在装配过程模拟过程中，可以建立虚拟手，将真实手的运动映射到屏幕中二维虚拟手上，跟随真实手自由移动实现对模型的选择。

作为一种优选方案，步骤S13可以包括：装配操作是添加零件模型，根据深度信息识别预设的装配操作包括：获取深度信息中装配人员的至少一个手臂骨骼节点的运动轨迹；当手臂骨骼节点的运动轨迹为手臂上举时，加载零件模型库，以供操作人员进行零件模型选择；当手臂骨骼节点的运动轨迹为手臂朝前推时，确认添加被选择的目标零件模型；以及当手臂骨骼节点的运动轨迹为手臂下放时，隐藏零件模型库。具体地，由于在浏览或添加零部件的时候才需要加载模型库，为了给整个装配操作提供一个比较宽敞的操作空间，在默认状态下会隐藏模型库。因此，当需要添加模型的时候，为了操作的简便，可以根据装配人员的至少一个手臂骨骼节点的运动轨迹来实现，比如可以利用左手臂举起手势表示加载零件模型库，装配人员可以从零件模型库中选择零件模型，可以将左手臂放下手势代表隐藏零件模型库。然后，右手控制虚拟手在模型库中选择需要的零部件。最后，可以通过右手前推手势进行确认所选择的目标零件模型，至此完成对模型的添加过程。

作为一种优选方案，步骤S13可以包括：装配操作是移动零件模型，根据深度信息识别预设的装配操作包括：在选中目标零件模型后，获取深度信息中装配人员的至少一个手骨骼节点的运动轨迹；当手骨骼节点的运动轨迹为手保持悬停状态达到预设时长时，确认取得目标零件模型的空间坐标移动权限；将目标零件模型的空间坐标跟随手的运动轨迹，以使目标零件模型移动到指定位置。具体地，在增强现实场景中，要实现对模型的平移，首先要选中需要移动的目标零件模型，然后抓取该模型，将模型平移到适当的位置。比如可以采用右手单手操作，先通过虚拟手选择需要平移的目标零件模型，然后利用右手前推手势进行所选模型的确认。由于平移操作需要获取模型的空间坐标权限，来实现模型随着虚拟手的运动而平移。因此，当右手骨骼节点的运动轨迹为手保持悬停状态达到预设时长时，确认取得目标零件模型的空间坐标移动权限，并获取此时目标零件模型的坐标，将其跟随右手骨骼节点的运动轨迹就可以将其平移到指定位置，最终实现对模型的平移操作。

作为一种优选方案，步骤S13可以包括：装配操作是缩放零件模型，根据深度信息识别预设的装配操作包括：在选中目标零件模型后，获取深度信息中装配人员的双手骨骼节点的运动轨迹；当双手骨骼节点的运动轨迹为双手相对张开时，将目标零件模型放大至第一预设尺寸，第一预设尺寸小于或等于目标零件模型的最大放大尺寸；当双手骨骼节点的运动轨迹为双手相对合拢时，将目标零件模型缩小至第二预设尺寸，第二预设尺寸小于或等于目标零件模型的最小缩小尺寸。具体地，比如，由于装配操作空间的有限性和观察视角的局限性，在发动机装配的过程中，需要缩放操作来实现对个别零件模型的放大或缩小。可以先用右手选择需要缩放的目标零件模型，再利用右手前推手势进行确认所选的目标零件模型，然后双手置于胸前，通过根据双手骨骼节点的运动轨迹来识别缩放操作，利用双手张开一次放大模型至第一预设尺寸，双手并拢一次缩小模型至第二预设尺寸。需要说明的是，由于现实空间的限制，每个零件模型都有对应的缩放尺寸范围，如图3所示，其中，S(Scale)表示所选模型(目标零件模型)当前尺寸大小，Smax(Scale max)表示模型最大放大尺寸，Smin(Scale rain)表示模型最小缩小尺寸。如果当前尺寸大小大于最大放大尺寸(S>Smax)或小于最小缩小尺寸(S<Smin)，则缩放手势无效，不会对模型进行放大或缩小操作。

作为一种优选方案，步骤S13可以包括：装配操作是旋转零件模型，根据深度信息识别预设的装配操作包括：在选中目标零件模型后，获取深度信息中装配人员的至少一个手骨骼节点的运动轨迹；当手骨骼节点的运动轨迹为手原地旋转，将目标零件模型跟随手的旋转轨迹，以使目标零件模型旋转到指定方位。具体地，在装配的过程中，时常会需要对模型进行旋转操作，例如，在装配完曲轴和活塞连杆机构后要装配气缸盖的时候，就要对缸体进行翻转，而且缸体在整个装配中是需要旋转最多的部件。此外，为了能够实现装配人员对整个装配体进行360度的观察和交互，装配支架设计成了可以旋转的。当出现许多零件模型需要旋转的时候，便不能简单采用一个旋转的手势来表示对模型的旋转。因此，旋转模型的时候，也要先用右手选择需要旋转的模型，然后通过右手前推手势确认所选模型，可以通过根据装配人员的右手骨骼节点的运动轨迹实现旋转，当右手骨骼节点的运动轨迹为右手原地旋转，将目标零件模型跟随右手的旋转轨迹，即通过右手旋转手势实现对所选模型的旋转操作。

作为一种优选方案，步骤S13可以包括：装配操作是删除零件模型，根据深度信息识别预设的装配操作包括：在选中目标零件模型后，获取深度信息中装配人员的至少一个手臂骨骼节点的运动轨迹；当手臂骨骼节点的运动轨迹为手臂以其上臂作为中轴线左右挥动时，确定删除目标零件模型。具体地，当添加了错误或多余的零件模型时，便需要将其删除。为了贴近人们的使用习惯，可以借鉴橡皮擦擦出文字的动作，比如将右手臂挥动代表删除操作，首先选定目标零件模型，通过对右手臂骨骼节点的运动轨迹进行跟踪，如果右手臂骨骼节点的运动轨迹为右手臂以其上臂作为中轴线左右挥动时，确定删除目标零件模型。

作为一种优选方案，步骤S13可以包括：装配操作是执行下一步装配工序，根据深度信息识别预设的装配操作包括：获取深度信息中装配人员的单个手臂骨骼节点的运动轨迹；当单个手臂骨骼节点的运动轨迹为单个手臂朝第一预设方向摆动时，判断是否已完成所有装配工序；当未完成所有装配工序时，确认执行下一步装配工序，否则确认本次操作无效。具体地，一般装配过程可以被划分为多步装配工序，比如对于汽车发动机装配工序的具体实现，可以利用右手臂朝左(第一预设方向)摆手势表示执行下一步装配工序操作，通过对右手臂骨骼节点的运动轨迹进行跟踪，如果判定右手臂朝其左边摆动，则还需要确定是否已完成所有装配工序，如果不是，则确定执行下一步装配工序，否则本次操作无效。避免系统误操作。

作为一种优选方案，步骤S13可以包括：装配操作是返回上一步装配工序，根据深度信息识别预设的装配操作包括：获取深度信息中装配人员的单个手臂骨骼节点的运动轨迹；当单个手臂骨骼节点的运动轨迹为单个手臂朝第二预设方向摆动时，判断当前进行的是否是第一步装配工序；若当前进行的不是第一道装配工序，确认返回上一步装配工序，否则确认本次操作无效。具体地，一般装配过程可以被划分为多步装配工序，比如对于汽车发动机装配工序的具体实现，比如采用左手臂朝向右(第二预设方向)摆手势表示返回上一步工序操作。通过跟踪左手臂骨骼节点的运动轨迹，如果左手臂骨骼节点的运动轨迹为左手臂朝其右方摆动时，还需要确定当前装配工序是否为第一步装配工序，如果不是，则确认返回上一步装配工序，否则本次操作无效，即如果尚未进行任何一个装配工序操作，则左手右摆手势无法有效的执行返回上一步操作，以避免系统误操作带来的损失。

本实施例提供的在增强现实环境中识别装配操作的方法，在增强现实环境中，通过实时获取装配人员的多帧连续图像，并进行图像分析，提取每一帧图像里装配人员的人体骨骼节点的深度信息，并根据该深度信息来识别装配人员的装配操作，从而实现将体感技术应用于装配领域，与现有技术中采用碰撞检测的识别方案相比，操作更加简单，更加人性化。

实施例2

本实施例供了一种基于增强现实的模拟装配方法，可适用于工业装配领域中对装配过程进行模拟，从而提高早期设计阶段中装配设计和规划的效率和质量，如图4所示，包括步骤：

S41：采用实施例1的在增强现实环境中识别装配操作的方法识别装配人员的装配操作；具体参见实施例1中的详细描述。

S42：根据装配操作驱动预先建立的虚拟手对被选中的目标零件模型执行装配操作，目标零件模型是在增强现实环境中根据目标设备建立的虚拟模型。具体地，在实际应用中的装配模拟过程之前，首先进行准备工作，包括：

步骤一：采用三维建模软件，在增强现实环境中，通过基本的特征建模和复杂的曲面建模来构建零部件的几何模型，处理模型点、线、面之间的装配约束关系。合理的选取零件坐标系原点位置、适当的简化模型细、统一的命名零件模型文件、规范的保存模型文件存储路径。由于零件太多，尽管许多零部件在几何建模的时候已经简化，但是所有模型叠加在一起后的文件大小依然很庞大，这样对后期模型的渲染造成很大的影响，会占用大量的计算机资源(内存和GPU等)，降低系统的性能。另外，所有由Solidworks创建的零件及装配体的几何模型的文件存储格式分别是.stdprt和.SLDASM格式，最终要导入三维游戏引擎Unity3D中进行渲染，而Unity3D只支持.fox和.X两种几何模型格式。所以，在模型导入渲染引擎之前，需要对几何模型进行优化和格式转换。

步骤二：三维模型的装配层次结构。在进行装配之前，必须先要规划好装配的层次关系。在考虑装配工艺的同时，还要根据所选渲染引擎可视化运动仿真的具体情况，对设备各零部件的三维模型划分装配层次。比如，在Unity3D中，设备几何模型呈树状结构，如图5所示，根节点为总装配体，叶子节点为零件，而中问的非叶子节点代表子装配体，上下节点之间呈父子关系，平行节点之间相对独立。在整个层次模型中，所有子节点相对于父节点独立运动的同时，还会随着父节点的运动而运动。装配的过程中，以主体设备为父节点向下依次展开。装配层次模型利用树结构来表示总装配体、子装配体以及零件之间的装配关系，合理而形象的表达了总装配体、子装配体和单个零件之间的父子关系，并表明了装配顺序，即下层零部件的装配先于上层零部件的装配。

步骤三：装配工序的划分。设备组成结构复杂，零部件繁多，将整个装配过程简化成多个装配工序。

步骤四：模型库虚拟面板。模型库虚拟面板是UI菜单，Unity三维引擎中集成了所见即所得的UI解决方案，并一直在为这套系统做技术扩展，以保证最终能实现较理想的UI系统。需要说明的是，退出应用环境才进行后续的状态保存工作，即杀掉应用进程、卸载磁盘、卸载模块后，这样后续只需要备份一个最小的Linux系统，从而简化了对设备驱动层和内核层的状态保存，同时使步骤一中配置选项保存完全面向应用层，便于实现多状态选择策略。

然后建立虚拟手：在增强现实环境下装配在没有数据手套、鼠标键盘等输入设备辅助的情况下，当真实的手通过手势去操控虚拟的模型时，以虚拟手作为媒介映射真实手的运动，来实现与虚拟模型的交互，其实现流程如图6所示。如此通过根据装配操作驱动预先建立的虚拟手对被选中的目标零件模型执行装配操作，完成装配工序。

本实施例提供的基于增强现实的模拟装配方法，将增强现实引入导装配操作中，不仅能够有效检验产品设计是否合理或满足要求，与现有技术中的虚拟装配方案相比，可以使装配人员处在一种虚实融合、亦真亦幻的混合现实场景中，同时对虚拟的零件模型对象和真实对象实现交互操作，极大地提高了用户对周围真实世界的直接感知能力和实时的交互体验。

实施例3

本实施例供了一种在增强现实环境中识别装配操作的装置，如图7所示，包括：

获取模块71，用于获取装配人员的多帧连续图像；具体参见实施例1中对步骤S11的详细描述。

提取模块72，用于提取多帧连续图像中每一帧图像里装配人员的人体骨骼节点的深度信息；具体参见实施例1中对步骤S12的详细描述。

第一识别模块73，用于根据深度信息识别预设的装配操作。具体参见实施例1中对步骤S13的详细描述。

本实施例提供的在增强现实环境中识别装配操作的装置，在增强现实环境中，通过实时获取装配人员的多帧连续图像，并进行图像分析，提取每一帧图像里装配人员的人体骨骼节点的深度信息，并根据该深度信息来识别装配人员的装配操作，从而实现将体感技术应用于装配领域，与现有技术中采用碰撞检测的识别方案相比，操作更加简单，更加人性化。

实施例4

本实施例供了一种基于增强现实的模拟装配装置，如图8所示，包括：

第二识别模块81，用于采用实施例1的在增强现实环境中识别装配操作的方法识别装配人员的装配操作；具体参见实施例2中对步骤S41的详细描述。

执行模块82，用于根据装配操作驱动预先建立的虚拟手对被选中的目标零件模型执行装配操作，目标零件模型是在增强现实环境中根据目标设备建立的虚拟模型。具体参见实施例2中对步骤S42的详细描述。

本实施例提供的基于增强现实的模拟装配装置，将增强现实引入导装配操作中，不仅能够有效检验产品设计是否合理或满足要求，与现有技术中的虚拟装配方案相比，可以使装配人员处在一种虚实融合、亦真亦幻的混合现实场景中，同时对虚拟的零件模型对象和真实对象实现交互操作，极大地提高了用户对周围真实世界的直接感知能力和实时的交互体验。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种在增强现实环境中识别装配操作的方法，其特征在于，包括：

获取装配人员的多帧连续图像；

提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；

根据所述深度信息识别预设的装配操作。

2.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是选择零件模型，所述根据所述深度信息识别预设的装配操作包括：

获取所述深度信息中所述装配人员的至少一个手骨骼节点的初始状态；

在预先建立的装配操作库中选取与所述初始状态匹配的第一动作集；

对所述手骨骼节点的运动轨迹进行跟踪，剔除掉所述第一动作集中不符合所述运动轨迹的第一动作，得到第二动作集；

根据所述第二动作集确定选择目标零件模型。

3.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是添加零件模型，所述根据所述深度信息识别预设的装配操作包括：

获取所述深度信息中所述装配人员的至少一个手臂骨骼节点的运动轨迹；

当所述手臂骨骼节点的运动轨迹为所述手臂上举时，加载零件模型库，以供操作人员进行零件模型选择；

当所述手臂骨骼节点的运动轨迹为所述手臂朝前推时，确认添加被选择的目标零件模型；以及

当所述手臂骨骼节点的运动轨迹为所述手臂下放时，隐藏所述零件模型库。

4.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是移动零件模型，所述根据所述深度信息识别预设的装配操作包括：

在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手骨骼节点的运动轨迹；

当所述手骨骼节点的运动轨迹为所述手保持悬停状态达到预设时长时，确认取得所述目标零件模型的空间坐标移动权限；

将所述目标零件模型的空间坐标跟随所述手的运动轨迹，以使所述目标零件模型移动到指定位置。

5.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是缩放零件模型，所述根据所述深度信息识别预设的装配操作包括：

在选中目标零件模型后，获取所述深度信息中所述装配人员的双手骨骼节点的运动轨迹；

当所述双手骨骼节点的运动轨迹为所述双手相对张开时，将所述目标零件模型放大至第一预设尺寸，所述第一预设尺寸小于或等于所述目标零件模型的最大放大尺寸；

当所述双手骨骼节点的运动轨迹为所述双手相对合拢时，将所述目标零件模型缩小至第二预设尺寸，所述第二预设尺寸小于或等于所述目标零件模型的最小缩小尺寸。

6.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是旋转零件模型，所述根据所述深度信息识别预设的装配操作包括：

在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手骨骼节点的运动轨迹；

当所述手骨骼节点的运动轨迹为所述手原地旋转，将所述目标零件模型跟随所述手的旋转轨迹，以使所述目标零件模型旋转到指定方位。

7.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是删除零件模型，所述根据所述深度信息识别预设的装配操作包括：

在选中目标零件模型后，获取所述深度信息中所述装配人员的至少一个手臂骨骼节点的运动轨迹；

当所述手臂骨骼节点的运动轨迹为所述手臂以其上臂作为中轴线左右挥动时，确定删除所述目标零件模型。

8.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是执行下一步装配工序，所述根据所述深度信息识别预设的装配操作包括：

获取所述深度信息中所述装配人员的单个手臂骨骼节点的运动轨迹；

当所述单个手臂骨骼节点的运动轨迹为所述单个手臂朝第一预设方向摆动时，判断是否已完成所有装配工序；

当未完成所有装配工序时，确认执行下一步装配工序，否则确认本次操作无效。

9.根据权利要求1所述的在增强现实环境中识别装配操作的方法，其特征在于，所述装配操作是返回上一步装配工序，所述根据所述深度信息识别预设的装配操作包括：

获取所述深度信息中所述装配人员的单个手臂骨骼节点的运动轨迹；

当所述单个手臂骨骼节点的运动轨迹为所述单个手臂朝第二预设方向摆动时，判断当前进行的是否是第一步装配工序；

若当前进行的不是所述第一道装配工序，确认返回上一步装配工序，否则确认本次操作无效。

10.一种基于增强现实的模拟装配方法，其特征在于，包括：

采用如权利要求1至9中任一项所述的在增强现实环境中识别装配操作的方法识别装配人员的装配操作；

根据所述装配操作驱动预先建立的虚拟手对被选中的目标零件模型执行所述装配操作，所述目标零件模型是在增强现实环境中根据目标设备建立的虚拟模型。

11.一种在增强现实环境中识别装配操作的装置，其特征在于，包括：

获取模块，用于获取装配人员的多帧连续图像；

提取模块，用于提取所述多帧连续图像中每一帧图像里所述装配人员的人体骨骼节点的深度信息；

第一识别模块，用于根据所述深度信息识别预设的装配操作。

12.一种基于增强现实的模拟装配装置，其特征在于，包括：

第二识别模块，用于采用如权利要求1至9中任一项所述的在增强现实环境中识别装配操作的方法识别装配人员的装配操作；

执行模块，用于根据所述装配操作驱动预先建立的虚拟手对被选中的目标零件模型执行所述装配操作，所述目标零件模型是在增强现实环境中根据目标设备建立的虚拟模型。