CN112967559A - 一种基于虚拟装配环境的装配技能直接生成方法 - Google Patents

Abstract

本发明公开一种基于虚拟装配环境的装配技能直接生成方法，装配示范者以第一人称的操作方式控制机械臂进行作业，借助与真实装配环境相符合的工具、工艺设备，对虚拟环境中工业产品进行装配操作，装配过程中涉及的末端执行器、零件、工具、工艺设备、部件、组合体等实体，以及实体之间的对准、趋近、抓取、插孔、旋紧等操作，根据已定义的实体与操作全部直接生成动态操作知识图谱，建立操作知识图谱的初次架构，操作知识图谱可以不断进行知识更新将新的实体与动作加入本体库中。知识图谱可以作为操作技能的标准格式，用于不同智能体间的操作技能传递，本发明也可以扩展到其他操作技能学习领域。

Description

一种基于虚拟装配环境的装配技能直接生成方法

技术领域

本发明属于人工智能中的操作技能学习领域，是一种基于虚拟装配环境的装配技能直接生成方法，用于智能体基于人的操作示范进行组合体装配操作技能传授。

背景技术

机器人操作技能(Robot manipulation skill)是指机器人基于自身的传感、感知、决策、规划与控制能力,在有限时间内操作环境中特定物体,使物体由初始状态达到目标状态。技能在生活和生产中无处不在,例如物流中的拆垛与码垛、生产线上的零部件装配、餐厅中的端茶递水、体育运动中的打乒乓球等。随着人工智能技术的发展，对教授机器人复杂技能的需求增加。如果机器人可以代替或协助人类工人完成复杂的操作任务，就可以大大节省人工成本。如何通过人的示范让智能体理解并学会复杂操作技能是人工智能领域的重要问题，而大批量工业产品(如3C产品)或小批量复杂产品(如航天器)的装配技能学习是其中的一个重要领域。

工业产品的装配逐渐脱离纯人工操作，实现了基于机器人等智能体的自动化操作。例如，富士康科技集团(Foxconn Technology Group)已经在他们的工厂里部署了自己的装配机器人“Foxbot”。多家公司已经开发了双臂机器人，主要针对小零件的装配。这些机器人包括Rethink Robotics的Baxter robot和Kawada的Nextage robot等。目前，这些机器人只能处理简单的任务。智能体的操作技能多采用人工硬编程的方式进行生成，需要大量人工和调试，当生产线进行优化和调整时，还需要大量的人工进行操作技能的优化。如果通过人类演示来生成精细的装配技能，形成一个包含各类操作技能的知识库，不但可以避免冗长的机器人编程，同时也不需要机器人专业知识来操作就能够在不同机器人上进行操作技能的传递。然而，一个复杂的装配任务通常涉及到许多零件和工具，同时要执行许多步骤，如何表示机器人操作知识是一个巨大的挑战。

对于机器人学习特定场景、特定工作所需的技能而言，流程模型[秦方博,徐德.机器人操作技能模型综述[J].自动化学报,2019,045(008):1401-1418.]是表示机器人操作知识较为主流的选择，如图1所示，该模型将一个多步骤的复杂技能划分为流程，每个流程对应一组技能基元，且用一个紧凑模型表达。所有流程都为松耦合方式，实现随意组合。因不依赖于硬件平台，使得其可以被各种机器人系统所使用。但这种技能的流程模型在转换状态较少时效率较高，一旦状态数量太大且流程模式非顺序模式时，容易出现不易理解、难以维护的情形。此外，对于不同的工作需要重新定义。然而，机器人操作技能的自主认知与学习更强调通过定义一些操作技能基元以及一套发展策略，实现操作技能从简到繁独立于指定工作的可持续发展。

而且随着本体论和语义网络的出现，对机器人操作技能的描述不仅描述技能本身，还可以描述其与现实世界的关系，通过使用本体可以定义几乎人类世界全部的概念，极大地丰富了机器人操作技能的学习种类和范围，是目前描述机器人操作技能的主要方式之一。例如，RoboEarth项目使用基于本体和自然语言描述的机器人操作技能通用表示[Tenorth M,Beetz M.KnowRob:A knowledge processing infrastructure forcognition-enabled robots[J].The International Journal of Robotics Research,2013,32(5):566-90.]，实现了异构机器人在医院场景中为病人送水的服务以及打开橱门的操作。同时许多学者指出知识表示应包含基于不同数据模式的概念。故生成操作知识时，不仅要考虑与操作有关的细节(例如运动轨迹)，而且还应该考虑操作背后的含义(即该操作到底是什么，其操作对机器人或环境的状态产生什么影响或后果)[Paulius D,Sun Y.Asurvey of knowledge representation in service robotics[A].In:Robotics andAutonomous Systems(RAS)[C].2019.118:13-30.]。

随着人工智能的发展，近年来，智能体操作技能自主学习有了很大的进展。[Imitation Learning of Robot Policies by Combining Language,Vision andDemonstration]Simon Stepputtis等人引入一种多模态策略的神经网络，结合语言、视觉和演示，采用示范的方式对智能体进行训练，具有泛化能力强的优势；[One-ShotObservation Learning Using Visual Activity Features]Leo Paul等人采用端到端，提出了一种单样本观察学习方法(One-shot observation learning)，具有仅需一次演示就可应用于机器人操作任务的优势。尽管采用端到端或已有的自主学习方法具有很好的研究潜力，但由于方法的限制较多，无法在工业领域推广应用；[IKEA Furniture AssemblyEnvironment for Long-Horizon Complex Manipulation Tasks]Youngwoon Lee等人构建了一个宜家家具的虚拟组装环境，虽然能够完成许多装配任务，但是装配目标局限于家具但还需进行知识提取等操作才能生成知识，操作技能不能传递；[RLBench:The RobotLearning Benchmark&Learning Environment]Stephen James等人提出了一个能够编辑学习任务的机器人强化学习虚拟环境RLBench，尽管方法有一定的前瞻性，但没有利用在虚拟环境中产生的直接操作数据。

发明内容

针对上述问题，本发明提出一种基于虚拟装配环境的装配技能直接生成方法，构建基于头盔显示器和操作手柄的虚拟现实系统，在虚拟环境中构建与真实生产环境一致的数字孪生环境，装配示范者以第一人称的操作方式控制机械臂进行作业，借助与真实装配环境相符合的工具、工艺设备，对虚拟环境中工业产品进行装配操作，装配过程中涉及的末端执行器、零件、工具、工艺设备、部件、组合体等实体，以及实体之间的对准、趋近、抓取、插孔、旋紧等操作，根据已定义的实体与操作全部直接生成动态操作知识图谱，建立操作知识图谱的初次架构，操作知识图谱可以不断进行知识更新将新的实体与动作加入本体库中。知识图谱可以作为操作技能的标准格式，用于不同智能体间的操作技能传递，本发明也可以扩展到其他操作技能学习领域。

本发明基于虚拟装配环境的装配技能直接生成方法，包括一套可供人类操作员与虚拟环境进行交互的VR设备、一个3C装配场景的数字孪生环境以及一个包含装配操作知识的知识库。

所述VR设备包括一个VR头盔与一对蓝牙手柄；操作员佩戴VR头盔，实现以第一人称视角在虚拟环境中看到装配工艺台；蓝牙手柄负责操纵虚拟场景中的机械臂执行对应动作。

所述3C装配场景的数字孪生环境中执行操作完成装配任务，具体流程如下：

a)选择场景；

b)选择场景中的机械臂种类；

c)确定目标元件；

d)选择机械臂所使用的工具；

e)使用步骤D中所需选取的工具趋近、抓取元件或组合体；

f)对齐元件或组合体之间的连接器，微调元件或组合体间位置关系；

g)判断是否满足要求，若满足则自动焊接或旋转拧紧，若不满足则返回F中继续调整组合体间位置关系；

h)判断是否完成装配体装配，若未完成则返回C，重复步骤C至步骤G；

i)完成该装配任务。

所述装配操作知识的知识库的建立方法具体如下：

一、静态知识获取与构建本体系统；

二、操作轨迹数据的获取；

在操作员进行示范装配操作后，利用虚拟环境中设置的多类虚拟传感器直接得到机械臂的轨迹数据，包括每一时刻各个关节的转角、速度、加速度等。

三、知识图谱的生成

当需要进行相关操作技能的传授时，经本体系统查询找到对应节点，根据查询到的节点生成对应的知识网络，操作过程中涉及到的所有节点生成的网络构成对应操作技能的知识图谱，作为复用和传递的操作技能数据结构。

本发明的优点在于：

1、本发明基于虚拟装配环境的装配技能直接生成方法，具有虚实一致性：基于工业3C装配环境构建了虚拟环境，通过定义场景、部件、连接器、工具等属性，用户可以直观的实现操作示范，无需更多的学习成本；

2、本发明基于虚拟装配环境的装配技能直接生成方法，具有基于视觉注意的第一人称操作的直观性：采用虚拟现实的方式，示范者采用第一人称的操作方式，对场景的感知和操作反馈符合视觉注意机制，具有技能表达的直观性；

3、本发明基于虚拟装配环境的装配技能直接生成方法，基于虚拟操作数据的技能知识直接生成：直接利用人机交互的真实数据进行抽象，基于知识图谱方法，对操作过程中涉及的实体，实体间关系进行建模，直接生成可以复用和传递的操作技能数据结构。

附图说明

图1为机器人操作技能模型框图。

图2为本发明基于虚拟装配环境的装配技能直接生成方法原理图。

图3为本发明基于虚拟装配环境的装配技能直接生成方法中装配任务执行流程框图。

图4为采用本发明进行小米note系列手机装配场景示意图。

图5为采用本发明进行小米note系列装机过程中涉及的装配元部件分类。

图6为采用本发明进行十字螺钉与螺孔的装配操作示意图。

图7为采用本发明进行过十字螺钉、垫片与螺孔的装配操作示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明基于虚拟装配环境的装配技能直接生成方法，如图2所示，包括一套可供人类操作员与虚拟环境进行交互的VR设备、一个3C装配场景的数字孪生环境以及一个包含装配操作知识的知识库。

所述VR设备为Oculus Quest 2，包括一个VR头盔与一对蓝牙手柄；操作者在系统运行后，操作员佩戴VR头盔，即可以第一人称视角在虚拟环境中看到装配工艺台，而蓝牙手柄负责操纵虚拟场景中的机械臂执行对应动作。

所述3C装配场景的数字孪生环境的生成方法如下：

1)模型的导入：本发明在沉浸式的虚拟环境下进行交互式装配仿真，逼真性是虚拟装配环境的重点，因此使用3DMax来构建虚拟装配环境模型，保证虚拟装配环境的逼真效果。当根据组合体真实零部件的尺寸以及连接器的等在3DMax中完成建模后，导出Fbx格式的文件至Unity3D中；

2)模型的结构处理：当装配所需的模型被导入到Unity3D后，考虑到各子组合体在装配成总组合体的过程中，子组合体上的所有零部件，需要一同移动或者旋转，故需要对原先的模型结构进行结构处理，严格定义好零部件之间的父子关系；

3)模型的材质添加：结构处理后的三维模型只是单纯的实体模型，各个零部件间的材质、颜色等都没有区别，为了在装配过程中建立更直观的视觉反馈，依据零部件的真实颜色材质等创建材质球(Material),添加到各个零部件上；

4)装配车间的创建：设计多个装配车间的场景，便于后续依据不同的装配任务进行选择，构建与真实车间装配场景相同的数字孪生环境，包括车间整体结构和内部环境；

5)物理引擎：虽然Unity3D自带有物理引擎PhysX，能够进行物理模拟，但是对于机械臂的仿真效果一般，而另一款物理引擎MuJoCo专注于机械臂的物理模拟，仿真效果好。故本发明采用Unity3D+MuJoCo进行开发。Unity3D作为渲染器，充分发挥其渲染逼真的优势；MuJoCo作为物理引擎，进行高效的物理模拟。

在构建的3C装配场景的数字孪生环境中执行操作完成装配任务，如图3所示，其具体流程如下

A、选择场景，即搭载待装配的零部件平台选择，如：桌子或工艺台架等。

B、选择场景中的机械臂种类，如：单臂或者双臂机械臂，同时选择机械臂末端执行器类型。

C、确定目标元件，即下一步要进行操作的元件或者组合体。

D、选择机械臂所使用的工具，如：各式螺丝刀、镊子等，或直接使用所选机械臂已用的末端执行器，如：机械手抓、磁力吸盘等进行操作完成装配；

E、使用步骤D中所需选取的工具或末端执行器趋近、抓取元件或组合体；

F、对齐元件或组合体之间的连接器，微调元件或组合体间位置关系；

G、判断是否满足要求，若满足则自动焊接或旋转拧紧，若不满足则返回F中继续调整组合体间位置关系；

H、判断是否完成装配体装配，若未完成则返回C，重复步骤C至步骤G；

I、完成该装配任务。

下面以小米note系列手机装机的装配场景为例，根据前述装配任务流程，对执行小米note系列手机装机任务中步骤A到G进行详细说明。

在步骤A到步骤D选择方案中，如图4所示装配场景为小米note系列手机装机，一台含两个机械臂的机器人，且末端执行机构均为夹持器机器人，机器人位于一个操作台前，装配操作都在该操作台上完成。该操作台表面设置有手机固定槽将待完成装配的手机固定在操作台上，操作台表面还安装有零部件放置板和工具放置板。上述两个放置板分别位于手机固定槽左边上下两侧。零部件放置板内固定有十一个塑料隔离板，十一个所述塑料隔离板对十二个零部件放置槽相互隔离，这十二个零部件放置槽内分别放置盖板固定螺丝、盖板固定螺丝(长)、盖板、后盖、尾插排线扣、显示屏排线扣、尾插模块、摄像头、电池、主板、卡槽、天线；零部件放置板内固定有一个塑料隔离板，一个所述塑料隔离板对两个工具放置槽相互隔离，这两个工具放置槽内分别放置十字螺丝刀和镊子。

在步骤E到F中涉及的机械臂动作类型和具体操作过程如下：

1、装配过程中涉及的动作类型

对准：视觉定位，判断目标物体位置，机械臂移动至目标上方；

趋近：机械臂向目标移动，不断判断机械臂末端执行器与目标物体之间距离，待距离小于设定阈值，停止移动；

抓取：机械臂末端执行器抓手闭合；

夹持：机械臂持镊子夹取排线等将其铺在预定位置，但是虚拟场景中难以精确操作排线这类绳状物体，采用MuJoCo引擎中的焊接操作(welding mechanism，关于焊接操作在步骤G时进行详细说明)，当排线的几个连接器与对应目标位置距离相差小于阈值时，将排线焊接在手机目标位置处，完成机械臂夹持排线等绳状物体的动作；

旋转1(螺钉、螺孔)：机械臂控制十字螺丝刀旋转螺钉，但是虚拟场景中精细操作难度较大，采用MuJoCo引擎中的焊接操作，当螺钉与螺孔的连接器之间欧式距离小于阈值且轴向向量间余弦距离达到阈值就执行焊接操作，完成机械臂操作十字螺丝刀旋转螺钉的动作；

旋转2(螺钉、垫片、螺孔)：机械臂操作螺钉穿过垫片，但是虚拟场景中精细操作难度较大，采用MuJoCo引擎中的焊接操作，当螺钉与垫片、垫片与螺孔的连接器之间欧式距离小于阈值且三者轴向向量两两间余弦距离均达到阈值就执行焊接操作，完成机械臂操作十字螺丝刀旋转螺钉的动作；

点按：机械臂末端执行器按压目标零部件；

扣合：机械臂末端执行器合上排线扣，但是虚拟场景中精细操作难度较大，采用MuJoCo引擎中的焊接操作，当执行器与排线扣连接器距离相差小于阈值，且轴向向量间余弦距离达到阈值，完成机械臂末端执行器合上排线扣的动作。

2、具体装配操作流程

a、安装note系列手机的主板(对准，趋近，抓取，对准，趋近，点按)。

b、安装尾插排线，镊子(对准，趋近，抓取，对准，趋近，夹持导线)。

c、扣上尾插排线扣(对准，趋近，扣)，安装摄像头(对准，趋近，点按)，扣上显示屏排线扣(对准，趋近，扣)。

d、扣上尾插排线扣(对准，趋近，扣)，安装尾插模块(对准，趋近，抓取，对准，趋近，点按)。

e、安装天线(对准，趋近，抓取，对准，趋近，点按)，扣好天线扣(对准，趋近，扣)。

f、安装电池(对准，趋近，抓取，对准，趋近，点按)。

g、安装盖板(对准，趋近，抓取，对准，趋近，点按)，使用十字螺丝刀安装盖板固定螺丝[机械臂一号(对准，趋近，抓取(十字螺丝刀))；机械臂二号(对准，趋近，抓取(螺丝))，对准，趋近)；机械臂一号(对准，趋近，旋转螺钉)]。

h、安装另一块盖板(对准，趋近，点按)，同样过程，使用十字螺丝刀安装盖板固定螺丝[机械臂一号(对准，趋近，抓取(螺丝刀))；机械臂二号(对准，趋近，抓取(螺丝))，对准，趋近)；机械臂一号(对准，趋近，旋转螺钉)]。

i、合上后盖(对准，趋近，抓取，对准，趋近，点按)，插入卡槽(对准，趋近，抓取，对准，趋近，插入卡槽)。

由于在虚拟场景中控制机械臂进行精细操作难度较大，在进行步骤G判断各零部件能否完成连接时，采用MuJoCo引擎中的焊接机制(welding mechanism)来帮助完成零部件连接。能够完成连接组装的零部件之间具有已经被标定的匹配的圆，这些圆称作连接器。如果一对零件之间的连接器是匹配的，且同时满足以下条件时启动焊接机制，由手动装配进入自动装配，完成相应零部件连接，形成组合体：

条件1、两个匹配的连接器A与连接器B几何中心之间的欧拉距离小于阈值

d_L2((x，y，z)_A，(x，y，z)_B)＜ε_d

式中(x，y，z)_A为连接器A圆心的空间三维坐标，(x，y，z)_B为连接器B圆心的空间三维坐标；d_L2((x，y，z)_A，(x，y，z)_B)为连接器A、连接器B圆心之间的欧拉距离；ε_d为预设的欧拉距离阈值。

条件2、两个匹配的连接器A与连接器B几何中心之间单位轴向向量的余弦距离小于阈值

d_cos＜ε_cos

式中，d_cos为连接器A与连接器B单位轴向向量间的余弦距离；V_{Axial_A}为连接器A的单位轴向向量，V_{Axial_B}为连接器B的单位轴向向量，(x_A，y_A，z_A)为V_{Axial_A}的具体向量坐标，(x_B，y_B，z_B)为V_{Axial_B}的具体向量坐标；ε_cos为预设的余弦距离阈值。

下面以十字螺钉与螺孔的装配为例对装配操作进行说明：

如图6所示，十字螺钉端部圆点与螺孔底端圆点分别为十字螺钉与螺孔的连接器，虚线与实现分别为螺孔轴线与螺钉轴线。当两连接器的圆心距离之差小于设定阈值且螺钉的轴线与螺孔的轴线之间方向的相对差异不大(余弦距离小于设定阈值)时，将十字螺钉与螺孔的状态设为“可连接”，这时可以启动MuJoCo中的焊接机制，由手动操作进入自动操作，完成机械臂操作十字螺丝刀旋转螺钉的动作。

上述示例为两个零件装配的场景，但大多时候装配过程中还会涉及到三个部件的同时装配，以十字螺钉、垫片、螺孔的装配为例对装配操作进行说明：

如图7所示，图中三个用圆点分别为十字螺钉、垫片与螺孔的连接器，将其分别定义为连接器A、连接器B、连接器C；实线、虚线、点划线分别为螺钉、螺孔、垫片的轴线。当连接器A与连接器B，连接器B与连接器C之间的圆心距离之差均小于设定阈值，且三个连接器的轴线两两之间方向的相对差异不大(余弦距离小于设定阈值)时，将该十字螺钉与垫片、螺孔的状态设为“可连接”，这时可以启动MuJoCo中的焊接机制。进入自动操作，完成十字螺钉与垫片、螺孔的装配。

所述装配操作知识的知识库的建立方法具体如下：

一、静态知识获取与构建本体系统

知识图谱是由本体(Ontology)作为Schema层，和RDF数据模型兼容的结构化数据集。本体是对概念进行建模的规范，是描述客观世界的抽象模型，以形式化方式对概念及其之间的联系给出明确的定义本体的构建大体有两种方式：自顶向下和自底向上。

开放域知识图谱的本体构建通常用自底向上的方法，自动地从知识图谱中抽取概念、概念层次和概念之间的关系。因为开放的世界太过复杂，且随着世界变化，)对应的概念还在增长，用自顶向下的方法无法考虑周全。领域知识图谱多采用自顶向下的方法来构建本体。一方面，相对于开放域知识图谱，领域知识图谱涉及的概念和范围都是固定或者可控的；另一方面，对于领域知识图谱，要求其满足较高的精度。现在大众接触到的一些语音助手背后对接的知识图谱大多都是领域知识图谱，比如音乐知识图谱、体育知识图谱、烹饪知识图谱等等。正因为是这些领域知识图谱来满足用户的大多数需求，更需要保证其精度。

虚拟装配环境的操作知识就是一个领域知识图谱，本发明采用自顶向下的方法使用protégé来构建本体系统。通过建立包含本体-关系-本体以及本体-属性-值这两类三元组组成的本体系统能够包含绝大部分操作技能，目前本体系统的构建方法主要包括TOVE法、Methontology法、Bernerasetal法、骨架法、斯坦福七步法等，但是这些方法都是具体领域本体开发过程中总结出来的，因此应用领域很有限，方法细节不足，而且相关技术比较少，针对工业3C装配场景，本发明的本体系统构建方法如下：

(a)列出本体中的重要术语、概念；

在领域本体创建的初始阶段，尽可能列举出系统想要陈述的或要向用户解释的所有概念，包括组合体装配操作中涉及到的所有工具、工件、机械臂动作等。

(b)建立本体框架

通过步骤(a)产生了领域中大量的概念，但却是一张毫无组织结构的词汇表，这时需要按照一定的逻辑规则把它们进行分组，形成不同的工作领域，在同一工作领域的概念，其相关性应该比较强。尽可能准确而精简地表达出装配操作领域的知识，以上述小米note系列手机装配过程为例，如图5所示，具体为：

(1)零部件及工具

在工业装配操作领域中，零件是机器的最小制造单元，任何机器都是由许多零件装配而成的。机器装配是按照机器的技术要求，将零件进行配合和连接，使之成为机器的工艺流程。为了有效地组织装配工作进行，一般将机器划分为若干可以独立开展装配工作的部分，称之为装配单元。机器装配单元主要有合件、组件、部件和机器等。合件是由若干零件固定(铆或焊)而成，或连接后再加工而成，如装配式齿轮；组件是指由工艺设计组成的具有一定动能的一个或几个合件与零件的组合，没有显著完整的功能，如轴与齿轮、套、垫片、链、轴承的组合体；部件是若干组件、合件及零件的组合体，部件在机器中具有完整的功能与用途，例如汽车的发动机、变速箱。

零件又分为通用零件与专用零件。其中通用零件是以一种国家标准或者国际标准为基准而生产的零件，其中传动类通用零件包括齿轮传动、链传动、带传动等；轴类通用零件包括联轴器、离合器、滚动轴承等；连接类通用零件主要是紧固件，包含螺母、螺栓、螺钉、螺柱、销(键)、垫圈、挡圈、木螺钉、自攻螺钉、铆钉、焊钉、组合件和连接副，以及其它非标类紧固件；其他类如弹簧、机架、箱体也属于通用零件。专用零件是是以自身机器标准而生产的一种零件，在国标和国际标准中均无对应产品的零件称为专用零件，比如为一台设备而专门生产的一些零件。

在之前所述小米note系列手机装机中，通用零件包括：十字槽普通螺钉、十字槽普通螺钉(长)、垫片、盖板；专用零件包括：尾插排线、后盖、卡槽、尾插排线扣、显示屏排线扣；组件包括：天线、尾插模块；部件包括：电池、摄像头、主板。

(2)匹配关系(零部件及工具与其他零部件及工具匹配关系)

(3)机械臂与零部件及工具操作关系

(4)工件基本信息：ID、形状(是否规则)、颜色、类型

ID由七位小数构成，如1010011。基于ID对拟装配的零部件进行判断，当机械臂末端执行器的碰撞体碰撞到某个零部件后，读取其ID，将根据ID自动在在配置文件中查询一个场景中查询匹配的零部件。如果找到的话，将可以装配的物体ID放入队列，等待装配。

第一位数字表示该件属于零部件还是工具，数字1表示零部件，数字2表示工具。

第二第三位数字表明该件所属类型：01代表通用零件，02代表专用零件，03代表合件，04代表组件，05代表部件。

第四第五第六位数字代表某类型下的具体器件，如在通用零件下001代表十字槽普通螺丝，002代表盖板，003代表后盖，004代表盖板；而在专用零件下001代表尾插排线扣，002代表显示屏排线扣，003代表卡槽。在合件下，001代表天线，002代表尾插模块；在部件下，001代表电池，002代表摄像头，003代表主板。

第七位数字代表颜色，1代表黑色，2代表白色，3代表红色，4代表蓝色，5代表绿色，6代表黄色，7代表灰色，X代表无颜色属性。

最终形成一个领域内静态知识的框架体系，形成一个excel表格，如表1所示。

表1静态知识

(c)定义类(classes)和类的等级体系

采用自顶向下法定义类，由最大的概念工件开始，添加子类工件和工具，而后再通过在工件里添加子类零件、部件、组件将工件概念细化。选择描述独立存在的对象的术语，作为本体中的类，并嵌入到分类等级体系中。

(d)定义本体-关系-本体(entity-relationship-entity,ERE)关系

通过ERE三元组定义第一类三元组关系，用来定义包含装配操作过程的本体-关系-本体关系，如机械臂抓取一个螺钉，通过ERE三元组定义为“robot_arm-grab-screw”。利用已有的静态知识在protégé里定义所有ERE三元组。

(e)定义本体-属性-值(entity-attribute-value,EAV)关系

通过EAV三元组定义第二类三元组关系，用来定义包含装配零件属性的本体-属性-值关系，如螺钉的颜色是白色，通过EAV三元组定义为“screw-has_color-white”。利用已有的静态知识在protégé里定义所有EAV三元组。完成本体系统初步架构的建立。

二、操作轨迹数据的获取(动态知识)获取

在操作员进行示范装配操作后，利用虚拟环境中设置的多类虚拟传感器直接得到机械臂的轨迹数据，包括每一时刻各个关节的转角、速度、加速度等。避免了依据末端执行器位姿反解机械臂关节数据的复杂的运动学逆解问题；以进行装配作业的六轴机械臂为例，示范后直接获得包括末端执行器点迹和六个关节的转角、速度、加速度等组成的轨迹信息。通过模仿学习方法可以训练得到相应动作基元，本发明重点关注操作知识的直接生成，为后续机器人技能传授提供知识。

三、知识图谱的生成

在完成了虚拟环境的搭建、本体系统知识库的构建后，当需要进行相关操作技能的传授时，经本体系统查询找到对应节点，根据查询到的节点生成对应的知识网络，操作过程中涉及到的所有节点生成的网络构成对应操作技能的知识图谱，作为复用和传递的操作技能数据结构。

Claims (7)

1.一种基于虚拟装配环境的装配技能直接生成方法，其特征在于：包括一套可供人类操作员与虚拟环境进行交互的VR设备、一个3C装配场景的数字孪生环境以及一个包含装配操作知识的知识库；

所述VR设备包括一个VR头盔与一对蓝牙手柄；操作员佩戴VR头盔，实现以第一人称视角在虚拟环境中看到装配工艺台；蓝牙手柄负责操纵虚拟场景中的机械臂执行对应动作；

所述3C装配场景的数字孪生环境中执行操作完成装配任务，具体流程如下：

A、选择场景；

B、选择场景中的机械臂种类；

C、确定目标元件；

D、选择机械臂所使用的工具；

E、使用步骤D中所需选取的工具趋近、抓取元件或组合体；

F、对齐元件或组合体之间的连接器，微调元件或组合体间位置关系；

G、判断是否满足要求，若满足则自动焊接或旋转拧紧，若不满足则返回F中继续调整组合体间位置关系；

H、判断是否完成装配体装配，若未完成则返回C，重复步骤C至步骤G；

I、完成该装配任务；

所述装配操作知识的知识库的建立方法具体如下：

一、静态知识获取与构建本体系统；

二、操作轨迹数据的获取；

在操作员进行示范装配操作后，利用虚拟环境中设置的多类虚拟传感器直接得到机械臂的轨迹数据，包括每一时刻各个关节的转角、速度、加速度等；

三、知识图谱的生成

当需要进行相关操作技能的传授时，经本体系统查询找到对应节点，根据查询到的节点生成对应的知识网络，操作过程中涉及到的所有节点生成的网络构成对应操作技能的知识图谱，作为复用和传递的操作技能数据结构。

2.如权利要求1所述一种基于虚拟装配环境的装配技能直接生成方法，其特征在于：3C装配场景的数字孪生环境的生成方法如下：

1)使用3DMax来构建虚拟装配环境模型，导出Fbx格式的文件至Unity3D中；

2)对虚拟装配环境模型进行结构处理，严格定义零部件之间的父子关系；

3)依据零部件的真实颜色材质等创建材质球添加到各个零部件上；

4)构建与真实车间装配场景相同的数字孪生环境，包括车间整体结构和内部环境；

5)采用Unity3D作为渲染器，MuJoCo作为物理引擎，进行物理模拟。

3.如权利要求1所述一种基于虚拟装配环境的装配技能直接生成方法，其特征在于：在步骤E到F中涉及的机械臂动作类型和具体操作动作类型包括对准、趋近、抓取、夹持、旋转、点按、扣合。

4.如权利要求1所述一种基于虚拟装配环境的装配技能直接生成方法，其特征在于：进行步骤G判断各零部件能否完成连接时，采用MuJoCo引擎中的焊接机制完成零部件连接。

5.如权利要求4所述一种基于虚拟装配环境的装配技能直接生成方法，其特征在于：连接组装的零部件之间具有已被标定的匹配的圆，称作连接器，一对零件之间的连接器匹配，且同时满足以下条件时启动焊接机制，由手动装配进入自动装配，完成相应零部件连接，形成组合体：

条件1、两个匹配的连接器A与连接器B几何中心之间的欧拉距离小于阈值

d_L2((x,y,z)_A,(x,y,z)_B)<ε_d

式中(x,y,z)_A为连接器A圆心的空间三维坐标，(x,y,z)_B为连接器B圆心的空间三维坐标；d_L2((x,y,z)_A,(x,y,z)_B)为连接器A、连接器B圆心之间的欧拉距离；ε_d为预设的欧拉距离阈值；

条件2、两个匹配的连接器A与连接器B几何中心之间单位轴向向量的余弦距离小于阈值

d_cos<ε_cos

式中，d_cos为连接器A与连接器B单位轴向向量间的余弦距离；V_{Axial_A}为连接器A的单位轴向向量，V_{Axial_B}为连接器B的单位轴向向量，(x_A,y_A,z_A)为V_{Axial_A}的具体向量坐标，(x_B,y_B,z_B)为V_{Axial_B}的具体向量坐标；ε_cos为预设的余弦距离阈值。

6.如权利要求1所述一种基于虚拟装配环境的装配技能直接生成方法，其特征在于：本体系统构建方法如下：

(a)列出本体中组合体装配操作中涉及到的工件及相关说明；

(b)对步骤(a)中列出物品及说明按工作领域进行分组，建立本体框架；

(c)定义类和类的等级体系

采用自顶向下法定义类，由概念最大的工件开始，添加子类工件和工具，而后再通过在工件里添加子类零件、部件、组件将工件概念细化；选择描述独立存在的对象的术语，作为本体中的类，并嵌入到分类等级体系中；

(d)通过ERE三元组定义第一类三元组关系，用来定义包含装配操作过程的本体-关系-本体关系；

(e)通过EAV三元组定义第二类三元组关系，用来定义包含装配零件属性的本体-属性-值关系。

7.如权利要求6所述一种基于虚拟装配环境的装配技能直接生成方法，其特征在于：步骤b中设定工件基本信息，包括ID、形状、颜色、类型；其中，ID由七位小数构成，第一位数字表示工件属于零部件还是工具，数字1表示零部件，数字2表示工具；第二、第三位数字表明该件所属类型：01代表通用零件，02代表专用零件，03代表合件，04代表组件，05代表部件；第四第五第六位数字代表一个类型下的具体器件；第七位数字代表颜色。

Images