CN110428496B - 基于虚实融合的手持工具作业导引方法 - Google Patents

Abstract

本发明公开一种基于虚实融合的手持工具作业导引方法，包括设置操作坐标系标识物；设置工具坐标系标识物；设定工具数据采集方式；设定工艺流程；启动作业程序；定位操作坐标系；定位工具坐标系；设定工步为执行状态，此时增强现实装置增加显示处于执行状态的工步的工艺说明，切换显示工步执行状态下需要显示的图形化标记，导引用户按照工艺说明和图形化标记，利用手持工具进行操作。本发明提高了用户识别操作对象和查询工艺要求的效率并通过结合虚实融合与数据在线采集方法，提高了操作过程记录的准确性，提高了结果记录与作业过程的连贯性。

Description

基于虚实融合的手持工具作业导引方法

技术领域

本发明属于装配制造技术领域，具体而言，本发明涉及一种用于装配制造 行业的手持工具作业的操作工艺导引方法。

背景技术

工人利用手持工具进行的操作作业广泛存在于机电或机械产品的制造与装 配过程中。典型的手持工具作业包括紧固、点焊、测量、涂胶等。进行该类操 作时，工人一般需要在同一个相对较大的零部件(如舱板、电路板)上完成其 多个局部位置的操作。由于局部的作业对象往往外观近似(例如规格略有差异 的同类型螺钉)，作业位置缺乏区别特征，较容易产生操作对象和位置判断错 误所造成的误操作、漏操作现象。传统模式下，为了杜绝该种问题，要求操作 工人熟记图纸或三维模型的标记，在操作后及时记录操作内容，并采用机器或 人工方式进行质量核验。然而，该流程存在工人认知负担重、确认环节多、生 产活动不紧凑的问题。

在机械装配相关领域，目前已有企业对基于增强现实的装配导引方法进行 上述过程的改进，通过虚拟标识及工艺流程提示与实际物理环境的配准，引导 工人进行操作。当前的配准一般分为编码标识和特征识别两种方式：(1)采用 编码标识方法时，往往通过在附近粘贴或打印编码的方式实现操作位置或对象 的识别。虽然编码识别较为快捷，但标识环节增加了时间和经济成本，且难以 适用于微小物件；(2)采用特征识别方法时，需要提前对物理实体的三维模型 进行建模并利用神经网络等方式进行较长时间训练，因而难以适用于大规模单 件定制化生产的产品，且当前技术水平下对机械类的少纹理少几何特征对象的 识别能力有限，实用化水平较低。

本发明拟采用虚实融合方法，通过识别零部件和手持工具位置，判断工人 的操作对象，然后令操作工艺信息与真实物理对象进行位姿匹配并展示，引导 工人完成手持工具作业，最后利用在线采集与判读方法，实现操作对象确认与 操作过程记录的一体化，整体提高工人手持工具作业的效率。

发明内容

基于上述问题，本发明的目的在于提出一种基于虚实融合的手持工具作业 导引方法，在无需对操作对象和位置进行规模化标识的情况下，实现操作工艺 信息与真实物理对象的匹配展示，在导引用户完成手持工具作业的同时，对操 作顺序和操作结果进行记录和判读，实现作业目标指示与作业过程记录过程的 一体化。

本发明目的是通过如下技术方案实现的：

本发明基于虚实融合的手持工具作业导引方法，包括以下步骤：

步骤一：设置操作坐标系标识物

在操作环境中设置操作坐标系标识物，所述标识物经立体摄像机识别后， 用于在作业空间中建立一世界坐标系下的局部坐标系，称之为操作坐标系，并 指示操作坐标系在世界坐标系下的维度方向、原点位置，以及单位长度；

步骤二：设置工具坐标系标识物

确定在手持工具上设置的工具坐标系标识物，所述标识物经立体摄像机识 别后，用于建立一操作坐标的局部坐标系即工具坐标系并指示工具坐标系在操 作坐标系下的维度方向、原点位置，以及单位长度中指定工具工作端点所在坐 标，工具坐标系的原点与工具的相对位置在操作坐标系下保持不变；

步骤三：设定工具数据采集方式

设定手持工具的在线采集数据格式和内容，调试手持工具向操作结果判读 装置发送数据的通信链路；

步骤四：设定工艺流程

将工艺流程拆分成若干工步，每个工步指用手持工具在指定位置完成一次 操作；其中，所设定的工步的状态包括未激活、激活、执行、完成、失败共五 种状态，每个工步具有：(1)导引内容，包括需要以增强现实方式展示的图形 化标记，以及准备以纯文本或图例方式展示的工艺说明；(2)操作位置，即执 行该工步操作时，手持工具的工作端在操作坐标系下的工作区域的范围；(3) 执行判定函数，判定工步执行是否成功；(4)与其他工步的串并行关系；(5) 是否允许工步执行失败后跳过该工步进行后续操作；

步骤五：启动作业程序

在操作环境中携带或佩戴增强现实装置，启动作业程序，将所有工步设定 为非激活状态；

步骤六：定位操作坐标系

增强现实装置捕捉操作坐标系标识物，确认操作坐标系与世界坐标系的相 对关系；按工艺流程设置即将执行的一个或一批工步为激活状态并基于操作坐 标系，以增强现实方式显示激活状态工步所含的图形化标记；

步骤七：定位工具坐标系

在移动手持工具的过程中，增强现实装置捕捉手持工具上的工具坐标系标 识物，计算工具坐标系与操作坐标系的相对关系；计算工具工作端在操作坐标 系中的坐标，对比工作端坐标与当前激活工步的操作位置，如果工作端坐标位 于任一激活工步的操作位置，则设定工步为执行状态，否则重复定位工具坐标 系步骤；

步骤八：设定工步为执行状态，此时增强现实装置增加显示处于执行状态 的工步的工艺说明，切换显示工步执行状态下需要显示的图形化标记，导引用 户按照工艺说明和图形化标记，利用手持工具进行操作。

其中，所述导引内容包括需安装于某个指定位置的操作目标物体虚拟模型 螺钉虚拟模型，以及用于指示操作位置的图形化标记。

进一步地，图形化标记可划分为两组，分别用于激活时展示和执行时展示。

其中，判定函数以手持工具传回的执行结果数据作为函数参数。

其中，增强现实装置为头盔或平板。

本发明基于虚实融合的手持工具作业导引方法具有以下优点：

1.无需规模化设置标识或识别操作对象特征，即可自动判断操作对象；

2.通过基于虚实融合的工艺对象标识和工艺信息展示，提高用户识别操作 对象和查询工艺要求的效率；

3.通过结合虚实融合与数据在线采集方法，提高了操作过程记录的准确性， 提高了结果记录与作业过程的连贯性。

附图说明：

图1为本发明基于虚实融合的手持工具作业导引方法的方法步骤图；

图2为本发明的基于虚实融合的手持工具作业导引方法中坐标系标识物及 坐标系示意图；

图3为本发明的基于虚实融合的手持工具作业导引方法中工步状态转换图；

图4a为本发明的基于虚实融合的手持工具作业导引方法一具体实施方式的 设备紧固件安装实施方案整体示意图；

图4b为本发明的基于虚实融合的手持工具作业导引方法一具体实施方式的 设备紧固件安装实施方案局部示意图；

图5a为本发明的基于虚实融合的手持工具作业导引方法另一具体实施方式 的电阻值测量实施方案整体标示图；

图5b为本发明的基于虚实融合的手持工具作业导引方法另一具体实施方式 的电阻值测量实施方案局部标示图。

附图中符号说明

图2：图中21为粘贴操作坐标系标识物的平面示例，22为操作坐标系标识 物，23为操作坐标系，24为操作坐标系原点，25为手持工具，26为工具坐标 系标识物，27为工具坐标系原点，28为操作坐标系，29为手持工具工作端， 210为世界坐标系，211为世界坐标系原点。

图4：图中1为舱板，2为设备，3为力矩扳手，4为力矩扳手工具端，5 为螺钉，6为操作坐标系标识物，7操作坐标系(与世界坐标系重合)，8为操 作坐标系原点(与世界坐标系原点重合)，9为工具坐标系标识物，10为工具 坐标系，11为工具坐标系原点，12为平板计算机，13为平板计算机屏幕，14 为工步激活时展示的工步序号，15为工步激活时展示的螺钉指示箭头，16为 工步激活时展示的螺钉虚拟模型，17为工步执行时展示的工步序号，18为工 步执行时展示的螺钉指示箭头，19为工步执行时展示的力矩扳手操作方向指示 箭头，20为紧固件配套信息，21为拧紧力矩要求，22为测量结果数值提示， 23为工步失败提示。

图5：图中1为舱板，2为设备，53为电笔1，54为电笔2，55为电笔1 工具坐标系标识物，56为电笔2工具坐标系标识物，57为螺钉，58为操作坐 标系标识物，59为操作坐标系(与世界坐标系重合)，510为操作坐标系原点 (与世界坐标系原点重合)，511为电笔1工作端，512为电笔2工作端，513 为工具坐标系，514为工具坐标系原点，515为工具坐标系原点在操作坐标系 X×Y平面的投影点，516为增强现实眼镜，517为测点编号图形化标识，518 为测点指示箭头图形化标识，519为被测螺钉提示框图形化标识，520为操作 说明，521为合格阻值要求，522为测量结果数值提示，523为工步失败提示。

具体实施方式

以下参照附图对本发明的基于虚实融合的手持工具作业导引方法进行详 细说明，但该描述仅仅示例性的，并不旨在对本发明的保护范围进行任何限制。

实施方式一设备紧固件的安装

本实施方式以设备紧固件安装到舱板上为例(示意图参见图4)，来例证说 明本发明的基于虚实融合的手持工具作业导引方法，该方法步骤流程框图如图 1所示，具体步骤如下：

步骤一：设置操作坐标系标识物。在舱板(图4中1)上设置唯一的二维 码标识(图4中6)，将其作为操作坐标系标识物，该二维码经立体摄像机识别 后，设定操作坐标系(图4中7)的维度方向与世界坐标系一致，原点(图4 中8)位置与世界坐标系位置重合，单位长度与世界坐标系一致。其中，世界 坐标系是“系统的绝对坐标系”，可以指地球的经度、维度、海拔所组成的坐 标系，也可以是车间某基准原点建立的坐标系。本发明中的操作坐标系是以世 界坐标系中的某个点为原点建立的局部坐标系，例如以车间中的某个桌子的某 一角作为局部坐标系的原点，在这个坐标系下计算桌面上物体的位置。建立局 部坐标系的根本目的是简化空间坐标的运算，使运算结果不随局部坐标系的运 动而变化。例如在车间移动桌子后，桌面上物体在世界坐标系下的位置改变了， 但以桌角为原点的局部坐标系下的位置不变，如果运算不涉及世界坐标系下的 其他物体，就不需要重新桌面上物体的位姿参数。

步骤二：设置工具坐标系标识物。确定在力矩扳手(图4中3)上设置唯一 的二维码标识(图4中9)，将其作为工具坐标系(图4中10)标识物，该二 维码经立体摄像机识别后，可以计算工具坐标系在操作坐标系中的维度方向、 原点位置，并设工具坐标系的单位长度与操作坐标系一致。在工具坐标系中指 定力矩扳手工作端点所在坐标为{0,0,-γ_t}。

步骤三：设定工具数据采集方式。设定力矩扳手的在线采集数据为扭矩， 计量单位为Nm。将具备增强现实功能的平板计算机(图4中12)作为结果判 读装置，调试力矩扳手向平板计算机发送数据的通信链路。确认当用户按下力 矩扳手的发送数据按钮时，平板计算机能够采用无线方式同步得到力矩扳手当 前测量到的力矩数值。

步骤四：设定工艺流程。工艺流程包括四个工步，每个工步指用力矩扳手 完成一颗螺钉的紧固操作。本方法所设定的工步状态包括未激活、激活、执行、 完成、失败等共五种状态，各状态间的转换关系如图3所示。对每个螺钉紧固 工步进行定义：(1)导引内容，包括需要展示的图形化标记(包括激活时展示 的工步序号(图4中14)、螺钉指示箭头(图4中15)、螺钉虚拟模型(图4 中16)；以及执行时展示的工步序号(图4中17)、螺钉指示箭头(图4中18)、 力矩扳手操作方向指示箭头(图4中19)，以及准备以纯文本或图例方式展示 的工艺说明(包括紧固件配套信息(图4中20)，拧紧力矩要求(图4中21)。 (2)操作位置，即执行该工步操作时，力矩扳手工作端点在操作坐标系下的 工作范围。例如，图4中，可以设螺钉直径为d，长度为l，则螺钉1紧固的 工作范围可以设定为直径为d，长度为l，底面在舱板上表面，底面中心坐标 为{α₀,β₀,0}的圆柱；(3)执行判定函数，以图4中1号螺钉为例，设定力矩 扳手传回的力矩数值为8Nm±0.2Nm时，判断紧固件安装工步执行成功。(4) 与其他工步的串并行关系，设定4个紧固件安装工序为并列关系，当它们都执 行完毕后工艺流程结束。(5)设定不允许工步执行失败后跳过该工步进行后续 操作，即只要有一组紧固件安装失败，则整个设备安装工作就无法完成。

步骤五：启动作业程序。用户将平板计算机架设在便于观看的位置，且其 内置增强现实系统能够捕捉到所有工作对象画面。启动作业程序，将4个紧固 件安装工步均设定为非激活状态。

步骤六：定位操作坐标系。平板计算机捕捉到舱板(图4中1)上的二维码 (图4中6)，确认操作坐标系与世界坐标系的重叠关系。

步骤七：设定待操作工步为激活状态。由于4个工步为并行关系，作业程 序按工艺流程将4个工步均设置为激活状态。

步骤八：展示激活工步图形化标记。平板计算机基于操作坐标系，以虚实 融合方式显示4个激活状态工步所含的图形化标记，包括步骤四设定的工步序 号(图4中14)、指示箭头(图4中15)，以及螺钉虚拟模型(图4中16)。图 形化标记即通过透明的显示屏在实际物体上叠加三维图形，包括箭头、圈注等 形式。

步骤九：定位工具坐标系。在用户移动力矩扳手的过程中，平板计算甲 捕捉力矩扳手上的二维码，利用测量到的α₀、β₀、γ₀、δ₀等参数计算工具 坐标系与操作坐标系的相对关系。例如，在图4所示状态时，在操作坐标系中， 工具坐标系原点(图4中11)位置为{α₀,β₀,γ₀}。由图4可得工具坐标系Z 方向(Z_t)与操作坐标系Z方向(Z₀)一致，X方向(X_t)与操作坐标系X方 向(X₀)夹角为90°-δ₀，Y方向(Y_t)与操作坐标系Y方向(Y₀)夹角为 δ₀。

步骤十：计算工具工作端坐标。计算力矩扳手工作端在操作坐标系中的坐 标。例如，在图4所示状态下，力矩扳手的工作端坐标在操作坐标系下为{α 0,β₀,γ₀-γ_t}。对比与当前4个激活工步的操作位置。如果该坐标位于任一激 活工步的操作位置，进入步骤十一，否则重复步骤九。例如，在图4所示状态 下，如果{α₀,β₀,γ₀-γ_t}位于步骤四所设定的螺钉1操作位置内，则进入步骤 十一执行螺钉1操作对应的工步，否则重复步骤九。

步骤十一：设定工步为执行状态。

步骤十二：显示工艺说明。平板计算机增加显示该工步紧固件配套信息(图 4中20)、拧紧力矩要求(图4中21)，切换显示工步执行状态下需要显示的图 形化标记，例如工步序号(图4中17)、螺钉指示箭头(图4中18)、力矩扳 手操作方向指示箭头(图4中19)。

步骤十三：用户操作。用户按照工艺说明和图形化标记，利用力矩扳手对 螺钉进行紧固。

步骤十四：工具发送操作数据。完成紧固后，用户按下力矩扳手的发送数 据按钮，将操作结果发送至平板计算机。

步骤十五：判读执行效果。平板计算机根据执行工步的判定函数判断工步 执行是否成功，即实际拧紧扭矩是否处于8Nm±0.2Nm范围，若处于该范围之 内，符合要求，进入步骤十六；若处于该范围之外，不符合要求，进入步骤十 九。

步骤十六：设定工步为完成状态。

步骤十七：判断所有操作是否完成。若全部4个工步均完成，进入步骤廿 二，否则进入步骤八。

步骤十八：设定工步为失败状态。

步骤十九：提示操作失败。平板计算机显示接收到的力矩数值(图4中22)， 提示“操作未完成！”(如图4中23)。

步骤二十：判断是否重新操作。用户确定失败状态工步是否重新执行，若 允许，进入步骤七。若不允许，进入步骤廿一。

步骤廿一：判断是否允许跳过操作。本案例不允许跳过，进入步骤廿二。

步骤廿二：平板计算机显示各工步完成情况统计数据，结束作业程序。

实施方式二电阻值的测量

本实施方式以舱板上设备接地电阻值测量为例(参见图5a与5b所示)，说 明本发明的基于虚实融合的手持工具作业导引方法，该方法步骤流程框图如图 1所示，具体步骤如下：

步骤一：设置操作坐标系标识物。舱板(图5a中1)上设置唯一的二维码 标识(图5a中58)，将其作为操作坐标系标识物，该二维码经立体摄像机识别 后，设定操作坐标系(图5a中59)的维度方向与世界坐标系一致，原点(图 5a中510)位置与世界坐标系位置重合，单位长度与世界坐标系一致。

步骤二：设置工具坐标系标识物。确定在两支电笔(图5a中53，54)上设 置空间排布特征唯一的标识小球，将每只笔上的一组作为该笔的工具坐标系标 识物(图5a中55，56)，该标识物经立体摄像机识别后，用于在操作坐标系中 指示工具坐标系所含的维度方向、原点位置，单位长度与操作坐标系一致。在 工具坐标系中指定电笔的工作端点所在坐标为{0,0,-γ_t}。

步骤三：设定工具数据采集方式。设定电笔的在线采集数据为阻值，计量 单位为Ω。将增强现实眼镜(图5b中516)作为结果判读装置，调试电笔向增 强现实眼镜发送数据的通信链路。确认当用户按下电笔的发送数据按钮时，增 强现实眼镜能够采用无线方式同步得到电笔当前测量到的阻值数值。

步骤四：设定工艺流程。工艺流程包括若干阻值测量工步，即使用一对电 笔分别接触一个设备安装螺钉和舱板上的测点，测量两点间的阻值。本方法所 设定的工步状态包括未激活、激活、执行、完成、失败等共五种状态，各状态 间的转换关系如图3所示。需要为该工步定义：(1)导引内容，包括需要展示 的图形化标记(包括激活时展示的测点编号(图5b中517)、测点指示箭头(图 5b中518)、被测螺钉提示框(图5b中519)；执行时展示的图形化标记除了颜 色之外，与激活时一致)，以及准备以纯文本或图例方式展示的工艺说明(包括操作说明(图5b中520)，合格阻值要求(图5b中521)；(2)操作位置， 即执行该工步操作时，电笔工作端在操作坐标系下的工作范围。例如，在图5a 中，该工步的工作范围包括螺钉附近与舱板指定点附近。螺钉附近的操作位置 可以定义为直径为d₁，长度为l，底面在舱板上表面，底面中心坐标为{α₁,β ₁,0}的圆柱；舱板指定点操作位置可以设为以该点为中心，半径为d₂，底面在 舱板上表面的半球；(3)执行判定函数，设定阻值测量结果≤10mΩ时，判定 接地阻值符合要求。(4)设定工步为串行操作，设定工步执行顺序。(5)设定 允许工步执行失败后跳过该工步进行后续操作。

步骤五：启动作业程序。用户佩戴增强现实眼镜，启动作业程序，将所有 工步设定为非激活状态。

步骤六：定位操作坐标系。增强现实眼镜捕捉到舱板(图5a中1)上的二 维码(图5a中58)，确认操作坐标系与世界坐标系的重叠关系。

步骤七：设定待操作工步为激活状态。作业程序按工艺流程设置即将执行 的第一个工步为激活状态。

步骤八：展示激活工步图形化标记。增强现实眼镜基于操作坐标系，以虚 实融合方式显示激活状态工步所含的可视化标记，包括测点编号(图5b中17)、 测点指示箭头(图5b中518)，以及被测螺钉提示框(图5b中519)。

步骤九：定位工具坐标系。在用户移动手持工具的过程中，增强现实眼镜 捕捉电笔上的工具坐标系标识物，利用测量到的α₀、β₀、γ₀、δ₀、θ₀等参 数计算工具坐标系与操作坐标系的相对关系。例如，在图5a所示状态时，可 计算在操作坐标系中，工具坐标系原点(图5a中514)位置为{α₀,β₀,γ₀}； 坐标系Z方向(Z_t)与操作坐标系X方向(X₀)夹角为-θ₀，与操作坐标系平 面X₀×Y₀的夹角为δ₀。

步骤十：计算工具工作端坐标。计算两支电笔工作端在操作坐标系中的坐 标，例如，在图5a所示状态下，计算电表1的工作端在操作坐标系下的坐标 为{α₀-γ_t×cosθ₀×cosδ₀,β₀+γ_t×cosθ₀×sinδ₀,γ₀-γ_t×sinθ₀}，判断对比 该坐标是否位于螺钉附近操作位置。当电表1和电表2均进入操作位置时，进 入步骤十一，否则重复步骤九。

步骤十一：设定工步为执行状态。

步骤十二：显示工艺说明。增强现实眼镜增加显示操作说明(图5b中520) 和合格阻值要求(图5b中521)，切换图形化标记的颜色。

步骤十三：用户操作。用户按照工艺说明和图形化标记，利用电笔进行接 地阻值测量。

步骤十四：工具发送操作数据。测量结束后，用户按下电笔的发送数据按 钮，将操作结果发送至增强现实眼镜。

步骤十五：判读执行效果。增强现实眼镜根据工步判定函数判断工步执行 是否成功，即测量到的阻值是否处于≤10mΩ范围，若处于该范围之内，符合 要求，进入步骤十六；若处于该范围之外，不符合要求，进入步骤十九。

步骤十六：设定工步为完成状态。

步骤十七：判断所有操作是否完成。若全部完成，进入步骤廿二，否则进 入步骤八。

步骤十八：设定工步为失败状态。

步骤十九：提示操作失败。增强现实眼镜现实测到的阻值(图5b中522)， 提示“阻值超标！”(如图5b中523)。

步骤二十：判断是否重新操作。用户确定失败状态工步是否重新执行，若 允许，进入步骤七。若不允许，进入步骤廿一。

步骤廿一：判断是否允许跳过操作。本案例所有工步均允许跳过执行，进 入步骤十七。

步骤廿二：结束作业程序。

本发明具有显著的优点，与现有技术相比，体现在：

1.相对传统增强现实应用方法，本方法无需规模化设置标识或识别操作对 象特征，即可自动化地准确定位操作对象，不仅省略了工艺实施前的准备实施， 降低了生产成本，还避免了标识脱落等多余物产生的风险。进一步地，本方法 还适用于针对细小物件的操作，拓展了基于增强现实的工艺导引技术的应用范 围。

2.相对于传统比对图纸与三维模型的方法，通过基于虚实融合的工艺对象 标识和工艺信息展示，本方法能够提高用户识别操作对象和查询工艺要求的效 率，并消除操作位置或对象辨识错误造成的质量风险。

3.相比传统模式下操作环节与记录环节相分离的情况，本方法通过结合增 强现实与数据在线采集技术，使结果记录与操作动作能够一一对应，提高了操 作过程记录的准确性。此外，本方法提升了结果记录与操作的连贯性，使用户 能够更自然地穿戴增强现实装置完成全部工作，达到更好的人机融合作业效果。

尽管上文对本发明专利的具体实施方式给予了详细描述和说明，但是应 该指明的是，我们可以依据本发明专利的构想对上述实施方式进行各种等效改 变和修改，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，均应 在本发明专利的保护范围之内。

Claims (5)

1.基于虚实融合的手持工具作业导引方法，包括以下步骤：

步骤一：设置操作坐标系标识物

在操作环境中设置操作坐标系标识物，所述标识物经立体摄像机识别后，用于在作业空间中建立一世界坐标系下的局部坐标系，称之为操作坐标系，并指示操作坐标系在世界坐标系下的维度方向、原点位置，以及单位长度；

步骤二：设置工具坐标系标识物

确定在手持工具上设置的工具坐标系标识物，所述标识物经立体摄像机识别后，用于建立一操作坐标的局部坐标系即工具坐标系并指示工具坐标系在操作坐标系下的维度方向、原点位置，以及单位长度中指定工具工作端点所在坐标，工具坐标系的原点与工具的相对位置在操作坐标系下保持不变；

步骤三：设定工具数据采集方式

设定手持工具的在线采集数据格式和内容，调试手持工具向操作结果判读装置发送数据的通信链路；

步骤四：设定工艺流程

将工艺流程拆分成若干工步，每个工步指用手持工具在指定位置完成一次操作；其中，所设定的工步的状态包括未激活、激活、执行、完成、失败共五种状态，每个工步具有：（1）导引内容，包括需要以增强现实方式展示的图形化标记，以及准备以纯文本或图例方式展示的工艺说明；（2）操作位置，即执行该工步操作时，手持工具的工作端在操作坐标系下的工作区域的范围；（3）执行判定函数，判定工步执行是否成功；（4）与其他工步的串并行关系；（5）是否允许工步执行失败后跳过该工步进行后续操作；

步骤五：启动作业程序

在操作环境中携带或佩戴增强现实装置，启动作业程序，将所有工步设定为非激活状态；

步骤六：定位操作坐标系

增强现实装置捕捉操作坐标系标识物，确认操作坐标系与世界坐标系的相对关系；按工艺流程设置即将执行的一个或一批工步为激活状态并基于操作坐标系，以增强现实方式显示激活状态工步所含的图形化标记；

步骤七：定位工具坐标系

在移动手持工具的过程中，增强现实装置捕捉手持工具上的工具坐标系标识物，计算工具坐标系与操作坐标系的相对关系；计算工具工作端在操作坐标系中的坐标，对比工作端坐标与当前激活工步的操作位置，如果工作端坐标位于任一激活工步的操作位置，则设定工步为执行状态，否则重复定位工具坐标系步骤；

步骤八：设定工步为执行状态，此时增强现实装置增加显示处于执行状态的工步的工艺说明，切换显示工步执行状态下需要显示的图形化标记，导引用户按照工艺说明和图形化标记，利用手持工具进行操作。

2.如权利要求1所述的手持工具作业导引方法，其中，所述导引内容包括需安装于某个指定位置的操作目标物体虚拟模型，以及用于指示操作位置的图形化标记。

3.如权利要求2所述的手持工具作业导引方法，其中，图形化标记划分为两组，分别用于激活时展示和执行时展示。

4.如权利要求1所述的手持工具作业导引方法，其中，判定函数以手持工具传回的执行结果数据作为函数参数。

5.如权利要求1所述的手持工具作业导引方法，其中，增强现实装置为头盔或平板。

Images