CN109189213A - 一种基于可移动计算机的产品装配工艺增强现实指导方法 - Google Patents

Abstract

本发明属于产品装配相关技术领域，其公开了一种基于可移动计算机的产品装配工艺增强现实指导方法，该方法包括以下步骤：(1)提供可移动的计算机及装配工艺增强指导系统，并将两者进行通讯连接；(2)将待装配工件的装配工艺文件输入到该装配工艺增强指导系统，并控制该计算机内置的摄像头拍摄工件装配的实时视频图像，同时将拍摄到的该实时视频图像传输给该装配工艺增强指导系统；(3)该装配工艺增强指导系统以摄像头坐标系为基准坐标系将工件几何模型投影到视频图像，并使工件几何模型在视频图像中的投影与相应的真实物体影像重合，以完成摄像头与实时空间场景的标定注册。本发明易于实施，灵活性较好，缩短了时间及出错率。

Description

一种基于可移动计算机的产品装配工艺增强现实指导方法

技术领域

本发明属于产品装备相关技术领域，更具体地，涉及一种基于可移动计算机的产品装备工艺增强现实指导方法。

背景技术

装配是指将零件参考工艺流程组成起来从而成为最终产品，是生产过程的一道重要工序。传统装配工艺中，装配人员为学习和熟悉具体装配流水线，需要消耗大量时间来阅读装配手册或者文本，其在整个装配过程中所花费的时间成本是巨大的，且时常出现因学习效率不高，导致装配出错或者装配质量达不到技术要求等问题。因此对产品生产商以及市场而言，对装配人员学习装配工艺及装配过程的学习方法进行改进和优化，提高装配质量，降低装配出错率，是增强制造业竞争力的重要环节。传统的装配规划方式大部分都采用人工形式进行，有两个主要问题较为突出：第一，学习过程时间较长；第二，装配出错率高。相应地，虚拟装配技术应运而生，能实现虚拟装配技术的计算机通过对产品装配过程和结果进行分析与仿真，可以帮助装配人员迅速正确地作出与产品装配相关的工程决策。虚拟装配技术相较于传统规划方式，在技术投入成本处于允许范畴内的情况下，能够有效缩短装配人员的装配学习时间，提高装配质量，降低装配出错率。装配工艺增强是指通过具体设备将虚拟信息与实际装配场景进行叠加融合，通过装配工艺增强不仅能对虚拟装配环境进行构建，并且可以使操作人员产生更加真实的感受，从而让操作人员即使是第一次接触装配件，也能通过装配工艺增强获得清晰明确的装配指导，有效缩短操作人员的装配学习过程。

随着时代进步，智能移动终端的运算能力得到大幅度提升，同时伴随着传感器以及摄像头设备的引入，其直接在计算机等移动端上完成增强现实技术的用户现实及数据运算成为可能。

目前，本领域相关技术人员已经做了一些研究，如专利CN106340217A公开了一种基于增强现实技术的制造装备智能系统，其系统包括传感器模块、工控机等部分组成，其基本能满足制造装备的操作培训、操作检查、故障诊断等需求，又如专利CN102789514A公开了一种机械设备拆装3D在线诱导系统的诱导方法通过眼镜式增强现实头盔、受不跟踪位置跟踪器、计算机对拆装配图及手部信息的获取和识别，进而完成诱导信息的生成与叠加，由此完成产品3D设计和拆装诱导的过程，然而上述专利仍然存在以下缺陷或者不足：

(1)培训指导前的准备工作较为复杂，需保证各环节相关设备的准确安装与运行正常。

(2)上述系统都需与装配人员身体部位进行搭载，多以头部与手部居多，相关关联部件较多，系统较大，对装配人员自身要求较高。

(3)指导过程复杂且不直观，在实际应用中对于装配人员的操作体验不友好，缺乏一定的普及性和推广性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于可移动计算机的产品装配工艺增强现实指导方法，其基于现有工艺增强的特点，研究及设计了简单易于实施的基于可移动计算机的产品装配工艺增强现实指导方法。所述指导方法结合可移动计算机及装配工艺增强指导系统，通过对实际的产品装配工艺文件解析，所述装配工艺增强指导系统对所述可移动计算机拍摄的实时装配工件视频图像进行工件三维虚拟模型、三维虚拟装配动画、装配要求文字等信息叠加，并显示在可移动计算机的屏幕上，实时实现与实际的装配现场画面和虚拟装配模型的虚实融合过程，以完成在实际装配场景中对虚拟装配工艺过程的重建，使操作人员对装配过程具有更加真实和直观的感受，装配人员能够得到高效的装配工艺过程指导，且有效地缩短操作人员的学习时间，可广泛地适用于各类机械产品、家具、玩具等产品的装配培训和实时装配指导。

为实现上述目的，本发明提供了一种基于可移动计算机的产品装配工艺增强现实指导方法，该方法主要包括以下步骤：

(1)提供可移动的计算机及装配工艺增强指导系统，并将所述计算机与所述装配工艺增强指导系统进行通讯连接；

(2)将待装配工件的装配工艺文件输入到所述装配工艺增强指导系统，并控制所述计算机内置的摄像头拍摄工件装配的实时视频图像，同时将拍摄到的所述实时视频图像传输给所述装配工艺增强指导系统；

(3)所述装配工艺增强指导系统以摄像头坐标系为基准坐标系将工件几何模型投影到视频图像，并使工件几何模型在视频图像中的投影与相应的真实物体影像重合，以完成摄像头与实时空间场景的标定注册。

进一步地，所述装配工艺文件包括三维虚拟模型、三维虚拟动画及装配要求文字。

进一步地，所述摄像头的标定包括以下步骤：

(a)通过标志物完成摄像头的标定，并计算自摄像头坐标系到真实世界坐标系的变换矩阵；

(b)将得到的真实摄像头参数赋值给虚拟摄像头并渲染生成虚拟对象图像，使得虚拟对象图像叠加在真实场景视频图像中的对应位置。

进一步地，将虚拟对象投影叠加到真实场景视频图像中，并计算虚拟对象和真实对象在成像平面的投影区域及深度信息，继而依据所述深度信息叠加生成虚拟融合的装配环境画面，由此实现装配工艺的增强指导过程。

进一步地，采用张正友标定法来实现摄像头与实时场景空间之间的标定包括以下步骤：

(S1)基于针孔成像模型得到空间点与图像点之间的射影关系，进而计算获得空间点与其对应的图像点之间的变换矩阵；

(S2)求解计算得到的变换矩阵与实际的变换矩阵之间相差的常数因子，进而求解得到摄像头的外参数及内参数，并采用极大似然估计法对所述外参数及所述内参数进行非线性优化。

进一步地，空间点与图像点之间存在一个变换矩阵其中，为图像点的齐次坐标；为空间三维点的齐次坐标；s为一任意的非零尺度因子。

进一步地，采用极大似然估计法对所述外参数及所述内参数进行非线性优化时采用的目标函数为：

式中，m_ij为实际的图像坐标；为利用内外参数求解出的计算图像坐标；M_j为图像点匹配的空间三维点的世界坐标；A为摄像机内部参数矩阵；R_i为旋转矩阵。

进一步地，所述计算机是平板电脑，其支持手动触控及Wi-Fi无线连接，且电力续航时间大于等于4小时。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于可移动计算机的产品装配工艺增强现实指导方法主要具有以下有益效果：

1.所述指导方法结合可移动计算机及装配工艺增强指导系统，通过对实际的产品装配工艺文件解析，所述计算机无需外接设备，通过内置摄像头实现实时和实际装配场景的捕捉和显示，从而能满足装配人员移动、灵活便利的装配增强指导要求，结构简单，易于实施。

2.装配人员在装配指导过程中，以可移动计算机为媒介，能够同时看到装配场景中的真实装配工件与该工序步骤中需要装配完成的虚拟装配工件、以及两者之间相互的装配关系，给装配操作人员以更加直观的装配学习感受。

3.所述指导方法使用和操作更加方便，不需要操作人员反复记忆和学习，并且为虚拟和真实图像的叠加提供更直观的信息，有效缩短了装配人员装配学习时间，降低了装配出错率，可广泛应用于针对于各类装配流水线上的装配人员的装配工艺增强指导，适用性较好。

附图说明

图1是本发明较佳实施方式提供的基于可移动计算机的产品装配工艺增强现实指导方法的流程示意图。

图2是图1中的基于可移动计算机的产品装配工艺增强现实指导方法涉及的世界坐标系与摄像头坐标系的关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1及图2，本发明较佳实施方式提供的基于可移动计算机的产品装配工艺增强现实指导方法，该指导方法主要包括以下步骤：

步骤一，提供可移动计算机及装配工艺增强指导系统，并将计算机与所述装配工艺增强指导系统进行通讯连接。本实施方式中，所述计算机为平板电脑，其设置有内置摄像头，屏幕具有不低于640x480的分辨率，支持手动触控，支持Wi-Fi无线连接方式，不低于4小时电力续航时间。

步骤二，将待装配工件的装配工艺文件输入到所述装配工艺增强指导系统，并控制所述计算机内置的摄像头拍摄工件装配的实时视频图像，同时将拍摄到的所述实时视频图像传输给所述装配工艺增强指导系统。具体地，所述装配工艺文件包括三维虚拟模型、三维虚拟动画及装配要求文字。

步骤三，所述装配工艺增强指导系统以摄像头坐标系为基准坐标系将工件几何模型投影到视频图像，并使工作几何模型在视频图像中的投影与相应的真实物体影像重合，以完成摄像头与实时空间场景的标定。

具体地，摄像头的标定主要包括以下步骤：

(1)通过标志物完成摄像头的标定，计算自摄像头坐标系到真实世界坐标系的变换矩阵。

(2)将得到的真实摄像头位姿参数赋值给虚拟摄像头并渲染生成虚拟对象图像，使得虚拟对象图像叠加在真实场景视频图像中的对应位置。

由此，只要确定虚拟对象和真实对象在真实世界坐标系中的坐标位置，即可通过标志物标定方法增强现实装配场景中的虚拟对象和真实对象，将虚拟对象投影叠加到真实场景视频图像中，计算虚拟对象和真实对象在成像平面的投影区域及深度信息，并依据深度信息叠加生成虚拟融合的装配环境画面，进而实现装配工艺的增强指导过程。

本实施方式中，跟踪采用张正友标定法来实现摄像头与实时场景空间的标定，主要包括以下步骤：

(11)基于针孔成像模型得到空间点与图像点之间的射影关系，进而计算获得空间点与其对应的图像点之间的变换矩阵。

具体地，基于针孔成像模型来得到空间点M与图像点m之间的射影关系：

式中，为图像点的齐次坐标；为空间三维点的齐次坐标；s为一任意的非零尺度因子；A为摄像机内部参数矩阵，形式为：

式中，α_x、α_y分别为焦距与像素横纵比的融合；(u₀，v₀)为像主点坐标；γ为衡量u轴与v轴不垂直度的因子。

假设靶标的平面位于世界坐标系的xy平面上，即z_w＝0，有：

式中，r_i为旋转矩阵R的第i列；在不引起混淆的前提下，仍用M表示靶标平面上的点，但此时M＝[x_w y_w]^T，而

由此棋盘靶标平面上的点M与其对应的图像点m之间存在一个变换矩阵

其中，H称为单应矩阵，且有：

类比直接线性变换法中求解M矩阵中令m₃₄＝1，同理令h₃₃＝1也不影响空间点三维坐标和图像坐标之间的数学关系。此时求解出的H矩阵与实际的H矩阵还相差一个常数因子，由展开：

消去s后可得：

令h′＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂]^T，则上述方程可整理成矩阵形式：

记上式为Ph′＝d，当标定点数N≥4时可以求解出h′，当方程个数大于未知量个数时，则为求解超定方程组问题，采用最小二乘法可求得h′＝(P^TP)^-1P^Td。

(12)求解计算得到的变换矩阵与实际的变换矩阵之间相差的常数因子，进而求解得到摄像头的外参数及内参数，并采用极大似然估计法对所述外参数及所述内参数进行非线性优化。

具体地，设前述求解的H与实际的H相差的常数因子为λ，即有下式成立：[h₁ h₂ h₃]＝λA[r₁ r₂ t] (2)

由旋转矩阵的正交性，由可得r₁ ^Tr₂＝0，r₁ ^Tr₁＝r₂ ^Tr₂，将单应矩阵对应的参量代入：

单应矩阵考虑相差的常数因子后有8个自由度，而待定的外参数有3个旋转角和3个平移分量共计6个，所以内参数的约束只能得到2个。相应地，二次曲线的方程可表示为：

ax²+by²+2cxy+2dx+2ey+f＝0。

对应的矩阵形式为：

记作p^TCp＝0，显然，C矩阵是对称矩阵，公式(1)中使用的是点的齐次坐标。对比张氏标定法中的两个内参数约束方程，可以令：

B矩阵的对称性可以类比二次曲线的矩阵方程式(1)得到，那么B矩阵中的元素求解可以引入下面的6维向量：

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T

设H的第i列向量为h_i＝[h_1i h_2i h_3i]^T，那么有下式：h_i ^TBh_j＝v_ij ^Tb。

其中，v_ij ^T＝[h_1ih_1j h_1ih_2j+h_2ih_1j h_2ih_2j h_3ih_1j+h_1ih_3j h_3ih_2j+h_2ih_3j h_3ih_3j]。

内参数的约束方程可以写为：

当拍摄n幅图像时，则会有n个上述方程组，叠加后的方程组可记作Vb＝0，其中V为2n×6的矩阵。理论上，若n≥3，则可求解出b。对于方程Vb＝0的求解，由于V矩阵一般不为方阵且可能为不可逆矩阵，因此可以通过奇异值分解(SVD)，求出V的伪逆矩阵。

当b求解出来后，B矩阵的各个元素值即为已知，利用Cholesky矩阵分解算法求解出A^-1，再对其求逆可得A矩阵。对于正定对称矩阵B，可以唯一地分解为对角元素均大于零的上三角矩阵L与其转置矩阵L^T的乘积，即有：B＝LL^T (4)

其中，公式(3)称为Cholesky分解。

由于公式(3)和(4)可得A^-1＝L。当A求解出来时，外参数和尺度因子λ可以依据式(2)反解，即有：

r₁＝λ^-1A^-1h₁

r₂＝λ^-1A^-1h₂

r₃＝r₁×r₂

t＝λ^-1A^-1h₃

其中，λ＝||A^-1h₁||＝||A^-1h₂||。

上述求解得到的内外参数只是一个粗糙解，可以通过极大似然估计法对所有参数进行非线性优化，以进一步得到高标定精度。其中，建立以下优化目标函数：

式中，m_ij为实际的图像坐标，为利用内外参数求解出的计算图像坐标，M_j为图像点匹配的空间三维点的世界坐标。

因此，根据装配工艺增强过程中拍摄的实时画面，计算出工件三维虚拟模型、三维虚拟装配动画、装配要求文字等信息在视频图像上的实际位置，并且将其叠加在视频中实际装配相应位置上，实现装配工艺的增强效果。

步骤四，所述装配工艺增强指导系统将接受到的实时装配视频图像与所述装配工艺文件内的信息进行叠加并将叠加得到的结果显示在所述计算机的屏幕上，所述屏幕实时显示实际装配现场画面与虚拟装配工艺画面虚实融合得到的装配环境画面，以指导装配人员进行装配操作。

本发明提供的基于可移动计算机的产品装配工艺增强现实指导方法，所述指导方法结合计算机及装配工艺增强指导系统，所述指导系统基于增强现实技术，同时操作方便，实用简单，能够实现与实时装配场景中的真实对象和虚拟对象的虚实融合，实用性较强，结构简单，易于实施。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于，该方法包括以下步骤：

(1)提供可移动的计算机及装配工艺增强指导系统，并将所述计算机与所述装配工艺增强指导系统进行通讯连接；

(2)将待装配工件的装配工艺文件输入到所述装配工艺增强指导系统，并控制所述计算机内置的摄像头拍摄工件装配的实时视频图像，同时将拍摄到的所述实时视频图像传输给所述装配工艺增强指导系统；

(3)所述装配工艺增强指导系统以摄像头坐标系为基准坐标系将工件几何模型投影到视频图像，并使工件几何模型在视频图像中的投影与相应的真实物体影像重合，以完成摄像头与实时空间场景的标定注册。

2.如权利要求1所述的基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于：所述装配工艺文件包括三维虚拟模型、三维虚拟动画及装配要求文字。

3.如权利要求1所述的基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于：所述摄像头的标定包括以下步骤：

(a)通过标志物完成摄像头的标定，并计算自摄像头坐标系到真实世界坐标系的变换矩阵；

(b)将得到的真实摄像头参数赋值给虚拟摄像头并渲染生成虚拟对象图像，使得虚拟对象图像叠加在真实场景视频图像中的对应位置。

4.如权利要求3所述的基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于：将虚拟对象投影叠加到真实场景视频图像中，并计算虚拟对象和真实对象在成像平面的投影区域及深度信息，继而依据所述深度信息叠加生成虚拟融合的装配环境画面，由此实现装配工艺的增强指导过程。

5.如权利要求1所述的基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于：采用张正友标定法来实现摄像头与实时场景空间之间的标定包括以下步骤：

(S1)基于针孔成像模型得到空间点与图像点之间的射影关系，进而计算获得空间点与其对应的图像点之间的变换矩阵；

(S2)求解计算得到的变换矩阵与实际的变换矩阵之间相差的常数因子，进而求解得到摄像头的外参数及内参数，并采用极大似然估计法对所述外参数及所述内参数进行非线性优化。

6.如权利要求5所述的基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于：空间点与图像点之间存在一个变换矩阵H：其中，为图像点的齐次坐标；为空间三维点的齐次坐标；s为一任意的非零尺度因子。

7.如权利要求5所述的基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于：采用极大似然估计法对所述外参数及所述内参数进行非线性优化时采用的目标函数为：

式中，m_ij为实际的图像坐标；为利用内外参数求解出的计算图像坐标；M_j为图像点匹配的空间三维点的世界坐标；A为摄像机内部参数矩阵；R_i为旋转矩阵。

8.如权利要求1-7任一项所述的基于可移动计算机的产品装配工艺增强现实指导方法，其特征在于：所述计算机是平板电脑，其支持手动触控及Wi-Fi无线连接，且电力续航时间大于等于4小时。