CN103996322A - 一种基于增强现实的焊接操作训练模拟方法及系统 - Google Patents

Abstract

本发明公开了一种基于增强现实的焊接操作训练模拟方法及系统，其中，焊接操作训练模拟方法包括：采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹；将所述AR焊枪的空间运动轨迹显示在显示屏幕上；采用有限差分法建立焊件的温度场和模拟焊缝，并将所述建立的模拟焊缝显示在显示屏幕上；将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中，所述虚拟图像至少包括所述AR焊枪的空间运动轨迹和所述模拟焊缝。

Description

一种基于增强现实的焊接操作训练模拟方法及系统

技术领域

本发明涉及焊接制造技术领域，具体涉及一种基于增强现实的焊接操作训练模拟方法及系统。

背景技术

随着虚拟现实技术的快速发展，经过众多学者和实际应用者的共同努力，焊接培训模拟器取得了长足的发展。

目前，西安交通大学和中油一建在中国石油天然气集团公司的资助下，针对焊工培训开发了一款焊接模拟器，该系统通过手持模拟焊枪对模拟焊板进行虚拟焊接，并通过传感技术、CCD（Charge Coupled Device，电荷耦合器件）摄像机对虚拟焊接过程进行监控，将监控图像传送至计算机，计算机对监控图像进行处理和三维合成，在虚拟环境中模拟焊接过程，并建立相应的评判机制，操作者可以通过焊后评判系统给出的评价来判定自己操作的好坏。

加拿大蒙特利尔123认证公司在20世纪90年代研发了一款用于培训焊工的仿真仪器，可以同时模拟钨极气体保护焊、气体保护金属极弧焊和二氧化碳气体保护焊。焊接模拟器具有一套带有跟踪系统的真实焊枪、一个3D显示器和一个头戴式显示器（HMD），跟踪系统在焊接者的手和头部之间互动，外音喇叭能模拟真实的焊接声音，焊枪、头戴式显示器和3D显示器同时在线交互。

林肯环球股份有限公司也提供了一款焊接仿真器，可以在虚拟环境中模拟焊接操作过程，并可以将虚拟焊接的过程显示在显示装置上，例如将模拟焊缝、熔池等显示在显示装置上，可模拟不同位置的焊件和不同工作状态的焊件的模拟焊接过程。另外，郑州捷安高科股份有限公司也研发了一款虚拟焊接仿真训练系统，运用磁场定位技术对焊枪的运动轨迹进行定位。

采用前两种焊接模拟方法，在进行AR（Augmented Reality，增强现实）焊枪的空间定位时，采用的是双目视觉测量方法，双目视觉测量设备受到视场范围限制，测量范围小，测量距离短，对焊接训练适用性不强。

另外，采用上述林肯环球股份有限公司提出的焊接模拟方法，只是将模拟焊接过程显示在显示装置上，没有将虚拟画面与真实场景相融合，对于焊接操作者而言，焊接过程视觉效果不够理想，动态模拟效果不够真实。

最后，采用郑州捷安高科提供的模拟仿真器，运用磁场定位技术对焊枪的运动轨迹进行定位，容易受到电磁干扰的影响，对模拟焊枪的空间运动轨迹的捕捉不够精确。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于增强现实的焊接操作训练模拟方法及系统。

依据本发明的一个方面，提供了一种基于增强现实的焊接操作训练模拟方法，包括：

采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹；

将所述AR焊枪的空间运动轨迹显示在显示屏幕上；

采用有限差分法建立焊件的温度场和模拟焊缝，并将所述建立的模拟焊缝显示在显示屏幕上；

将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中，所述虚拟图像至少包括所述AR焊枪的空间运动轨迹和所述模拟焊缝。

依据本发明的另一方面，提供了一种基于增强现实的焊接操作训练模拟系统，包括：

轨迹捕捉模块，用于采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹；

轨迹显示模块，用于将所述AR焊枪的空间运动轨迹显示在显示屏幕上建立模块，用于采用有限差分法建立焊件的温度场和模拟焊缝，并将所述建立的模拟焊缝显示在显示屏幕上；

增强现实显示模块，用于将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中，所述虚拟图像至少包括所述AR焊枪的空间运动轨迹和所述模拟焊缝。

本发明提供的一种基于增强现实的焊接操作训练模拟方法及系统，通过单目视觉定位方法捕捉AR焊枪的空间运动轨迹，并将AR焊枪的空间运动轨迹显示在增强现实画面上，用来模拟现实环境中的焊接操作过程，采用有限差分法快速建立焊件的温度场和模拟焊缝，并将建立的的模拟焊缝显示在增强现实画面上，将虚拟画面上的图像传输至增强现实显示器中。通过本发明提供的方法，采用计算机单目视觉法对AR焊枪进行空间定位，相比于现有技术的双目视觉定位方法的位姿测量方法，不受视场范围限制，同时也避免了多传感器全局标定过程复杂等不足；相比现有技术的磁场定位，单目视觉定位方法不受电磁场的影响，对AR焊枪的空间运动轨迹的定位更精确；利用有限差分法快速建立焊件的温度场和模拟焊缝，快速计算在虚拟焊接过程中形成的焊缝的形状，相比其它的方法，在满足精度的同时，能更快速地建立模拟焊缝；另外，将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中，使视觉更加逼真，动态模拟效果更真实，学员的沉浸感更强。

附图说明

图1为本发明实施例一的一种基于增强现实的焊接操作训练模拟方法流程图；

图2为本发明实施例一的一种基于增强现实的焊接操作训练模拟方法中视觉定位系统架构图；

图3为图2的视觉定位系统中的光学传感器的投影成像示意图；

图4为图3中的光学传感器的投影成像后的坐标投影平面剖视图；

图5为本发明实施例一的一种基于增强现实的焊接操作训练模拟方法建立温度场的过程中焊件离散化处理示意图；

图6为本发明实施例一的一种基于增强现实的焊接操作训练模拟方法中建立的模拟焊缝横截面剖视图；

图7为本发明实施例一的一种基于增强现实的焊接操作训练模拟方法形成的熔池底部的形状示意图；

图8为本发明实施例二的一种基于增强现实的焊接操作训练模拟系统示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一、一种基于增强现实的焊接操作训练模拟方法。下面结合图1-图7对本发明提供的方法进行详细说明。

图1中，S101、采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹。

具体的，在现实环境中，焊接操作者手持AR焊枪，对模拟焊件进行焊接操作，此时可以对AR焊枪进行空间定位，以便捕捉到AR焊枪的空间运动轨迹。

本实施例应用的空间定位系统为主动单目视觉定位系统，该系统由安置在AR焊枪外表的发光球、安装在固定支架上摄像机、加速度计、陀螺仪及计算机组成。

计算机视觉模拟生物视觉原理，由图像传感器件和计算机分别代替人的眼睛和大脑，获取并分析世界的二维图像，从而具有认知三维世界的能力。

相比基于磁场的位姿测量方法，计算机视觉不受电磁场的干扰被广泛的研究应用。其中，单目视觉测量由于具有非接触、结构简单、标定步骤少等优点而受到关注。另外，虽然单目视觉测量与双目视觉测量均具有测量物体位姿的功能，但双目视觉测量设备受到视场范围限制，测量范围小，测量距离短。而单目视觉测量系统不受视场范围限制，同时该技术还避免了多传感器全局标定过程复杂等不足，因此在本实施例中采用单目视觉测量方法进行空间定位。

在具体实施时，运用光学传感器（即安置在AR焊枪外表的发光球）和摄像机来确定AR焊枪的三维空间坐标，并利用安装在AR焊枪里面的加速度计和陀螺仪来确定AR焊枪的位姿。具体的，在运用光学传感器和摄像头确定AR焊枪的三维空间坐标时，本实施例采用中心透视投影模型。其中，中心透视投影模型也称为针孔模型，中心透视投影成像关系即所有的成像光线都通过光心，物点、像点和光心三点共线。

参见图2中的视觉定位系统架构图，系统中摄像机捕捉到有发光球（安置在AR焊枪外表）信息的图像，将图像传送至计算机，最后计算机中的图像处理软件对图像进行分析和计算，可以得到发光球的具体三维坐标和姿态，并将发光球的三维坐标和姿态显示在显示画面上。

运用中心透视投影模型的具体工作原理如下：

发光球与摄像机之间的距离不同，发光球在摄像机采集图像中的大小是不同的，进行多次试验，即可建立发光球与摄像机之间的距离和摄像机捕捉到的发光球大小的函数关系。本实施例标定摄像机所捕捉到的发光球平面影像的圆的圆心即为定位系统所需定位的点，然后摄像机将捕捉到的发光球的平面影像发送至计算中，计算机中的图像处理软件对发光球影像进行形态学腐蚀处理，可得到发光球圆形影像外围的边缘线，并根据边缘线所构成的远的大小计算出发光球与摄像机之间的距离和发光球的圆心。

参见图3建立的中心透视投影成像模型，图中OC为摄像机光心，双点画线为光轴，Π′平面为反片位置，Π平面为正片位置。为了表达直观，一般都取正片做研究，O为图像主点，P为物点，p为P的像点，虚线为P点成像的光线。

当AR焊枪在进行虚拟焊接的过程中，安置在其外表面的发光球也在空间范围内进行移动，将发光球的二维平面坐标投影到x轴平面和y轴平面。如图4中所示，图4为建立的发光球的X-Z平面坐标方程，在X-Z平面中，P’为P的像点。其中，OA为摄像机与发光球之间的距离，通过上述的方法可以得知，而OB和BP’可以通过发光球在摄像机中的图像中测量出来，因而可以通过相似比关系得到P点的X坐标。同理，可以建立发光球的Y-Z平面坐标方程，通过同样的方法得到P点的Y坐标，从而可以确定P点在空间的三维坐标。

通过确定发光球在空间移动时的每个位置的空间三维坐标就可以捕捉到发光球的空间运动轨迹，即可捕捉到AR焊枪的空间运动轨迹。

另外，安装在AR焊枪里面的三轴加速度计、三轴陀螺仪以及地磁场传感器，可以用来捕捉发光球的姿态信息（即AR焊枪的姿态信息），从而可以完成对发光球的姿态定位，该方法可以通过现有技术来实现，在此不再重复说明。

S102、将步骤S101捕捉到的AR焊枪的空间运动轨迹显示在显示屏幕上。

具体的，通过步骤S101捕捉到AR焊枪的空间运动轨迹，将捕捉到的AR焊枪的空间运动轨迹显示在显示屏幕上，在显示屏幕上形成焊接动作，实现在虚拟的环境中模拟现实环境中的焊接操作过程。

S103、采用有限差分法建立焊件的温度场和模拟焊缝，并将建立的模拟焊缝显示在显示屏幕上。

具体的，上述步骤将AR焊枪的空间运动轨迹显示在显示屏幕上，实现了在虚拟环境中的模拟焊接过程，该步骤将采用有限差分法建立焊件的三维非稳态温度场，其函数模型为T＝(x,y,z,t)；其中，T为瞬时温度，x,y,z为三维坐标，t为时间。建立了焊件的温度场后，并建立焊件的模拟焊缝，并将该模拟焊缝显示在显示屏幕上。

在焊接的过程中，热量通过电弧传到到焊件上，使焊件各个位置产生温度差。在本实施例建立的温度场模型中，把焊件假设为一个没有内热源且处在内部温度场不随时间而变化的稳态导热状态，通过对连续位置和连续时间的离散化，计算出每个位置点上和时间点上焊件的温度，从而模拟出焊件温度场的变化模型。

当假设焊件处于稳态导热且无内热源时，其导热的微分方程为：

$\frac{{\∂}^{2}T}{\∂x^2}+\frac{{\∂}^{2}T}{\∂y^2}+\frac{{\∂}^{2}T}{\∂z^2}=0---\left(1\right)$

其中，上述公式中T为温度，x,y,z为空间三维坐标轴方向。

图5为运用有限差分离散法将焊件进行网格化处理后的示意图，由公式(1)可推导出焊件的温度沿每个坐标轴方向的变化：

$\frac{{\∂}^{2}T}{{\∂}^{2}x}\≈\frac{T_{i+1,j,k}-2T_{i,j,k}+T_{i-1,j,k}}{\mathrm{\Δ}{x}^2}---\left(2\right)$

$\frac{{\∂}^{2}T}{{\∂}^{2}y}\≈\frac{T_{i+1,j,k}-2T_{i,j,k}+T_{i-1,j,k}}{\mathrm{\Δ}{y}^2}---\left(3\right)$

$\frac{{\∂}^{2}T}{{\∂}^{2}z}\≈\frac{T_{i+1,j,k}-2T_{i,j,k}+T_{i-1,j,k}}{\mathrm{\Δ}{z}^2}---\left(4\right)$

公式(2)、(3)、(4)中的i,j,k分别代表x,y,z方向上的坐标，将上述公式(2)、(3)、(4)代入公式(1)中可得：

$\frac{T_{i+1,j,k}-2T_{i,j,k}+T_{i-1,j,k}}{\mathrm{\Δ}{x}^2}+\frac{T_{i+1,j,k}-2T_{i,j,k}+T_{i-1,j,k}}{\mathrm{\Δ}{y}^2}+\frac{T_{i+1,j,k}-2T_{i,j,k}+T_{i-1,j,k}}{\mathrm{\Δ}{z}^2}=0---\left(5\right)$

焊件网格化中网格之间的间隔皆相等，所以有Δx＝Δy＝Δz，由此可以推导出

T_i+1,j,k+T_i-1,j,k+T_i+1,j,k+T_i-1,j,k+T_i+1,j,k+T_i-1,j,k-6T_i,j,k＝0    (6)

由此，公式(5)可变为

$T_{i,j,k}=\frac{T_{i+1,j,k}+T_{i-1,j,k}+T_{i+1,j,k}+T_{i-1,j,k}+T_{i+1,j,k}+T_{i-1,j,k}}{6}---\left(7\right)$

根据焊接过程的真实状态可知，从电弧传导至焊件上的热量远大于焊件由于各种原因导致的热量损失。由此，在本实施例中，忽略掉焊接过程中热量的损失以降低模拟的复杂度，提高仿真系统的实时度。公式(7)为一个联立的线性方程组，可通过Gauss-Seidel（高斯-赛德尔）迭代法对这一方程组进行求解，从而得出焊件上每个位置点的温度。

安置在AR焊枪中的传感器会捕捉AR焊枪在每个时间点上的位置，并通过计算机的处理，将AR焊枪在现实环境中的位置照应到虚拟环境中，AR焊枪对应焊件的焊点也能够被测量出来，即可建立三维温度场，其函数模型为T＝(x,y,z,t)。通过焊件上一个已知节点的温度值，按照以上的方法就可以计算出焊件上所有点的温度值。

通过上述方法计算出焊件上每个节点的温度值，当焊件上某一节点的温度值超过焊件的熔化温度时，该节点处的状态为液态，此时可以计算出熔池的熔深和熔宽。

在实际焊接过程中，焊缝表面只有焊珠是可以被看见的，根据文献可知，熔化在焊件上的焊珠的横截面类似于一个抛物线，设其高度为h，宽度为w，如图6所示。在本实施例的仿真过程中，假设焊珠的横截面外曲线为抛物线，则其形状为一个以Y轴旋转的半球形。

根据焊珠抛物线型的横截面可引出以下公式：

y＝-ax²+h      (8)

可得到变换公式为

$x=\sqrt{\frac{h-y}{a}}---\left(9\right)$

当y=0时，

$x=\sqrt{\frac{h}{a}}=\frac{w}{2}---\left(10\right)$

由此可以得出 $a=\frac{h}{{\left(\frac{w}{2}\right)}^2}=\frac{4h}{w^2}---\left(11\right)$

假设焊丝熔化的体积V_wire为焊丝在Δt时间内滴落到熔池中的体积，由焊丝的直径d_w和喂丝速度f，可得公式：

$V_{\mathrm{wire}}=\frac{\mathrm{\π}{d_{2w}}^2\mathrm{f\Δt}}{4}---\left(12\right)$

另外，可以计算出焊珠的体积，其公式如下：

$V_{\mathrm{weid}}={\∫}_0^h\mathrm{Ady}={\∫}_0^h\mathrm{\π}{x}^2\mathrm{dy}={\∫}_0^h\left(\frac{h-y}{a}\right)\mathrm{dy}=\frac{{\mathrm{\πh}}^2}{a}---\left(13\right)$

假设焊丝熔化的体积V_wire与焊珠的体积V_weid相等，可推导出以下公式：

$h=\frac{{d_w}^2\mathrm{f\Δt}}{w^2}---\left(14\right)$

将公式(14)代入公式(11)中可得：

$a=\frac{{{4d}_w}^2\mathrm{f\Δt}}{w^4}---\left(15\right)$

将公式(14)、(15)代入公式(8)中，可得：

$y=-\left(\frac{4{d_w}^2\mathrm{f\Δt}}{w^4}\right)x^2+\frac{{d_w}^2\mathrm{f\Δt}}{w^2}---\left(16\right)$

由有限差分法可以得到焊件上熔池的焊宽w，根据公式(16)计算出焊珠横截面外曲线的形状，即计算出焊缝的形状。而根据经验熔池底部的形状类似于图7中所示，其中，曲线A和B的形状分别为：

y²＝a(x+b)      (17)

y＝cx²-d      (18)

通过有限差分法可快速地模拟出焊接过程中焊件温度场的分布，当焊件上某一节点的温度超过焊件的熔化温度时，可以快速地模拟出焊件的焊缝，并将模拟的焊缝显示在虚拟画面上。

S104、将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中。

具体的，增强现实（Augmented Reality，简称AR），是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实，是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。增强现实提供了在一般情况下，不同于人类可以感知的信息，它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形都重合成在一起，便可以看到真实的世界，视觉更加逼真，动态效果更真实。

具体实现时，本实施例通过上述步骤将AR焊枪的空间运动轨迹以及模拟的焊缝等显示在显示屏幕上，并且将这些虚拟图像显示于具有视觉立体显示功能的增强显示器中，本实施例中的增强现实显示器为AR头盔（虚拟现实头盔）的双目显示器（即AR头盔上的光学透视眼镜）。AR头盔佩戴在焊接操作者的头部，AR头盔内部装置有一副光学透视眼镜，能够将虚拟画面与学员透视所观察到的真实场景相融合，产生非常逼真的效果。光学透视眼镜外部延伸至AR头盔面罩处装置有一个摄像机，这个摄像机主要用于拍摄焊接操作者佩戴头盔进行焊接学习时所看到的外部真实场景。摄像机将拍摄到的外部场景视频发送至计算机中进行画面处理，计算机将AR焊枪进行焊接操作时产生的特有画面（如火花、电弧、熔池、焊缝等）安置于学员可观察到的真实场景之中合适位置。比如，火花跟随于正在进行焊接操作的焊枪枪口，熔池在焊枪枪口所对应的焊接件表面处。计算机自动识别这些特有的虚拟画面在真实场景的位置，并将这些虚拟图像显示在光学透视眼镜中，焊接操作者可以通过光学透视眼镜可观察具有增强显示效果的焊接场景，视觉画面非常逼真。

需要说明的是，需要对AR头盔的空间三维坐标进行定位，以便在通过头盔观看画面时调整视角观看到全景画面，以看到更逼真的画面。其中，对AR头盔的空间三维坐标的定位与对AR焊枪的空间三维坐标定位使用同样的方法，在此不再重复说明。

另外，在虚拟焊接的整个过程中，还设置有音效仿真系统，采用环绕立体声的音响设备，配合焊接过程中所产生的声音的同时，还可以仿真现场工作的各种声音，使焊接学员的沉浸性更强。除此之外，还设置有焊后评价系统，建立了相应的评判机制，焊接学员可以通过焊后评价系统给出的评价得知自己焊接操作的好坏。

实施例二、一种基于增强现实的焊接操作训练模拟系统。下面结合图8对本发明提供的系统进行详细说明。

图8中，本发明提供的系统包括轨迹捕捉模块801、轨迹显示模块802、建立模块803、增强现实显示模块804和特定画面呈现模块805。

其中，轨迹捕捉模块801主要用于采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹。

具体的，轨迹捕捉模块801采用光学传感器和摄像机确定AR焊枪的空间三维坐标，运用陀螺仪确定AR焊枪的姿态，从而捕捉到AR焊枪的空间运动轨迹。

轨迹显示模块802主要用于将轨迹捕捉模块801捕捉的AR焊枪的空间运动轨迹显示在显示屏幕上。

具体的，轨迹显示模块802将AR焊枪的空间运动轨迹显示在显示屏幕上用来在虚拟环境中模拟现实环境中的焊接操作过程。

建立模块803主要用于采用有限差分法建立焊件的温度场和模拟焊缝，并将建立的模拟焊缝显示在显示屏幕上。

具体的，上述轨迹显示模块802将AR焊枪的空间运动轨迹显示在显示屏幕上，实现了在虚拟环境中的模拟焊接过程，该建立模块803将采用有限差分法建立焊件的三维非稳态温度场，其函数模型为T＝(x,y,z,t)；其中，T为瞬时温度，x,y,z为三维坐标，t为时间。

建立了焊件的温度场之后，就可以计算出焊件上每个位置点的瞬时温度，当焊件上某一节点的温度超过焊件的熔化温度，该节点处的状态为液态，此时可以计算出熔池的熔深和熔宽，从而建立模块803可以建立模拟焊缝，并将建立的模拟焊缝显示在显示屏幕上。

其中，根据文献，焊件上的焊缝的形状为抛物线形状，能通过如下预设的计算模型计算得到：

$y=-\left(\frac{4{d_w}^2\mathrm{f\Δt}}{w^4}\right)x^2+\frac{{d_w}^2\mathrm{f\Δt}}{w^2};$

其中，x,y为平面二维坐标,d_w为焊丝的直径，f为喂丝速度，Δt为时间段，w为熔池的焊宽。

增强现实显示模块804主要用于将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中，其中虚拟图像至少包括轨迹捕捉模块801捕捉的AR焊枪的空间运动轨迹和建立模块803建立的模拟焊缝。

具体的，将AR焊枪的空间运动轨迹以及建立的模拟的焊缝等显示在显示屏幕上后，该增强现实显示模块804将这些虚拟图像显示于具有视觉立体显示功能的AR头盔（虚拟现实头盔）的双目显示器上。AR头盔佩戴在焊接操作者的头部，AR头盔内部装置有一副光学透视眼镜，能够将虚拟图像在真实视景中进行立体显示，产生非常逼真的效果。

特定画面呈现模块805主要用于当设置在增强现实显示器外延处的摄像机将拍摄的焊接操作者在视野范围内的真实场景视频发送至计算机进行画面处理时，并将焊接操作者进行焊接操作时产生的特有画面呈现于增强现实显示器的光学透视眼镜中。

具体的，光学透视眼镜外部延伸至AR头盔面罩处装置有一个摄像机，这个摄像机主要用于拍摄焊接操作者佩戴头盔进行焊接学习时所看到的外部真实场景。摄像机将拍摄到的外部场景视频发送至计算机中进行画面处理，设置于计算机中的特定画面呈现模块805将虚拟焊枪进行焊接操作时产生的特有画面（如火花、电弧、熔池、焊缝等）呈现于真实视野的合适位置。比如，火花跟随于正在进行焊接操作的焊枪枪口，熔池在焊枪枪口所对应的焊接件表面处。计算机自动识别这些特有的虚拟画面在真实场景的位置，并将这些虚拟图像显示在光学透视眼镜中，焊接操作者可以通过光学透视眼镜可观察具有增强显示效果的焊接场景，视觉画面非常逼真。

需要说明的是，需要对AR头盔的空间三维坐标进行定位，以便在通过头盔观看画面时调整视角观看到全景画面，以看到更逼真的画面。其中，对AR头盔的空间三维坐标的定位与对AR焊枪的空间三维坐标定位使用同样的方法，在此不再重复说明。

另外，在虚拟焊接的整个过程中，还设置有音效仿真系统，采用环绕立体声的音响设备，配合焊接过程中所产生的声音的同时，还可以仿真现场工作的各种声音，使焊接学员的沉浸性更强。除此之外，还设置有焊后评价系统，建立了相应的评判机制，焊接学员可以通过焊后评价系统给出的评价得知自己焊接操作的好坏。

本发明提供的一种基于增强现实的焊接操作训练模拟方法及系统，通过捕捉AR焊枪的空间运动轨迹，并将捕捉的焊枪的空间运动轨迹显示在虚拟画面上，在虚拟环境模拟现实环境的焊接操作过程，并采用有限差分法建立焊件的三维温度场和模拟焊缝，并将建立的模拟焊缝显示在虚拟画面上，最后将虚拟画面上的图像模型传输至具有视觉立体显示功能的虚拟现实头盔的双目显示器中，并在虚拟画面上安置焊接操作过程中产生的特定画面。本发明提供的方法，采用单目视觉定位方法来捕捉AR焊枪的空间运动轨迹，相比采用基于磁场的位姿测量方法，计算机视觉法不受电磁场的干扰，而相比采用双目视觉测量，单目视觉测量不受视场范围的限制，同时也避免了多传感器全局标定过程复杂等不足；在采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹的过程中，运用主动式光学传感器和摄像头确定焊枪和人体头部的空间三维坐标，并运用陀螺仪来确定两者的姿态，建立起一种快速、灵敏的三维动作捕捉系统；在建立温度场和模拟焊缝的过程中，在满足焊接训练虚拟现实系统实时交互和一定精度的前提下，运用有限差分法建立一种快速焊缝成形模拟方法，能够快速地建立模拟焊缝；将虚拟图像显示于具有视觉立体显示功能的虚拟现实头盔的双目显示器中，计算机将焊接过程中产生的特定画面安置在显示屏幕的合适位置，采用最先进的增强现实视觉仿真技术，其仿真画面可与现实场景相结合，使视觉画面更加逼真，学员沉浸感更强。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于增强现实的焊接操作训练模拟方法，其特征在于，包括： 

步骤S101、采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹； 

步骤S102、将所述AR焊枪的空间运动轨迹显示在显示屏幕上； 

步骤S103、采用有限差分法建立焊件的温度场和模拟焊缝，并将所述建立的模拟焊缝显示在显示屏幕上； 

步骤S104、将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中，所述虚拟图像至少包括所述AR焊枪的空间运动轨迹和所述模拟焊缝。 

2.如权利要求1所述的焊接操作训练模拟方法，其特征在于，所述步骤S101包括： 

运用光学传感器和摄像机确定AR焊枪的空间三维坐标，运用陀螺仪确定所述焊枪的姿态，从而捕捉到模拟焊枪的空间运动轨迹。 

3.如权利要求1所述的焊接操作训练模拟方法，其特征在于，所述采用有限差分法建立焊件的温度场包括： 

采用有限差分法建立焊件的三维温度场，其函数模型为T＝(x,y,z,t)； 

其中，T为温度，x,y,z为空间三维坐标，t为时间。 

4.如权利要求1所述的焊接操作训练模拟方法，其特征在于，模拟焊缝为抛物线形状，能通过预设的计算模型计算得到，其中，预设的计算模型如下： 

其中，x,y为平面二维坐标,d_w为焊丝的直径，f为喂丝速度，Δt为时间段，w为熔池的熔宽。 

5.如权利要求1所述的焊接操作训练模拟方法，其特征在于，在步骤S104之后还包括： 

设置在增强现实显示器外延处的摄像机将拍摄的焊接操作者观看视野范围内的真实场景视频发送至计算机进行画面处理，并将焊接操作者进行焊接操作时产生的特有画面呈现于增强现实显示器的光学透视眼镜中。 

6.一种基于增强现实的焊接操作训练模拟系统，其特征在于，包括： 

轨迹捕捉模块，用于采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹； 

轨迹显示模块，用于将所述AR焊枪的空间运动轨迹显示在显示屏幕上建立模块，用于采用有限差分法建立焊件的温度场和模拟焊缝，并将所述建立的模拟焊缝显示在显示屏幕上； 

增强现实显示模块，用于将虚拟图像显示于具有视觉立体显示功能的增强现实显示器中，所述虚拟图像至少包括所述AR焊枪的空间运动轨迹和所述模拟焊缝。 

7.如权利要求6所述的焊接操作训练模拟系统，其特征在于，所述轨迹捕捉模块用于采用单目视觉定位方法捕捉AR焊枪的空间运动轨迹具体包括： 

运用光学传感器和摄像机确定AR焊枪的空间三维坐标，运用陀螺仪确定所述焊枪的姿态，从而捕捉到AR焊枪的空间运动轨迹。 

8.如权利要求6所述的焊接操作训练模拟系统，其特征在于，所述建立模块采用有限差分法建立温度场具体包括： 

采用有限差分法建立焊件的三维温度场，其函数模型为T＝(x,y,z,t)； 

其中，T为温度，x,y,z为空间三维坐标，t为时间。 

9.如权利要求6所述的焊接操作训练模拟系统，其特征在于，模拟焊缝为抛物线形状，能通过预设的计算模型计算得到，其中，预设的计算模型如下： 

其中，x,y为平面二维坐标,d_w为焊丝的直径，f为喂丝速度，Δt为时间段，w为熔池的焊宽。 

10.如权利要求6所述的焊接操作训练模拟系统，其特征在于，还包括： 

特有画面呈现模块，用于当设置在增强现实显示器外延处的摄像机将拍摄的焊接操作者在视野范围内的真实场景视频发送至计算机进行画面处理时，并将焊接操作者进行焊接操作时产生的特有画面呈现于增强现实显示器的光学透视眼镜中。