CN106128229A - 一种基于摄像头的增强现实的焊接培训终端设备 - Google Patents

Abstract

本发明公开的基于摄像头的增强现实的焊接培训终端设备主机、3D视景眼镜、仿真焊枪及仿真焊件，在所述3D视景眼镜上设置有摄像头模组，在所述仿真焊枪上设置有多个仿真焊枪识别码，在所述仿真焊件表面设置有多个仿真焊件识别码，通过操作主机面板上的按键以及调节旋钮选择要培训的焊接任务并调节焊接所需的相关参数，通过摄像头模组识别并定位仿真焊枪识别码、仿真焊件识别码来识别不同类型焊枪、焊件并采集3D姿态数据，同时叠加采集的当前图像并对当前图像进行处理显示当前识别的虚拟物体进而得到一副增强现实的图像并在3D视景眼镜里显示。具有体积小、成本低、制作简单、切换焊接姿势方便的特点。

Description

一种基于摄像头的增强现实的焊接培训终端设备

技术领域

本发明属于三维仿真技术领域，主要涉及的是一种基于摄像头的增强现实的焊接培训终端设备。具体是一种通过摄像头识别并定位焊枪焊件同时叠加摄像头采集的真实背景以形成虚实结合相辅相成的画面的焊接操作培训终端设备。

背景技术

焊接是制造业重要的加工工艺。虽然目前各种自动焊与半自动焊发展迅速，但手工焊仍然有着比较广泛的应用，这就需要焊工要有扎实的操作手法和规范的动作。

随着三维仿真技术的迅速发展，各种虚拟培训系统不断出现并展示出广阔的发展空间。虚拟焊接培训系统无论在提高培训效率还是降低培训成本上都有着巨大的优势，同时还可以改善培训环境,减少焊接弧光、烟尘等有害物质对焊工身体健康造成的影响。虚拟焊接培训系统的技术核心是采用虚拟现实技术、计算机图形学、数据采集与处理相结合的方法，将焊接操作者的操作信息经过多渠道识别与合成，并在显示设备上显示出来。随着计算机软硬件的飞速发展，无论从科技进步，还是从节约能源和保护环境来看，虚拟焊接培训系统必将成为焊接技术的教育与培训的重要辅助方式，也将引领焊接培训的发展。

目前焊接培训模拟系统取得了长足的发展，如：

林肯环球股份有限公司研发的多款焊接仿真器，其中VRTEX360功能比较全，支持全位置焊接，可以在虚拟环境里模拟焊接操作过程，并可以将虚拟焊接的全过程显示在显示屏幕上比如焊枪位置姿态、焊缝成型、熔池渐变。由于采用的是比较常用的电磁追踪器，容易受到大块金属的干扰，同时定位精度不够，不能沿着直线行走，物体做原地旋转运动的过程位置发生较大的变化，以至于应用到焊接模拟仿真产品上有很多限制，比如不能将工件做成标准大小（工件越大距离定位器远的地方精度更差）、追踪器附近不能有金属块（增加产品制造难度加大企业生产成本）。

武汉湾流科技股份有限公司也相继推出了多款焊接仿真设备，但都是以光学设备作为基础并配合加速度计、陀螺仪来定位焊枪和头部的相对位置，由于光学定位因固定位置容易受到物体的遮挡，因此在模拟T型焊件、管管焊件、管板焊件时受到的限制很大，同样不能完全模拟平、横、立、仰焊接姿势，光学定位距离越远要想稳定识别物体需要将识别物做大使其和真实焊枪差别过大影响美观，同时采用了多传感器来识别定位焊枪和头部运动势必会增加设计复杂度、增加制造成本。

加拿大蒙特利尔123认证公司研发的123arc焊接训练模拟器（WeldingSimulator）是一台通过计算机处理器，模拟电弧焊接环境及操作过程的教学、科研仪器，通过虚拟仿真技术和头戴显示器使操作者置身于虚拟场景中来对焊接操作者进行培训，通过虚拟仿真技术操作者无法感知真实环境，无法与真实环境交互，同时受制于定位方式导致机器体积大笨重。

中国石油天然气第一建设公司与西安交通大学共同申请的专利“基于单目摄像机的模拟焊接培训虚拟弧长检测系统及方法”（CN201310186497.6），其为了快速检测出模拟焊接时模拟弧长，通过在模拟焊条头部设计互成45°的双光点激光发生装置，使其在模拟试板（平板玻璃）上打出两个光斑，该两个光斑的坐标通过设置于模拟试板底部的单目摄像机进行采集，采集的坐标数据传输给计算机；模拟焊条安装在模拟焊钳上，模拟焊钳中装有双倾角传感器，用于检测模拟焊条横滚角和俯仰角值；模拟焊钳上的双倾角传感器采集的模拟焊条横滚角和俯仰角值实时传送给计算机。计算机结合两个光源的位置、光线夹角、焊条倾角参数计算模拟焊条端部距模拟试板的高度，即虚拟弧长。存在体积大、笨重、占用空间面积大、实现平横立仰焊接位置需要笨重的机械臂的支持等问题。

上述虚拟焊接培训系统都存在体积大、笨重、成本高、切换焊接姿势麻烦、无法实现增强现实，因此在实际应用中有很大的局限性。

发明内容

鉴于上述问题，本发明的任务是提出一种基于摄像头的增强现实的焊接培训终端设备，解决了现有焊接培训终端体积大、笨重、制作成本高、切换焊接姿势繁琐、无法实现增强现实的的弊端。通过摄像头识别并定位焊枪焊件同时叠加摄像头采集的真实背景以形成虚实结合的画面进而得到增强现实显示，具有体积小、成本低、制作简单、切换焊接姿势方便的特点。

本发明实现上述目的采取的技术方案是：

一种基于摄像头的增强现实的焊接培训终端设备，包括主机、3D视景眼镜、仿真焊枪及仿真焊件，在所述3D视景眼镜上设置有摄像头模组，在所述仿真焊枪上设置有多个仿真焊枪识别码，在所述仿真焊件表面设置有多个仿真焊件识别码，通过操作主机面板上的按键以及调节旋钮选择要培训的焊接任务并调节焊接所需的相关参数（操作面板上的调节旋钮或者按键开关与主机主控板相连接并采集开关或者旋钮相应状态）；通过3D视景组件识别固定于仿真焊枪上的焊枪识别码来识别不同类型焊枪并采集3D姿态数据（所述仿真焊枪组件通过操作面板上的增强现实焊枪组件接口连接主控板并采集焊枪开关状态、焊枪是否接入、焊枪种类等状态），并对得到的当前图像进行处理显示当前识别的虚拟物体进而得到一副增强现实的图像并在3D视景眼镜里显示；通过固定于头部的摄像头来检测识别码来识别相应物体并计算相应的3D姿态信息（所述的识别码集有多种标准图形，同样也可以由多个标准图形进行各种组合，在应用中可以根据实际所应用物体的大小采用不同的组合方式，以生成区别与不同物体的唯一组合）。

进一步，在所述的摄像头模组设置有补偿灯。

进一步，所述仿真焊枪识别码设置在仿真焊枪的前端。

进一步，所述仿真焊件识别码设置在仿真焊件表面，即在仿真焊件表面增加一层焊件识别码。

进一步，所述主机部分为移动式箱体结构。

进一步，所述仿真焊枪识别码和仿真焊件识别码均有多种标准图形，多个标准图形可进行各种组合。

本发明解决现有培训终端体积大、笨重、制作成本高、切换焊接姿势繁琐、无法实现增强现实的问题。通过摄像头识别并定位焊枪焊件同时叠加摄像头采集的真实背景以形成虚实结合的画面进而做到增强现实显示，通过增强现实显示操作者头戴显示器仍可以和外界交互比如可以调节设备上的相关旋钮；焊枪焊件识别码只要在摄像头的可视区域内就可以被识别和定位通过将焊件识别码摆放在不同的位置和姿势就可以方便的切换焊接姿势甚至不再需要机械臂。使得整个焊接操作培训更加简单真实，且本设备具有结构简单、占地面积小甚至可以做成桌面式便携设备、价格低的优点，且本设备可以模拟任何焊接姿势而无需任何机械臂辅助，且该设备通过增强现实技术使得整个环境更加真实使操作者也更容易上手进而提升培训效率同时减轻教学负担。

附图说明

为了更清楚的说明本发明实施例或者现有技术中的技术方案，面将对实施例或现有技术描述中所需要的附图做简单地介绍，显而易见地，下图描述中的附图仅仅是不发明的一些实施例，对于本领域或普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1图2为本发明的结构图。

图3为本发明的3D视景组件视图。

图4为本发明增强现实焊枪组件视图。

图5为本发明的增强现实焊件组件视图。

图6为部分识别码集视图。

图中：1—操作面板，11—操作与显示触屏， 12—增强现实焊枪组件接口，13—3D视景组件接口，14—按键以及调节旋钮，15—音量调节旋钮，16—把手， 17—顶盖，20—可移动底座，21—后面板，22—主控板，31—3D视景眼镜，32—补偿灯，33—摄像头模组，41—仿真焊枪，42—焊枪识别码，51—仿真焊件，52—焊件识别码。

具体实施方式

以下结合本发明实施例中的附图对本发明的原理和特征进行描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示：所述主机部分为移动式箱体17结构，由可移动底座20、把手16、后面板21、主控板22、操作面板、操作与显示用触屏11构成，所述后面板21固定于可移动底座20上面的后侧，所述操作面板1固定于可移动底座20的前侧，所述主控板22固定于操作面板1的内侧，主控板22采用的是公知技术不在详细描述。在操作面板1上还设置有操作与显示用触屏11、增强现实焊枪组件接口12、3D视景组件接口13、按键以及调节旋钮14及音量调节旋钮15（调节音箱声音大小），均与主控板22连接。通过所述的操作面板上的按键以及调节旋钮14来调节焊接所需的相关参数，并采集开关或者旋钮相应状态。在所述后面板21设置有电源开关和电源接口。在所述箱体17的顶盖上端设置有把手16。

图3所示为3D视景组件，由3D视景眼镜31、摄像头模组33和补偿灯32组成，所述3D视景眼镜31采用普通3D视景眼镜即可，通过3D视景组件接口13与主控板22连接。所述的摄像头模组33固定于3D视景眼镜上方，并在摄像头模组上方中间位置固定有补偿灯32，当焊接环境比较暗时可以开启光照补偿灯来增加亮度提高识别准确度和识别稳定性，3D视景眼镜主要用于3D显示，通过摄像头得到当前图像并通过OPENCV软件对当前图像进行处理，显示当前识别的虚拟物体进而得到一副增强显示的图像，并在3D视景眼镜里显示。

图4所示为增强现实焊枪组件，由仿真焊枪41和仿真焊枪识别码42组成。仿真焊枪41的结构和形状与真实焊枪尽量保持一致，这样更有真实感和手感。仿真焊枪41通过增强现实焊枪组件接口12与主控板22连接，在仿真焊枪41的前端添加仿真焊枪识别码42，仿真焊枪识别码42为多个可选择的识别码，均设置在仿真焊枪41的前端，是仿真焊枪的唯一标识符用于识别不同的焊枪以及定位仿真焊枪。

图5所示为增强现实焊件，由仿真焊件51和仿真焊件识别码52组成，仿真焊件识别码52为多个可选择的识别码，均设置在仿真焊件51表面，即在仿真焊件表面增加一层焊件识别码。对于不同形状焊件其原理与其类似，仿真焊件大小采用标准大小。

所述的识别码集有多种标准图形，同样也可以由多个标准图形进行各种组合，在应用中可以根据实际所应用物体的大小采用不同的组合方式，以生成区别与不同物体的唯一组合，通过固定于头部的摄像头来检测识别码来识别相应物体并计算相应的3D姿态信息。

使用该仿真焊接培训终端设备的方法如下：

第一步，操作者将3D视景眼镜组件通过3D视景眼镜组件接口13连接到主控板22并打开3D视景眼镜13；

第二步，焊接操作者头戴3D视景眼镜31，通过操作与显示触屏11选择要培训的焊接任务；

第三步，通过操作面板1上的按键以及调节旋钮14调节焊接参数比如电压、电流、气体流量、焊丝直径、极性选择等；

第四步，操作者根据培训焊接任务选择相应的增强现实仿真焊枪41和焊枪识别码42，并通过增强现实焊枪接口12连接到主控板22；

第五步，操作者根据培训焊接任务选择相应的增强现实仿真焊件51和焊件识别码52，并摆放正确的位置和姿势，操作者手拿增强现实焊枪在增强现实焊件上面进行模拟焊接，同时操作者可以在3D视景眼镜里观看融池、焊缝等焊接效果。

Claims (6)

1.一种基于摄像头的增强现实的焊接培训终端设备，包括主机、3D视景眼镜（31）、仿真焊枪（41）及仿真焊件（51），其特征是：在所述3D视景眼镜（31）上设置有摄像头模组（33），在所述仿真焊枪（41）上设置有多个仿真焊枪识别码（42），在所述仿真焊件（51）表面设置有多个仿真焊件识别码（52），通过操作主机面板上的按键以及调节旋钮（14）选择要培训的焊接任务并调节焊接所需的相关参数，通过摄像头模组（33）识别并定位仿真焊枪识别码（42）、仿真焊件识别码（52）来识别不同类型焊枪、焊件并采集3D姿态数据，同时叠加采集的当前图像并对当前图像进行处理显示当前识别的虚拟物体进而得到一副增强现实的图像并在3D视景眼镜里显示。

2.根据权利要求1所述的基于摄像头的增强现实的焊接培训终端设备，其特征是：在所述的摄像头模组（33）设置有补偿灯（32）。

3.根据权利要求1所述的基于摄像头的增强现实的焊接培训终端设备，其特征是：所述仿真焊枪识别码（42）设置在仿真焊枪（41）的前端。

4.根据权利要求1所述的基于摄像头的增强现实的焊接培训终端设备，其特征是：所述仿真焊件识别码（52）设置在仿真焊件（51）表面，即在仿真焊件表面增加一层焊件识别码。

5.根据权利要求1所述的基于摄像头的增强现实的焊接培训终端设备，其特征是：所述主机部分为移动式箱体（17）结构。

6.根据权利要求1所述的基于摄像头的增强现实的焊接培训终端设备，其特征是：所述仿真焊枪识别码（42）和仿真焊件识别码（52）均有多种标准图形，多个标准图形可进行各种组合。