CN116921951A - 一种基于三维视觉的焊接机器人的控制方法 - Google Patents

Abstract

本申请涉及基于三维视觉的自动化焊接技术领域，具体公开了一种基于三维视觉的焊接机器人的控制方法，该控制方法包括：用户输入语音指令；无线手柄上的语音识别模块识别到该语音指令后，将该语音指令对应的图像和/或文字信息显示在无线手柄上的显示屏上；用户确认该图像和/或文字信息后，根据该图像和/或文字信息执行相应的操作。通过无线手柄上的语音识别模块对用户输入的语音指令进行识别和确认，就能控制焊接机器人执行相应操作，普通工人也可轻松操控，并不需要配备示教器和电脑，节约了示教器和电脑的硬件成本，还节约了用人成本（不需要学历高的人才也可以操控焊接机器人），同时操作也简单，提高了焊接全自动化的程度。

Description

一种基于三维视觉的焊接机器人的控制方法

技术领域

本申请涉及基于三维视觉的自动化焊接技术领域，具体涉及一种基于三维视觉的焊接机器人的控制方法。

背景技术

在目前基于三维视觉的自动化焊接技术中，虽然利用三维视觉装置可以完成焊接机器人的焊接移动路径生成与确认等操作，替代了示教器的一部分功能，但是现实中仍旧需要编程工程师利用示教器手动编写复杂的程序，才能完成将焊接机器人移动至焊接位置附近等操作，而普通工人难以操控示教器，另外，用户还需要在电脑端进行相关操作，才能控制焊接机器人执行开始焊接等操作，这样存在着焊接操作非常不便、用人成本较高、焊接全自动化程度较低的缺点。

发明内容

针对上述问题，本申请的目的在于提供一种基于三维视觉的焊接机器人的控制方法，以解决现有技术中存在的焊接操作非常不便、用人成本较高及焊接全自动化程度较低的问题。

为了实现上述目的，本申请采用了如下的技术方案：一种基于三维视觉的焊接机器人的控制方法，应用于基于三维视觉的焊接设备，所述焊接设备包括焊接机器人、视觉装置，所述焊接设备还包括无线手柄，所述无线手柄安装有语音识别模块和显示屏，所述控制方法包括：用户输入语音指令；所述无线手柄上的语音识别模块识别到所述语音指令后，将所述语音指令对应的图像和/或文字信息显示在所述无线手柄上的显示屏上；用户确认所述图像和/或文字信息后，根据所述图像和/或文字信息执行相应的操作。

在其中一个实施例中，当识别到所述语音指令后，所述显示屏上还显示确认按钮，用户可通过点击所述确认按钮确认所述图像和/或文字信息。

在其中一个实施例中，当识别到所述语音指令后，用户可通过操作所述无线手柄上的物理按钮确认所述图像和/或文字信息。

本申请的一个实施例的一个技术效果是：通过无线手柄上的语音识别模块对用户输入的语音指令进行识别和确认，就能控制焊接机器人执行相应操作，普通工人也可轻松操控，并不需要配备示教器和电脑，节约了示教器和电脑的硬件成本，还节约了用人成本（不需要学历高的人才或不懂编程的人也可以操控焊接机器人），同时操作也简单，提高了焊接全自动化的程度。

附图说明

图1是一实施例所提供的一种基于三维视觉的焊接设备的结构示意图；

图2是根据图1所示的基于三维视觉的焊接设备中焊接机器人背离待焊接件的结构示意图；

图3是根据图1所示的基于三维视觉的焊接设备中焊接机器人移动至待焊接件附近过程中的结构示意图；

图4是根据图1所示的基于三维视觉的焊接设备中焊接机器人移动至待焊接件附近的结构示意图；

图5是根据图1所示的基于三维视觉的焊接设备中焊接机器人进行焊接的结构示意图；

图6是一实施例所提供的一种基于三维视觉的焊接设备的简单框图；

图7是一实施例所提供的一种基于三维视觉的焊接机器人的控制方法的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

考虑到现有技术中存在的焊接操作非常不便、用人成本较高及焊接全自动化程度较低的问题，本申请提供了一种基于三维视觉的焊接机器人的控制方法，以解决该问题，下面结合附图进行具体说明。参阅图1至图7，一种基于三维视觉的焊接机器人的控制方法，应用于基于三维视觉的焊接设备，该焊接设备包括焊接机器人、视觉装置，该焊接设备还包括无线手柄，该无线手柄上安装有语音识别模块和显示屏，该控制方法包括：用户输入语音指令；无线手柄上的语音识别模块识别到语音指令后，将该语音指令所对应的图像和/或文字信息显示在无线手柄上的显示屏上；用户确认该图像和/或文字信息后，根据该图像和/或文字信息执行相应的操作。如此，通过无线手柄上的语音识别模块对用户输入的语音指令进行识别和确认，就能控制焊接机器人执行相应操作，普通工人也可轻松操控，并不需要配备示教器和电脑，不仅节约了用人成本（不需要学历高的人才或不懂编程的人也可以操控焊接机器人），还节约了示教器和电脑的硬件成本，同时操作也简单，提高了焊接全自动化的程度。

进一步地，由于每个人的说话方式和口音可能会不同，焊接现场环境也可能比较嘈杂，当用户说出某个语音指令时，可能会被识别成另外一个语音指令，如果不对其进行确认就直接执行相应的操作，极有可能会带来误操作，因此有必要设置确认图像和/或文字信息的流程，这样可以避免误操作，提高语音控制的准确性。具体地，当识别到用户语音指令后，无线手柄显示屏上还会显示确认按钮，用户可通过点击确认按钮来确认该图像和/或文字信息，当然，此时还可以显示不确认按钮，当用户发现显示屏上显示的图像和/或文字信息与输入的语音指令不一致或者不对应时，用户可通过点击该不确认按钮取消该条语音指令，然后重新输入新的语音指令。可选地，除了前述的触控方式的按钮外，无线手柄上还有物理按钮，用户还可通过操作无线手柄上的物理按钮确认图像和/或文字信息，当然也可以仅仅设置物理按钮或触控按钮来对图像和/或文字信息进行确认，其中，物理按钮为普通的按键。优选地，图像和/或文字信息包括焊接的相关操作，例如包括焊接过程中的主要操作：开始焊接、开始扫描、焊接机器人的移动、焊枪姿态调整和确认等相关操作，另外，还包括一些流程性的指令，包括：返回、确认、不确认、取消、继续、开始、结束、有效、无效、重复等等；例如当用户说出“开始焊接”后，无线手柄上的语音识别模块对“开始焊接”的语音指令进行识别，如果识别到了该条语音指令，无线手柄上的显示器会显示“开始焊接”的图像和/或文字信息，用户点击确认后，焊接机器人就会开始执行焊接的操作，如果未识别到，则不会显示并且也不会执行相关操作，当用户未进行确认时也不会执行相关操作；再例如，当需要对焊枪的姿态进行调整时，用户可以说出“焊枪顺时针旋转5度”，如果识别到了，无线手柄上的显示器会显示“焊枪顺时针旋转5度”的图像和/或文字信息，用户点击确认后，焊接机器人上的焊枪就会顺时针旋转5度；再例如，当需要将焊接机器人移动至焊接位置附近时，用户可以说出“焊接机器人移动至焊接位置附近”，如果识别到了，无线手柄上的显示器会显示“焊接机器人移动至焊接位置附近”的图像和/或文字信息，用户点击确认后，焊接机器人就会跟随无线手柄同步移动至焊接位置附近（因为无线手柄安装有可以检测三维空间无线手柄位移的位移传感器和可以检测三维空间无线手柄角度的角度传感器，所以无线手柄可控制焊接机器人同步移动）。当对用户语音指令进行识别时，会将用户输入的语音指令与无线手柄语音识别模块中预设的语音指令进行比对，如果在预设的语音指令中匹配到了相对应的指令，则就是识别到了该条语音指令，然后就会在无线手柄显示器上显示相应的图像和/或文字信息，否则便是没有识别到，优选地，当未识别到语音指令时，可以在无线手柄显示器上提示用户不存在该条语音指令，建议用户重新输入新的语音指令，或者是，当未识别到语音指令时，提示和用户输入的语音指令最为接近的语音指令所对应的图像和/或文字信息，然后提醒用户进行确认。

上述基于三维视觉的焊接机器人的控制方法可以应用于市面上全部种类的包括无线手柄在内的基于三维视觉的焊接设备，下面以一实施方式的焊接设备为例进行介绍。参阅图1、图4，一种基于三维视觉的焊接设备包括焊接机器人100、视觉装置200、无线手柄300，焊接机器人100包括焊接机构110，焊接机构110用于直接对待焊接件进行焊接；视觉装置200为3D视觉装置，3D视觉装置用于对待焊接件及其焊接位置进行扫描；无线手柄300安装有可以检测三维空间无线手柄300位移的位移传感器和可以检测三维空间无线手柄300角度的角度传感器，当无线手柄300运动时，位移传感器可以检测到无线手柄300在三维空间的加速度，通过加速度可以计算出无线手柄300的位移和运动速度等信息，角度传感器可以检测到无线手柄300在三维空间的角度信息，根据位移传感器和角度传感器检测到的信息，可以同步控制焊接机器人100移动至待焊接件X及其焊接位置Y附近，以方便视觉装置200完全扫描到待焊接件进而确定焊接位置。本实施例提供的一种基于三维视觉的焊接设备中的无线手柄300可以轻松被普通工人操控，普通工人只需手动移动无线手柄300即可控制焊接机器人100移动至待焊接件X及其焊接位置Y附近，以方便视觉装置200可以完全扫描到待焊接件进而确定焊接位置，操作十分简便。当视觉装置200安装在焊接机器人100上，当焊接机器人100在三维空间内运动时，焊接机构110和视觉装置200也可以在三维空间内运动，具体的，视觉装置200可以固定在焊接机构110上。无线手柄300运动时，焊接机器人100也同步运动，焊接机构110和视觉装置200也同步运动；但是当无线手柄300的运动速度达到第一阈值时，焊接机器人100会自动停止运动或者焊接机器人100不再随无线手柄300同步运动，这样可以避免当无线手柄300不小心掉落或者无线手柄300运动速度过快时，造成焊接机器人100损坏，提高了焊接的安全性。其中，第一阈值可以设定为1厘米/秒-1000厘米/秒左右，例如，当无线手柄300的运动速度达到20厘米/秒时，焊接机器人100会自动停止运动或者焊接机器人100不再随无线手柄300同步运动。

更进一步地，参阅图1、图4和图6，焊接机器人100为轴向运动的多轴机器人或者多条直线运动的直线机器人。当焊接机器人100为轴向运动的多轴机器人时，焊接机器人100与焊接机构110的焊接末端安装固定，并形成焊接机器人100的第一机械臂120，当无线手柄300控制焊接机器人100运动时，第一机械臂120在三维空间中的角度与无线手柄300在三维空间中的角度保持一致或者保持数学关系，其中，数学关系可以是线性比例关系，例如，当无线手柄300在竖直方向上倾斜15度时，第一机械臂120在竖直方向上倾斜15度；数学关系也可以是非线性比例关系。如此，焊接机器人100便可以在三维空间内移动，焊接机构110和视觉装置200也可在三维空间内移动。焊接机构110包括焊枪，焊枪用于直接对待焊接件进行焊接。

在又一实施例中，参阅图1至图6，一种基于三维视觉的焊接设备还包括控制器400。具体地，焊接机器人100配套有控制器400，当然，在其他实施例中，控制器400也可安装在无线手柄300上。无线手柄300与控制器400无线连接，无线手柄300可以通过位移传感器和角度传感器向控制器400传输信息，控制器400可以接收和/或处理无线手柄300传输的信息，包括语音信息，控制器400可以根据无线手柄300传输的信息控制焊接机器人100运动，控制器400也可以根据无线手柄300传输的信息控制视觉装置200对待焊接件进行扫描，当然，视觉装置200可以向控制器400传输信息，控制器400可以根据视觉装置200传输的信息确定待焊接件X的三维立体模型进而确定焊接位置Y的相关信息，焊接位置Y的相关信息包括开始焊接的起始点位置A、焊接的长度以及结束焊接的终点位置B等信息中的一种或多种，优选地，控制器400可以预先建立坐标系，焊接的起始点位置和/或终点位置信息可以为坐标。优选地，无线手柄300向控制器400传输的信息包括运动信息，具体地，这些运动信息至少包括无线手柄300的加速度、角度等信息。在其中一个实施例中，控制器400可以根据这些运动信息同步控制焊接机器人100移动相同的位移，因此普通工人可以通过手动移动无线手柄300控制焊接机器人100同步移动，如图4所示，直到看到视觉装置200可以完全扫描到待焊接件X及其焊接位置Y。

参阅图1至图7，下面对一实施例中的一种基于三维视觉的焊接设备的具体工作原理进行说明：

首先，用户可以在无线手柄上输入“焊接机器人移动至焊接位置附近”的语音指令，然后手动移动无线手柄300，控制焊接机器人100同步移动，如图2和图3所示，在焊接开始前，焊接机器人100并没有在待焊接件X的附近，如图2所示有时会背离待焊接件X，待焊接件X完全不在视觉装置200的扫描范围内，如图3所示也有时会靠近待焊接件X但是视觉装置200无法完全扫描到待焊接件X及其焊接位置Y，这几种情况都是：焊接机器人100并没有在待焊接件X的附近的情况，因此焊接机器人100上的视觉装置200无法完全扫描到待焊接件X及其焊接位置Y，所以需要先移动无线手柄300，控制焊接机器人100同步移动，直到视觉装置200可以移动到待焊接件X附近并且可以扫描到焊接位置Y，控制焊接机器人100同步移动后，可到达图4所示位置，此时视觉装置200可以完全扫描到待焊接件X进而确定焊接位置Y。接下来，用户可以在无线手柄上输入“开始扫描”的语音指令，如图4所示，视觉装置200对焊接件X进行扫描进而确定焊接位置Y的相关信息，之后用户可以在无线手柄上输入“焊接机器人移动至焊接起始点位置”的语音指令，之后就会控制焊接机器人100移动至焊接的起始点位置A，准备开始焊接。最后，如图5所示，用户可以在无线手柄上输入“开始焊接”的语音指令，焊接机构110开始执行焊接操作，当焊接机构110移动到焊接的终点位置B时，焊接结束。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。在本申请所提供的实施例在描述中，固定连接方式可以是一体成型，也可以通过螺栓、螺丝、螺纹等连接的方式，也可以嵌合、卡合等连接方式。还需要说明的是，本申请中提到的描述中，电性连接包括指通过数据线或电缆等能够传输电信号和数字信号的连接线实现的连接，可以的直接采用电线连接；无线连接可以是蓝牙连接，也可以是无线网络例如WiFi，还可以是Zigbee、4G\5G、其他传输协议等等。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.一种基于三维视觉的焊接机器人的控制方法，应用于基于三维视觉的焊接设备，所述焊接设备包括焊接机器人、视觉装置，其特征在于，所述焊接设备还包括无线手柄，所述无线手柄安装有语音识别模块和显示屏，所述控制方法包括：用户输入语音指令；所述无线手柄上的语音识别模块识别到所述语音指令后，将所述语音指令对应的图像和/或文字信息显示在所述无线手柄上的显示屏上；用户确认所述图像和/或文字信息后，根据所述图像和/或文字信息执行相应的操作。

2.根据权利要求1所述的一种基于三维视觉的焊接机器人的控制方法，其特征在于，当识别到所述语音指令后，所述显示屏上还显示确认按钮，用户可通过点击所述确认按钮确认所述图像和/或文字信息。

3.根据权利要求1所述的一种基于三维视觉的焊接机器人的控制方法，其特征在于，当识别到所述语音指令后，用户可通过操作所述无线手柄上的物理按钮确认所述图像和/或文字信息。