CN114589688A - 一种应用于工业机器人的多功能视觉控制方法及装置 - Google Patents

Abstract

本发明涉及智能视觉系统技术领域，具体涉及一种应用于工业机器人的多功能视觉控制方法及装置。该方法及装置通过实时获取监测到的加工环境的加工监测数据；对加工监测数据进行三维距离计算，得到加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标；判断目标距离以及三维坐标是否符合预设的防撞条件；若目标距离或三维坐标符合防撞条件，则输出当前为安全状态的提示；若目标距离以及三维坐标符合防撞条件，则生成防撞控制指令，以辅助控制工业机器人的制动，本发明应用于工业机器人的多功能视觉控制方法及装置能够提高使用工业机器人的安全性。

Description

一种应用于工业机器人的多功能视觉控制方法及装置

技术领域

本发明涉及智能视觉系统技术领域，具体而言，涉及一种应用于工业机器人的多功能视觉控制方法及装置。

背景技术

近年来，随着现有的工业机器人技术水平的不断提高及工业机器人市场的不断扩大，工业机器人在各行各业的生产模式中逐渐占据了主导地位。但是由于科技的进步以及对工艺及效率等要求，现有的依靠繁复编程及示教来完成工业自动化生产的传统机器人难以满足当今智慧生产线智慧工厂的发展趋势。

然而，现在使用的工业机器人的监控设备往往不具备智能化，或者是简单的监控功能，导致在使用的过程受到干扰时，难以实现对工业机器人的及时制动，使用工业机器人的安全性不高，以及对现有的工业机器人控制系统提升较小，设备利用率不高，成本成效转换比低，难以实现规模化，标准化的普及推广。

发明内容

本发明实施例提供了一种应用于工业机器人的多功能视觉控制方法及装置，以至少解决现有的工业机器人监控技术中使用的工业机器人安全性不高的技术问题。

根据本发明的一实施例，提供了一种应用于工业机器人的多功能视觉控制方法，包括以下步骤：

实时获取监测到的加工环境的加工监测数据；

对加工监测数据进行三维距离计算，得到加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标；

判断目标距离以及三维坐标是否符合预设的防撞条件；

若目标距离或三维坐标不符合防撞条件，则输出当前为安全状态的提示；

若目标距离以及三维坐标符合防撞条件，则生成防撞控制指令，以辅助控制工业机器人的制动。

进一步地，该方法还包括：

实时获取监测到的工业机器人工作环境的工作监测数据；

对工作监测数据进行三维图像处理，得到工作监测数据对应的三维加工位置图像，以辅助监测工业机器人的工作状态。

进一步地，该方法还包括：

当接收到工件识别请求时，则获取当前监测到的加工工件的工件加工数据；

对工件加工数据进行图像识别处理，得到工件加工数据对应的包含有工件类型的识别结果。

进一步地，该方法还包括：

当接收到工件精度检测请求时，则获取当前监测到的完成加工的工件的工件数据；

对工件数据进行精度分析处理，得到工件数据对应的精度分析结果；

判断精度分析结果是否满足预设的精度条件；

若精度分析结果满足预设的精度条件，则输出包含有工件精度达标信息的提示；

若精度分析结果不满足预设的精度条件，则按照预设的优化指标对工件进行优化。

根据本发明的另一实施例，提供了一种应用于工业机器人的多功能视觉控制装置，包括：

工业机器人控制器模块、全向视觉探头模块、工件监视检测模块以及视觉控制器模块，工业机器人控制模块、全向视觉探头模块、工件监视检测模块，以及视觉控制器模块之间分别通过工业总线连接；

全向视觉探头模块，用于实时获取监测到的加工环境的加工监测数据；

视觉控制器模块，用于对加工监测数据进行三维距离计算，得到加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标；

视觉控制器模块，用于判断目标距离以及三维坐标是否符合预设的防撞条件；

视觉控制器模块，用于若目标距离或三维坐标不符合防撞条件，则输出当前为安全状态的提示；

视觉控制器模块，用于若目标距离以及三维坐标符合防撞条件，则生成防撞控制指令，以通过工业机器人控制器模块辅助控制工业机器人的制动；

工件监视检测模块，用于监控工业机器人加工工件时的工作监测数据、工件加工数据以及工件数据。

进一步地，全向视觉探头模块包括设置在工业机器人的作业范围四周上方的用于监测工业机器人的工作环境的工业摄像头，以及设置在工业机器人加工方向上的用于扫描工业机器人工作范围的激光扫描仪，工业摄像头以及激光扫描仪分别与视觉控制器模块无线连接，以传输监测到的加工监测数据。

进一步地，工业摄像头于同一水平面设置。

进一步地，激光扫描仪对称布置于工业机器人的两侧，以获取工业机器人工作时的三维坐标参数。

进一步地，工件监视检测模块包括用于获取工业机器人加工工件的二维图像数据的二维传感器，以及用于获取工业机器人加工工件的三维坐标数据的三维传感器，二维传感器以及三维传感器分别与视觉控制器模块无线连接，以传输监测到的工作监测数据、工件加工数据以及工件数据。

进一步地，二维传感器以及三维传感器分别设置于工业机器人第六轴处。

本发明实施例中的应用于工业机器人的多功能视觉控制方法及装置，通过实时获取监测到的加工环境的加工监测数据，以实时监控工作人员与工业机器人的共享工作空间中的状态，避免使用工业机器人时发生意外；然后，通过对加工监测数据进行三维距离计算，以准确获取加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标，并通过判断目标距离以及三维坐标是否符合预设的防撞条件，当若目标距离或三维坐标符合防撞条件时，则输出当前为安全状态的提示；而当目标距离以及三维坐标符合防撞条件，则生成防撞控制指令，以使后续及时控制工业机器人的制动，避免工作人员与工业机器人之间发生碰撞或损坏，以提高使用工业机器人的安全性，本发明应用于工业机器人的多功能视觉控制方法及装置能够提高使用工业机器人的安全性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明应用于工业机器人的多功能视觉控制方法的流程图；

图2为本发明应用于工业机器人的多功能视觉控制方法的工业机器人远程监控的流程图；

图3为本发明应用于工业机器人的多功能视觉控制方法的工业机器人抓取工件识别的流程图；

图4为本发明应用于工业机器人的多功能视觉控制方法的工业机器人工件精度检测的流程图；

图5为本发明应用于工业机器人的多功能视觉控制装置的示意图；

图6为本发明应用于工业机器人的多功能视觉控制装置的全向视觉探头模块的示意图；

图7为本发明应用于工业机器人的多功能视觉控制装置的模块关系示意图；

附图标记：1、工业机器人本体；2、工业机器人控制模块；3、全向视觉探头模块；4、工件监视检测模块；5、视觉控制器模块；6、工业摄像头；7、激光扫描仪；8、上位机。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明一实施例，提供了一种应用于工业机器人的多功能视觉控制方法，参见图1，包括以下步骤：

S1：实时获取监测到的加工环境的加工监测数据。

在本实施例中，为了防止工作人员误入工业机器人的加工环境中发生意外，或者避免因工作人员在工业机器人的加工环境中距离太近，而可能发生碰撞，本实施例通过对工业机器人的加工环境进行实时监测。

其中，加工监测数据实时通过对工业机器人的加工环境进行实时监测后而获取到的二维图像数据，以及三维坐标数据，以供后续根据该二维图像数据以及三维坐标数据进行分析处理，从而辅助工业机器人的制动。

具体地，实时获取监测到的加工环境的加工监测数据，本实施例通过摄像机或扫描仪等监控设备对加工环境中的加工工件的工业机器人，以及移动目标如工作人员、可移动运输设备等进行实时监测，获取工业机器人以及每个移动目标的实时的二维图像数据以及三维坐标数据等，即加工监测数据，以供后续根据该二维图像数据以及三维坐标数据进行分析处理，从而辅助工业机器人的制动，以避免移动目标与工业机器人的加工环境中发生碰撞等意外，保证使用工业机器人的安全性。

S2：对加工监测数据进行三维距离计算，得到加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标。

在本实施例中，对加工监测数据进行三维距离计算，是通过三维深度学习模型或距离公式，如空间距离公式以及欧氏距离公式等，来准确计算出加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标。

其中，监测目标是加工环境中的加工工件的工业机器人，以及移动目标如工作人员、可移动运输设备等。

其中，目标距离是加工环境中的加工工件的工业机器人，以及移动目标如工作人员、可移动运输设备等之间的空间距离。

其中，三维坐标是加工环境中的加工工件的工业机器人，以及移动目标如工作人员、可移动运输设备等在预设的加工环境的空间坐标系中的三维坐标。

具体地，对加工监测数据进行三维距离计算，本实施例通过对加工监测数据中的每个监测目标的二维图像数据以及三维坐标数据，输入训练好的三维深度学习模型中进行每个监测目标之间的空间距离计算，以获取该目标距离，并利用预先设置好的加工环境的空间坐标系对每个监测目标的二维图像数据以及三维坐标数据进行几何关系转换，以获取每个监测目标的三维坐标，以供后续根据该目标距离以及三维坐标进行分析，从而辅助工业机器人的制动，以避免监测目标与工业机器人的加工环境中发生碰撞等意外，保证使用工业机器人的安全性。

S3：判断目标距离以及三维坐标是否符合预设的防撞条件。

在本实施例中，防撞条件是用于衡量目标距离以及三维坐标是否达到能够判断监测目标之间的位置关系是否达到危险关系，具体可以根据实际应用需求进行设置，此处不作具体限制。

具体地，假设防撞条件为目标距离是否小于或等于预设的距离阈值，三维坐标是处于预先设置好的加工环境的空间坐标系中标注的危险坐标区域中，其中，危险坐标区域具体可以是根据实际应用场景进行设置的容易发生碰撞等意外的区域，此处不作具体限制，则判断目标距离以及三维坐标是否符合预设的防撞条件，即将在步骤S2中获取到的防撞条件分别与预设的距离阈值、预设的危险坐标区域进行比较，从而判定目标距离以及三维坐标是否符合预设的防撞条件。

S31：若目标距离或三维坐标不符合防撞条件，则输出当前为安全状态的提示。

根据步骤S3中目标距离以及三维坐标分别与预设的距离阈值、预设的危险坐标区域进行比较的比较结果，当结果为目标距离大于预设的距离阈值，或三维坐标不处于预先设置好的加工环境的空间坐标系中标注的危险坐标区域中，则目标距离或三维坐标不符合预设的防撞条件，即两个条件中任意一个不符合，可以理解为目标距离对应的监测目标之间距离不是危险距离，或者监测目标之间不会发生碰撞，或者三维坐标对应的监测目标不在危险区域中，不会发生意外，则可以将包含有检测目标当前为安全状态的提示信息输出至客户端以供用户进行使用或管理。

S32：若目标距离以及三维坐标符合防撞条件，则生成防撞控制指令，以辅助控制工业机器人的制动。

在本实施例中，防撞控制指令是用于辅助控制工业机器人直接停止当前运作或者另工业机器人在某一方向上缓慢停止或快速停止运作等的相关操作指令。

根据步骤S3中目标距离以及三维坐标分别与预设的距离阈值、预设的危险坐标区域进行比较的比较结果，当结果为目标距离小于或等于预设的距离阈值，以及三维坐标处于预先设置好的加工环境的空间坐标系中标注的危险坐标区域中，则目标距离或三维坐标符合预设的防撞条件，即两个条件均符合，可以理解为目标距离对应的监测目标之间距离是危险距离，以及监测目标之间可能会发生碰撞，以及三维坐标对应的监测目标正处于危险区域中，可能会发生意外，则可以进一步将该目标距离以及三维坐标进行防撞控制分析，具体可以是将该目标距离以及三维坐标与预设的防撞指标进行比对，以生成准确的防撞控制指令，如辅助控制工业机器人直接停止当前运作或者另工业机器人在某一方向上缓慢停止或快速停止运作等的相关操作指令来辅助控制工业机器人的制动，以避免监测目标之间发生碰撞；同时，还可以将包含有监测目标当前为安全状态的提示信息输出至客户端以供用户进行使用或管理。

其中，预设的防撞指标具体可以是目标距离小于等于防撞距离的，工业机器人直接停止当前运作；或者目标距离大于防撞距离，以及三维坐标不处于防撞区域的，工业机器人在非加工方向上缓慢停止等；还可以是其他指标，此处不作具体限制。

本发明实施例中的应用于工业机器人的多功能视觉控制方法，通过实时获取监测到的加工环境的加工监测数据，以实时监控工作人员与工业机器人的共享工作空间中的状态，避免使用工业机器人时发生意外；然后，通过对加工监测数据进行三维距离计算，以准确获取加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标，并通过判断目标距离以及三维坐标是否符合预设的防撞条件，当若目标距离或三维坐标符合防撞条件时，则输出当前为安全状态的提示；而当目标距离以及三维坐标符合防撞条件，则生成防撞控制指令，以使后续及时控制工业机器人的制动，避免工作人员与工业机器人之间发生碰撞或损坏，以提高使用工业机器人的安全性，本发明应用于工业机器人的多功能视觉控制方法能够提高使用工业机器人的安全性；本发明计算复杂度低，简便实用，成本低。

作为优选的技术方案中，参见图2，在步骤S2之前，该方法还包括：

S201：实时获取监测到的工业机器人工作环境的工作监测数据。

在本实施例中，为了实时了解工业机器人的工作状态，避免加工工件的损坏，或工业机器人的损坏，本实施例通过对工业机器人的工作环境进行实时监测。

其中，工作监测数据是通过对工业机器人的工作环境进行实时监测后而获取到的二维图像数据，以及三维点云数据，以供后续根据该二维图像数据以及三维点云数据进行分析处理，从而辅助工业机器人的制动。

其中，三维点云数据是扫描加工工件或工业机器人以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)；其中，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点；强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。

具体地，实时获取监测到的工作环境的工作监测数据，本实施例通过摄像机或扫描仪等监控设备对工作环境中的加工工件或工业机器人进行实时监测，获取工业机器人以及加工工件的实时的二维图像数据以及三维点云数据等，即工作监测数据，以供后续根据该二维图像数据以及三维点云数据进行分析处理，从而辅助工业机器人的制动，以避免加工工件的损坏，或工业机器人的损坏，从而保证使用工业机器人的安全性。

S202：对工作监测数据进行三维图像处理，得到工作监测数据对应的三维加工位置图像，以辅助监测工业机器人的工作状态。

具体地，本实施例对工作监测数据进行三维图像处理具体可以是通过点云数据处理软件，如预先封装好的TopoDOT软件来对工作监测数据中的二维图像数据，以及三维点云数据进行点云与影像数据的准确融合、点云特征提取或者点云自动化分类等图像处理手段，以准确获取工作环境中的加工工件或工业机器人的工作监测数据对应的三维加工位置图像，以供辅助用户及时直观地了解工业机器人的工作状态，以实现对工业机器人的实时远程监控，避免加工工件的损坏，或工业机器人的损坏，从而保证使用工业机器人的安全性，还可以根据实际应用需求采用其他图像处理手段，此处不作具体限制。

需要说明的是，在对工业机器人的实时远程监控的同时，用户还可以根据实际应用需求对工业机器人设置相应的加工操作指令，如按照预设的打磨方式对工件进行打磨，以供工作人员参照工业机器人的加工方式进行工件加工的学习，从而实现远程视觉示教，避免因工作人员近距离学习而导致产生意外，保证对工作人员的安全教学，从而保证使用工业机器人的安全性。

作为优选的技术方案中，参见图3，在步骤S3之前，该方法还包括：

S301：当接收到工件识别请求时，则获取当前监测到的加工工件的工件加工数据。

在本实施例中，工件识别请求是当需要对当前的加工工件进行识别分辨时而发出的请求操作。

其中，工件加工数据是通过对工业机器人的工作环境中正在进行加工的工件进行抓取识别而获取到的当前加工工件的二维图像数据，以及三维点云数据，以供后续根据该加工工件的二维图像数据以及三维点云数据进行分析处理，从而准确识别该加工工件的类型以及准确获取该加工工件的加工状态。

具体地，获取当前监测到的加工工件的工件加工数据，本实施例通过二维或三维的传感设备对工作环境中的加工工件进行及时监测，获取当前抓取到的加工工件的二维图像数据以及三维点云数据等，即工件加工数据，以供后续根据该加工工件的二维图像数据以及三维点云数据进行分析处理，进而准确识别该加工工件的类型以及准确获取该加工工件的加工状态，便于用户进行加工工件的查看以及管理，从而保证使用工业机器人的安全性。

S302：对工件加工数据进行图像识别处理，得到工件加工数据对应的包含有工件类型的识别结果。

具体地，对工件加工数据进行图像识别处理，本实施例通过将获取到的当前加工工件二维图像数据以及三维点云数据，进行图像裁剪、旋转、尺寸截取或数据格式转换等图像处理手段进行处理后；进一步地，本实施例通过将处理好的数据输入训练好的三维深度学习模型中进行加工工件的工件特征提取，并根据提取出的工件特征对该加工工件进行类型分类，以准确获取工件加工数据对应的包含有工件类型的识别结果；同时，还可以采用视觉图像处理软件对处理好的数据进行三维图像重构，以输出高清晰度高精度的该加工工件的三维图像，进而直观反映该加工工件的加工状态，便于用户进行加工工件的查看以及管理，从而保证使用工业机器人的安全性。

作为优选的技术方案中，参见图4，在步骤S32之后，该方法还包括：

S401：当接收到工件精度检测请求时，则获取当前监测到的完成加工的工件的工件数据。

在本实施例中，工件精度检测请求是当需要对当前的以完成加工的工件进行精度检测时而发出的请求操作。

其中，工件数据是通过对工业机器人的工作环境中已经完成加工的工件进行及时监测而获取到的当前完成加工的工件的二维图像数据，以及三维点云数据，以供后续根据该完成加工的工件的二维图像数据以及三维点云数据进行精度检测处理，从而准确检测出该完成加工的工件的精度。

具体地，获取当前监测到的完成加工的工件的工件数据，本实施例通过二维或三维的传感设备对工作环境中的完成加工的工件进行及时监测，获取当前抓取到的完成加工的工件的二维图像数据以及三维点云数据等，即工件数据，以供后续根据该完成加工的工件的二维图像数据以及三维点云数据进行精度检测处理，进而准确检测出该完成加工的工件的精度，并判断该完成加工的工件是否需要进行优化，以保证加工出的工件的质量。

S402：对工件数据进行精度分析处理，得到工件数据对应的精度分析结果。

具体地，对工件数据进行精度分析处理具体可以是采用计算机辅助制造软件(CAM)对获取到的已完成加工的工件的工件数据进行工件的尺寸表面精度的检测，以输出该完成加工的工件的工件数据对应的尺寸表面精度值，尺寸表面精度值包括加工精度以及表面粗糙度，用于保证被加工工件表面形状和尺寸精度的一致性以及互换性，可以理解为表面粗糙度值越大表面精度越差。

S403：判断精度分析结果是否满足预设的精度条件。

在本实施例中，精度条件是用于衡量精度分析结果是否达到能够判断监测已完成加工的工件的表面精度是否达到加工精度，具体可以根据实际应用需求进行设置，此处不作具体限制。

具体地，假设精度条件为精度分析结果中的尺寸表面精度值是否大于预设的精度阈值，则判断精度分析结果是否符合预设的精度条件，即将在步骤S402中获取到的精度分析结果中的尺寸表面精度值与预设的精度阈值进行比较，从而判定精度分析结果是否符合预设的精度条件，其中，精度阈值包括加工精度阈值以及表面粗糙度阈值，而该加工精度阈值通常可以设置为IT9—IT10，表面粗糙度阈值通常可以设置为Ra6.3—Ra3.2；其中，精度阈值具体可以根据实际应用需求进行设置，此处不作具体限制。

S4031：若精度分析结果满足预设的精度条件，则输出包含有工件精度达标信息的提示。

根据步骤S403中精度分析结果中的尺寸表面精度值与预设的精度阈值进行比较的比较结果，当结果为尺寸表面精度值符合预设的精度阈值，可以理解为加工精度大于加工精度阈值，以及表面粗糙度符合表面粗糙度阈值，即两个条件均符合，可以理解为该已完成加工的工件的加工精度达标或良好，以及该已完成加工的工件的表面粗糙度较低或正常，即该已完成加工的工件精度达标或良好，则可以将包含有工件精度达标信息的提示信息输出至客户端以供用户进行使用或管理。

S4032：若精度分析结果不满足预设的精度条件，则按照预设的优化指标对工件进行优化。

在本实施例中，优化指标是用于辅助控制工业机器人对加工工件的表面形状按照预设的形状进行调整，如切割，或者对加工工件按照预设的精度指数进行表面打磨等指标，还可以是其他指标，此处不作具体限制。

根据步骤S3中根据步骤S403中精度分析结果中的尺寸表面精度值与预设的精度阈值进行比较的比较结果，当结果为尺寸表面精度值不符合预设的精度阈值，可以理解为加工精度小于或等于加工精度阈值，以及表面粗糙度超过表面粗糙度阈值，即两个条件中任意条件不符合，可以理解为该已完成加工的工件的加工精度不达标或较差，或者该已完成加工的工件的表面粗糙度较高或很粗糙，即该已完成加工的工件精度不达标或较差，则可以将按照预设的优化指标对工件进行优化，如辅助控制工业机器人对加工工件的表面形状按照预设的形状进行调整，如切割，或者对加工工件按照预设的精度指数进行表面打磨等，以完成对该不达标的加工工件的优化，以保证优化后的工件的质量；同时，还可以将包含有工件精度不达标信息的提示信息输出至客户端以供用户进行使用或管理。

实施例2

根据本发明的另一实施例，提供了一种应用于工业机器人的多功能视觉控制装置，参见图5至图7，包括：

工业机器人控制器模块2、全向视觉探头模块3、工件监视检测模块4以及视觉控制器模块5，工业机器人控制模块2、全向视觉探头模块3、工件监视检测模块4，以及视觉控制器模块5之间分别通过工业总线连接；

全向视觉探头模块3，用于实时获取监测到的加工环境的加工监测数据；

视觉控制器模块5，用于对加工监测数据进行三维距离计算，得到加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标；

视觉控制器模块5，用于判断目标距离以及三维坐标是否符合预设的防撞条件；

视觉控制器模块5，用于若目标距离或三维坐标不符合防撞条件，则输出当前为安全状态的提示；

视觉控制器模块5，用于若目标距离以及三维坐标符合防撞条件，则生成防撞控制指令，以通过工业机器人控制器模块2辅助控制工业机器人的制动；

工件监视检测模块4，用于监控工业机器人加工工件时的工作监测数据、工件加工数据以及工件数据。

本发明实施例中的应用于工业机器人的多功能视觉控制装置，通过全向视觉探头模块3实时对加工环境中的工业机器人本体1以及移动目标进行监测，以实时获取准确反映工作人员与工业机器人本体1的共享工作空间中的状态的加工监测数据，避免使用工业机器人时发生意外；然后，通过视觉控制器模块5对获取到的加工监测数据进行三维距离计算，以准确获取加工监测数据中的每个监测目标之间的目标距离，以及每个监测目标的三维坐标，并通过视觉控制器模块5来判断目标距离以及三维坐标是否符合预设的防撞条件，当若目标距离或三维坐标符合防撞条件时，则视觉控制器模块5输出当前为安全状态的提示；而当目标距离以及三维坐标符合防撞条件，则视觉控制器模块5生成防撞控制指令，以使后续工业机器人控制器模块2能够根据该防撞控制指令及时控制工业机器人本体1的制动，避免工作人员与工业机器人本体1之间发生碰撞或损坏，以提高使用工业机器人的安全性本发明应用于工业机器人的多功能视觉控制装置能够提高使用工业机器人的安全性；本发明计算复杂度低，简便实用，成本低。

其中，工业机器人控制器模块包括用于辅助控制工业机器人本体1制动的RC控制器、用于为工作人员进行教学的示教器。

其中，视觉控制器模块5包括用于对获取到的二维图像数据、三维坐标数据或三维点云数据等数据进行分析处理的视觉控制器。

需要说明的是，本发明实施例中的应用于工业机器人的多功能视觉控制装置，还能够通过工件监视检测模块4，用于监控工业机器人本体1加工工件时的工作监测数据、工件加工数据以及工件数据，进而通过视觉控制器模块对获取到的工作监测数据、工件加工数据以及工件数据进行分析处理，然后，视觉控制器模块5以及工业机器人控制器模块2能够根据分析处理的结果进行相应的控制工业机器人本体1的操作，以提高对本发明实施例中的应用于工业机器人的多功能视觉控制装置中的设备利用率，且成本成效转换比高，从而能够在一定程度上实现规模化，标准化的普及推广。

作为优选的技术方案中，全向视觉探头模块3包括设置在工业机器人的作业范围四周上方的用于监测工业机器人的工作环境的工业摄像头6，以及设置在工业机器人加工方向上的用于扫描工业机器人工作范围的激光扫描仪7，工业摄像头6以及激光扫描仪7分别与视觉控制器模块5无线连接，以传输监测到的加工监测数据。

具体地，参见图6，全向视觉探头模块3由4个工业摄像头及2个激光扫描仪组成。工业摄像头6以及激光扫描仪7用于全面覆盖对工业机器人本体1以及工业机器人的工作范围进行实时监测，以实现应用于工业机器人的多功能视觉控制装置的视觉防碰撞功能。

其中，工业摄像头6及激光扫描仪7均可以通过标准工业通讯接口将所获取的二维图像数据、三维坐标数据或三维点云数据传送到视觉控制器模块5中。

需要说明的是，本发明实施例中的应用于工业机器人的多功能视觉控制装置还包括用于接收监测目标当前是否为安全状态的提示信息、工业机器人的工作状态信息、包含有工件类型的识别结果，以及包含有工件精度是否达标信息的提示信息等及时数据的上位机8，上位机8将这些信息及时反馈给用户，以供用户进行使用或管理。

其中，工业机器人本体1、工业机器人控制模块2、视觉控制器模块5及上位机8之间通过工业以太网进行数据传输，以保证数据的及时性、完整性以及安全性。

作为优选的技术方案中，工业摄像头6于同一水平面设置。

具体地，参见图6，本实施例将工业摄像头6于同一水平面设置，具体可以是通过将4个工业摄像头6布置于工业机器人本体1的工作范围上方的四角位置，并使得4个工业摄像头6的高度始终保持一致，即同一水平面设置，以保证每个工业摄像头6均可以覆盖整个工业机器人本体1的工作范围，并通过互相之间的配合做到实时获取整个工业机器人本体1以及该工业机器人工作范围的二维图像数据，有效回避遮挡问题。

作为优选的技术方案中，激光扫描仪对称布置于工业机器人的两侧，以获取工业机器人工作时的三维坐标参数。

具体地，参见图6，本实施例将激光扫描仪7对称布置于工业机器人的两侧，具体可以是通过将2个激光扫描仪对称布置于工业机器人本体1，并稍微偏向工业机器人本体1的工作范围加工方向，即工业机器人本体1的正方向侧，采取两个激光扫描仪7相配合的方式，获取工业机器人工作时的三维坐标参数，如三维坐标数据或三维点云数据等。

作为优选的技术方案中，工件监视检测模块4包括用于获取工业机器人加工工件的二维图像数据的二维传感器，以及用于获取工业机器人加工工件的三维坐标数据的三维传感器，二维传感器以及三维传感器分别与视觉控制器模块无线连接，以传输监测到的工作监测数据、工件加工数据以及工件数据。

具体地，参见图5，本实施例中采用的二维传感器具体可以是用于获取工业机器人加工工件的二维图像数据的小型工业摄像头；以及采用的三维传感器具体是用于获取工业机器人加工工件的三维坐标数据的小型激光扫描仪。

其中，该工件监视检测模块4由1个二维传感器以及1个三维传感器组成，用于实时获取工业机器人本体1、加工工件以及工业机器人加工工件时的二维图像与三维坐标数据。

进一步地，本实施例通过视觉控制器模块5分别采集全向视觉探头模块3的工业机器人工作范围的360度二维图像与三维坐标数据，以及采集工件监视检测模块4的工业机器人加工位置的二维图像与三维坐标数据；然后，处理出各自的二维图像与三维坐标数据后，将处理结果通过工业以太网总线传输给上位机8，以供用户进行远程查看和管理，以实现应用于工业机器人的多功能视觉控制装置的远程监控功能。

需要说明的是，在上位机8接收到的处理后的数据、远程监控模式下相同，防碰撞功能模式都是同步开启的，同时，本实施例还能根据用户的实际应用需求，利用上位机8通过网络连接工业机器人控制模块2下达控制指令，如加工示教指令，具体可以是通过在工业机器人本体1周围布置的全向视觉探头模块3实时获取的工业机器人工作范围的360度多机位二维图像数据以及全向的三维坐标数据或三维点云数据，以及通过布置在工业机器人处的工件监视检测模块4来获取工业机器人加工工件的设备以及加工工件的二维图像数据以及三维坐标数据或三维点云数据，并在视觉防碰撞功能保护下，进行远程视觉示教，以保证使用工业机器人的安全性，以实现应用于工业机器人的多功能视觉控制装置的远程示教功能。

需要说明的是，本实施例还可以通过视觉控制器模块5收集工件监视检测模块4的工业机器人加工位置的加工工件的二维图像数据以及三维坐标数据或三维点云数据，然后通过视觉控制器模块5对获取到的数据进行分析处理，得到处理后获得加工工件的高清晰高精度的三维图像；然后，可以将该三维图像与预先设置好的加工的三维模型进行比对，比对该加工工件的三维参数指标及表面精度指标是否符合预设的加工要求，以保证加工工件的质量，以实现应用于工业机器人的多功能视觉控制装置的工件检测功能。

作为优选的技术方案中，二维传感器以及三维传感器分别设置于工业机器人第六轴处。

具体地，本实施例将二维传感器以及三维传感器分别设置于工业机器人第六轴处，是用于构建二维传感器与三维传感器融合的机器人末端视觉测量系统，能够通过布置在工业机器人六轴处的工件监视检测模块4来获取工业机器人六轴设备以及加工工件的二维图像与三维坐标数据。

与现有的工业机器人监控方法相比，本发明应用于工业机器人的多功能视觉控制方法及装置的优点在于：

1.本实施例通过布设在工业机器人工作范围周围的由工业摄像头6与激光扫描仪7组成的全向视觉探头模块3与布置在工业机器人第六轴处的小型工业摄像头与激光扫描仪组成的工件监视检测模块4结合，并通过一个独立的视觉控制器模块5进行数据处理，实现了设备的高利用率且组成灵活的应用于工业机器人的多功能视觉控制装置，可以提高使用工业机器人的安全性本发明应用于工业机器人的多功能视觉控制装置能够提高使用工业机器人的安全性，且成本成效转换比高，从而能够在一定程度上实现规模化，标准化的普及推广；

2.本实施例计算复杂度低，简便实用，成本低，且模块化的设计也便于控制成本以及后续对系统的进一步升级改造。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种应用于工业机器人的多功能视觉控制方法，其特征在于，包括以下步骤：

实时获取监测到的加工环境的加工监测数据；

对所述加工监测数据进行三维距离计算，得到所述加工监测数据中的每个监测目标之间的目标距离，以及每个所述监测目标的三维坐标；

判断所述目标距离以及所述三维坐标是否符合预设的防撞条件；

若所述目标距离或所述三维坐标不符合所述防撞条件，则输出当前为安全状态的提示；

若所述目标距离以及所述三维坐标符合所述防撞条件，则生成防撞控制指令，以辅助控制所述工业机器人的制动。

2.根据权利要求1所述的应用于工业机器人的多功能视觉控制方法，其特征在于，在所述对所述加工监测数据进行三维距离计算，得到所述加工监测数据中的每个监测目标之间的目标距离，以及每个所述监测目标的三维坐标的步骤之前，所述方法还包括：

实时获取监测到的工业机器人工作环境的工作监测数据；

对所述工作监测数据进行三维图像处理，得到所述工作监测数据对应的三维加工位置图像，以辅助监测所述工业机器人的工作状态。

3.根据权利要求1所述的应用于工业机器人的多功能视觉控制方法，其特征在于，在所述判断所述目标距离以及所述三维坐标是否符合预设的防撞条件的步骤之前，所述方法还包括：

当接收到工件识别请求时，则获取当前监测到的加工工件的工件加工数据；

对所述工件加工数据进行图像识别处理，得到所述工件加工数据对应的包含有工件类型的识别结果。

4.根据权利要求1所述的应用于工业机器人的多功能视觉控制方法，其特征在于，在所述若所述目标距离以及所述三维坐标符合所述防撞条件，则生成防撞控制指令，以辅助控制所述工业机器人的制动的步骤之后，所述方法还包括：

当接收到工件精度检测请求时，则获取当前监测到的完成加工的工件的工件数据；

对所述工件数据进行精度分析处理，得到所述工件数据对应的精度分析结果；

判断所述精度分析结果是否满足预设的精度条件；

若所述精度分析结果满足预设的精度条件，则输出包含有所述工件精度达标信息的提示；

若所述精度分析结果不满足预设的精度条件，则按照预设的优化指标对所述工件进行优化。

5.一种应用于工业机器人的多功能视觉控制装置，其特征在于，包括：

工业机器人控制器模块、全向视觉探头模块、工件监视检测模块以及视觉控制器模块，所述工业机器人控制模块、所述全向视觉探头模块、所述工件监视检测模块，以及所述视觉控制器模块之间分别通过工业总线连接；

所述全向视觉探头模块，用于实时获取监测到的加工环境的加工监测数据；

视觉控制器模块，用于对所述加工监测数据进行三维距离计算，得到所述加工监测数据中的每个监测目标之间的目标距离，以及每个所述监测目标的三维坐标；

视觉控制器模块，用于判断所述目标距离以及所述三维坐标是否符合预设的防撞条件；

视觉控制器模块，用于若所述目标距离或所述三维坐标不符合所述防撞条件，则输出当前为安全状态的提示；

视觉控制器模块，用于若所述目标距离以及所述三维坐标符合所述防撞条件，则生成防撞控制指令，以通过所述工业机器人控制器模块辅助控制所述工业机器人的制动；

所述工件监视检测模块，用于监控工业机器人加工工件时的工作监测数据、工件加工数据以及工件数据。

6.根据权利要求5所述的应用于工业机器人的多功能视觉控制装置，其特征在于，所述全向视觉探头模块包括设置在工业机器人的作业范围四周上方的用于监测所述工业机器人的工作环境的工业摄像头，以及设置在所述工业机器人加工方向上的用于扫描所述工业机器人工作范围的激光扫描仪，所述工业摄像头以及所述激光扫描仪分别与所述视觉控制器模块无线连接，以传输监测到的加工监测数据。

7.根据权利要求6所述的应用于工业机器人的多功能视觉控制装置，其特征在于，所述工业摄像头于同一水平面设置。

8.根据权利要求6所述的应用于工业机器人的多功能视觉控制装置，其特征在于，所述激光扫描仪对称布置于所述工业机器人的两侧，以获取所述工业机器人工作时的三维坐标参数。

9.根据权利要求5所述的应用于工业机器人的多功能视觉控制装置，其特征在于，所述工件监视检测模块包括用于获取所述工业机器人加工工件的二维图像数据的二维传感器，以及用于获取所述工业机器人加工工件的三维坐标数据的三维传感器，所述二维传感器以及所述三维传感器分别与所述视觉控制器模块无线连接，以传输监测到的工作监测数据、工件加工数据以及工件数据。

10.根据权利要求9所述的应用于工业机器人的多功能视觉控制装置，其特征在于，所述二维传感器以及所述三维传感器分别设置于所述工业机器人第六轴处。

Images