CN112223273A - 一种工业机器人视觉检测及避障系统 - Google Patents

Abstract

本发明公开了一种工业机器人视觉检测及避障系统，包括工业机器人本体、摄像机模块、控制模块、区块链模块、轮系模块，所述摄像机模块用于采集工业机器人前端的实时图像；所述控制模块用于接收用户终端发送的目标指令执行避障任务；区块链模块，用于将所述工业机器人的状态信息及目标指令进行加密上传至区块链；所述轮系模块用于对若干驱动轮的方向和转角进行控制。本发明的工业机器人视觉检测及避障系统使避障路径规划更加合理，故障率更低，并对可能出现的故障及时进行解决，适用于高速运行的工业机器人。

Description

一种工业机器人视觉检测及避障系统

技术领域

本发明涉及工业机器人避障领域，尤其是涉及一种工业机器人视觉检测及避障系统。

背景技术

随着电子信息产品的快速发展，工业机器人作为时代的产物不仅是一个国家的支柱产业，更象征着一个国家的创新能力和现代化水平。作为一款高端自动化产品，它集机械学、力学、电子信息学、自动化、计算机科学、仿生学等众多学科于一体，具有生产效率高，产品质量好，能够在严苛的环境下连续工作等优势。这些特点使工业机器人不仅将人类从繁重的体力劳动中解放出来，也在生产生活的各个方面大大的改善着人们的生活条件，为了能够更好的服务于人类其不可避免地向智能化、密集化方向发展开来。到目前为止，我国机器人拥有量已达40万台，除了一些无法代替人类的场合，多机器人、人机合作将会是工业机器人发展、应用的主流趋势。然而，无论是多机器人合作还是人机协作，机器人避障使机器人领域面临着巨大挑战。

现有的工业机器人通常安装既定路线进行往复运动，并在工业机器人上安装超声波传感器、红外传感器等对行进路径上的障碍物进行检测，当检测到存在障碍物时无法及时调整行进路线，造成工业机器人运行效率低下，有些工业机器人上也安装了摄像头，通过视觉检测来判断机器人运行路径上是否有障碍物，但是通常都使用在低速环境中，对视觉检测算法处理速度要求不高。此外，无法对工业机器人运行状态进行记录和回溯，导致工业机器人发生故障时不能快速确定故障原因。

发明内容

基于上述技术问题，本发明的主要目的是提供一种能够自主规划行进路线，并高效地对行进路径上的障碍物进行规避，且能够对搬运机器人运行状态进行记录，不会因设备故障造成数据丢失。

本发明采用以下技术方案实现：

一种工业机器人视觉检测及避障系统，包括工业机器人本体、摄像机模块、控制模块、区块链模块、轮系模块，所述摄像机模块包括机器人本体前端设置双目摄像机，用于采集工业机器人前端的实时图像，并将所述实时图像传输至控制模块；所述控制模块设置在工业机器人本体内部，用于接收用户终端发送的目标指令中的目标点序列，建立行进任务列表；对双目摄像机采集的实时图像进行接收，并通过对分类算法对前方障碍物进行初步识别，并进一步确定所述障碍物坐标和大小，中断当前行进任务，执行避障任务，根据工业机器人当前运行状态、障碍物坐标和大小以及下一个目标点的位置信息，并生成对轮系伺服电机的驱动指令；区块链模块，用于将所述工业机器人的状态信息及目标指令进行加密上传至区块链；所述轮系模块包括轮系伺服电机、若干驱动轮和从动轮，轮系伺服电机接收控制模块生成的所述驱动指令，用于对若干驱动轮的方向和转角进行控制。

进一步地，所述控制模块包括障碍物学习单元、视觉检测单元、障碍物定位单元、中断单元以及避障单元，所述障碍物学习单元用于对根据预先采集的样本图像进行学习，获取障碍物分类器；所述视觉检测单元，根据所述障碍物学习单元获取的障碍物分类器，通过最大似然算法对障碍物进行识别，获取障碍物轮廓；障碍物定位单元基于所述障碍物轮廓确定障碍物的位置坐标和影响半径；所述中断单元接收障碍物的位置坐标和影响半径，生成中断当前行进任务，并建立避障任务指令，并将避障任务指令发送给所述避障单元；避障单元，获取所述工业机器人的位置信息，速度信息和角速度信息，并根据获取的障碍物的所述位置坐标、所述影响半径以及目标点的位置信息生成对轮系伺服电机的驱动指令。

进一步地，障碍物定位单元还包括障碍物轮廓获取子单元、外接圆生成子单元、计算子单元，所述障碍物轮廓获取子单元，用于接收所述视觉检测单元发送的障碍物轮廓；所述外接圆生成子单元包括对障碍物轮廓在XY平面上的投影，得到轮廓投影坐标(qx1,qy1)，生成轮廓投影坐标集合Q＝{(qxi,qyi)}，i＝1,2,···,n,其中，n为获取的边缘点个数，选取最左侧和最上侧的两个轮廓投影点以及任意第三点，计算所述三个轮廓投影点的最小外接圆，判断其余点是否都在该外接圆内部，如果存在轮廓投影点落在该外接圆外部，则选择距离该外接圆最远的点所述第三点，构建新的最小外接圆，直至所有轮廓投影点都落在该外接圆内部，以此时的外接圆作为障碍物轮廓外接圆；计算子单元，用于计算所述障碍物轮廓外接圆的圆心坐标和半径，以作为障碍物的位置坐标和影响半径。

进一步地，避障单元包括参数获取子单元、合力生成子单元、指令生成子单元，参数获取子单元用于获取所述机器人本体当前的位置坐标B(bx，by)、运动速度v、角速度ω，所述障碍物的位置坐标C(cx，cy)和影响半径r以及下一个目标点的位置坐标P(px，py)；增量生成子单元用于构建目标点引力函数以及障碍物斥力函数：

Uat＝w_atl[(bx-cx)²+(by-cy)²]+w_atvv²+w_atωω² (1)

计算合力函数U

U＝Uat+Ure

根据合力函数计算合力F

F＝-▽U

所述指令生成子单元用于根据所述合力生成子单元得到的合力生成对轮系伺服电机的控制指令。

进一步地，区块链模块定时或根据用户指令对工业机器人的状态信息加密上传至区块链，用户可以根据管理员账号及密钥信息对区块链进行访问，查看和回溯搬运机器人的状态信息。

和现有技术相比。本发明具有以下有益效果：

1.在工业机器人运动过程中，机器人运动的速度通常较快，因此，搬运机器人的行进速度和角速度对避障路径规划具有重要作用，搬运机器人在高速运动的情况下比低速运动的情况下需要更大的避障距离和避障角度，因此，本发明在构建合力函数模型，引入了机器人位置、运行速度和运行角速度三个参数，使避障路径规划更加合理，故障率更低。

2.通过神经网络构建障碍物分类器，视觉检测单元根据分类器快速识别出障碍物，可以提高控制模块对双目摄像机采集的实时图像的识别速度，降低数据运算量，快速识别工业机器人前方出现的障碍物，适用于高速运行的工业机器人。

3.采用最小外接圆法计算障碍物轮廓，通过参考点的选择，可以实现迭代算法快速收敛，减低运算数据量，提高避障算法的时效性，避免工业机器人在高速运行状态下的避障失败事故。

4.将工业机器人的控制指令和运行状态信息上传至区块链中，保证搬运机器人日志记录和回溯的可靠性，用户可以随时通过客户端登录管理员账号对区块链数据的查询和监控，快速关注工业机器人运行状态，并对可能出现的故障进行预防，出现故障时，能够快速查看历史运行状态和控制指令，查找故障原因，并及时进行解决。

附图说明

图1.工业机器人视觉检测及避障系统结构示意图。

图2.控制模块结构示意图

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明，哲理所使用的术语使为了描述具体实施方式，而非意图限制本申请的示例性实施方式。除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例1：

一种工业机器人视觉检测及避障系统，包括工业机器人本体、摄像机模块、控制模块、区块链模块、轮系模块，所述摄像机模块包括机器人本体前端设置双目摄像机，用于采集工业机器人前端的实时图像，并将所述实时图像传输至控制模块；所述控制模块设置在工业机器人本体内部，用于接收用户终端发送的目标指令中的目标点序列，建立行进任务列表；对双目摄像机采集的实时图像进行接收，并通过对分类算法对前方障碍物进行初步识别，并进一步确定所述障碍物坐标和大小，中断当前行进任务，执行避障任务，根据工业机器人当前运行状态、障碍物坐标和大小以及下一个目标点的位置信息，并生成对轮系伺服电机的驱动指令；区块链模块，用于将所述工业机器人的状态信息及目标指令进行加密上传至区块链；所述轮系模块包括轮系伺服电机、若干驱动轮和从动轮，轮系伺服电机接收控制模块生成的所述驱动指令，用于对若干驱动轮的方向和转角进行控制。

所述控制模块包括障碍物学习单元、视觉检测单元、障碍物定位单元、中断单元以及避障单元，所述障碍物学习单元用于对根据预先采集的样本图像进行学习，获取障碍物分类器；所述视觉检测单元，根据所述障碍物学习单元获取的障碍物分类器，通过最大似然算法对障碍物进行识别，获取障碍物轮廓；障碍物定位单元基于所述障碍物轮廓确定障碍物的位置坐标和影响半径；所述中断单元接收障碍物的位置坐标和影响半径，生成中断当前行进任务，并建立避障任务指令，并将避障任务指令发送给所述避障单元；避障单元，获取所述工业机器人的位置信息，速度信息和角速度信息，并根据获取的障碍物的所述位置坐标、所述影响半径以及目标点的位置信息生成对轮系伺服电机的驱动指令。

进一步地，障碍物定位单元还包括障碍物轮廓获取子单元、外接圆生成子单元、计算子单元，所述障碍物轮廓获取子单元，用于接收所述视觉检测单元发送的障碍物轮廓；所述外接圆生成子单元包括对障碍物轮廓在XY平面上的投影，得到轮廓投影坐标(px1,py1)，生成轮廓投影坐标集合P＝{(pxi,pyi)}，i＝1,2,···,n,其中，n为获取的边缘点个数，选取最左侧和最上侧的两个轮廓投影点以及任意第三点，计算所述三个轮廓投影点的最小外接圆，判断其余点是否都在该外接圆内部，如果存在轮廓投影点落在该外接圆外部，则选择距离该外接圆最远的点所述第三点，构建新的最小外接圆，直至所有轮廓投影点都落在该外接圆内部，以此时的外接圆作为障碍物轮廓外接圆；计算子单元，用于计算所述障碍物轮廓外接圆的圆心坐标和半径，以作为障碍物的位置坐标和影响半径。

避障单元包括参数获取子单元、合力生成子单元、指令生成子单元，参数获取子单元用于获取所述机器人本体当前的位置坐标B(bx，by)、运动速度v、角速度ω，所述障碍物的位置坐标C(cx，cy)和影响半径r以及下一个目标点的位置坐标P(px，py)；增量生成子单元用于构建目标点引力函数以及障碍物斥力函数：

Uat＝w_atl[(bx-px)²+(by-py)²]+w_atvv²+w_atωω² (1)

计算合力函数U

U＝Uat+Ure

根据合力函数计算合力F

F＝-▽U

所述指令生成子单元用于根据所述合力生成子单元得到的合力生成对轮系伺服电机的控制指令。

区块链模块定时或根据用户指令对工业机器人的状态信息加密上传至区块链，用户可以根据管理员账号及密钥信息对区块链进行访问，查看和回溯搬运机器人的状态信息。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种工业机器人视觉检测及避障系统，包括工业机器人本体、摄像机模块、控制模块、区块链模块、轮系模块，所述摄像机模块包括机器人本体前端设置双目摄像机，用于采集工业机器人前端的实时图像，并将所述实时图像传输至目标指令中的目标点序列，建立行进任务列表；对双目摄像机采集的实时图像进行接收，并通过对分类算法对前方障碍物进行初步识别，并进一步确定所述障碍物坐标和大小，中断当前行进任务，执行避障任务，根据工业机器人当前运行状态、障碍物坐标和大小以及下一个目标点的位置信息，并生成对轮系伺服电机的驱动指令；区块链模块，用于将所述工业机器人的状态信息及目标指令进行加密上传至区块链；所述轮系模块包括轮系伺服电机、若干驱动轮和从动轮，轮系伺服电机接收控制模块生成的所述驱动指令，用于对若干驱动轮的方向和转角进行控制。

2.根据权利要求1所述的工业机器人视觉检测及避障系统，所述控制模块包括障碍物学习单元、视觉检测单元、障碍物定位单元、中断单元以及避障单元，所述障碍物学习单元用于对根据预先采集的样本图像进行学习，获取障碍物分类器；所述视觉检测单元，根据所述障碍物学习单元获取的障碍物分类器，通过最大似然算法对障碍物进行识别，获取障碍物轮廓；障碍物定位单元基于所述障碍物轮廓确定障碍物的位置坐标和影响半径；所述中断单元接收障碍物的位置坐标和影响半径，生成中断当前行进任务，并建立避障任务指令，并将避障任务指令发送给所述避障单元；避障单元，获取所述工业机器人的位置信息，速度信息和角速度信息，并根据获取的障碍物的所述位置坐标、所述影响半径以及目标点的位置信息生成对轮系伺服电机的驱动指令。

3.根据权利要求2或3所述的视觉检测及避障系统，所述障碍物定位单元还包括障碍物轮廓获取子单元、外接圆生成子单元、计算子单元，所述障碍物轮廓获取子单元，用于接收所述视觉检测单元发送的障碍物轮廓；所述外接圆生成子单元包括对障碍物轮廓在XY平面上的投影，得到轮廓投影坐标(px1,py1)，生成轮廓投影坐标集合P＝{(pxi,pyi)}，i＝1,2,···,n,其中，n为获取的边缘点个数，选取最左侧和最上侧的两个轮廓投影点以及任意第三点，计算所述三个轮廓投影点的最小外接圆，判断其余点是否都在该外接圆内部，如果存在轮廓投影点落在该外接圆外部，则选择距离该外接圆最远的点所述第三点，构建新的最小外接圆，直至所有轮廓投影点都落在该外接圆内部，以此时的外接圆作为障碍物轮廓外接圆；计算子单元，用于计算所述障碍物轮廓外接圆的圆心坐标和半径，以作为障碍物的位置坐标和影响半径。

4.根据权利要求3所述的视觉检测及避障系统，所述避障单元包括参数获取子单元、合力生成子单元、指令生成子单元，参数获取子单元用于获取所述机器人本体当前的位置坐标B(bx，by)、运动速度v、角速度ω，所述障碍物的位置坐标C(cx，cy)和影响半径r以及下一个目标点的位置坐标P(px，py)；增量生成子单元用于构建目标点引力函数以及障碍物斥力函数：

Uat＝w_atl[(bx-cx)²+(by-cy)²]+w_atvv²+w_atωω² (1)

计算合力函数U

U＝Uat+Ure

根据合力函数计算合力F

F＝-▽U

所述指令生成子单元用于根据所述合力生成子单元得到的合力生成对轮系伺服电机的控制指令。

5.根据权利要求1所述视觉检测及避障系统，区块链模块定时或根据用户指令对工业机器人的状态信息加密上传至区块链，用户可以根据管理员账号及密钥信息对区块链进行访问，查看和回溯搬运机器人的状态信息。

Images