CN108247637B - 一种工业机器人手臂视觉防撞操控方法 - Google Patents

Abstract

本发明公开了一种工业机器人手臂视觉防撞操控方法，包括以下步骤：步骤1：构建机械臂所在工作空间的三维坐标系；步骤2：构建基于Elman网络的待抓取物体目标识别模型；步骤3：构建基于多核支持向量机的机械臂抓取最优路径模型；步骤4：实时采集待抓取物体目标图像识别物体类别；步骤5；基于物体类别确定物体重心，求得抓取终点坐标，获取机械臂抓取最优路径，驱动机械臂抓取物体；该方法采用智能算法计算得到机械臂抓取目标物体一条无碰撞、动力学特性满足裕度要求、轨迹长度和运动时间较短的理想轨迹，大大提高了生产效率，同时节约了人员成本，给工厂带来收益。

Description

一种工业机器人手臂视觉防撞操控方法

技术领域

本发明属于机械臂控制计算领域，特别涉及一种工业机器人手臂视觉防撞操控方法。

背景技术

随着“工业4.0”的来临，机械臂在工厂中的应用越来越广泛，机械臂在复杂环境下人机交互的传统工作方式的效率和安全性受到了关注。现有机械臂可由示教器、上位机控制，示教器控制是在示教器上通过操纵杆和按钮对机械臂的各关节进行控制，再完成既定工况后将程序储存；上位机控制是在上位机中进行编程，可完成既定工况循环。上述两种机械臂控制方法都只能完成固定工况的循环，无法应对工况的变化，针对现有机械臂操作通过监控装置操作机械臂视野受限，操作者在整个控制过程中极易产生难以承受的生物学疲劳，造成失误发生安全事故，为此，机械臂的自动识别和抓取物体路径设计是解决机械臂控制难题的一大突破。

发明内容

本发明提供了一种工业机器人手臂视觉防撞操控方法，该方法使机械臂通过外置摄像头建立笛卡尔坐标系获取目标物体图像并识别目标物体，通过机器学习模型获取抓取目标物体最优运动路径，并对障碍物进行判断，生成避障路径。

一种工业机器人手臂视觉防撞操控方法，包括以下步骤：

步骤1：构建机械臂所在工作空间的三维坐标系；

利用图像采集区域覆盖机械臂抓取目标物体的整个工作空间的双目ZED相机的左右摄像头连线中点作为原点，以双目ZED右摄像头中心到双目ZED左摄像头中心连线为y轴正向，根据右手定则建立机械臂工作空间的三维立体坐标系；

步骤2：构建基于Elman神经网络的待抓取物体目标识别模型；

以每幅待抓取物体目标图像的中间像素累加值和对应的物体类别分别作为输入和输出数据，对Elman神经网络进行训练，得到基于Elman神经网络的待抓取物体目标识别模型；

所述待抓取物体目标图像的中间像素累加值的获取过程如下：

利用步骤1中用于构建三维立体坐标系的双目ZED采集各类待抓取物体目标图像在各种位姿下的图像；对待抓取物体目标图像依次进行去噪、位置变换、灰度处理和边缘检测；提取经过边缘检测后的图像的大小为200×200的正中间区域，将所提取区域中所有像素的灰度值进行累加得到中间像素累加值；

对采集到的目标图像使用图像平滑法去除噪声，然后进行几何预处理，由于所有图的背景均相同，将图像中的物体变换到统一中央位置，然后进行灰度化处理，再使用Laplacian算子进行边缘检测；

步骤3：构建基于多核支持向量机的机械臂抓取最优路径模型；

利用机械臂抓取各类待抓取物体，获得抓取路径样本，以抓取路径样本中的机械臂起点、终点位置坐标和运动旋转角度矩阵分别作为输入和输出数据，以各关节的旋转角度总和最小为目标函数，对多核支持向量机进行训练，获得基于多核支持向量机的机械臂抓取最优路径模型；

所述抓取路径样本包括机械臂末端在步骤1构建的三维坐标系中，抓取起点和抓取终点位置坐标，以及机械臂各关节的运动旋转角度矩阵，所述运动旋转角度矩阵的行数和列数分别为机械臂转动关节个数和抓取物体过程中的动作次数；

步骤4：实时采集待抓取物体目标图像识别物体类别；

利用步骤1中用于构建三维立体坐标系的双目ZED采集待抓取物体目标图像，按照步骤2中的处理过程提取当前图像中的中间像素累加值，并输入所述基于Elman神经网络的待抓取物体目标识别模型中，获得物体类别信息；

步骤5；基于物体类别确定物体重心，求得抓取终点坐标，获取机械臂抓取最优路径，驱动机械臂抓取物体；

基于物体类别信息确定物体重心，使得机械臂夹爪的抓取中心对应物体重心，从而确定机械臂夹爪在抓取终点的坐标，并输入所述基于极限学习机的机械臂抓取最优路径模型中，得到机械臂抓取最优路径，并发送至机械臂控制系统，驱动机械臂抓取物体。

进一步地，所述基于Elman神经网络的待抓取物体目标识别模型中Elman神经网络的权值和阈值使用自适应花授粉算法进行优化获得：

步骤A1：以花粉位置作为所述Elman神经网络的权值和阈值，设置自适应花授粉算法的基本参数；

初始化花粉种群参数，种群数N∈[300,500]，变异因子的初始值ε₀∈[0.3,0.7]，转换因子取值范围p∈[0.4,0.9]，并设置最大迭代次数为1000；

步骤A2：设置适应度函数，随机初始化每个花粉的位置，并计算每个花粉的适应度函数值，令迭代次数t＝1；

将每个花粉位置对应的Elman神经网络的权值、阈值参数代入所述基于Elman神经网络的待抓取物体目标识别模型中，利用花粉位置确定的基于Elman神经网络的待抓取物体目标识别模型输出的物体类别二进制数与实际对应的物体类别二进制数的差值的倒数作为第一适应度函数f₁(x)；

步骤A3：生成随机数rand₁∈[0,1]，按公式p＝0.7+0.2*rand₁改变转换因子，调节全局搜索和局部搜索的转换；

步骤A4：生成随机数rand₂∈[0,1]，若转换因子p＞rand₂，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；

步骤A5：计算每个花粉的适应度函数值，并找出当前最优解；

步骤A6：判断是否达到最大迭代次数，若未达到，转步骤A3，t＝t+1，若达到，转步骤A7；

步骤A7：输出最优位置花粉，以及最优花粉对应的基于Elman神经网络的待抓取物体目标识别模型的权值和阈值。

进一步地，所述基于多核向量机的机械臂抓取最优路径模型中多核向量机的的惩罚系数、核参数和核函数权值采用量子粒子群算法进行优化获得：

步骤B1：以量子粒子群中每个量子粒子个体的位置向量作为所述多核支持向量机的惩罚系数c、核参数g和核函数权值d；

量子粒子群中粒子个体总数的取值范围为[80,300]，量子粒子群的粒子个数的取值范围为[20,60]，最大迭代次数的取值范围为[300,750]，早熟收敛判断阈值γ的取值范围为[0.01，0.45]，种群最差粒子变异比例δ％的取值范围为[2％,7％]，惯性权值w的取值范围[0.5,1.5]，加速常数c₁、c₂取值范围为[1.1,2.5]；

步骤B2：设定适应度函数，确定初始最优量子粒子个体位置向量和迭代次数t，t＝1；

将量子粒子个体位置向量对应的惩罚系数c、核参数g和核函数权值d代入基于多核支持向量机的机械臂抓取最优路径模型中，将量子粒子个体的位置向量确定的基于多核支持向量机的机械臂抓取最优路径模型得到的机械臂关节转动角度之和的倒数作为第二适应度函数f₂(x)；

步骤B3：计算每个量子粒子群的群体适应度方差，进行早熟收敛判断；

若量子粒子群群体适应度方差小于早熟收敛判断阈值γ，则对量子粒子群中δ％的适应度最差粒子和群体极值粒子进行变异，并以当前适应度最好的粒子作为全局最优量子粒子个体，第i个粒子迄今为止搜索到的最优位置称为个体极值记为p_i，整个粒子群体迄今为止搜索到的最优位置为全局极值，记作p_g；否则按下式更新粒子速度以及位置；

速度更新公式：

v_i(t+1)＝wv_i(t)+c₁r₁(p_i-x_i(t))+c₂r₂(p_g-x_i(t))

位置更新公式：

x_i(t+1)＝x_i(t)+v_i(t+1)

其中，w为惯性权值，c₁、c₂为加速常数，r₁、r₂为[0,1]范围内的均匀随机数。v_i(t)表示迭代t次时第i个粒子的速度，x_i(t)表示迭代t次时第i个粒子的位置；

步骤B4：重新计算并比较每个粒子的适应度值，如果优于当前的个体极值，则更新个体极值；比较全局极值粒子，如果存在粒子适应度值优于当前的群体极值，则更新全局极值粒子；

步骤B5：判断是否满足最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤B3，直到找到全局最优量子粒子个体，将全局最优量子粒子个体的位置向量作为对应的多核支持向量机的惩罚系数c、核参数g和核函数权值d，构建机械臂抓取最优路径模型。

进一步地，在机械臂抓取物体过程中，若双目ZED拍摄到工作空间出现障碍物，则利用障碍物的深度图像信息在所述三维坐标系中构建障碍物模型，通过判断障碍物模型的包络线位置是否处于机械臂的抓取路径运动区域中，若不处于，则机械臂继续按原抓取路径进行抓取工作，若处于，则以障碍物模型的包络线与抓取运动区域的切点和两端交叉点依次作为避障路径的中间点、起点和终点，将避障路径的中间点、起点和终点坐标输入基于支持向量机的机械臂避障路径模型，获得避障路径；

所述障碍物模型的包络线与抓取运动区域的中间点的获取过程如下：

将障碍物截断机械臂原抓取路径的截断起点、截断终点连成截断直线，获取所有和截断直线平行的平面与障碍物模型的包络线相切的点，选出与截断直线最近的切点；

避障路径的起点为所述截断起点前移3cm，避障路径的截断终点为交叉终点后移3cm；

所述避障路径位于切点外部；

所述基于模糊神经网络的机械臂避障路径模型，是以各类障碍物位于所述工作区间中，障碍物的包络线将原始机械臂抓取路径截断后得到避障路径起点、避障路径终点以及与包络线与原始抓取运动区域的切点作为输入数据，机械臂在避障过程中各关节的运动旋转角度矩阵作为输出数据，以各关节的旋转角度之和最小作为目标函数，对模糊神经网络进行训练获得。

进一步地，所述基于模糊神经网络的机械臂避障路径模型中模糊神经网络的权值、隶属函数均值以及方差采用磷虾算法优化：

步骤C1：以磷虾个体作为所述模糊神经网络的权值、隶属函数均值以及方差，随机初始化磷虾种群并设置磷虾种群参数；

磷虾种群规模的取值范围为[20，200]，诱导惯性权重w_y的取值范围为[0.25,0.7]，觅食惯性权重w_m的取值范围为[0.25,0.7]，最大诱导速度Y_max的取值范围为[0.03,0.075]，最大觅食速度M_max的取值范围为[0.03,0.075]，最大扩散速度D_max的取值范围为[0.003,0.01]，步长缩放因子的C_t取值范围为[0.1,1.5]，最大迭代次数T的取值范围为[200，800]，时间常量为Δt＝0.4；

步骤C2：设定适应度函数，确定初始最优磷虾个体位置和迭代次数t，t＝1；

将磷虾个体对应的权值、隶属函数均值以及方差代入基于模糊神经网络的机械臂避障路径模型中，将磷虾算法确定的模糊神经网络得到的机械臂关节转动角度之和的倒数作为第三适应度函数f₃(x)；

即机械臂所有关节的转动角度和越小，该磷虾个体越优秀。

步骤C3：磷虾进行诱导运动、觅食活动以及随机扩散，对磷虾个体的位置和速度进行更新，根据第三适应度函数f₃(x)确定当前最优磷虾位置；

步骤C4：判断是否满足最大迭代次数，若不满足，则t＝t+1，返回步骤B3，直到满足最大迭代次数后，输出最优磷虾个体代表的基于模糊神经网络的机械臂避障路径模型的权值、隶属函数均值以及方差。

有益效果

本发明提供了一种工业机器人手臂视觉防撞操控方法，包括以下步骤：步骤1：构建机械臂所在工作空间的三维坐标系；步骤2：构建基于Elman神经网络的待抓取物体目标识别模型；步骤3：构建基于多核支持向量机的机械臂抓取最优路径模型；步骤4：实时采集待抓取物体目标图像识别物体类别；步骤5；基于物体类别确定物体重心，求得抓取终点坐标，获取机械臂抓取最优路径，驱动机械臂抓取物体；相对于现有技术具有以下优点：

(1)该方法能够有效改善现有机械臂监控操作环境，实现工厂的智能制造，取代工人完成对目标物体使用机器学习的方法进行识别分类；

(2)具备避障功能的手臂有效的保证了机械臂工作的安全性，降低了事故发生的可能，提高了工业生产的生产效率；

(3)由于建立D-H模型求解机械臂运动学方程的复杂性，每增加一个自由度，方程求解难度承几何难度提高，而使用机器学习的方法求解机械臂运动公式的简单高效，能够有效替代传统的建立D-H模型的方法；

(4)采用能够超远距离感知的双目zed来获取视觉内的深度信息，延伸了机械臂的工作空间，保证了机械臂的工作安全性，同时可以提供多角度工作空间信息，实现在人无法进入的环境下保证机械臂的正常运行，提供了适应复杂工种的可能性；

(5)该方法采用智能算法计算得到机械臂抓取目标物体一条无碰撞、动力学特性满足裕度要求、轨迹长度和运动时间较短的理想轨迹大大提高了生产效率，同时节约了人员成本，给工厂带来收益；

(6)针对Elman神经网络、多核支持向量机和模糊神经网络分别搭配优化算法进行参数优化，增强了机械臂在实际工作环境中的运行速度和动作精度，减少了反应时间，提高了效率。

附图说明

图1为本发明所述方法的流程图。

具体实施方式

下面将结合附图和实施例对本发明做进一步地说明。

如图1所示，一种工业机器人手臂视觉防撞操控方法，包括以下步骤：

步骤1：构建机械臂所在工作空间的三维坐标系；

利用图像采集区域覆盖机械臂抓取目标物体的整个工作空间的双目ZED相机的左右摄像头连线中点作为原点，以双目ZED右摄像头中心到双目ZED左摄像头中心连线为y轴正向，根据右手定则建立机械臂工作空间的三维立体坐标系；

步骤2：构建基于Elman神经网络的待抓取物体目标识别模型；

以每幅待抓取物体目标图像的中间像素累加值和对应的物体类别分别作为输入和输出数据，对Elman神经网络进行训练，得到基于Elman神经网络的待抓取物体目标识别模型；

假设机械臂工作过程有k类目标物体需要识别，输出对应为

m₁＝[000…001]

m₂＝[000…010]

m₃＝[000…100]

m_k＝[100…000]

其中，二进制位数为k位，即对应的Elman神经网络具有k个输出神经元。

所述待抓取物体目标图像的中间像素累加值的获取过程如下：

利用步骤1中用于构建三维立体坐标系的双目ZED采集各类待抓取物体目标图像在各种位姿下的图像；对待抓取物体目标图像依次进行去噪、位置变换、灰度处理和边缘检测；提取经过边缘检测后的图像的大小为200×200的正中间区域，将所提取区域中所有像素的灰度值进行累加得到中间像素累加值；

对采集到的目标图像使用图像平滑法去除噪声，然后进行几何预处理，由于所有图的背景均相同，将图像中的物体变换到统一中央位置，然后进行灰度化处理，再使用Laplacian算子进行边缘检测；

所述基于Elman神经网络的待抓取物体目标识别模型中Elman神经网络的权值和阈值使用自适应花授粉算法进行优化获得：

步骤A1：以花粉位置作为所述Elman神经网络的权值和阈值，设置自适应花授粉算法的基本参数；

初始化花粉种群参数，种群数N∈[300,500]，变异因子的初始值ε₀∈[0.3,0.7]，转换因子取值范围p∈[0.4,0.9]，并设置最大迭代次数为1000；

步骤A2：设置适应度函数，随机初始化每个花粉的位置，并计算每个花粉的适应度函数值，令迭代次数t＝1；

将每个花粉位置对应的Elman神经网络的权值、阈值参数代入所述基于Elman神经网络的待抓取物体目标识别模型中，利用花粉位置确定的基于Elman神经网络的待抓取物体目标识别模型输出的物体类别二进制数与实际对应的物体类别二进制数的差值的倒数作为第一适应度函数f₁(x)；

步骤A3：生成随机数rand₁∈[0,1]，按公式p＝0.7+0.2*rand₁改变转换因子，调节全局搜索和局部搜索的转换；

步骤A4：生成随机数rand₂∈[0,1]，若转换因子p＞rand₂，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；

步骤A5：计算每个花粉的适应度函数值，并找出当前最优解；

步骤A6：判断是否达到最大迭代次数，若未达到，转步骤A3，t＝t+1，若达到，转步骤A7；

步骤A7：输出最优位置花粉，以及最优花粉对应的基于Elman神经网络的待抓取物体目标识别模型的权值和阈值。

步骤3：构建基于多核支持向量机的机械臂抓取最优路径模型；

利用机械臂抓取各类待抓取物体，获得抓取路径样本，以抓取路径样本中的机械臂起点、终点位置坐标和运动旋转角度矩阵分别作为输入和输出数据，以各关节的旋转角度总和最小为目标函数，对多核支持向量机进行训练，获得基于多核支持向量机的机械臂抓取最优路径模型；

所述抓取路径样本包括机械臂末端在步骤1构建的三维坐标系中，抓取起点和抓取终点位置坐标，以及机械臂各关节的运动旋转角度矩阵，所述运动旋转角度矩阵的行数和列数分别为机械臂转动关节个数和抓取物体过程中的动作次数；

所述基于多核向量机的机械臂抓取最优路径模型中多核向量机的的惩罚系数、核参数和核函数权值采用量子粒子群算法进行优化获得：

步骤B1：以量子粒子群中每个量子粒子个体的位置向量作为所述多核支持向量机的惩罚系数c、核参数g和核函数权值d；

量子粒子群中粒子个体总数的取值范围为[80,300]，量子粒子群的粒子个数的取值范围为[20,60]，最大迭代次数的取值范围为[300,750]，早熟收敛判断阈值γ的取值范围为[0.01，0.45]，种群最差粒子变异比例δ％的取值范围为[2％,7％]，惯性权值w的取值范围[0.5,1.5]，加速常数c₁、c₂取值范围为[1.1,2.5]；

步骤B2：设定适应度函数，确定初始最优量子粒子个体位置向量和迭代次数t，t＝1；

将量子粒子个体位置向量对应的惩罚系数c、核参数g和核函数权值d代入基于多核支持向量机的机械臂抓取最优路径模型中，将量子粒子个体的位置向量确定的基于多核支持向量机的机械臂抓取最优路径模型得到的机械臂关节转动角度之和的倒数作为第二适应度函数f₂(x)；

步骤B3：计算每个量子粒子群的群体适应度方差，进行早熟收敛判断；

若量子粒子群群体适应度方差小于早熟收敛判断阈值γ，则对量子粒子群中δ％的适应度最差粒子和群体极值粒子进行变异，并以当前适应度最好的粒子作为全局最优量子粒子个体，第i个粒子迄今为止搜索到的最优位置称为个体极值记为p_i，整个粒子群体迄今为止搜索到的最优位置为全局极值，记作p_g；否则按下式更新粒子速度以及位置；

速度更新公式：

v_i(t+1)＝wv_i(t)+c₁r₁(p_i-x_i(t))+c₂r₂(p_g-x_i(t))

位置更新公式：

x_i(t+1)＝x_i(t)+v_i(t+1)

其中，w为惯性权值，c₁、c₂为加速常数，r₁、r₂为[0,1]范围内的均匀随机数。v_i(t)表示迭代t次时第i个粒子的速度，x_i(t)表示迭代t次时第i个粒子的位置；

步骤B4：重新计算并比较每个粒子的适应度值，如果优于当前的个体极值，则更新个体极值；比较全局极值粒子，如果存在粒子适应度值优于当前的群体极值，则更新全局极值粒子；

步骤B5：判断是否满足最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤B3，直到找到全局最优量子粒子个体，将全局最优量子粒子个体的位置向量作为对应的多核支持向量机的惩罚系数c、核参数g和核函数权值d，构建机械臂抓取最优路径模型。

步骤4：实时采集待抓取物体目标图像识别物体类别；

利用步骤1中用于构建三维立体坐标系的双目ZED采集待抓取物体目标图像，按照步骤2中的处理过程提取当前图像中的中间像素累加值，并输入所述基于Elman神经网络的待抓取物体目标识别模型中，获得物体类别信息；

步骤5；基于物体类别确定物体重心，求得抓取终点坐标，获取机械臂抓取最优路径，驱动机械臂抓取物体；

基于物体类别信息确定物体重心，使得机械臂夹爪的抓取中心对应物体重心，从而确定机械臂夹爪在抓取终点的坐标，并输入所述基于极限学习机的机械臂抓取最优路径模型中，得到机械臂抓取最优路径，并发送至机械臂控制系统，驱动机械臂抓取物体。

在机械臂抓取物体过程中，若双目ZED拍摄到工作空间出现障碍物，则利用障碍物的深度图像信息在所述三维坐标系中构建障碍物模型，通过判断障碍物模型的包络线位置是否处于机械臂的抓取路径运动区域中，若不处于，则机械臂继续按原抓取路径进行抓取工作，若处于，则以障碍物模型的包络线与抓取运动区域的切点和两端交叉点依次作为避障路径的中间点、起点和终点，将避障路径的中间点、起点和终点坐标输入基于多核支持向量机的机械臂避障路径模型，获得避障路径；

所述障碍物模型的包络线与抓取运动区域的中间点的获取过程如下：

将障碍物截断机械臂原抓取路径的截断起点、截断终点连成截断直线，获取所有和截断直线平行的平面与障碍物模型的包络线相切的点，选出与截断直线最近的切点；

避障路径的起点为所述截断起点前移3cm，避障路径的截断终点为交叉终点后移3cm；

所述避障路径位于切点外部；

所述基于模糊神经网络的机械臂避障路径模型，是以各类障碍物位于所述工作区间中，障碍物的包络线将原始机械臂抓取路径截断后得到避障路径起点、避障路径终点以及与包络线与原始抓取运动区域的切点作为输入数据，机械臂在避障过程中各关节的运动旋转角度矩阵作为输出数据，以各关节的旋转角度之和最小作为目标函数，对模糊神经网络进行训练获得。

所述基于模糊神经网络的机械臂避障路径模型中模糊神经网络的权值、隶属函数均值以及方差采用磷虾算法优化：

步骤C1：以磷虾个体作为所述模糊神经网络的权值、隶属函数均值以及方差，随机初始化磷虾种群并设置磷虾种群参数；

磷虾种群规模的取值范围为[20，200]，诱导惯性权重w_y的取值范围为[0.25,0.7]，觅食惯性权重w_m的取值范围为[0.25,0.7]，最大诱导速度Y_max的取值范围为[0.03,0.075]，最大觅食速度M_max的取值范围为[0.03,0.075]，最大扩散速度D_max的取值范围为[0.003,0.01]，步长缩放因子的C_t取值范围为[0.1,1.5]，最大迭代次数T的取值范围为[200，800]，时间常量为Δt＝0.4；

步骤C2：设定适应度函数，确定初始最优磷虾个体位置和迭代次数t，t＝1；

将磷虾个体对应的权值、隶属函数均值以及方差代入基于模糊神经网络的机械臂避障路径模型中，将磷虾算法确定的模糊神经网络得到的机械臂关节转动角度之和的倒数作为第三适应度函数f₃(x)；

机械臂所有关节的转动角度和越小，该磷虾个体越优秀。

步骤C3：磷虾进行诱导运动、觅食活动以及随机扩散，对磷虾个体的位置和速度进行更新，根据第三适应度函数f₃(x)确定当前最优磷虾位置；

步骤C4：判断是否满足最大迭代次数，若不满足，则t＝t+1，返回步骤B3，直到满足最大迭代次数后，输出最优磷虾个体代表的基于模糊神经网络的机械臂避障路径模型的权值、隶属函数均值以及方差。

以上结合具体实施例对本发明进行了详细的说明，这些并非构成对发明的限制。在不脱离本发明原理的情况下，本领域的技术人员还可以做出许多变形和改进，这些也应属于本发明的保护范围。

Claims (4)

1.一种工业机器人手臂视觉防撞操控方法，其特征在于，包括以下步骤：

步骤1：构建机械臂所在工作空间的三维坐标系；

利用图像采集区域覆盖机械臂抓取目标物体的整个工作空间的双目ZED相机的左右摄像头连线中点作为原点，以双目ZED右摄像头中心到双目ZED左摄像头中心连线为y轴正向，根据右手定则建立机械臂工作空间的三维立体坐标系；

步骤2：构建基于Elman神经网络的待抓取物体目标识别模型；

以每幅待抓取物体目标图像的中间像素累加值和对应的物体类别分别作为输入和输出数据，对Elman神经网络进行训练，得到基于Elman神经网络的待抓取物体目标识别模型；

所述待抓取物体目标图像的中间像素累加值的获取过程如下：

利用步骤1中用于构建三维立体坐标系的双目ZED采集各类待抓取物体目标图像在各种位姿下的图像；对待抓取物体目标图像依次进行去噪、位置变换、灰度处理和边缘检测；提取经过边缘检测后的图像的大小为200×200的正中间区域，将所提取区域中所有像素的灰度值进行累加得到中间像素累加值；

步骤3：构建基于多核支持向量机的机械臂抓取最优路径模型；

利用机械臂抓取各类待抓取物体，获得抓取路径样本，以抓取路径样本中的机械臂起点、终点位置坐标和运动旋转角度矩阵分别作为输入和输出数据，以各关节的旋转角度总和最小为目标函数，对多核支持向量机进行训练，获得基于多核支持向量机的机械臂抓取最优路径模型；

所述抓取路径样本包括机械臂末端在步骤1构建的三维坐标系中，抓取起点和抓取终点位置坐标，以及机械臂各关节的运动旋转角度矩阵，所述运动旋转角度矩阵的行数和列数分别为机械臂转动关节个数和抓取物体过程中的动作次数；

步骤4：实时采集待抓取物体目标图像识别物体类别；

利用步骤1中用于构建三维立体坐标系的双目ZED采集待抓取物体目标图像，按照步骤2中的处理过程提取当前图像中的中间像素累加值，并输入所述基于Elman神经网络的待抓取物体目标识别模型中，获得物体类别信息；

步骤5；基于物体类别确定物体重心，求得抓取终点坐标，获取机械臂抓取最优路径，驱动机械臂抓取物体；

基于物体类别信息确定物体重心，使得机械臂夹爪的抓取中心对应物体重心，从而确定机械臂夹爪在抓取终点的坐标，并输入所述基于极限学习机的机械臂抓取最优路径模型中，得到机械臂抓取最优路径，并发送至机械臂控制系统，驱动机械臂抓取物体；

在机械臂抓取物体过程中，若双目ZED拍摄到工作空间出现障碍物，则利用障碍物的深度图像信息在所述三维坐标系中构建障碍物模型，通过判断障碍物模型的包络线位置是否处于机械臂的抓取路径运动区域中，若不处于，则机械臂继续按原抓取路径进行抓取工作，若处于，则以障碍物模型的包络线与抓取运动区域的切点和两端交叉点依次作为避障路径的中间点、起点和终点，将避障路径的中间点、起点和终点坐标输入基于支持向量机的机械臂避障路径模型，获得避障路径；

所述障碍物模型的包络线与抓取运动区域的中间点的获取过程如下：

将障碍物截断机械臂原抓取路径的截断起点、截断终点连成截断直线，获取所有和截断直线平行的平面与障碍物模型的包络线相切的点，选出与截断直线最近的切点；

避障路径的起点为所述截断起点前移3cm，避障路径的截断终点为交叉终点后移3cm；

所述避障路径位于切点外部；

所述基于模糊神经网络的机械臂避障路径模型，是以各类障碍物位于所述工作区间中，障碍物的包络线将原始机械臂抓取路径截断后得到避障路径起点、避障路径终点以及与包络线与原始抓取运动区域的切点作为输入数据，机械臂在避障过程中各关节的运动旋转角度矩阵作为输出数据，以各关节的旋转角度之和最小作为目标函数，对模糊神经网络进行训练获得。

2.根据权利要求1所述的方法，其特征在于，所述基于Elman神经网络的待抓取物体目标识别模型中Elman神经网络的权值和阈值使用自适应花授粉算法进行优化获得：

步骤A1：以花粉位置作为所述Elman神经网络的权值和阈值，设置自适应花授粉算法的基本参数；

初始化花粉种群参数，种群数N∈[300,500]，变异因子的初始值ε₀∈[0.3,0.7]，转换因子取值范围p∈[0.4,0.9]，并设置最大迭代次数为1000；

步骤A2：设置适应度函数，随机初始化每个花粉的位置，并计算每个花粉的适应度函数值，令迭代次数t＝1；

将每个花粉位置对应的Elman神经网络的权值、阈值参数代入所述基于Elman神经网络的待抓取物体目标识别模型中，利用花粉位置确定的基于Elman神经网络的待抓取物体目标识别模型输出的物体类别二进制数与实际对应的物体类别二进制数的差值的倒数作为第一适应度函数f₁(x)；

步骤A3：生成随机数rand₁∈[0,1]，按公式p＝0.7+0.2*rand₁改变转换因子，调节全局搜索和局部搜索的转换；

步骤A4：生成随机数rand₂∈[0,1]，若转换因子p＞rand₂，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；

步骤A5：计算每个花粉的适应度函数值，并找出当前最优解；

步骤A6：判断是否达到最大迭代次数，若未达到，转步骤A3，t＝t+1，若达到，转步骤A7；

步骤A7：输出最优位置花粉，以及最优花粉对应的基于Elman神经网络的待抓取物体目标识别模型的权值和阈值。

3.根据权利要求1所述的方法，其特征在于，所述基于多核支持向量机的机械臂抓取最优路径模型中多核支持向量机的的惩罚系数、核参数和核函数权值采用量子粒子群算法进行优化获得：

步骤B1：以量子粒子群中每个量子粒子个体的位置向量作为所述多核支持向量机的惩罚系数c、核参数g和核函数权值d；

量子粒子群中粒子个体总数的取值范围为[80,300]，量子粒子群的粒子个数的取值范围为[20,60]，最大迭代次数的取值范围为[300,750]，早熟收敛判断阈值γ的取值范围为[0.01，0.45]，种群最差粒子变异比例δ％的取值范围为[2％,7％]，惯性权值w的取值范围[0.5,1.5]，加速常数c₁、c₂取值范围为[1.1,2.5]；

步骤B2：设定适应度函数，确定初始最优量子粒子个体位置向量和迭代次数t，t＝1；

将量子粒子个体位置向量对应的惩罚系数c、核参数g和核函数权值d代入基于多核支持向量机的机械臂抓取最优路径模型中，将量子粒子个体的位置向量确定的基于多核支持向量机的机械臂抓取最优路径模型得到的机械臂关节转动角度之和的倒数作为第二适应度函数f₂(x)；

步骤B3：计算每个量子粒子群的群体适应度方差，进行早熟收敛判断；

若量子粒子群群体适应度方差小于早熟收敛判断阈值γ，则对量子粒子群中δ％的适应度最差粒子和群体极值粒子进行变异，并以当前适应度最好的粒子作为全局最优量子粒子个体；否则更新粒子速度以及位置；

步骤B4：重新计算并比较每个粒子的适应度值，如果优于当前的个体极值，则更新个体极值；比较全局极值粒子，如果存在粒子适应度值优于当前的群体极值，则更新全局极值粒子；

步骤B5：判断是否满足最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤B3，直到找到全局最优量子粒子个体，将全局最优量子粒子个体的位置向量作为对应的多核支持向量机的惩罚系数c、核参数g和核函数权值d。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于模糊神经网络的机械臂避障路径模型中模糊神经网络的权值、隶属函数均值以及方差采用磷虾算法优化：

步骤C1：以磷虾个体作为所述模糊神经网络的权值、隶属函数均值以及方差，随机初始化磷虾种群并设置磷虾种群参数；

磷虾种群规模的取值范围为[20，200]，诱导惯性权重w_y的取值范围为[0.25,0.7]，觅食惯性权重w_m的取值范围为[0.25,0.7]，最大诱导速度Y_max的取值范围为[0.03,0.075]，最大觅食速度M_max的取值范围为[0.03,0.075]，最大扩散速度D_max的取值范围为[0.003,0.01]，步长缩放因子的C_t取值范围为[0.1,1.5]，最大迭代次数T的取值范围为[200，800]，时间常量为Δt＝0.4；

步骤C2：设定适应度函数，确定初始最优磷虾个体位置和迭代次数t，t＝1；

将磷虾个体对应的权值、隶属函数均值以及方差代入基于模糊神经网络的机械臂避障路径模型中，将磷虾算法确定的模糊神经网络得到的机械臂关节转动角度之和的倒数作为第三适应度函数f₃(x)；

步骤C3：磷虾进行诱导运动、觅食活动以及随机扩散，对磷虾个体的位置和速度进行更新，根据第三适应度函数f₃(x)确定当前最优磷虾位置；

步骤C4：判断是否满足最大迭代次数，若不满足，则t＝t+1，返回步骤B3，直到满足最大迭代次数后，输出最优磷虾个体代表的基于模糊神经网络的机械臂避障路径模型的权值、隶属函数均值以及方差。

Images