CN104808490B - 一种面向模具保护的无标定视觉伺服控制方法 - Google Patents

Abstract

一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法，包括以下步骤：1)、建立模具的图像索引区域及目标图像样本库；2)、特征提取及降维；3)、采用多项式插值的方法进行空间约束条件下的逆运动学规划；4)、实现基于回声状态网络估计雅克比伪逆矩阵。本发明可以有效解决传统BP神经网络存在局部极小的问题，利用ESN网络在权值不变情况下的自适应性和计算的高效率特点，解决一般动态网络在线计算网络输出权值，实时性不好的问题。

Description

一种面向模具保护的无标定视觉伺服控制方法

技术领域

本发明涉及一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法。

背景技术

随着图像处理技术飞速发展，特别是计算机处理速度的显著提高，大规模存储器的出现，模具的自动识别报警系统被大量引入注塑行业中，通过CCD视频图像的动态采集，借助计算机数字图像处理技术，对生产过程中模具存在的残留、滑块错位、脱模不良等异常情况进行实时监控以实现对模具的自动保护。这种基于图像的实时监控系统极大提高了注塑模具的安全性，降低了修模成本，提升了工作效率，降低了工作人员的劳动强度。因此，基于图像处理的模具保护器成为目前众多注塑机必备的配套设备。然而，目前引入的模具保护器功能都比较单一，只能实现异常状态下的报警，报警后采用人工方式对注塑件次品或者模具残留物进行拾取。这种方式的缺点是生产效率低，劳动力成本高，无法实现真正意义上的无人值守和自动化，拾取过程中安全性较差，直接影响到企业的经济效益和社会效应。将伺服机械手引入模具保护系统，利用图像检测与机器人无标定视觉伺服技术进行注塑件残留物的实时检测、定位和抓取，具有速度快，精度高与重复性好的优点。可以显著提高生产效率，在无人值守的情况下仍能保证产品质量和机器的正常运转，降低操作者劳动强度，这将是注塑机模具保护行业发展的必然趋势。随着近年来多传感器融合、图像处理以及计算机控制技术的迅速发展，多学科间的交叉应用研究逐渐深入，视觉伺服控制技术在智能机器人领域快速发展，为解决模具保护这类实际问题提供一种切实可行的方法。基于标定技术的视觉伺服控制方法是目前工业上应用的主流方法，然而，注塑机是一种大功率、强噪声并且具有较大振动的设备。因此，摄像机标定的精度在实际运行过程中难以保证。另外，模具保护主要针对动模部分，必须获取目标准确的深度信息，而完成立体视觉的标定通常需要双目视觉。但由于注塑机上摄像机安装位置的限制，固定的双目视觉仍然受机械手遮挡的影响，因此本发明拟采用无标定视觉伺服技术开展研究。无标定视觉伺服方法的提出，解决了以往摄像机内外参数及机器人运动学模型无法精确标定的问题。根据摄像机的配置不同划分，当前的无标定视觉伺服研究主要针对三种摄像机配置方式，即固定摄像机(固定视觉)，安装在机械手上，随手一起运动的摄像机(手眼视觉)以及两种类型的混合配置。对于模具保护器这种应用背景，手眼视觉和固定视觉两种配置方式都存在一定的问题。首先因为目标检测的需要，固定眼是必备的，但固定眼受限的安装位置容易导致其被机械手遮挡而失去目标。另一方面，机械手在不夹取产品或异物时，必须离开注塑机腔体，这时手上眼由于视野的限制，无法观测到目标。为了结合手眼视觉和固定视觉两种视觉配置各自的优势，本发明拟采用固定视觉与手眼视觉结合的混合视觉系统。通过混合视觉系统，伺服系统首先利用固定视觉摄像机将机械臂粗定位到目标区域附近，再通过手眼视觉实现对手爪的精确定位并完成抓取任务。根据反馈信号形式的不同，视觉伺服可分为：基于位置的视觉伺服(position-based visual servoing，PBVS)和基于图像的视觉伺服(image-basedvisual servoing，IBVS)。由于一般的PBVS需要标定摄像机的内、外部参数，因此无标定视觉伺服控制通常采用IBVS的方案。对于IBVS方法，图像空间虽然能保证最短路径，但是缺乏笛卡尔空间的直接控制，在处理大范围旋转伺服的情况时，会发生诸如摄像机退化的笛卡尔轨迹偏移现象。为了消除摄像机回退的影响，必须要保证图像雅可比矩阵的非奇异性。目前解决图像雅可比奇异值问题的最常见的办法是雅可比伪逆阵的直接估计法，因此图像雅可比矩阵的估计是无标定视觉伺服控制中最重要的问题之一。为了保证雅可比矩阵的稳定性，特征点的选择非常重要，图像特征点的选择不仅要满足鲁棒性、完整性和唯一性等图像识别方面的基本准则，还需要满足可控性和敏感性等控制准则，以满足后续视觉伺服环节的需要。更重要的是，注塑机所在的工业现场环境一般都较为恶劣，对生产效率又有严格的要求，用于抓取目标的机械臂具有很强的非线性动力学特征，同时需要抓取的对象形式多样。本项目综合以上问题，采用无标定视觉伺服技术，对模具保护器报警后模具内残留物的跟踪和抓取控制展开研究，主要就图像雅可比矩阵估计，提出先进的控制算法和完整的设计实现。该发明将进一步丰富无标定视觉伺服的研究成果，推动视觉伺服技术的实际应用，为该领域的广泛应用提供一个解决方案。

发明内容

为了保证在无人值守的情况下仍能保证产品质量和机器的正常运转，降低操作者劳动强度，本发明提供一种与回声状态网络(ESN)结合的基于运动学的自适应无标定视觉伺服控制方法，主要是估计图像雅克比逆矩阵。

本发明解决其技术问题所采用的技术方案是：

一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法，所述方法包括以下步骤：

1)、建立模具的图像索引区域及目标图像样本库；

2)、特征提取及降维；

3)、采用多项式插值的方法进行空间约束条件下的逆运动学规划；

4)、实现基于回声状态网络估计雅克比逆矩阵，包含以下步骤：

Step4.1：让机械手在起始位置做小幅度随机运动，机械手摆动角度不超过30度，记录连续n个周期的k维图像特征差分矢量(df₁,df₂,…df_k)，和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)，图像特征差分矢量指前后两个采样点的图像灰度值之差，机械手末端位置差分矢量指前后两个采样点机械手末端位置的之差，则得到图像特征差分矢量矩阵和末端位置差分矢量矩阵，两者通过两者相除得出图像雅可比逆矩阵的起始位置估计值

Step4.2：通过规划关节空间的轨迹来控制机械臂的运动，离线训练中关节空间θ_d的轨迹根据实际需要给出，尽量覆盖机械臂在抓取过程中可能移动到的工作空间。记录100对以上的k维图像特征差分矢量(df₁,df₂,…df_k)和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)数据对。

Step4.3：将数据划分为训练样本和测试样本,k维图像特征差分矢量(df₁,df₂,…df_k)和初始雅可比逆矩阵的输出作为回声状态网络的输入，m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)作为回声状态网络的输出。

进一步，所述步骤1)中，通过固定视觉引导机械手到达抓取目标区域，因此在离线状态下，让机械手运动到各个索引区域上方，保证目标出现在手眼视觉范围内，然后通过固定视觉采集对应的图像存为目标图像样本。

再进一步，所述步骤1)中，通过手眼视觉引导机械手靠近并对准目标，实现抓取在某一有产品的区域上，让机械手停靠在产品正上方，即可抓取到目标的地方，通过手眼视觉采集对应的图像存为目标图像样本。

更进一步，所述步骤3)中，多项式插值的方法包括以下步骤：

Step3.1：通过机械臂的逆运动学模型得到逆运动学等式；

Step3.2：根据逆运动学等式构造基础方程；

Step3.3：通过矢量运算和符号运算对方程降阶；

Step3.4：根据实际工作情况确定插值的样条曲线，将约束条件和起始位置代入并计算得到曲线参数；

Step3.5：若存在多重解，则用欧氏距离作为比较准则，选择与当前位置最接近的一组解。

本发明的有益效果为：(1)、针对固定视觉和手眼视觉引导的不同阶段，分别设计无标定视觉伺服控制算法。针对固定视觉引导过程中运动范围大、采用样条曲线对逆运动学进行插值规划，并机械臂逆运动学规划与ESN网络结合来构建运动学视觉伺服控制器，可以解决图像雅可比奇异值问题，关节角多解问题，既避免了与环境的碰撞，还可以保证运动轨迹的平滑性；(2)、提出将ESN网络用于雅可比逆矩阵的在线辨识和控制，可以有效解决传统BP神经网络存在局部极小的问题，利用ESN网络在权值不变情况下的自适应性和计算的高效率特点，解决一般动态网络在线计算网络输出权值，实时性不好的问题。

附图说明

图1是面向模具保护的无标定视觉伺服控制方法总体方案

图2是回声状态神经网络基本结构

图3是ESN网络离线训练框图

图4是基于ESN在线估计的无标定视觉伺服控制框图(固定视觉)

图5是基于ESN在线估计的无标定视觉伺服控制框图(手眼视觉)

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法，包括以下步骤：

1)、建立图像索引区域及目标图像样本库。建立图像索引区域及目标图像样本库第一阶段的任务就是通过固定视觉引导机械手到达抓取目标区域,因此可在离线状态下，让机械手运动到各个索引区域上方，不需要精确对准，只要保证目标可出现在手眼视觉范围内即可，然后通过固定视觉采集对应的图像存为目标图像样本。第二阶段的任务是通过手眼视觉引导机械手靠近并对准目标，实现抓取在某一有产品的区域上，让机械手停靠在产品正上方(可抓取到目标的地方)，通过手眼视觉采集对应的图像存为目标图像样本。

2)、特征提取及降维方法。系统报警后，通过固定视觉检测到目标区域索引后，就开始了第一阶段固定视觉引导机械手到达索引目标区域的过程，为了保证算法的执行效率，首先利用图像差分法，分别将当前帧图像、目标图像样本库与预存的背景图像做差分，然后采用多尺度特征提取的方法获取差分图像特征；对第二阶段亦是如此。

3)、采用多项式插值的方法进行空间约束条件下的逆运动学规划；

4)、实现基于回声状态网络估计雅克比伪逆矩阵，包括以下步骤：

Step4.1：让机械手在起始位置附近做小幅度随机运动，机械手摆动角度不超过30度，记录连续n个周期的k维图像特征差分矢量(df₁,df₂,…df_k)(这里的图像差分矢量指前后两个采样点的图像灰度值之差)，和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)(这里的机械手末端位置差分矢量指前后两个采样点机械手末端位置的之差)，则可以得到图像特征差分矢量矩阵和末端位置差分矢量矩阵，两者通过反除法可以得出图像雅可比逆矩阵的起始位置估计值

Step4.2：通过规划关节空间的轨迹来控制机械臂的运动，离线训练中θ_d的轨迹可根据实际需要给出，尽量覆盖机械臂在抓取过程中可能移动到的工作空间。记录100对以上的k维图像特征差分矢量(df₁,df₂,…df_k)和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)数据对。

Step4.3：将数据划分为训练样本和测试样本,k维图像特征差分矢量(df₁,df₂,…df_k)和初始雅可比逆矩阵的输出作为回声状态网络的输入，m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)作为回声状态网络的输出。

所述步骤3)中，多项式插值的方法包括以下步骤：

Step3.1：通过机械臂的逆运动学模型得到逆运动学等式；

Step3.2：根据逆运动学等式构造基础方程；

Step3.3：通过矢量运算和符号运算对方程降阶；

Step3.4：根据实际工作情况确定插值的样条曲线，将约束条件和起始位置代入并计算得到曲线参数；

Step3.5：若存在多重解，则用欧氏距离作为比较准则，选择与当前位置最接近的一组解。

本发明的技术构思为：将一个三维空间的视觉伺服控制任务变成两个阶段的视觉伺服控制任务，分别由固定视觉和手眼视觉引导完成。对于模具保护而言，其平面内可能存在多个类似目标，因此当模具上没有产品时，首先可通过视觉检测按目标区域分块并建立索引，考虑到无标定视觉伺服的需要，将机械手停留在各个区域固定深度的位置，用固定视觉采集建立第一阶段控制所需要的目标位置样本库。当发生报警后，首先检测存在待抓取目标的索引区域，然后通过固定视觉引导机械手末端到达特定区域的目标位置，保证抓取目标已经出现在手眼视觉的视场内，只是没有精确对准，同时与目标还存在一定的深度。因此，第二个任务就是通过手眼视觉对准并接近目标，最终完成抓取任务。第二阶段所需要的目标样本库可通过直接采集产品图像获得。目标对准可以通过当前图像特征与目标图像特征比较，通过偏差控制机械手在平面内移动完成；目标接近时深度的估计可以通过目标的面积特征检测配合完成。在第一阶段中，通过固定视觉引导机械臂到目标区域附近的过程中，运动范围相对较大，而注塑机腔内空间有限，为了避免机械臂与环境的碰撞，同时保证机械臂运动过程的平滑性，需要对机械臂约束条件下的逆运动学进行规划。而且第一阶段的目标是定位机械手末端执行器到目标区域，并不需要得到特别精确的位置，但需要考虑注塑机空间限制与机械臂运动轨迹平滑性的问题，因此，采用多项式插值的方法对逆运动学轨迹进行规划。机械臂的逆运动学求解已经存在大量的方法，最常见的有解析法、几何法以及神经网络等方法。逆运动学等式可根据机械臂的运动学模型获得，然后根据逆运动学等式构造基础方程，通过矢量运算和符号运算可对方程降阶，对于本发明针对的6自由度的机械臂，最终可求出8组解。在逆运动学的计算过程中，需要解决解的奇异性及多解的问题。进一步，确定插值的样条曲线，将约束条件和起始位置代入并计算得到其曲线参数。当对机器人按反变换方法求解逆运动学时，若存在多组解，可选择欧式距离作为比较准则，选择与当前位置最接近的一组解；对于某一关节，当前解和上一次求的逆解之间的差值小于某一预先设定的阈值(各关节角的阈值可根据实际情况设定)，则保留该解；否则认为该解为奇异解，在奇异点处对样条曲线进行反采样，以反采样的结果作为期望的解。

首先以固定视觉为例进行说明，为了保证系统初始状态的稳定性，在控制系统中将图像雅可比逆矩阵的起始位置估计值与ESN网络结合起来估计运动过程中的图像雅可比逆矩阵。首先让机械手在起始位置附近做小幅度随机运动，记录连续n个周期的k维图像特征差分矢量(df₁,df₂,…df_k)和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)，则可以得到图像特征差分矢量矩阵和末端位置差分矢量矩阵，两者通过反除法可以得出图像雅可比逆矩阵的起始位置估计值然后规划关节空间的轨迹控制机械臂的运动，离线训练中θ_d的轨迹可根据实际需要给出,尽量覆盖机械臂在抓取过程中可能移动到的工作空间，这里取双曲正切函数。记录足够多的k维图像特征差分矢量(df₁,df₂,…df_k)和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)数据对。将数据划分为训练样本和测试样本,k维图像特征差分矢量(df₁,df₂,…df_k)和初始雅可比逆矩阵的输出作为ESN网络的输入，m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)作为ESN网络的输出，离线训练框图如图3所示,由于ESN网络具备输出权值不变情况下的自适应性，因此不需要在线更新其输出权值矩阵，算法的实时性会比较好。固定视觉的运动学视觉伺服控制方案如图4所示。

对于手眼视觉而言，运动范围相对较小，只要初始位姿恰当，并不容易产生奇异点问题，但是与固定视觉不同的地方是要求有更高的定位精度。因此，对手眼视觉，可采用ESN网络直接估计图像特征到关节角的直接映射关系，以上ESN网络的训练和控制方法稍作修改即可。手眼视觉的运动学视觉伺服控制方案如图5所示。

Claims (4)

1.一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法，其特征在于：所述方法包括以下步骤：

1)、建立模具的图像索引区域及目标图像样本库；

2)、特征提取及降维；

3)、采用多项式插值的方法进行空间约束条件下的逆运动学规划；

4)、实现基于回声状态网络估计雅克比逆矩阵，包括以下步骤：

Step4.1：让机械手在起始位置做小幅度随机运动，机械手摆动角度不超过30度，记录连续n个周期的k维图像特征差分矢量(df₁,df₂,…df_k)，和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)，图像特征差分矢量指前后两个采样点的图像灰度值之差，机械手末端位置差分矢量指前后两个采样点机械手末端位置之差，则得到图像特征差分矢量矩阵和末端位置差分矢量矩阵，两者通过两者相除得出图像雅可比逆矩阵的起始位置估计值

Step4.2：通过规划关节空间的轨迹来控制机械臂的运动，离线训练中关节空间θ_d的轨迹根据实际需要给出，尽量覆盖机械臂在抓取过程中可能移动到的工作空间；记录100对以上的k维图像特征差分矢量(df₁,df₂,…df_k)和m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)数据对；

Step4.3：将数据划分为训练样本和测试样本,k维图像特征差分矢量(df₁,df₂,…df_k)和初始雅可比逆矩阵的输出作为回声状态网络的输入，m维机械手末端位置差分矢量(dr₁,dr₂,…dr_m)作为回声状态网络的输出。

2.如权利要求1所述的无标定视觉伺服控制方法，其特征在于：所述步骤1)中，通过固定视觉引导机械手到达抓取目标区域，因此在离线状态下，让机械手运动到各个索引区域上方，保证目标出现在手眼视觉范围内，然后通过固定视觉采集对应的图像存为目标图像样本。

3.如权利要求2所述的无标定视觉伺服控制方法，其特征在于：所述步骤1)中，通过手眼视觉引导机械手靠近并对准目标，实现抓取在某一有产品的区域上，让机械手停靠在产品正上方，即可抓取到目标的地方，通过手眼视觉采集对应的图像存为目标图像样本。

4.如权利要求1所述的无标定视觉伺服控制方法，其特征在于：所述步骤3)中，多项式插值的方法包括以下步骤：

Step3.1：通过机械臂的逆运动学模型得到逆运动学等式；

Step3.2：根据逆运动学等式构造基础方程；

Step3.3：通过矢量运算和符号运算对方程降阶；

Step3.4：根据实际工作情况确定插值的样条曲线，将约束条件和起始位置代入并计算得到曲线参数；

Step3.5：若存在多重解，则用欧氏距离作为比较准则，选择与当前位置最接近的一组解。