CN100524108C - 一种基于小波神经网络的视觉反馈控制方法 - Google Patents

Abstract

本发明是一种基于小波神经网络的视觉反馈控制方法，涉及机器人视觉反馈控制方法，属于人工智能领域。本发明针对传统机器人视觉反馈控制方法需要对摄像机模型、机器人模型、手眼关系等进行标定的问题，提出、设计并实施一种基于小波神经网络的视觉反馈控制方法。本发明是将摄像头(机器人的眼睛)对准工作场所的目标物体，拍摄图像，计算机进行图像特征提取并反馈到系统输入端，与期望值做比较，二者如果不相等则通过小波神经网络得到期望的机器人关键角数值，再由机器人控制器控制机器人(摄像头)运动，重复这个过程直到图像特征之差为零为止。本方法采用了小波神经网络而避免了对机器人系统各部分的标定要求，采用特征空间变换得到图像特征适用于不同的目标物体。

Description

一种基于小波神经网络的视觉反馈控制方法

技术领域

本发明涉及机器人视觉反馈控制方法，属于人工智能领域。

背景技术

近年来，人们致力于让机器人拥有类似于人类的视觉功能。目前普遍的做法是借助于各种现成的成像设备(如CCD摄像头)。通过成像设备得到环境信息，对这些信息进行处理并反馈到系统的输入端，引导和协调机器人进行各项操作。类似的研究在工业、农业、服务业、国防和航空航天等领域具有重要的实用价值。但是传统的方法要求摄像机模型、机器人模型、手眼关系等已知或部分已知，这就需要做大量的、费时费力的标定工作。为了避免或者简化系统的标定过程，研究人员提出了一些解决方法。例如文献Piepmeier J A，McMurray G V，Lipkin H.A dynamic Quasi-Newton method foruncalibrated visual servoing.Proc IEEE Int Conf On Roboticsand Automation，1999：1595-1600和Asada M，Tanaka T，HosodaK.Adaptive Binocular Visual Servoing Independently MovingTarget Tracking.Proceedings of IEEE Conference Robotics &Automation，2000：2076-2081.是在国际机器人学领域的著名会议IEEE Conference Robotics & Automation上发表的两篇文章。他们采用的免标定方法是：在线动态估计图像雅可比矩阵。这种方法的优点是不需要进行系统标定，但缺点是每次迭代都需要求雅可比矩阵的逆矩阵。对于复杂的机器人系统，图像雅可比矩阵具有较高的维数，这样在线计算雅可比逆矩阵是很困难的，另外当雅可比矩阵奇异时，逆矩阵不存在就会造成控制失败。本发明采用人工神经网络，不仅能够避免复杂的系统参数标定，而且避免在线计算逆矩阵，使控制系统的速度和稳定性得到保证。与一般基于人工神经网络的控制方法相比，本发明采用的是小波神经网络，因为这种网络具有更快的学习速度。与机器人视觉伺服中常见的基于物体几何特征的方法相比，本发明采用的是通过特征空间变换得到的图像特征，这样就使本发明的方法可方便用于不同的目标物体。

发明内容

本发明所要解决的技术问题是提供一种有效的、免标定的机器人视觉反馈控制方法。

对于末端装有摄像头(机器人的眼睛)的一般机器人系统，由于机器人的运动会引起图像特征的变化，这个过程是一个复杂的非线性过程。根据视觉信息进行机器人运动控制时，一般要求先根据目标图像特征的变化，求出机器人应该产生的运动量。本发明采用小波神经网络学习机器人应该产生的运动量与图像特征变化之间的复杂关系。

本发明的技术方案如下

本发明分两个阶段：

(一)离线准备阶段，包含以下步骤：

(1)控制机械手运动到工作区内的任意位置，拍摄图像并保存机器人当前的关节角数据；

(2)计算图像特征；

(3)将图像特征及关节角数据进行归一化处理；

(4)训练人工神经网络并保存结果数据；

(二)在线控制阶段，包含以下步骤：

(1)拍摄图像并读取当前的关节角数据；

(2)计算当前的图像特征，并反馈到系统的输入端；

(3)判断当前的图像特征是否与期望的情况相同，如果相同则认为控制结束；如果不同则进入下一步；

(4)计算图像特征差的归一化值；

(5)通过人工神经网络得到关节角的归一化期望值；

(6)计算实际的机器人关节角期望值；

(7)控制机器人运动，返回第(1)步。

本发明的基于小波神经网络的视觉反馈控制原理(如图1所示)，描述如下：摄像头(机器人的眼睛)对准工作场所的目标物体，拍摄图像，计算机进行图像特征提取并反馈到系统输入端，与期望值做比较，二者如果不相等则通过小波神经网络得到期望的机器人关键角数值，再由机器人控制器控制机器人(摄像头)运动，重复这个过程直到图像特征之差为零为止。

在实际控制之前，需要先有一个离线准备阶段(参见图2)，包含以下步骤：

(1)控制机械手运动到工作区内的任意位置，拍摄图像并保存机器人当前的关节角数据。

(2)采用特征空间变换方法计算图像特征。

假设有P幅q₁×q₂的灰度图像，每一幅图像可以表示成含N＝q₁×q₂个元素的向量I_p，p＝1，2，…，P。在离散的情况下，由于P是有限值，平均图像可按此公式计算： $\stackrel{\‾}{I}=E\left(I\right)=\frac{1}{P}\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{I}_p.$ 然后求出P幅差图ΔI_p＝I_p-I，并由这P幅差图构造矩阵A＝(ΔI₁ΔI₂…ΔI_P)。计算图像协方差矩阵，即C＝A^TA/P。通过奇异值分解可以求出矩阵C的按从大到小顺序排列的特征值。设前M个较大特征值对应的特征向量为

，用这M个特征向量构造如公式(1)所示的变换矩阵。

$U=A\left(\begin{array}{cccc}{e}_1^{\′}& e_2^{\′}& \·\·\·& e_M^{\′}\end{array}\right)---\left(1\right)$

于是一幅图像I∈R^N，可以用一个向量表示为

y＝U^T(I-I)，y∈R^M       (2)

其中向量y中包含M个元素，对应M个图像特征。

与几何特征相比，利用这种方法计算图像特征，优点是去相关性好，受噪声的影响小，在背景比较复杂时也适用。另外可以避免在目标上做人工标记，使算法适用于不同的被操作对象。

(3)将图像特征及关节角数据进行归一化处理，也就是将数据变换到[-1，+1]之间，以避免计算机发生溢出。

(4)训练人工神经网络并保存结果数据。

本发明采用的人工神经网络，其隐层传递函数采用小波函数即

ψ(t)＝(1-t²)·exp(-t²/2)。由于小波函数具有快速衰减性，使这种神经网络具有收敛速度快、易适应新数据的优点。

假设神经网络有N₁(如果采用6个图像特征，则N₁＝6)个输入节点，信号分别是N₁个图像特征的差： $\mathrm{\Δ}{y}_1,\mathrm{\Δ}{y}_2,\·\·\·\mathrm{\Δ}{y}_{N_1}(\mathrm{\Δ}{y}_i=y_i-y_i^d).$ 神经网络有N₃(对于6自由度的机器人，N₃＝6)个输出节点，它们是N₃个机器人关节角位移值： $\mathrm{\Δ}{\mathrm{\θ}}_1,\mathrm{\Δ}{\mathrm{\θ}}_2,\·\·\·\mathrm{\Δ}{\mathrm{\θ}}_{N_3}(\mathrm{\Δ}{\mathrm{\θ}}_i={\mathrm{\θ}}_i-{\mathrm{\θ}}_i^d).$ 上面的

与

表示期望位置处的图像特征和机器人关节角的值。假设隐藏层有N₂个节点，w_ij为第i个输入到第j个隐层节点的连接权值，以及v_ij为第j个隐层节点到第k个输出的连接权值，b_ij为小波函数的平移参数。则网络的输入输出关系可表示为

${\mathrm{\Δ\θ}}_k=\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{v}_{\mathrm{kj}}\mathrm{\ψ}(\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{w}_{\mathrm{ji}}\mathrm{\Δ}{y}_i-b_{1j})+b_{2k},k=\mathrm{1,2},\·\·\·,N_3---\left(3\right)$

采用Levenberg-Marquardt算法训练小波神经网络的权值等参数，算法公式为： $X_{k+1}=X_k-{\mathrm{\α}}_k{(J_k^T{J}_k+S_k)}^{-1}{J}_k^T{e}_k.$ 然后将结果保存，留作下一阶段使用。

在线控制阶段(参见图3)包含以下步骤：

(1)拍摄图像并读取当前的关节角数据。

(2)按公式(2)计算当前的图像特征，并反馈到系统的输入端。

(3)判断当前的图像特征是否与期望的情况相同，如果相同则认为控制结束；如果不同则进入下一步。

(4)计算图像特征差的归一化值，将数据变换到[-1，+1]之间。

(5)根据公式(3)计算关节角的归一化期望值。

(6)利用 ${\mathrm{\Δ\θ}}_c=\frac{1}{2}(\mathrm{\Δ\θ}+1)(\mathrm{\Δ}{\mathrm{\θ}}_{\max }-{\mathrm{\Δ\θ}}_{\min })+\mathrm{\Δ}{\mathrm{\θ}}_{\min }$ 将机器人关节角期望值从[-1，+1]之间变换到实际范围。

(7)把上一步得到的机器人关节角的偏移量作为机器人控制器的参考输入，输入给机器人控制器，由机器人控制器控制机器人运动。然后转到第(1)步。

本发明具有以下优点：

1、本发明提供的视觉反馈控制方法利用了小波神经网络的学习能力，避免了对系统各部分的标定要求，方法简练，实用性强。

2、本发明提供的视觉反馈控制方法适用于不同形状的目标物体，对于背景复杂的情况同样适用。

附图说明

图1是视觉反馈控制原理图；

图2是阶段(一)的原理图；

图3是阶段(二)的流程图；

图4是实施例图；

图5是图像特征差变化趋势图。

具体实施方式

本发明可实施于需要进行视觉反馈控制的各种机器人视觉反馈控制系统。实施时将摄像设备安装于机器人身体上的合适位置，要求机器人眼睛能够看到工作场景。

如图4所示，针对一个由六自由度机器人、摄像头、计算机、机器人控制器、图像采集卡组成的实际系统，图像捕捉卡通过PCI总线与计算机相联，计算机通过串口与机器人控制器进行通讯。Matrox Imaging Library函数库和MOTOCOM32函数库提供了图像捕捉和机器人运动控制的基本函数，编程环境为Visual C++。工作台面上放着目标物体。采用本发明提出的基于小波神经网络的视觉反馈控制方法进行实际控制。

(一)离线准备阶段

(1)控制机械手运动到工作区内的任意位置，拍摄图像并对图像进行编号，同时保存对应的机器人关节角数据。

(2)采用特征空间变换方法计算图像特征。

首先按公式 $\stackrel{\‾}{I}=E\left(I\right)=\frac{1}{P}\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{I}_p$ 计算平均图像。然后求出差图ΔI_p＝I_p-I，并构造矩阵A＝(ΔI₁ΔI₂…ΔI_P)。再按公式C＝A^TA/P计算图像协方差矩阵。通过调用奇异值分解函数求出矩阵C的按从大到小顺序排列的特征值。由于机器人具有六个自由度，取M＝6。求出矩阵C的前6个较大特征值对应的特征向量为i＝1，2，…，6，用这6个特征向量构造如公式(1)所示的变换矩阵，即 $U=A\left(\begin{array}{cccc}{e}_1^{\′}& e_2^{\′}& \·\·\·& e_M^{\′}\end{array}\right).$ 利用公式y＝U^T(I-I)求出各图像对应的图像特征。其中向量y中包含6个元素，对应6个图像特征。

(3)将图像特征及关节角数据进行归一化处理，也就是将数据变换到[-1，+1]之间，具体方法为x′＝2(x-min)/(max-min)-1。

(4)训练人工神经网络并保存结果数据。

由于实例中采用6个图像特征，因此小波神经网络具有6个输入节点和6个输出节点，隐层节点个数也取为6个，隐层传递函数为ψ(t)＝(1-t²)·exp(-t²/2)。输入信号分别是6个图像特征的差：Δy₁，Δy₂，…Δy₆，输出是6个机器人关节角期望的位移值Δθ₁，Δθ₂，…Δθ₆。

在上面图像特征和机器人关节角数据的基础上，对该小波神经网络的权值等参数进行训练，然后将结果保存。

(二)在线控制阶段

(1)机器人的初始位置是随机的，在当前位置处拍摄图像并读取当前的关节角数据。

(2)按公式(2)计算当前的图像特征，并反馈到系统的输入端与期望做比较。

(3)如果当前的图像特征与期望值相同，则认为停止控制机器人运动；如果不相同则进入下一步。

(4)利用公式y＝2(y-y_min)/(y_max-y_min)-1计算图像特征差的归一化值，将数据变换到[-1，+1]之间。

(5)根据公式(3)计算关节角的归一化期望值。

(6)利用 ${\mathrm{\Δ\θ}}_c=\frac{1}{2}(\mathrm{\Δ\θ}+1)(\mathrm{\Δ}{\mathrm{\θ}}_{\max }-{\mathrm{\Δ\θ}}_{\min })+\mathrm{\Δ}{\mathrm{\θ}}_{\min }$ 将机器人关节角期望值从[-1，+1]之间变换到实际范围。

(7)以Δθ_c为机器人控制器的参考输入，输入给机器人控制器，由机器人控制器控制机器人运动。在机器人运动过程中，每隔50ms采集一次图像并计算图像特征，然后转到第(1)步。

实验效果可以用图像特征差最后是否收敛到0来证明。如果图像特征差最后能够收敛到0，则说明系统是稳定收敛的，也就是利用本发明的方法可以将机器人控制到目标位置。从图5的图像特征差变化趋势图可以看出，所有图像特征的误差最后趋于0，表明机器人在视觉信息反馈控制找到了目标物体，于是就可以接着执行其他工作，如抓取、安装、焊接等。

Claims (1)

1.一种基于小波神经网络的视觉反馈控制方法，其特征在于分两个阶段：

(一)离线准备阶段，包含以下步骤：

(1)控制机械手运动到工作区内的任意位置，拍摄图像并保存机器人当前的关节角数据；

(2)采用特征空间变换方法计算图像特征；

对于P幅q₁×q₂的灰度图像，每一幅图像可以表示成含N＝q₁×q₂个元素的向量I_p，p＝1，2，…，P；在离散的情况下，由于P是有限值，平均图像可按此公式计算： $\stackrel{\‾}{I}=E\left(I\right)=\frac{1}{P}\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{I}_p;$ 然后求出P幅差图ΔI_p＝I_p-I，并由这P幅差图构造矩阵A＝(ΔI₁ΔI₂…ΔI_p)；计算图像协方差矩阵，即C＝A^TA/P；通过奇异值分解可以求出矩阵C的按从大到小顺序排列的特征值；设前M个较大特征值对应的特征向量为

i＝1，2，…，M，用这M个特征向量构造如公式(1)所示的变换矩阵；

$U=A\left(\begin{array}{cccc}{e\′}_1& {e\′}_2& \·\·\·& {e\′}_M\end{array}\right)---\left(1\right)$

于是一幅图像I∈R^N，可以用一个向量表示为

y＝U^T(I-I)，y∈R^M      (2)

其中向量y中包含M个元素，对应M个图像特征；

(3)将图像特征及关节角数据进行归一化处理，也就是将数据变换到[-1，+1]之间，以避免计算机发生溢出；

(4)训练人工神经网络并保存结果数据；

本发明采用的人工神经网络，其隐层传递函数采用小波函数即ψ(t)＝(1-t²)·exp(-t²/2)；

对于神经网络的N₁个输入节点，信号分别是N₁个图像特征的差：Δy₁，Δy₂，…

${\mathrm{\Δy}}_i=y_i-y_i^d;$ 神经网络有N₃(对于6自由度的机器人，N₃＝6)个输出节点，它们是N₃个机器人关节角位移值：Δθ₁，Δθ₂，… ${\mathrm{\Δ\θ}}_i={\mathrm{\θ}}_i-{\mathrm{\θ}}_i^d;$ 上面的

与

表示期望位置处的图像特征和机器人关节角的值；假设隐藏层有N₂个节点，w_ij为第i个输入到第j个隐层节点的连接权值，以及v_ij为第j个隐层节点到第k个输出的连接权值，b_ij为小波函数的平移参数；则网络的输入输出关系可表示为

${\mathrm{\Δ\θ}}_k=\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{v}_{\mathrm{kj}}\mathrm{\ψ}(\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{w}_{\mathrm{ji}}{\mathrm{\Δy}}_i-b_{1,j})+b_{2k},$ k＝1，2，…，N₃        (3)

采用Levenberg-Marquardt算法训练小波神经网络的权值等参数，算法公式为： $X_{k+1}=X_k-{\mathrm{\α}}_k{(J_k^T{J}_k+S_k)}^{-1}{J}_k^T{e}_k;$ 然后将结果保存，留作下一阶段使用；

(二)在线控制阶段，包含以下步骤：

(1)拍摄图像并读取当前的关节角数据；

(2)按公式(2)计算当前的图像特征，并反馈到系统的输入端；

(3)判断当前的图像特征是否与期望的情况相同，如果相同则认为控制结束；如果不同则进入下一步；

(4)计算图像特征差的归一化值，将数据变换到[-1，+1]之间；

(5)根据公式(3)计算关节角的归一化期望值；

(6)利用 ${\mathrm{\Δ\θ}}_c=\frac{1}{2}(\mathrm{\Δ\θ}+1)({\mathrm{\Δ\θ}}_{\max }-{\mathrm{\Δ\θ}}_{\min })+{\mathrm{\Δ\θ}}_{\min }$ 将机器人关节角期望值从[-1，+1]之间变换到实际范围；

(7)把上一步得到的机器人关节角的偏移量作为机器人控制器的参考输入，输入给机器人控制器，由机器人控制器控制机器人运动；然后转到在线控制阶段的第(1)步。

Images