CN1129332A - 智能图像识别与机械手驱动系统 - Google Patents

Abstract

本发明是智能图像识别和机械手驱动系统，属图像识别和计算机自动控制技术领域。该系统包括摄像机微型计算机，机械手，设置两台摄像机，还包括彩色图像存贮器和用于颜色识别及轮廓线目标分离的彩色图像处理器，摄像机分别通过A/D模数变换器与彩色图像存贮器和处理器连接，微型计算机中还设有存贮用于神经网络识别的EPROM和存贮用于机械手控制的EPROM。本发明能达到速度快，精度高，抗干扰性能强，通用性广，操作简便。

Description

智能图像识别与机械手驱动系统

本发明涉及神经元网络智能图像识别和机械手驱动系统。属于图像识别和计算机自动控制技术领域。分为目标特征量的选择、神经网络、机械手驱动三部分。包括计算机图像处理硬件，图像处理专用软件及机械手和它的专用驱动软件。见附图1。

现有的大多数工业化设备利用了机器人基本优点，即它们动作的重复性。

已公开的文献如下：

1、S.A.ShearerR.G.Holmes：Plant Identifi-cation Vsing color Co-ocurrenceMatrices Transac-tians of the ASAE vol.33(6)1990

2、近藤直，芝野保德：果菜类の画像认识12关すう研究(第一报)农业机械学会志53(5)1991

3、M.Fukumi etc.Rotation-Inrariant NeuralPattern Recognition System With Application tocoin Rowgnition.IEEE Neural Neteworks V.3 N.2March 92

4、M.Sterenson，R.Witer and B.widrow：Sensitivity of Feed forword Neural Network towehighe Error，IEEE Neural Nerworks.V.3.n.1 1992

5、申请号93102861.2公开号CN1076536A有关神经网络发明专利申请。

本发明的目的是提供一种智能图像识别与机械手驱动系统，实现多自由度机械手的控制，对各关节分段驱动，速度快，精度高，抗干扰性能强，通用性广，操作简便，适合跟踪目标、捕获目标。

本发明的目的是用以下技术方案达到的。一种智能图象识别与机械手驱动系统，包括摄像机，微型计算机，机械手，设置两台摄像机，还包括彩色图像存贮器和用于颜色识别及轮廓线目标分离的彩色图象处理器，摄像机分别通过A/D模数变换器与彩色图像存贮器和处理器连接，微型计算机中还设有存贮用于神经网络识别的EPROM和存贮用于机械手控制的EPROM。存贮用于神经网络识别的EPROM是采用前向三层神经元网络及其修正式以及并行加积运算。机械手的起始位置设定为肩对底座成45度角，肘形臂与手指平行于底座，手指旋转角度为0度，摄像机与水平面成90度角，绝对座标系固定在机械手的腕部。一台摄像机用于根据颜色识别法和基于轮廓线的目标分离技术捕捉目标，另一台摄像机用于仔细分析目标性质获取六个有效目标识别特征量为：大小、位置、复杂度、纵横比、轮廓线曲率、轮廓线曲率允许变化误差。微型计算机中还增设扩展内存板。

本发明在于双摄像机视觉识别基础上控制多自由度机械手作业，以代替人的繁重体力劳动或危险工作。

利用神经元网络研究成果，引入计算机图像处理分析识别系统及机械手驱动系统，适用于难以建立数学模型的非线性，大滞后、时变等复杂控制过程。通过神经无网络的学习功能自动识别与控制，达到速度快，精度高、抗干扰性能强、通用性广、操作简便。

该系统的优点在于：

1、采用双摄像机。利用固定在机械手支臂端的摄像机搜索捕捉目标。利用固定在机械手手指端的摄像机识别目标类型。减轻了图像数据处理负担，提高了目标识别速度及识别率。

2、采用了颜色识别法及基于轮廓线的目标分离技术准确高速捕获目标。

3、采用目标识别有效特征量六个：大小、位置、复杂度、纵横比、轮廓线曲率、轮廓线曲率允许变化误差。采用图像处理器专用软硬件实现。

4、采用了前向三层神经元网络及其修正式。省去了传统识别法建模过程，节省内存，容错性好、识别率高。而且由于省去传统的配准判别计算量大的过程、神经元网络识别是并行加乘运算速度要快得多。

5、机械手驱动器及神经元网络识别器是固化于EPROM的软件有一定程度的通用性。

附图简要说明。

图1是本发明系统方框图；

图2是本发明BP网络结构方框图；

图3是本发明BP算法框图；

图4是本发明系统动作过程方框图；

图5是本发明机械手角度计算示意图；

图6是本发明机械手驱动程序框图。

下面通过实施例结合附图对本发明进行详细说明。

1、采用双摄像机系统。用摄像机1去捕捉目标，用摄像机2去分析目标。可并行操作减轻了数据处理烦锁性，提高了识别速度和识别率。见附图1。

2、采用颜色识别法将目标与背景分离。用Munsell彩色系统使用的色调H、彩度C、明度V与物体的色调H、饱和度S、明度L三属性对应获得与彩色摄像机红色R、绿色G、兰色B三色信号之间的联系。 $\left[\begin{array}{c}H\\ C\end{array}\right]=\left[\begin{array}{ccc}+0.596& -0.275& -0.321\\ +0.212& -0.523& +0.311\end{array}\right]=\left[\begin{array}{c}R/63\\ G/63\\ B/63\end{array}\right]$

V＝0.59G＋0.30R＋0.11B

3、采用基于轮廓线坐标的分离技术。用摄像机1直接根据采色监视器里映现的目标勾画出其图像轮廓。采用Bresenham直线算法将相邻两点联接。在绘制目标区域轮廓的同时得到关于轮廓线上诸点坐标和色彩的链码。

有效目标特征量的选择

这是识别目标的必要条件。我们选取了六个特征量。

1、大小。用轮廓线的长度L或面积S表示。

2、位置。用轮廓线重心M(x，y)表示。

若：(x_i，y_i)为轮廓点坐标，

    (x，y)为轮廓重心坐标，

则 $X=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}$ x_i/n

   $y=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}$ y_i/n

3、复杂度：用轮廓线周长除以面积来表示。 $e=\frac{L^2}{s}$

4、纵横比：用轮廓垂直方向的长度除以水平方向的长度来表示。 $A=\frac{L^V}{L^H}$

5、轮廓线的曲率

将轮廓点(x_i，y_i)置系列x＝f(x)y＝g(t)于是可由式e＝L²/s求得曲率k。 $K=\frac{\frac{\mathrm{df}\left(t\right)}{\mathrm{dt}}\·\frac{d^{2}g\left(t\right)}{d{t}^2}-\frac{\mathrm{dg}\left(t\right)}{\mathrm{dt}}\·\frac{d^{2}f\left(t\right)}{d{t}^2}}{\{{\left(\frac{\mathrm{df}\left(t\right)}{\mathrm{dt}}\right)}^2+{\left(\frac{\mathrm{dg}\left(t\right)}{\mathrm{dt}}\right)}^2{\}}^{3/2}}$

6、相同目标轮廓线大致相同但也有差别，故又采用了轮廓线曲率允许变化误差Δk。各类目标的允许变化误差各不相同。由实验确定。

神经元网络设计

1、我们采用了前向三层神经元网络：输入层、隐层、输出层。各层由复数单元组成。除了输入层之外，各层各单元均受来自前层各单元的重叠输入力。节点的作用函数选取s型函数。用 $f\left(x\right)=\frac{1}{1+e^{-x}}$ 计算它的总和。(简称BP网络)。

设i_i ^k，o_i ^k分别为k层第i单元的输入总和及输出量，ω^k-1i_j ^k为K-1层第j单元向第k层第i单元的结合强度，Q_i ^k为第k层i单元的阈值，则： $i_i^k=\mathrm{\Σ}{\mathrm{\ω}}^{k-1}{j}^{k}i\·O_j^{k-1}-Q_i^k$ $O_i^k=f\left(i_i^k\right)$

2、学习算法

采用了误差逆传播算法。当对某输入所得出的值与期望值不同时再次同样输入，改变各层单元的结合强度，以接近预期结果。

设m层的网络k层第i单元输入总和为i，输出为o，R-1层的第i单元向第k层第j单元结合的重力为ω^k-1i，k层第j单元的学习信号为d，结合的修正量为∑ω^k-1i于是下面式子成立： $d_j^m=(Q_i^m-Y_1)\·f\left(i_j^n\right)$ $d_j^k=\left(\mathrm{\Σ}{\mathrm{\ω}}^k{j}_i^{k-1}{d}_i^{k-1}\right)\·f\left(i_j^k\right)$ $\mathrm{\Δ}{\mathrm{\ω}}^{k-1}{i}_j^k=-\mathrm{\ϵ}{d}_i^k{Q}_j^{k-1}$ 这里Q_i ^m为期望输出，y_i为实际输出。ω为一次修正量数。

为加速收敛，又采用了修正式： $\mathrm{\Δ}{\mathrm{\ω}}^{k-1}{i}^{k}j(t+1)=-\mathrm{\Σ}{d}_j^k\·Q_i^{k-1}+d\·\mathrm{\Δ}{\mathrm{\ω}}^{k-1}{i}^{k}j\left(t\right)$

d为稳定系数。t为修正次数。

于是改变了神经元结合强度。阈值的改变也采用同样方法。这里不再重复。

为了使神经网络认识图形，首先确定结合系，阈值为最佳值。将目标特征量，教师信号预先输入，在目标认识率达100％之前，反复学习。这是一个并行加乘运算过程。

BP模型把I/O问题变成非线性优化问题用选代运算求解权，相应于学习记忆问题。中间节点增加，使优化问题的可调参数增加，得到理想效果。这是一个高度非线性映射系统。如果设输入节点数为n，输出节点数为m，则网络从Rⁿ向R^m映射，其中EK＝(y_i－T_i)²从而 $\frac{\∂E_k}{\∂\mathrm{\ω}}=\frac{\∂E_k}{\∂Q_k}\frac{\∂Q_k}{\∂\mathrm{\ω}}=\frac{\∂E_k}{\∂y_k}\frac{\∂Y_k}{\∂Q_k}{X}_k$ 其中，Q_k＝ωX_k则ω的修改规则为

ω(k＋1)＝ω_k＋μ(-F/ω)|ω＝ω_k

经实验我们采用输入层神经元为6，输出层神经元为7，中间层神经元为8至12。它已成功用于植物图像识别。见附图2及附图3。

基于视觉的机械手驱动方法

大多数工业机器人仅仅利用了位置重复性这一基本特点。基于视觉识别的机器人如何捕捉目标，多自由度机械手如何协调动作才能使手指达到目标点，有相当庞大的计算。一般方法有三种，一种是目标直线移动的方法称为CP法，一种是向目标路经不定的PTP法，此外还有把动作角度细分加以插补的方法。我们采用了CP法。系统的动作过程见附图4。

1、静止位置设定

经反复实验证明，机械手静止位置这样选择可以使它各关节的角度计算成为比较简单的过程：即肩对底座成45°角，肘臂与手指平等于底座，手指旋转角度为0，手指尖摄像机与水平成90°角，经过座标系固定在机械手的腕部，使繁的计算过程简化了。

2、驱动角度的计算

当神经元网络识别出目标性质后，机械手便产生相应动作。这里采用了对各关节分段驱动的方法。因此，机械手角度计算成为关键主要是对腰部角度Q₁，肩部角度Q₂，肘臂角度Q₃，手指角度Q₄的计算。这种与自由度机械手计算方法示意图见附图5。计算如下：

AB＝I₁    I₁肩长      Q₁：腰部角度

BC＝I₂    I₂肘臂长    Q₂：肩部角度

CP＝I₃    I₃手指长    Q₃：肘臂角度

CD＝I_s    P：目标位置  Q₄：手指角度

Q_h：与水平面指定角度

Q_h，Q₁，P决定C点座标

Q₁＝tan^-1y/x

x_c＝x－I₃cosQ_hcosQ₁

y_c＝y－I₃cosQ_hsinQ₁

z_c＝z＋I₃sinQ_h $L_1^2=x_c^2+y_c^2+z_c^2$ $Q_3=\mathrm{co}{s}^{-1}\frac{I_1^2-I_2^2-L_1^2}{2I_1\·I_2}$ $\mathrm{\β}=\mathrm{co}{s}^{-1}\frac{I_1^2-L_1^2-I_2^2}{2I_1\·I_2}$ $\mathrm{\α}=\mathrm{si}{n}^{-1}\frac{Z_c}{L_1}$

γ＝180°－α－Q_h

Q₂＝α＋β

Q₄＝β＋Q₃＋γ

于是得到全部的关节角度。

由以上结果，分另求出各角度与它动作前的姿势的各关节的角度的差，便成为应驱动的角度。设Q′₁～Q′₄为各关节动作前角度，则：

ΔQ₁＝Q₁－Q′₁

ΔQ₂＝Q₂－Q′₂

ΔQ₃＝Q₃－Q′₃

ΔQ₄＝Q₄－Q′₄

这里，ΔQ₁～ΔQ₄为各关节驱动角度

输入目标三次元座标(x，y，z)，以此为根据进行角度计算后便得到各关节驱动角度，进而变换成脉冲送各关节马达驱动器使机械手动作。下一个目标位置参数送来又重复上述过程。

Claims (5)

1、一种智能图象识别与机械手驱动系统，包括摄像机，微型计算机，机械手其特征在于设置两台摄像机，还包括彩色图像存贮器和用于颜色识别及轮廓线目标分离的彩色图象处理器，摄像机分别通过A/D模数变换器与彩色图像存贮器和处理器连接，微型计算机中还设有存贮用于神经网络识别的EPROM和存贮用于机械手控制的EPROM。

2、根据权利要求1的智能图像识别与机械手驱动系统，其特征在于存贮用于神经网络识别的EPROM是采用前向三层神经元网络及其修正式进行并行加乘运算。

3、根据权利要求1和2的智能图像识别与机械手驱动系统，其特征在于，机械手的起始位置设定为肩对底座成45度角，肘形臂与手指平行于底座，手指旋转角度为0度，摄像机与水平面成90度角，绝对座标系固定在机械手的腕部。

4、根据权利要求1或2的系统，其特征在于一台摄像机用于根据颜色识别法和基于轮廓线的目标分离技术捕捉目标，另一台摄像机用于仔细分析目标性质获取六个有效目标识别特征量为：大小、位置、复杂度、纵横比、轮廓线曲率、轮廓线曲率允许变化误差。

5、根据权利要求1或2的系统，其特征在于，微型计算机中还增设扩展内存板。

Images