CN106204620A - 一种基于微视觉的触觉三维力检测方法 - Google Patents

Abstract

本发明涉及一种基于微视觉的触觉三维力检测方法，属于机器人灵巧手执行末端的智能感知技术领域。本发明方法基于自主设计的触觉传感器上，设计验证的三维力检测技术方法，并在抓取过程中取得良好效果，属于机器人感知技术领域。当传感器与物体的直接接触时，弹性体会受力产生形变，标记点相应的会发生位移，由图像采集摄像头捕捉标记点位移前后的图像信息。通过施加力前后的图像信息的对比，计算标记点的偏移信息，再利用神经网络训练预测，得到回归出三维力预测矢量。本发明的基于微视觉的触觉三维力检测方法，能够检测得到灵巧手抓取过程中的触觉、滑觉等三维力信息，能应用于机器人灵巧手的触觉感知领域。

Description

一种基于微视觉的触觉三维力检测方法

技术领域

本发明涉及一种基于微视觉的触觉三维力检测方法，属于机器人灵巧手执行末端的智能感知技术领域。

背景技术

机器人灵巧手需要能够执行各种抓取、移动、捏抱或固定物体等操作,在操作过程中须通过灵巧手的触觉反馈实现对操作力量的精确控制，避免对被操作物体造成破坏，从而实现灵巧手的精细操作。常见的触觉检测方法大多是基于压阻式，电容式，光电式等传感器，这些传感器采集的物理量只能检测触觉接触区域内的垂直方向力，不能检测切向力，在机器人灵巧手执行抓取等操作时滑觉检测具有很大的局限性。

发明内容

本发明的目的是提出一种基于微视觉的触觉三维力检测方法，通过采集触觉接触区域内弹性体的形变图像的变化，采用一系列图像处理方法，并且使用神经网络拟合的技巧，定性并且定量的刻画物理世界中的触觉、滑觉等。

1、一种基于微视觉的触觉三维力检测方法，其特征在于该方法包括以下步骤：

(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像，对形变图像依次进行灰度化处理和二值化处理，得到形变图像的二值化图像，二值化图像中的像素点取值为0或1，0代表白点，1代表黑点，并记二值化图像为X；

(2)设定一个结构元素为5x5的矩阵单元Y，矩阵单元Y的取值均为0，将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠，若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0，则使二值化图像X上的像素点a的取值为0，若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0，则使二值化图像X上的像素点a的取值为1；遍历二值化图像X上的所有像素点，依次进行上述操作，得到二值化图像X的腐蚀图像E(X)，用公式可以描述为：

$E\left(X\right)=\left\{a\right|Ya\⋐X,a\⋐X\};$

(3)将上述步骤(2)的矩阵单元Y的中心点与上述腐蚀图像E(X)上的像素点b重叠，若腐蚀图像E(X)与矩阵单元Y的重叠部分中所有像素点均为1，则使腐蚀图像E(X)上的像素点b的取值为1，若腐蚀图像E(X)与矩阵单元Y的重叠部分的像素点不全为1，则使腐蚀图像E(X)上的像素点b的取值为0；遍历腐蚀图像E(X)上的所有像素点，依次进行上述操作，得到腐蚀图像E(X)的膨胀图像D(X),记该膨胀图像D(X)为基准帧：

$D\left(X\right)=\left\{b\right|Yb\↑E\left(X\right),b\⋐E\left(X\right)\};$

(4)上述膨胀图像D(X)中每个触觉检测区域标记点形成一个圆边界，对圆边界进行霍夫圆检测，在圆边界上作垂线，多条垂线的相交处为一个亮点，该亮点为标记点的中心坐标,记做a_ij，a_ij＝(x0_ij,y0_ij)，其中x0_ij为标记点中心坐标的横坐标，y0_ij为标记点中心坐标的横坐标；

(5)按照上述步骤(4)的霍夫圆检测方法，对上述步骤(3)得到的基准帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵A，

$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\\ a_{41}& a_{42}& a_{43}& a_{44}\end{array}\right],$

其中，a_ij＝(x0_ij,y0_ij)表示基准帧中第i行第j列个标记点的横纵坐标为x0_ij,y0_ij；

(6)对触觉检测区域带标记点弹性体施加一个外力F，在外力作用下采集触觉检测区域带标记点弹性体的形变图像，重复上述步骤(1)-步骤(3)，得到一个膨胀图像，将该膨胀图像记为动态帧；利用上述步骤(4)的霍夫圆检测方法，对动态帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵B，

$B=\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\\ b_{41}& b_{42}& b_{43}& b_{44}\end{array}\right],$

$F=\left[\begin{array}{c}{f}_x\\ f_y\\ f_z\end{array}\right]$

其中，b_ij＝(x1_ij,y1_ij)表示在受到外力F时，第i行第j列个标记点的横纵坐标分别为x1_ij,y1_ij，f_x,f_y,f_z为外力F通过三维力传感器测量得到的三轴方向作用力；

(7)对上述步骤(5)得到的矩阵A和步骤(6)得到的矩阵B进行作差运算，分别得到触觉检测区域带标记点弹性体上每个标记点的坐标在受到外力F时，坐标由(x0_ij,y0_ij)到(x1_ij,y1_ij)的偏移量(Δx_ij,Δy_ij)，(Δx_ij,Δy_ij)＝(x1_ij-x0_ij,y1_ij-y0_ij)，根据偏移量(Δx_ij,Δy_ij)得到外力F的特征向量X：

X＝(Δx₁₁,Δy₁₁,Δx₂₁,Δy₂₁,…,Δx₄₄,Δy₄₄)^T；

上述特征向量X和外力的转置F＝(f_x,f_y,f_z)^T构成一个训练样本集；

(8)设计一个三层神经网络，三层神经网络中的输入层到隐含层的映射关系式为：

$\begin{array}{c}{\mathrm{hI}}_i=\underset{k=1}{\overset{32}{\Σ}}\left(x_k{w}_{ki}^1\right)-b_{hi}\\ {\mathrm{ho}}_i=f\left({\mathrm{hI}}_i\right)=\frac{1}{1+e^{-a*{\mathrm{hI}}_i}}\end{array},i=(1,2,\mathrm{...},11),$

其中(x₁,x₂,...,x₃₂)为上述特征向量X，为三层神经网络输入层中第k个神经元与三层神经网络隐含层第i个神经元之间的连接权重，连接权重的取值范围为[-1.5,1.5]，b_hi为隐含层中第i个神经元的输入偏置，输入偏置的初始值为0，f(hI_i)为S型激活函数，a的取值为上述训练样本集的随机采样得到的样本计算得到，hI_i，ho_i分别为三层神经网络中隐含层的输入和输出；

三层神经网络中的隐含层到输出层的映射关系式为：

${\hat{f}}_x=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{ix}^2-b_x)$

${\hat{f}}_y=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iy}^2-b_y)$

${\hat{f}}_z=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iz}^2-b_z)$

其中，分别为上述步骤(6)中外力F的预测值，f(.)为S型激活函数，代表神经网络隐含层中第i个神经元到神经网络输出层神经元x之间的连接权值，连接权值的取值范围为[-1.5,1.5]，b_x为输出层神经元x的输入偏置，初始值为0；b_y代表神经网络隐含层第i个神经元到神经网络输出层神经元y之间的连接权值和输出层神经元y的输入偏置，取值范围和初始值与神经网络输出层神经元x中设定的一致；b_z代表神经网络隐含层第i个神经元到神经网络输出层神经元z之间的连接权值和输出层神经元z的输入偏置，取值范围和初始值与神经网络输出层神经元x中设定的一致；

(9)将上述步骤(7)的特征向量X作为神经网络的输入，将外力F作为神经网络的输出，定义外力F的预测值与外力F的期望值之间的误差e为三层神经网络的误差函数，利用上述步骤(7)得到的训练样本集，对神经网络中所有神经元之间的连接权重w进行更新，使误差，训练后得到的参数w，即可作为弹性体的劲度系数拟合估计值，训练过程如下：

(9-1)初始化时，对网络中各神经元之间的连接权值w和输入偏置b，分别赋一个区间[-1.5，1.5]内的随机数，设定计算精度值ε＝0.00001、最大训练次数M＝100以及连接权重w的更新步长η＝0.01；

(9-2)依次从步骤(7)得到的样本集中随机选取样本X及相应的外力F的期望值，外力F的期望值记为O：

X＝(x₁,x₂,…x₃₂)＝(Δx₁₁,Δy₁₁,Δx₂₁,Δy₂₁,…,Δx₄₄,Δy₄₄)^T

O＝(fx,fy,fz)^T

(9-3)计算三层神经网络的隐含层各神经元的输入hI_i和输出ho_i，和三层神经网络的输出层的输入y_i和输出y_o：

${\mathrm{hI}}_i=\underset{i=1}{\overset{n}{\Σ}}{w}_{ih}{x}_i-b_h$

ho_i＝f(hI_i)

$y_i=\underset{i=1}{\overset{3}{\Σ}}{w}_{ho}{\mathrm{ho}}_i-b_o$

y_o＝f(y_i)

(9-4)根据上述计算得到的三层神经网络输出y_o和期望输出O，计算三层神经网络的误差函数e对输出层和隐含层各神经元的偏导数δ_o,δ_h：

$\begin{array}{c}{\mathrm{\δ}}_o\stackrel{\mathrm{\Δ}}{=}\frac{\∂e}{\∂w_{ho}}=\frac{\∂e}{\∂y_i}\frac{\∂y_i}{\∂w_{ho}}=-(O-y_o)f^{\′}\left(y_i\right)\\ {\mathrm{\δ}}_h\stackrel{\mathrm{\Δ}}{=}\frac{\∂e}{\∂w_{ih}}=\frac{\∂e}{\∂{\mathrm{hI}}_i}\frac{\∂{\mathrm{hI}}_i}{\∂w_{ih}}=-\left(\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\δ}}_o{w}_{ho}\right)f^{\′}\left({\mathrm{hI}}_i\right)\end{array};$

(9-5)根据上述步骤(9-4)得到的神经元偏导数δ_o,δ_h，更新神经网络中所有神经元之间的连接权重w：

${\mathrm{\Δw}}_{ho}=-\mathrm{\μ}\frac{\∂e}{\∂w_{ho}}={\mathrm{\μ\δ}}_o{\mathrm{ho}}_i$

$w_{ho}^{N+1}=w_{ho}^N+{\mathrm{\η\Δw}}_{ho}$

${\mathrm{\Δw}}_{ih}=-\mathrm{\μ}\frac{\∂e}{\∂w_{ih}}={\mathrm{\δ}}_h{x}_i$

$w_{ih}^{N+1}=w_{ih}^N+{\mathrm{\η\Δw}}_{ih}$

(9-6)计算三层神经网络的误差函数e，对三层神经网络的误差函数e进行判断，若误差e≤ε，或训练次数大于上述设定的最大训练次数M，则计算得到三层神经网络的连接权重w和输入偏置b，并结束训练过程，若误差e＞ε，且训练次数小于或等于上述设定的最大训练次数M，则从上述步骤(7)的样本集中取出下一样本，返回步骤(9-3)；

(9-7)将上述计算得到三层神经网络的连接权重w和输入偏置b代入上述步骤(8)的三层神经网络中输入层到隐含层的映射关系式和隐含层到输出层的映射关系式，得到拟合方程如下式：

$\begin{array}{c}{\mathrm{hI}}_i=\underset{k=1}{\overset{32}{\Σ}}\left(x_k{w}_{ki}^1\right)-b_{hi}\\ {\mathrm{ho}}_i=f\left(h_i\right)=\frac{1}{1+e^{-a*{\mathrm{hI}}_i}}\\ (i=1,2,\mathrm{...},11)\\ {\hat{f}}_x=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{ix}^2-b_x)\\ {\hat{f}}_y=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iy}^2-b_y)\\ {\hat{f}}_z=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iz}^2-b_z)\end{array};$

(10)对实时采集的外力作用下的触觉检测区域带标记点弹性体的形变图像，重复步骤(1)到步骤(7)，得到图像特征向量X'，将图像特征向量X'代入上述步骤(9)的拟合方程中，得到外力F的三维力检测值。

本发明提出的基于微视觉的触觉三维力检测方法，其优点是，本发明方法利用图像信息，获得触觉接触区域内的弹性体形变信息，相比传统的触觉检测方法，能够提供触觉、滑觉、压觉等三维力信息，为机器人灵巧手提供很好的环境信息。并且具有实时性好，检测稳定的优点。同时借助胡克定律的原理，拟合弹性体的劲度系数，使得拟合的参数具有对应的物理含义。本发明方法构造的三层神经网络，利用已知的样本逐渐逼近弹性体的劲度系数，使得检测误差小，检测精度高的优点。

附图说明

图1是本发明提出的基于微视觉的触觉三维力检测方法的流程框图。

图2是摄像头采集的原始灰度图像和二值图。

图3是本发明方法中涉及的三层神经网络结构图。

具体实施方式

本发明提出的基于微视觉的触觉三维力检测方法，其流程框图如图1所示，包括以下步骤：

(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像，对形变图像依次进行灰度化处理和二值化处理，得到形变图像的二值化图像，如图2(a)所示，二值化图像中的像素点取值为0或1，0代表白点，1代表黑点，并记二值化图像为X；

(2)设定一个结构元素为5x5的矩阵单元Y，矩阵单元Y的取值均为0，将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠，若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0，则使二值化图像X上的像素点a的取值为0，若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0，则使二值化图像X上的像素点a的取值为1；遍历二值化图像X上的所有像素点，依次进行上述操作，得到二值化图像X的腐蚀图像E(X)，用公式可以描述为：

$E\left(X\right)=\left\{a\right|Ya\⋐X,a\⋐X\};$

(3)将上述步骤(2)的矩阵单元Y的中心点与上述腐蚀图像E(X)上的像素点b重叠，若腐蚀图像E(X)与矩阵单元Y的重叠部分中所有像素点均为1，则使腐蚀图像E(X)上的像素点b的取值为1，若腐蚀图像E(X)与矩阵单元Y的重叠部分的像素点不全为1，则使腐蚀图像E(X)上的像素点b的取值为0；遍历腐蚀图像E(X)上的所有像素点，依次进行上述操作，得到腐蚀图像E(X)的膨胀图像D(X),如图2(b)所示，记该膨胀图像D(X)为基准帧：

$D\left(X\right)=\left\{b\right|Yb\↑E\left(X\right),b\⋐E\left(X\right)\};$

最后得到的膨胀图像D(X)可以很好的去除形变图像中的噪声斑点。

(4)上述膨胀图像D(X)中每个触觉检测区域标记点形成一个圆边界，对圆边界进行霍夫圆检测，在圆边界上作垂线，多条垂线的相交处为一个亮点，该亮点为标记点的中心坐标,记做a_ij，a_ij＝(x0_ij,y0_ij)，其中x0_ij为标记点中心坐标的横坐标，y0_ij为标记点中心坐标的横坐标；

(5)按照上述步骤(4)的霍夫圆检测方法，对上述步骤(3)得到的基准帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵A，

$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\\ a_{41}& a_{42}& a_{43}& a_{44}\end{array}\right],$

其中，a_ij＝(x0_ij,y0_ij)表示基准帧中第i行第j列个标记点的横纵坐标为x0_ij,y0_ij；

(6)对触觉检测区域带标记点弹性体施加一个外力F，在外力作用下采集触觉检测区域带标记点弹性体的形变图像，重复上述步骤(1)-步骤(3)，得到一个膨胀图像，将该膨胀图像记为动态帧；利用上述步骤(4)的霍夫圆检测方法，对动态帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵B，

$B=\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\\ b_{41}& b_{42}& b_{43}& b_{44}\end{array}\right],$

$F=\left[\begin{array}{c}{f}_x\\ f_y\\ f_z\end{array}\right]$

其中，b_ij＝(x1_ij,y1_ij)表示在受到外力F时，第i行第j列个标记点的横纵坐标分别为x1_ij,y1_ij，f_x,f_y,f_z为外力F通过三维力传感器测量得到的三轴方向作用力；

(7)对上述步骤(5)得到的矩阵A和步骤(6)得到的矩阵B进行作差运算，分别得到触觉检测区域带标记点弹性体上每个标记点的坐标在受到外力F时，坐标由(x0_ij,y0_ij)到(x1_ij,y1_ij)的偏移量(Δx_ij,Δy_ij)，(Δx_ij,Δy_ij)＝(x1_ij-x0_ij,y1_ij-y0_ij)，根据偏移量(Δx_ij,Δy_ij)得到外力F的特征向量X：

X＝(Δx₁₁,Δy₁₁,Δx₂₁,Δy₂₁,…,Δx₄₄,Δy₄₄)^T；

上述特征向量X和外力的转置F＝(f_x,f_y,f_z)^T构成一个训练样本集；

(8)设计一个三层神经网络，神经网络的框图如图3所示，三层神经网络中的输入层到隐含层的映射关系式为：

$\begin{array}{c}{\mathrm{hI}}_i=\underset{k=1}{\overset{32}{\Σ}}\left(x_k{w}_{ki}^1\right)-b_{hi}\\ {\mathrm{ho}}_i=f\left({\mathrm{hI}}_i\right)=\frac{1}{1+e^{-a*{\mathrm{hI}}_i}}\end{array},i=(1,2,\mathrm{...},11),$

其中(x₁,x₂,...,x₃₂)为上述特征向量X，为三层神经网络输入层中第k个神经元与三层神经网络隐含层第i个神经元之间的连接权重，连接权重的取值范围为[-1.5,1.5]，b_hi为隐含层中第i个神经元的输入偏置，输入偏置的初始值为0，f(hI_i)为S型激活函数，a的取值为上述训练样本集的随机采样得到的样本计算得到，hI_i，ho_i分别为三层神经网络中隐含层的输入和输出；

三层神经网络中的隐含层到输出层的映射关系式为：

${\hat{f}}_x=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{ix}^2-b_x)$

${\hat{f}}_y=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iy}^2-b_y)$

${\hat{f}}_z=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iz}^2-b_z)$

其中，分别为上述步骤(6)中外力F的预测值，f(.)为S型激活函数，代表神经网络隐含层中第i个神经元到神经网络输出层神经元x之间的连接权值，连接权值的取值范围为[-1.5,1.5]，b_x为输出层神经元x的输入偏置，初始值为0；b_y代表神经网络隐含层第i个神经元到神经网络输出层神经元y之间的连接权值和输出层神经元y的输入偏置，取值范围和初始值与神经网络输出层神经元x中设定的一致；b_z代表神经网络隐含层第i个神经元到神经网络输出层神经元z之间的连接权值和输出层神经元z的输入偏置，取值范围和初始值与神经网络输出层神经元x中设定的一致；

(9)将上述步骤(7)的特征向量X作为神经网络的输入，将外力F作为神经网络的输出，定义外力F的预测值与外力F的期望值之间的误差e为三层神经网络的误差函数，利用上述步骤(7)得到的训练样本集，对神经网络中所有神经元之间的连接权重w进行更新，使误差，训练后得到的参数w，即可作为弹性体的劲度系数拟合估计值，训练过程如下：

(9-1)初始化时，对网络中各神经元之间的连接权值w和输入偏置b，分别赋一个区间[-1.5，1.5]内的随机数，设定计算精度值ε＝0.00001、最大训练次数M＝100以及连接权重w的更新步长η＝0.01；

(9-2)依次从步骤(7)得到的样本集中随机选取样本X及相应的外力F的期望值，外力F的期望值记为O：

X＝(x₁,x₂,…x₃₂)＝(Δx₁₁,Δy₁₁,Δx₂₁,Δy₂₁,…,Δx₄₄,Δy₄₄)^T

O＝(fx,fy,fz)^T

(9-3)计算三层神经网络的隐含层各神经元的输入hI_i和输出ho_i，和三层神经网络的输出层的输入y_i和输出y_o：

${\mathrm{hI}}_i=\underset{i=1}{\overset{n}{\Σ}}{w}_{ih}{x}_i-b_h$

ho_i＝f(hI_i)

$y_i=\underset{i=1}{\overset{3}{\Σ}}{w}_{ho}{\mathrm{ho}}_i-b_o$

y_o＝f(y_i)

(9-4)根据上述计算得到的三层神经网络输出y_o和期望输出O，计算三层神经网络的误差函数e对输出层和隐含层各神经元的偏导数δ_o,δ_h：

$\begin{array}{c}{\mathrm{\δ}}_o\stackrel{\mathrm{\Δ}}{=}\frac{\∂e}{\∂w_{ho}}=\frac{\∂e}{\∂y_i}\frac{\∂y_i}{\∂w_{ho}}=-(O-y_o)f^{\′}\left(y_i\right)\\ {\mathrm{\δ}}_h\stackrel{\mathrm{\Δ}}{=}\frac{\∂e}{\∂w_{ih}}=\frac{\∂e}{\∂{\mathrm{hI}}_i}\frac{\∂{\mathrm{hI}}_i}{\∂w_{ih}}=-\left(\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\δ}}_o{w}_{ho}\right)f^{\′}\left({\mathrm{hI}}_i\right)\end{array};$

(9-5)根据上述步骤(9-4)得到的神经元偏导数δ_o,δ_h，更新神经网络中所有神经元之间的连接权重w：

${\mathrm{\Δw}}_{ho}=-\mathrm{\μ}\frac{\∂e}{\∂w_{ho}}={\mathrm{\μ\δ}}_o{\mathrm{ho}}_i$

$w_{ho}^{N+1}=w_{ho}^N+{\mathrm{\η\Δw}}_{ho}$

${\mathrm{\Δw}}_{ih}=-\mathrm{\μ}\frac{\∂e}{\∂w_{ih}}={\mathrm{\δ}}_h{x}_i$

$w_{ih}^{N+1}=w_{ih}^N+{\mathrm{\η\Δw}}_{ih}$

(9-6)计算三层神经网络的误差函数e，对三层神经网络的误差函数e进行判断，若误差e≤ε，或训练次数大于上述设定的最大训练次数M，则计算得到三层神经网络的连接权重w和输入偏置b，并结束训练过程，若误差e＞ε，且训练次数小于或等于上述设定的最大训练次数M，则从上述步骤(7)的样本集中取出下一样本，返回步骤(9-3)；

(9-7)将上述计算得到三层神经网络的连接权重w和输入偏置b代入上述步骤(8)的三层神经网络中输入层到隐含层的映射关系式和隐含层到输出层的映射关系式，得到拟合方程如下式：

$\begin{array}{c}{\mathrm{hI}}_i=\underset{k=1}{\overset{32}{\Σ}}\left(x_k{w}_{ki}^1\right)-b_{hi}\\ {\mathrm{ho}}_i=f\left(h_i\right)=\frac{1}{1+e^{-a*{\mathrm{hI}}_i}}\\ (i=1,2,\mathrm{...},11)\\ {\hat{f}}_x=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{ix}^2-b_x)\\ {\hat{f}}_y=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iy}^2-b_y)\\ {\hat{f}}_z=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iz}^2-b_z)\end{array};$

(10)对实时采集的外力作用下的触觉检测区域带标记点弹性体的形变图像，重复步骤(1)到步骤(7)，得到图像特征向量X'，将图像特征向量X'代入上述步骤(9)的拟合方程中，得到外力F的三维力检测值。

Claims (1)

1.一种基于微视觉的触觉三维力检测方法，其特征在于该方法包括以下步骤：

(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像，对形变图像依次进行灰度化处理和二值化处理，得到形变图像的二值化图像，二值化图像中的像素点取值为0或1，0代表白点，1代表黑点，并记二值化图像为X；

(2)设定一个结构元素为5x5的矩阵单元Y，矩阵单元Y的取值均为0，将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠，若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0，则使二值化图像X上的像素点a的取值为0，若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0，则使二值化图像X上的像素点a的取值为1；遍历二值化图像X上的所有像素点，依次进行上述操作，得到二值化图像X的腐蚀图像E(X)，用公式可以描述为：

$E\left(X\right)=\left\{a\right|Ya\⋐X,a\⋐X\};$

(3)将上述步骤(2)的矩阵单元Y的中心点与上述腐蚀图像E(X)上的像素点b重叠，若腐蚀图像E(X)与矩阵单元Y的重叠部分中所有像素点均为1，则使腐蚀图像E(X)上的像素点b的取值为1，若腐蚀图像E(X)与矩阵单元Y的重叠部分的像素点不全为1，则使腐蚀图像E(X)上的像素点b的取值为0；遍历腐蚀图像E(X)上的所有像素点，依次进行上述操作，得到腐蚀图像E(X)的膨胀图像D(X),记该膨胀图像D(X)为基准帧：

$D\left(X\right)=\left\{b\right|Yb\↑E\left(X\right),b\⋐E\left(X\right)\};$

(4)上述膨胀图像D(X)中每个触觉检测区域标记点形成一个圆边界，对圆边界进行霍夫圆检测，在圆边界上作垂线，多条垂线的相交处为一个亮点，该亮点为标记点的中心坐标,记做a_ij，a_ij＝(x0_ij,y0_ij)，其中x0_ij为标记点中心坐标的横坐标，y0_ij为标记点中心坐标的横坐标；

(5)按照上述步骤(4)的霍夫圆检测方法，对上述步骤(3)得到的基准帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵A，

$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\\ a_{41}& a_{42}& a_{43}& a_{44}\end{array}\right],$

其中，a_ij＝(x0_ij,y0_ij)表示基准帧中第i行第j列个标记点的横纵坐标为x0_ij,y0_ij；

(6)对触觉检测区域带标记点弹性体施加一个外力F，在外力作用下采集触觉检测区域带标记点弹性体的形变图像，重复上述步骤(1)-步骤(3)，得到一个膨胀图像，将该膨胀图像记为动态帧；利用上述步骤(4)的霍夫圆检测方法，对动态帧进行处理，分别得到16个标记点的坐标，16个标记点的坐标构成矩阵B，

$B=\left[\begin{array}{cccc}{b}_{11}& b_{12}& b_{13}& b_{14}\\ b_{21}& b_{22}& b_{23}& b_{24}\\ b_{31}& b_{32}& b_{33}& b_{34}\\ b_{41}& b_{42}& b_{43}& b_{44}\end{array}\right],$

$F=\left[\begin{array}{c}{f}_x\\ f_y\\ f_z\end{array}\right]$

其中，b_ij＝(x1_ij,y1_ij)表示在受到外力F时，第i行第j列个标记点的横纵坐标分别为x1_ij,y1_ij，f_x,f_y,f_z为外力F通过三维力传感器测量得到的三轴方向作用力；

(7)对上述步骤(5)得到的矩阵A和步骤(6)得到的矩阵B进行作差运算，分别得到触觉检测区域带标记点弹性体上每个标记点的坐标在受到外力F时，坐标由(x0_ij,y0_ij)到(x1_ij,y1_ij)的偏移量(Δx_ij,Δy_ij)，(Δx_ij,Δy_ij)＝(x1_ij-x0_ij,y1_ij-y0_ij)，根据偏移量(Δx_ij,Δy_ij)得到外力F的特征向量X：

X＝(Δx₁₁,Δy₁₁,Δx₂₁,Δy₂₁,…,Δx₄₄,Δy₄₄)^T；

上述特征向量X和外力的转置F＝(f_x,f_y,f_z)^T构成一个训练样本集；

(8)设计一个三层神经网络，三层神经网络中的输入层到隐含层的映射关系式为：

$\begin{array}{c}{\mathrm{hI}}_i=\underset{k=1}{\overset{32}{\Σ}}\left(x_k{w}_{ki}^1\right)-b_{hi}\\ {\mathrm{ho}}_i=f\left({\mathrm{hI}}_i\right)=\frac{1}{1+e^{-a*{\mathrm{hI}}_i}}\end{array},i=(1,2,...,11),$

其中(x₁,x₂,...,x₃₂)为上述特征向量X，为三层神经网络输入层中第k个神经元与三层神经网络隐含层第i个神经元之间的连接权重，连接权重的取值范围为[-1.5,1.5]，b_hi为隐含层中第i个神经元的输入偏置，输入偏置的初始值为0，f(hI_i)为S型激活函数，a的取值为上述训练样本集的随机采样得到的样本计算得到，hI_i，ho_i分别为三层神经网络中隐含层的输入和输出；

三层神经网络中的隐含层到输出层的映射关系式为：

${\hat{f}}_x=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{ix}^2-b_x)$

${\hat{f}}_y=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iy}^2-b_y)$

${\hat{f}}_z=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iz}^2-b_z)$

其中，分别为上述步骤(6)中外力F的预测值，f(.)为S型激活函数，代表神经网络隐含层中第i个神经元到神经网络输出层神经元x之间的连接权值，连接权值的取值范围为[-1.5,1.5]，b_x为输出层神经元x的输入偏置，初始值为0；b_y代表神经网络隐含层第i个神经元到神经网络输出层神经元y之间的连接权值和输出层神经元y的输入偏置，取值范围和初始值与神经网络输出层神经元x中设定的一致；b_z代表神经网络隐含层第i个神经元到神经网络输出层神经元z之间的连接权值和输出层神经元z的输入偏置，取值范围和初始值与神经网络输出层神经元x中设定的一致；

(9)将上述步骤(7)的特征向量X作为神经网络的输入，将外力F作为神经网络的输出，定义外力F的预测值与外力F的期望值之间的误差e为三层神经网络的误差函数，利用上述步骤(7)得到的训练样本集，对神经网络中所有神经元之间的连接权重w进行更新，使误差，训练后得到的参数w，即可作为弹性体的劲度系数拟合估计值，训练过程如下：

(9-1)初始化时，对网络中各神经元之间的连接权值w和输入偏置b，分别赋一个区间[-1.5，1.5]内的随机数，设定计算精度值ε＝0.00001、最大训练次数M＝100以及连接权重w的更新步长η＝0.01；

(9-2)依次从步骤(7)得到的样本集中随机选取样本X及相应的外力F的期望值，外力F的期望值记为O：

X＝(x₁,x₂,…x₃₂)＝(Δx₁₁,Δy₁₁,Δx₂₁,Δy₂₁,…,Δx₄₄,Δy₄₄)^T

O＝(fx,fy,fz)^T

(9-3)计算三层神经网络的隐含层各神经元的输入hI_i和输出ho_i，和三层神经网络的输出层的输入y_i和输出y_o：

${\mathrm{hI}}_i=\underset{i=1}{\overset{n}{\Σ}}{w}_{ih}{x}_i-b_h$

ho_i＝f(hI_i)

$y_i=\underset{i=1}{\overset{3}{\Σ}}{w}_{ho}{\mathrm{ho}}_i-b_o$

y_o＝f(y_i)

(9-4)根据上述计算得到的三层神经网络输出y_o和期望输出O，计算三层神经网络的误差函数e对输出层和隐含层各神经元的偏导数δ_o,δ_h：

$\begin{array}{c}{\mathrm{\δ}}_o\stackrel{\mathrm{\Δ}}{=}\frac{\∂e}{\∂w_{ho}}=\frac{\∂e}{\∂y_i}\frac{\∂y_i}{\∂w_{ho}}=-(O-y_o)f^{\′}\left(y_i\right)\\ {\mathrm{\δ}}_h\stackrel{\mathrm{\Δ}}{=}\frac{\∂e}{\∂w_{ih}}=\frac{\∂e}{\∂{\mathrm{hI}}_i}\frac{\∂{\mathrm{hI}}_i}{\∂w_{ih}}=-\left(\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\δ}}_o{w}_{ho}\right)f^{\′}\left({\mathrm{hI}}_i\right)\end{array};$

(9-5)根据上述步骤(9-4)得到的神经元偏导数δ_o,δ_h，更新神经网络中所有神经元之间的连接权重w：

${\mathrm{\Δw}}_{ho}=-\mathrm{\μ}\frac{\∂e}{\∂w_{ho}}={\mathrm{\μ\δ}}_o{\mathrm{ho}}_i$

$w_{ho}^{N+1}=w_{ho}^N+{\mathrm{\η\Δw}}_{ho}$

${\mathrm{\Δw}}_{ih}=-\mathrm{\μ}\frac{\∂e}{\∂w_{ih}}={\mathrm{\δ}}_h{x}_i$

$w_{ih}^{N+1}=w_{ih}^N+{\mathrm{\η\Δw}}_{ih}$

(9-6)计算三层神经网络的误差函数e，对三层神经网络的误差函数e进行判断，若误差e≤ε，或训练次数大于上述设定的最大训练次数M，则计算得到三层神经网络的连接权重w和输入偏置b，并结束训练过程，若误差e＞ε，且训练次数小于或等于上述设定的最大训练次数M，则从上述步骤(7)的样本集中取出下一样本，返回步骤(9-3)；

(9-7)将上述计算得到三层神经网络的连接权重w和输入偏置b代入上述步骤(8)的三层神经网络中输入层到隐含层的映射关系式和隐含层到输出层的映射关系式，得到拟合方程如下式：

$\begin{array}{c}{\mathrm{hI}}_i=\underset{k=1}{\overset{32}{\Σ}}\left(x_k{w}_{ki}^1\right)-b_{hi}\\ {\mathrm{ho}}_i=f\left(h_i\right)=\frac{1}{1+e^{-a*{\mathrm{hI}}_i}}\\ (i=1,2,\mathrm{...},11)\\ {\hat{f}}_x=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{ix}^2-b_x)\\ {\hat{f}}_y=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iy}^2-b_y)\\ {\hat{f}}_z=f(\underset{i=1}{\overset{11}{\Σ}}{\mathrm{ho}}_i{w}_{iz}^2-b_z)\end{array};$

(10)对实时采集的外力作用下的触觉检测区域带标记点弹性体的形变图像，重复步骤(1)到步骤(7)，得到图像特征向量X'，将图像特征向量X'代入上述步骤(9)的拟合方程中，得到外力F的三维力检测值。