CN106204620B - 一种基于微视觉的触觉三维力检测方法 - Google Patents
一种基于微视觉的触觉三维力检测方法 Download PDFInfo
- Publication number
- CN106204620B CN106204620B CN201610581160.9A CN201610581160A CN106204620B CN 106204620 B CN106204620 B CN 106204620B CN 201610581160 A CN201610581160 A CN 201610581160A CN 106204620 B CN106204620 B CN 106204620B
- Authority
- CN
- China
- Prior art keywords
- neural network
- layer
- image
- neuron
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0095—Means or methods for testing manipulators
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Radar, Positioning & Navigation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于微视觉的触觉三维力检测方法,属于机器人灵巧手执行末端的智能感知技术领域。本发明方法基于自主设计的触觉传感器上,设计验证的三维力检测技术方法,并在抓取过程中取得良好效果,属于机器人感知技术领域。当传感器与物体的直接接触时,弹性体会受力产生形变,标记点相应的会发生位移,由图像采集摄像头捕捉标记点位移前后的图像信息。通过施加力前后的图像信息的对比,计算标记点的偏移信息,再利用神经网络训练预测,得到回归出三维力预测矢量。本发明的基于微视觉的触觉三维力检测方法,能够检测得到灵巧手抓取过程中的触觉、滑觉等三维力信息,能应用于机器人灵巧手的触觉感知领域。
Description
技术领域
本发明涉及一种基于微视觉的触觉三维力检测方法,属于机器人灵巧手执行末端的智能感知技术领域。
背景技术
机器人灵巧手需要能够执行各种抓取、移动、捏抱或固定物体等操作,在操作过程中须通过灵巧手的触觉反馈实现对操作力量的精确控制,避免对被操作物体造成破坏,从而实现灵巧手的精细操作。常见的触觉检测方法大多是基于压阻式,电容式,光电式等传感器,这些传感器采集的物理量只能检测触觉接触区域内的垂直方向力,不能检测切向力,在机器人灵巧手执行抓取等操作时滑觉检测具有很大的局限性。
发明内容
本发明的目的是提出一种基于微视觉的触觉三维力检测方法,通过采集触觉接触区域内弹性体的形变图像的变化,采用一系列图像处理方法,并且使用神经网络拟合的技巧,定性并且定量的刻画物理世界中的触觉、滑觉等。
本发明得到的基于微视觉的触觉三维力检测方法,包括以下步骤:
(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像,对形变图像依次进行灰度化处理和二值化处理,得到形变图像的二值化图像,二值化图像中的像素点取值为0或1,0代表白点,1代表黑点,并记二值化图像为X;
(2)设定一个结构元素为5x5的矩阵单元Y,矩阵单元Y的取值均为0,将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠,若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0,则使二值化图像X上的像素点a的取值为0,若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0,则使二值化图像X上的像素点a的取值为1;遍历二值化图像X上的所有像素点,依次进行上述操作,得到二值化图像X的腐蚀图像E(X),用公式可以描述为:
(3)将上述步骤(2)的矩阵单元Y的中心点与上述腐蚀图像E(X)上的像素点b重叠,若腐蚀图像E(X)与矩阵单元Y的重叠部分中所有像素点均为1,则使腐蚀图像E(X)上的像素点b的取值为1,若腐蚀图像E(X)与矩阵单元Y的重叠部分的像素点不全为1,则使腐蚀图像E(X)上的像素点b的取值为0;遍历腐蚀图像E(X)上的所有像素点,依次进行上述操作,得到腐蚀图像E(X)的膨胀图像D(X),记该膨胀图像D(X)为基准帧:
(4)上述膨胀图像D(X)中每个触觉检测区域标记点形成一个圆边界,对圆边界进行霍夫圆检测,在圆边界上作垂线,多条垂线的相交处为一个亮点,该亮点为标记点的中心坐标,记做aij,aij=(x0ij,y0ij),其中x0ij为标记点中心坐标的横坐标,y0ij为标记点中心坐标的横坐标;
(5)按照上述步骤(4)的霍夫圆检测方法,对上述步骤(3)得到的基准帧进行处理,分别得到16个标记点的坐标,16个标记点的坐标构成矩阵A,
其中,aij=(x0ij,y0ij)表示基准帧中第i行第j列个标记点的横纵坐标为x0ij,y0ij;
(6)对触觉检测区域带标记点弹性体施加一个外力F,在外力作用下采集触觉检测区域带标记点弹性体的形变图像,重复上述步骤(1)-步骤(3),得到一个膨胀图像,将该膨胀图像记为动态帧;利用上述步骤(4)的霍夫圆检测方法,对动态帧进行处理,分别得到16个标记点的坐标,16个标记点的坐标构成矩阵B,
其中,bij=(x1ij,y1ij)表示在受到外力F时,第i行第j列个标记点的横纵坐标分别为x1ij,y1ij,fx,fy,fz为外力F通过三维力传感器测量得到的三轴方向作用力;
(7)对上述步骤(5)得到的矩阵A和步骤(6)得到的矩阵B进行作差运算,分别得到触觉检测区域带标记点弹性体上每个标记点的坐标在受到外力F时,坐标由(x0ij,y0ij)到(x1ij,y1ij)的偏移量(Δxij,Δyij),(Δxij,Δyij)=(x1ij-x0ij,y1ij-y0ij),根据偏移量(Δxij,Δyij)得到外力F的特征向量V:
V=(Δx11,Δy11,Δx21,Δy21,…,Δx44,Δy44)T;
上述特征向量V和外力的转置F=(fx,fy,fz)T构成一个训练样本集;
(8)设计一个三层神经网络,三层神经网络中的输入层到隐含层的映射关系式为:
其中(x1,x2,...,x32)为上述特征向量V,为三层神经网络输入层中第k个神经元与三层神经网络隐含层第i个神经元之间的连接权重,连接权重的取值范围为[-1.5,1.5],bhi为隐含层中第i个神经元的输入偏置,输入偏置的初始值为0,f(hIi)为S型激活函数,a的取值为上述训练样本集的随机采样得到的样本计算得到,hIi,hoi分别为三层神经网络中隐含层的输入和输出;
三层神经网络中的隐含层到输出层的映射关系式为:
其中,分别为上述步骤(6)中外力F的预测值,f(.)为S型激活函数,代表神经网络隐含层中第i个神经元到神经网络输出层神经元x之间的连接权值,连接权值的取值范围为[-1.5,1.5],bx为输出层神经元x的输入偏置,初始值为0;by代表神经网络隐含层第i个神经元到神经网络输出层神经元y之间的连接权值和输出层神经元y的输入偏置,取值范围和初始值与神经网络输出层神经元x中设定的一致;bz代表神经网络隐含层第i个神经元到神经网络输出层神经元z之间的连接权值和输出层神经元z的输入偏置,取值范围和初始值与神经网络输出层神经元x中设定的一致;
(9)将上述步骤(7)的特征向量V作为神经网络的输入,将外力F作为神经网络的输出,定义外力F的预测值与外力F的期望值之间的误差e为三层神经网络的误差函数,利用上述步骤(7)得到的训练样本集,对神经网络中所有神经元之间的连接权重w进行更新,使误差最小,训练后得到的连接权重w,即可作为弹性体的劲度系数拟合估计值,训练过程如下:
(9-1)初始化时,对网络中各神经元之间的连接权值w和输入偏置b,分别赋一个区间[-1.5,1.5]内的随机数,设定计算精度值ε=0.00001、最大训练次数M=100以及连接权重w的更新步长η=0.01;
(9-2)依次从步骤(7)得到的样本集中随机选取样本V及相应的外力F的期望值,外力F的期望值记为O:
X=(x1,x2,…x32)=(Δx11,Δy11,Δx21,Δy21,…,Δx44,Δy44)T
O=(fx,fy,fz)T
(9-3)计算三层神经网络的隐含层各神经元的输入hIi和输出hoi,和三层神经网络的输出层的输入yi和输出yo:
hoi=f(hIi)
yo=f(yi)
(9-4)根据上述计算得到的三层神经网络输出yo和输出的期望值O,计算三层神经网络的误差函数e对输出层和隐含层各神经元的偏导数δo,δh:
(9-5)根据上述步骤(9-4)得到的神经元偏导数δo,δh,更新神经网络中所有神经元之间的连接权重w:
(9-6)计算三层神经网络的误差函数e,对三层神经网络的误差函数e进行判断,若误差e≤ε,或训练次数大于上述设定的最大训练次数M,则计算得到三层神经网络的连接权重w和输入偏置b,并结束训练过程,若误差e>ε,且训练次数小于或等于上述设定的最大训练次数M,则从上述步骤(7)的样本集中取出下一样本,返回步骤(9-3);
(9-7)将上述计算得到三层神经网络的连接权重w和输入偏置b代入上述步骤(8)的三层神经网络中输入层到隐含层的映射关系式和隐含层到输出层的映射关系式,得到拟合方程如下式:
(10)对实时采集的外力作用下的触觉检测区域带标记点弹性体的形变图像,重复步骤(1)到步骤(7),得到图像特征向量X',将图像特征向量X'代入上述步骤(9)的拟合方程中,得到外力F的三维力检测值。
本发明提出的基于微视觉的触觉三维力检测方法,其优点是,本发明方法利用图像信息,获得触觉接触区域内的弹性体形变信息,相比传统的触觉检测方法,能够提供触觉、滑觉、压觉等三维力信息,为机器人灵巧手提供很好的环境信息。并且具有实时性好,检测稳定的优点。同时借助胡克定律的原理,拟合弹性体的劲度系数,使得拟合的参数具有对应的物理含义。本发明方法构造的三层神经网络,利用已知的样本逐渐逼近弹性体的劲度系数,使得检测误差小,检测精度高的优点。
附图说明
图1是本发明提出的基于微视觉的触觉三维力检测方法的流程框图。
图2是摄像头采集的原始灰度图像和二值图。
图3是本发明方法中涉及的三层神经网络结构图。
具体实施方式
本发明提出的基于微视觉的触觉三维力检测方法,其流程框图如图1所示,包括以下步骤:
(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像,对形变图像依次进行灰度化处理和二值化处理,得到形变图像的二值化图像,二值化图像中的像素点取值为0或1,0代表白点,1代表黑点,并记二值化图像为X;
(2)设定一个结构元素为5x5的矩阵单元Y,矩阵单元Y的取值均为0,将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠,若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0,则使二值化图像X上的像素点a的取值为0,若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0,则使二值化图像X上的像素点a的取值为1;遍历二值化图像X上的所有像素点,依次进行上述操作,得到二值化图像X的腐蚀图像E(X),用公式可以描述为:
(3)将上述步骤(2)的矩阵单元Y的中心点与上述腐蚀图像E(X)上的像素点b重叠,若腐蚀图像E(X)与矩阵单元Y的重叠部分中所有像素点均为1,则使腐蚀图像E(X)上的像素点b的取值为1,若腐蚀图像E(X)与矩阵单元Y的重叠部分的像素点不全为1,则使腐蚀图像E(X)上的像素点b的取值为0;遍历腐蚀图像E(X)上的所有像素点,依次进行上述操作,得到腐蚀图像E(X)的膨胀图像D(X),记该膨胀图像D(X)为基准帧:
最后得到的膨胀图像D(X)可以很好的去除形变图像中的噪声斑点。
(4)上述膨胀图像D(X)中每个触觉检测区域标记点形成一个圆边界,对圆边界进行霍夫圆检测,在圆边界上作垂线,多条垂线的相交处为一个亮点,该亮点为标记点的中心坐标,记做aij,aij=(x0ij,y0ij),其中x0ij为标记点中心坐标的横坐标,y0ij为标记点中心坐标的横坐标;
(5)按照上述步骤(4)的霍夫圆检测方法,对上述步骤(3)得到的基准帧进行处理,分别得到16个标记点的坐标,16个标记点的坐标构成矩阵A,
其中,aij=(x0ij,y0ij)表示基准帧中第i行第j列个标记点的横纵坐标为x0ij,y0ij;
(6)对触觉检测区域带标记点弹性体施加一个外力F,在外力作用下采集触觉检测区域带标记点弹性体的形变图像,重复上述步骤(1)-步骤(3),得到一个膨胀图像,将该膨胀图像记为动态帧;利用上述步骤(4)的霍夫圆检测方法,对动态帧进行处理,分别得到16个标记点的坐标,16个标记点的坐标构成矩阵B,
其中,bij=(x1ij,y1ij)表示在受到外力F时,第i行第j列个标记点的横纵坐标分别为x1ij,y1ij,fx,fy,fz为外力F通过三维力传感器测量得到的三轴方向作用力;
(7)对上述步骤(5)得到的矩阵A和步骤(6)得到的矩阵B进行作差运算,分别得到触觉检测区域带标记点弹性体上每个标记点的坐标在受到外力F时,坐标由(x0ij,y0ij)到(x1ij,y1ij)的偏移量(Δxij,Δyij),(Δxij,Δyij)=(x1ij-x0ij,y1ij-y0ij),根据偏移量(Δxij,Δyij)得到外力F的特征向量V:
V=(Δx11,Δy11,Δx21,Δy21,…,Δx44,Δy44)T;
上述特征向量V和外力的转置F=(fx,fy,fz)T构成一个训练样本集;
(8)设计一个三层神经网络,三层神经网络中的输入层到隐含层的映射关系式为:
其中(x1,x2,...,x32)为上述特征向量V,为三层神经网络输入层中第k个神经元与三层神经网络隐含层第i个神经元之间的连接权重,连接权重的取值范围为[-1.5,1.5],bhi为隐含层中第i个神经元的输入偏置,输入偏置的初始值为0,f(hIi)为S型激活函数,a的取值为上述训练样本集的随机采样得到的样本计算得到,hIi,hoi分别为三层神经网络中隐含层的输入和输出;
三层神经网络中的隐含层到输出层的映射关系式为:
其中,分别为上述步骤(6)中外力F的预测值,f(.)为S型激活函数,代表神经网络隐含层中第i个神经元到神经网络输出层神经元x之间的连接权值,连接权值的取值范围为[-1.5,1.5],bx为输出层神经元x的输入偏置,初始值为0;by代表神经网络隐含层第i个神经元到神经网络输出层神经元y之间的连接权值和输出层神经元y的输入偏置,取值范围和初始值与神经网络输出层神经元x中设定的一致;bz代表神经网络隐含层第i个神经元到神经网络输出层神经元z之间的连接权值和输出层神经元z的输入偏置,取值范围和初始值与神经网络输出层神经元x中设定的一致;
(9)将上述步骤(7)的特征向量V作为神经网络的输入,将外力F作为神经网络的输出,定义外力F的预测值与外力F的期望值之间的误差e为三层神经网络的误差函数,利用上述步骤(7)得到的训练样本集,对神经网络中所有神经元之间的连接权重w进行更新,使误差最小,训练后得到的连接权重w,即可作为弹性体的劲度系数拟合估计值,训练过程如下:
(9-1)初始化时,对网络中各神经元之间的连接权值w和输入偏置b,分别赋一个区间[-1.5,1.5]内的随机数,设定计算精度值ε=0.00001、最大训练次数M=100以及连接权重w的更新步长η=0.01;
(9-2)依次从步骤(7)得到的样本集中随机选取样本V及相应的外力F的期望值,外力F的期望值记为O:
X=(x1,x2,…x32)=(Δx11,Δy11,Δx21,Δy21,…,Δx44,Δy44)T
O=(fx,fy,fz)T
(9-3)计算三层神经网络的隐含层各神经元的输入hIi和输出hoi,和三层神经网络的输出层的输入yi和输出yo:
hoi=f(hIi)
yo=f(yi)
(9-4)根据上述计算得到的三层神经网络输出yo和输出的期望值O,计算三层神经网络的误差函数e对输出层和隐含层各神经元的偏导数δo,δh:
(9-5)根据上述步骤(9-4)得到的神经元偏导数δo,δh,更新神经网络中所有神经元之间的连接权重w:
(9-6)计算三层神经网络的误差函数e,对三层神经网络的误差函数e进行判断,若误差e≤ε,或训练次数大于上述设定的最大训练次数M,则计算得到三层神经网络的连接权重w和输入偏置b,并结束训练过程,若误差e>ε,且训练次数小于或等于上述设定的最大训练次数M,则从上述步骤(7)的样本集中取出下一样本,返回步骤(9-3);
(9-7)将上述计算得到三层神经网络的连接权重w和输入偏置b代入上述步骤(8)的三层神经网络中输入层到隐含层的映射关系式和隐含层到输出层的映射关系式,得到拟合方程如下式:
(10)对实时采集的外力作用下的触觉检测区域带标记点弹性体的形变图像,重复步骤(1)到步骤(7),得到图像特征向量X',将图像特征向量X'代入上述步骤(9)的拟合方程中,得到外力F的三维力检测值。
Claims (1)
1.一种基于微视觉的触觉三维力检测方法,其特征在于该方法包括以下步骤:
(1)在初始静态采集触觉检测区域带标记点弹性体的形变图像,对形变图像依次进行灰度化处理和二值化处理,得到形变图像的二值化图像,二值化图像中的像素点取值为0或1,0代表白点,1代表黑点,并记二值化图像为X;
(2)设定一个结构元素为5x5的矩阵单元Y,矩阵单元Y的取值均为0,将矩阵单元Y的中心点与上述二值化图像X上的像素点a重叠,若二值化图像X与矩阵单元Y的重叠部分的所有像素点均为0,则使二值化图像X上的像素点a的取值为0,若二值化图像X与矩阵单元Y的重叠部分的像素点不全为0,则使二值化图像X上的像素点a的取值为1;遍历二值化图像X上的所有像素点,依次进行上述操作,得到二值化图像X的腐蚀图像E(X),用公式可以描述为:
(3)将上述步骤(2)的矩阵单元Y的中心点与上述腐蚀图像E(X)上的像素点b重叠,若腐蚀图像E(X)与矩阵单元Y的重叠部分中所有像素点均为1,则使腐蚀图像E(X)上的像素点b的取值为1,若腐蚀图像E(X)与矩阵单元Y的重叠部分的像素点不全为1,则使腐蚀图像E(X)上的像素点b的取值为0;遍历腐蚀图像E(X)上的所有像素点,依次进行上述操作,得到腐蚀图像E(X)的膨胀图像D(X),记该膨胀图像D(X)为基准帧:
(4)上述膨胀图像D(X)中每个触觉检测区域标记点形成一个圆边界,对圆边界进行霍夫圆检测,在圆边界上作垂线,多条垂线的相交处为一个亮点,该亮点为标记点的中心坐标,记做aij,aij=(x0ij,y0ij),其中x0ij为标记点中心坐标的横坐标,y0ij为标记点中心坐标的横坐标;
(5)按照上述步骤(4)的霍夫圆检测方法,对上述步骤(3)得到的基准帧进行处理,分别得到16个标记点的坐标,16个标记点的坐标构成矩阵A,
其中,aij=(x0ij,y0ij)表示基准帧中第i行第j列个标记点的横纵坐标为x0ij,y0ij;
(6)对触觉检测区域带标记点弹性体施加一个外力F,在外力作用下采集触觉检测区域带标记点弹性体的形变图像,重复上述步骤(1)-步骤(3),得到一个膨胀图像,将该膨胀图像记为动态帧;利用上述步骤(4)的霍夫圆检测方法,对动态帧进行处理,分别得到16个标记点的坐标,16个标记点的坐标构成矩阵B,
其中,bij=(x1ij,y1ij)表示在受到外力F时,第i行第j列个标记点的横纵坐标分别为x1ij,y1ij,fx,fy,fz为外力F通过三维力传感器测量得到的三轴方向作用力;
(7)对上述步骤(5)得到的矩阵A和步骤(6)得到的矩阵B进行作差运算,分别得到触觉检测区域带标记点弹性体上每个标记点的坐标在受到外力F时,坐标由(x0ij,y0ij)到(x1ij,y1ij)的偏移量(Δxij,Δyij),(Δxij,Δyij)=(x1ij-x0ij,y1ij-y0ij),根据偏移量(Δxij,Δyij)得到外力F的特征向量V:
V=(Δx11,Δy11,Δx21,Δy21,…,Δx44,Δy44)T;
上述特征向量V和外力的转置F=(fx,fy,fz)T构成一个训练样本集;
(8)设计一个三层神经网络,三层神经网络中的输入层到隐含层的映射关系式为:
其中(x1,x2,...,x32)为上述特征向量V,为三层神经网络输入层中第k个神经元与三层神经网络隐含层第i个神经元之间的连接权重,连接权重的取值范围为[-1.5,1.5],bhi为隐含层中第i个神经元的输入偏置,输入偏置的初始值为0,f(hIi)为S型激活函数,a的取值为上述训练样本集的随机采样得到的样本计算得到,hIi,hoi分别为三层神经网络中隐含层的输入和输出;
三层神经网络中的隐含层到输出层的映射关系式为:
其中,分别为上述步骤(6)中外力F的预测值,f(.)为S型激活函数,代表神经网络隐含层中第i个神经元到神经网络输出层神经元x之间的连接权值,连接权值的取值范围为[-1.5,1.5],bx为输出层神经元x的输入偏置,初始值为0;by代表神经网络隐含层第i个神经元到神经网络输出层神经元y之间的连接权值和输出层神经元y的输入偏置,取值范围和初始值与神经网络输出层神经元x中设定的一致;bz代表神经网络隐含层第i个神经元到神经网络输出层神经元z之间的连接权值和输出层神经元z的输入偏置,取值范围和初始值与神经网络输出层神经元x中设定的一致;
(9)将上述步骤(7)的特征向量V作为神经网络的输入,将外力F作为神经网络的输出,定义外力F的预测值与外力F的期望值之间的误差e为三层神经网络的误差函数,利用上述步骤(7)得到的训练样本集,对神经网络中所有神经元之间的连接权重w进行更新,使误差最小,训练后得到的连接权重w,即可作为弹性体的劲度系数拟合估计值,训练过程如下:
(9-1)初始化时,对网络中各神经元之间的连接权值w和输入偏置b,分别赋一个区间[-1.5,1.5]内的随机数,设定计算精度值ε=0.00001、最大训练次数M=100以及连接权重w的更新步长η=0.01;
(9-2)依次从步骤(7)得到的样本集中随机选取样本V及相应的外力F的期望值,
外力F的期望值记为O:
X=(x1,x2,…x32)=(Δx11,Δy11,Δx21,Δy21,…,Δx44,Δy44)T
O=(fx,fy,fz)T
(9-3)计算三层神经网络的隐含层各神经元的输入hIi和输出hoi,和三层神经网络的输出层的输入yi和输出yo:
hoi=f(hIi)
yo=f(yi)
(9-4)根据上述计算得到的三层神经网络输出yo和输出的期望值O,计算三层神经网络的误差函数e对输出层和隐含层各神经元的偏导数δo,δh:
(9-5)根据上述步骤(9-4)得到的神经元偏导数δo,δh,更新神经网络中所有神经元之间的连接权重w:
(9-6)计算三层神经网络的误差函数e,对三层神经网络的误差函数e进行判断,若误差e≤ε,或训练次数大于上述设定的最大训练次数M,则计算得到三层神经网络的连接权重w和输入偏置b,并结束训练过程,若误差e>ε,且训练次数小于或等于上述设定的最大训练次数M,则从上述步骤(7)的样本集中取出下一样本,返回步骤(9-3);
(9-7)将上述计算得到三层神经网络的连接权重w和输入偏置b代入上述步骤(8)的三层神经网络中输入层到隐含层的映射关系式和隐含层到输出层的映射关系式,得到拟合方程如下式:
(10)对实时采集的外力作用下的触觉检测区域带标记点弹性体的形变图像,重复步骤(1)到步骤(7),得到图像特征向量X',将图像特征向量X'代入上述步骤(9)的拟合方程中,得到外力F的三维力检测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610581160.9A CN106204620B (zh) | 2016-07-21 | 2016-07-21 | 一种基于微视觉的触觉三维力检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610581160.9A CN106204620B (zh) | 2016-07-21 | 2016-07-21 | 一种基于微视觉的触觉三维力检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106204620A CN106204620A (zh) | 2016-12-07 |
CN106204620B true CN106204620B (zh) | 2018-12-11 |
Family
ID=57491464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610581160.9A Active CN106204620B (zh) | 2016-07-21 | 2016-07-21 | 一种基于微视觉的触觉三维力检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106204620B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018072208A1 (en) * | 2016-10-21 | 2018-04-26 | Abb Schweiz Ag | Method, electronic device and system of picking an object from a container |
JP6438512B2 (ja) * | 2017-03-13 | 2018-12-12 | ファナック株式会社 | 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 |
CN107330931B (zh) * | 2017-05-27 | 2019-10-25 | 北京交通大学 | 一种基于图像序列的钢轨纵向位移检测方法及系统 |
CN109015763A (zh) * | 2018-08-30 | 2018-12-18 | 清华大学 | 一种基于感温变色油墨材料的多模态触觉感知装置 |
CN110068308B (zh) * | 2019-05-16 | 2021-03-23 | 合刃科技(深圳)有限公司 | 一种基于多目相机的测距方法及测距系统 |
CN114661169A (zh) * | 2019-05-16 | 2022-06-24 | 腾讯科技(深圳)有限公司 | 基于视觉的触觉测量方法、装置、设备及存储介质 |
CN110722591B (zh) * | 2019-10-12 | 2021-06-22 | 哈尔滨工业大学(深圳) | 柔性体的力感知方法、夹爪及机械手 |
CN110682294A (zh) * | 2019-10-28 | 2020-01-14 | 陈彦水 | 一种触觉感知方法及装置 |
CN110793693A (zh) * | 2019-11-04 | 2020-02-14 | 深圳蓝胖子机器人有限公司 | 基于力传感器滑动预测方法、装置、电子设备及存储介质 |
CN112060085B (zh) * | 2020-08-24 | 2021-10-08 | 清华大学 | 一种基于视触多尺度定位的机器人操作位姿控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5531115A (en) * | 1995-06-29 | 1996-07-02 | Erdley; Harold F. | Self-calibrating three axis angular rate sensor |
CN1796954A (zh) * | 2004-12-22 | 2006-07-05 | 中国科学院合肥智能机械研究所 | 柔性三维力触觉传感器 |
CN101561334A (zh) * | 2009-05-15 | 2009-10-21 | 天津大学 | 三维微触觉力传感器的标定方法 |
CN104809069A (zh) * | 2015-05-11 | 2015-07-29 | 中国电力科学研究院 | 一种基于集成神经网络的源代码漏洞检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8253703B2 (en) * | 2009-03-03 | 2012-08-28 | Empire Technology Development Llc | Elastomeric wave tactile interface |
-
2016
- 2016-07-21 CN CN201610581160.9A patent/CN106204620B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5531115A (en) * | 1995-06-29 | 1996-07-02 | Erdley; Harold F. | Self-calibrating three axis angular rate sensor |
CN1796954A (zh) * | 2004-12-22 | 2006-07-05 | 中国科学院合肥智能机械研究所 | 柔性三维力触觉传感器 |
CN101561334A (zh) * | 2009-05-15 | 2009-10-21 | 天津大学 | 三维微触觉力传感器的标定方法 |
CN104809069A (zh) * | 2015-05-11 | 2015-07-29 | 中国电力科学研究院 | 一种基于集成神经网络的源代码漏洞检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106204620A (zh) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106204620B (zh) | 一种基于微视觉的触觉三维力检测方法 | |
Calandra et al. | The feeling of success: Does touch sensing help predict grasp outcomes? | |
US11338435B2 (en) | Gripping system with machine learning | |
CN112465748B (zh) | 基于神经网络的裂缝识别方法、装置、设备及存储介质 | |
CN108764107B (zh) | 基于人体骨架序列的行为与身份联合识别方法及装置 | |
JP4825253B2 (ja) | 可変形オブジェクト認識のためのシステムおよび方法 | |
CN109159113B (zh) | 一种基于视觉推理的机器人作业方法 | |
CN106920245B (zh) | 一种边界检测的方法及装置 | |
CN111695562A (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
CN112612274B (zh) | 用于超声检查机器人的自主运动决策控制方法及系统 | |
Kuppuswamy et al. | Fast model-based contact patch and pose estimation for highly deformable dense-geometry tactile sensors | |
CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
CN104217433A (zh) | 一种分析图像的方法及装置 | |
Hwang et al. | Humanoid robot's visual imitation of 3-D motion of a human subject using neural-network-based inverse kinematics | |
Durdu et al. | A novel map-merging technique for occupancy grid-based maps using multiple robots: A semantic approach | |
US20220379475A1 (en) | Transparent object bin picking | |
Dai et al. | Towards extreme learning machine framework for lane detection on unmanned mobile robot | |
Ye et al. | An improved algorithm for Harris corner detection | |
JP7209657B2 (ja) | 情報処理装置及び方法 | |
Cavallo et al. | Online segmentation and classification of manipulation actions from the observation of kinetostatic data | |
Ninomiya et al. | Deep manifold embedding for 3D object pose estimation | |
CN115876371A (zh) | 基于多阶模态振型拟合的索力光学测量方法及其测量系统 | |
CN104008400A (zh) | 结合sift和bp网络进行物体识别的方法 | |
CN112013868B (zh) | 一种基于视觉惯导里程计的自适应参数警犬姿态估计方法 | |
CN113011486A (zh) | 鸡爪分类及定位模型的构建方法及系统、鸡爪分拣方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |