CN105956351A - 一种基于机器学习的触觉信息分类计算建模方法 - Google Patents

一种基于机器学习的触觉信息分类计算建模方法 Download PDF

Info

Publication number
CN105956351A
CN105956351A CN201610522439.XA CN201610522439A CN105956351A CN 105956351 A CN105956351 A CN 105956351A CN 201610522439 A CN201610522439 A CN 201610522439A CN 105956351 A CN105956351 A CN 105956351A
Authority
CN
China
Prior art keywords
sense
sample
touch sequence
sigma
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610522439.XA
Other languages
English (en)
Inventor
侯月阳
卢山
田路路
王奉文
于学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN201610522439.XA priority Critical patent/CN105956351A/zh
Publication of CN105956351A publication Critical patent/CN105956351A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/30Circuit design
    • G06F30/36Circuit design at the analogue level
    • G06F30/367Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于机器学习的触觉信息分类计算建模方法,获取训练集样本的触觉序列,使用线性动态系统模型建模提取子触觉序列的动态特征,使用马丁距离计算子触觉序列的动态特征之间的距离,使用K‑中心点算法对马丁矩阵进行聚类构建码书,使用码书对每组触觉序列进行表征,得到系统包模型,将训练集样本的系统包模型和训练集样本标签一起送入极限学习机中训练分类器,将待分类样本的系统包模型送入分类器得到物体类型的标签。本发明解决了机器人对非合作目标稳定、柔顺抓取的实际需求,为精细操作任务的完成提供数据基础,并可与其它传感结果融合计算,从而通过多源深度感知增强对不同目标物的描述和辨识能力,为智能操控的实施奠定技术基础。

Description

一种基于机器学习的触觉信息分类计算建模方法
技术领域
本发明涉及机器人触觉建模领域,尤其涉及一种基于机器学习的触觉信息分类计算建模方法。
背景技术
目前机器人为实现精细操作通常配有多种传感器,但各类传感器一般只对不同模态传感器采用独立的应用方式认识周围的环境,割断了信息之间的内在联系,因此会严重降低感知动作的智能化程度。为了能够准确提供操作装置本身的状态、操作对象的位置、属性等信息,需要研究视觉、触觉等多模态融合的理论与方法,从不同的角度对操作对象的材质、形变、位置、距离进行测量,从而为精细操作任务的完成提供数据基础。而视触觉的模型建立首先需要建立触觉模型,然而,经专利检索,目前尚无对触觉信息进行分类计算的建模方法。为满足机器人对非合作目标稳定、柔顺抓取的实际需求,迫切需要研究复杂作业环境下视触觉信息的感知、高效表示和融合机理,其中,触觉模型的建立尤为重要。
发明内容
本发明提供一种基于机器学习的触觉信息分类计算建模方法,解决了机器人对非合作目标稳定、柔顺抓取的实际需求,为精细操作任务的完成提供数据基础,并可与其它传感结果融合计算,从而通过多源深度感知增强对不同目标物的描述和辨识能力,为智能操控的实施奠定技术基础。
为了达到上述目的,本发明提供一种基于机器学习的触觉信息分类计算建模方法,包含以下步骤:
步骤S1、利用触觉传感器获取训练集样本的触觉序列;
步骤S2、将每组触觉序列合并为子触觉序列,使用线性动态系统模型对每组子触觉序列进行建模,分别提取子触觉序列的动态特征;
步骤S3、使用马丁距离作为量度计算子触觉序列的动态特征之间的距离,获得马丁矩阵;
步骤S4、使用K-中心点算法对马丁矩阵进行聚类,构建码书;
步骤S5、使用码书对每组触觉序列进行表征,得到外部特征为直方图的系统包模型;
步骤S6、将训练集样本的系统包模型和训练集样本标签一起送入极限学习机中训练分类器;
步骤S7、利用触觉传感器获取待分类样本的触觉序列,对待分类样本的触觉序列按照步骤S2~步骤S5的方法进行处理,获得待分类样本的系统包模型;
步骤S8、将待分类样本的系统包模型送入步骤S6获得的分类器中,即可得到物体类型的标签。
所述的步骤S1中,所述的触觉阵列传感器设置在机器人的机械臂末端的灵巧手上,所述的灵巧手具有三个手指,每个手指末端分别配置一个触觉阵列传感器,每个触觉阵列传感器具有m×n个传感器单元,所述的触觉序列为通过触觉阵列传感器获得的给定N个训练时间序列样本Si∈Rd×T,其中,d是空间维度,T是序列的时间长度,i=1,2,…,N。
所述的步骤S2中,首先通过降低维数对触觉序列的主要成分进行提取,去除冗杂的成份。
所述的步骤S2中,
通过重塑m×n矩阵作为一个m×n维向量,分别获得灵巧手上三个手指的(m×n)维动态触觉序列S(1)∈R(m×n)×T,S(2)∈R(m×n)×T,S(3)∈R(m×n)×T
串联3个手指的m×n维触觉序列,合并为一个单一的子触觉序列:
S = S ( 1 ) S ( 2 ) S ( 3 ) ∈ R d × T - - - ( 1 )
其中,d=m×n×3;
假设噪声为w(t)∈Rd×T,将子触觉序列S分解为:S(t)=D(t)+w(t),其中D(t)∈Rd ×T为不含噪声部分;
Ai和Ci为满足上式的特征参数,t是S的长度自变量,t=1,2,…,d×T,并且v(t)∈Rd×T独立同分布于噪声概率密度q(·),建模结果如下:
x ( t + 1 ) = A i x ( t ) + C i v ( t ) y ( t ) = φ ( x ( t ) ) + w ( t ) - - - ( 2 )
令Mi=(Ai,Ci),即为子触觉序列的动态特征,即某一频率范围内的触觉序列。
所述的步骤S3中,使用马丁距离来进行两个LDS的特征M1=(A1,C1),M2=(A2,C2)之间的距离衡量,得到马丁距离矩阵,md表征输入样本的触觉子序列个数;
触觉序列的LDS特征之间的规则角由下式进行定义:
对于任意两个模型之间规则角的计算,使用李雅普诺夫方程求解,保证系统稳定的重要条件是存在正定的对称矩阵P满足下式:
ATPQ-P=-CTC (4)
式中,
然后使用下式计算子空间角的余弦值:
cos 2 θ i = i t h e i g e n v a l u e ( P 11 - 1 P 12 P 22 - 1 P 21 ) - - - ( 5 )
最终得到两个LDS特征M1与M2之间的马丁距离dM(M1,M2):
d M ( M 1 , M 2 ) 2 = - l n Π i = 1 n cos 2 θ i - - - ( 6 )
使用上述步骤对所提取出的LDS特征数据进行计算后,得到特征间的马丁距离:
D = { d M ( M i , M j ) } i = 1 , j = 1 i = m d , j = m d = { d i j } i = 1 , j = 1 i = m d , j = m d - - - ( 7 ) .
所述的步骤S4中,使用K-中心点算法对马丁矩阵进行聚类的步骤包含:
步骤S4.1、随机选取k个马丁距离矩阵中的数据作为聚类中心点;
步骤S4.2、将矩阵中剩余的数据按照所选取的聚类中心点进行分组,分组以每组中每个数据点与每组中聚类中心点的距离数据值的平方和最小为原则;
步骤S4.3、重复执行步骤S4.1、步骤S4.2和步骤S4.3,更新每组数据样本的聚类中心点;
步骤S4.4、直至聚类中心点稳定不变,完成数据聚类;
聚类完成后得到由k组LDS特征组成的码书(Codebook),为表示LDS特征的元组,对于码书中的任意一组元组(A,C),称其为码词(Codewords)。
所述的步骤S5中,使用码书对触觉序列进行表征后可以得到系统包模型m为样本中触觉序列的个数,这种表征方式的外部体现为直方图模型可由特征词频率算法得到;
假设在第i组触觉序列中,第j组码词出现的次数为cij次,则有下式:
式中,hij表示在第i组触觉序列中,第j组码词出现的频率,m为样本中触觉序列个数,对于h1则有h1=[h11…h1k],为一组特征向量。
所述的步骤S6中,
假定存在一组训练触觉序列则该触觉序列可以使用具有个隐层结点且扩展到RBF核函数的单隐层核函数网络进行建模,函数模型如下式所示:
f = Σ i = 1 N ~ ω i φ i ( r j ) = Σ i = 1 N ~ φ ( μ i , σ i , r j ) , j = 1 , ... , m - - - ( 9 )
式中,ω=[ω1…ωm]T是连接第i个核函数与输出神经网络的输出权重向量,φi(rj)为输出函数,r=[r1…rm]T为相应的特征向量,μi为函数中心点,σi为影响因子;
高斯核函数可以被定义为:
φ ( μ i , σ i , r j ) = exp ( - | | r - μ i | | σ i 2 ) - - - ( 10 )
使极限学习机具有多个输出结点可以完成对数据的多分类,也就是使进行M种类别识别的分类器具有M组隐含层结点,极限学习机算法对于属于该类别的样本使用+1进行标记,对于不属于该类的样本使用0进行标记,极限学习机算法在使训练样本误差最小的同时,也使样本的输出权重最小,即最小化||Hω-T||2与||ω||的值,式中H为神经网络隐含层输出矩阵,它可由下式进行表示:
H = [ μ 1 , ... , μ m , σ 1 , ... σ m , r 1 , ... r m ] T = φ ( μ 1 , σ 1 , r 1 ) ... φ ( μ m , σ m , r 1 ) . . . . . . . . . φ ( μ 1 , σ 1 , r m ) ... φ ( μ m , σ m , r m ) m × m - - - ( 11 )
T = t 1 T ... t m T T - - - ( 12 )
式中,矩阵为神经网络隐含层输出矩阵H的广义逆矩阵,在训练具有多输出结点的极限学习机分类器时遵循如下条件:
最小化:
约束条件:
上式中,C亦为损耗参数,可由交叉验证获得;ξi=[ξi,1,…,ξi,k]T为训练集误差向量,此时,训练极限学习机分类器等效于解决下式的最优化问题:
l D E L M = 1 2 | | ω | | 2 + C 1 2 Σ i = 1 N ~ | | ξ i | | 2 - Σ i = 1 N ~ Σ j = 1 m λ i , j ( φ ( μ i , σ i , r j ) ω j - t i , j + ξ i , j ) - - - ( 16 )
式中,λi,j为训练样本相应的拉格朗日系数;
当训练集样本规模不大时,可以得到下式进行描述:
( I C + HH T ) λ = T - - - ( 17 )
并可以由此得到ω:
ω = H T ( I C + HH T ) - 1 T - - - ( 18 )
此时,极限学习机算法的输出函数可以表示为
f = φ ( r ) H T ( I C + HH T ) - 1 T - - - ( 19 )
使用ΩELM=HHT对极限学习机的核函数矩阵进行定义,并且满足以下核函数公式ΩELMa,b=φ(ra)φ(rb)=K(ra,rb),使用核函数的极限学习机分类器输出函数可以按照下式进行定义
f = [ K ( r , r 1 ) ... K ( r , r m ) ] ( I C + Ω E L M ) - 1 T - - - ( 20 )
通过上述算法可完成对具有多输出结点的极限学习机分类器的训练,并且可以对测试集样本的物理标签进行预测,所预测的标签即为输出的结点所对应的索引,此索引对应上式中最大的输出值,且有ltest=arg maxfj,j∈{1,...m},式中fj是第j个输出结点的输出函数。
所述的步骤S8中,样本对应的标签为li,其中i=1,2,…,N,标签是物体的种类信息,可用数字、文字或字母表示。
本发明解决了机器人对非合作目标稳定、柔顺抓取的实际需求,为精细操作任务的完成提供数据基础,并可与其它传感结果融合计算,从而通过多源深度感知增强对不同目标物的描述和辨识能力,为智能操控的实施奠定技术基础。
附图说明
图1是本发明提供的一种基于机器学习的触觉信息分类计算建模方法的流程图。
图2是多指灵巧手的示意图。
图3是触觉阵列传感器的示意图。
图4是马丁距离矩阵定量示意图。
图5是系统包直方图模型外观与内部组成图。
图6是分类准确率曲线。
具体实施方式
以下根据图1-图6,具体说明本发明的较佳实施例。
如图1所示,本发明提供一种基于机器学习的触觉信息分类计算建模方法,包含以下步骤:
步骤S1、利用触觉阵列传感器获取训练集样本的触觉序列;
本实施例中,所述的触觉阵列传感器设置在机器人的机械臂末端的灵巧手上,如图2所示,所述的灵巧手具有三个手指,分别标记成手指1,手指2,手指3,每个手指末端分别配置一个触觉阵列传感器,如图3所示,每个触觉阵列传感器具有m×n个传感器单元,在每个时间段,从每个手指上的触觉阵列传感器的m×n个传感器单元中收集触觉数据;
所述的触觉序列为通过触觉阵列传感器获得的给定N个训练时间序列样本Si∈Rd ×T,其中,d是空间维度,T是序列的时间长度,i=1,2,…,N;
步骤S2、将每组触觉序列合并为子触觉序列,使用线性动态系统模型(LinearDynamic Systems,LDS)对每组子触觉序列进行建模,分别提取子触觉序列的动态特征;
由于数据集中触觉序列的维数较高,会使得后续计算时间相对较长,而大部分触觉序列中都包含了较多杂乱和冗余的信息;因此,在这里通过降低维数对触觉序列的主要成分进行提取,去除相对冗杂的成份;
维数的降低可以通过从高维到低维的函数映射来实现,并且在降低维数的过程中,依据函数映射的存在与否,划分为线性维数降低算法和非线性维数降低算法两类;线性维数降低算法为特征选择算法,它是通过选择实验样本的整体特征向量中的一组作为特征来描述该实验样本;非线性维数降低算法为特征提取算法,是将已经存在的特征向量组合成新的样本特征向量来进行表示;为进一步融入触觉序列的时空信息,利用LDS来对触觉序列进行建模;
通过重塑m×n矩阵作为一个(m×n)维向量,分别获得手指1、手指2、手指3的(m×n)维动态触觉序列S(1)∈R(m×n)×T,S(2)∈R(m×n)×T,S(3)∈R(m×n)×T
串联3个手指的(m×n)维触觉序列,合并为一个单一的子触觉序列:
S = S ( 1 ) S ( 2 ) S ( 3 ) ∈ R d × T - - - ( 1 )
其中,d=m×n×3;
假设噪声为w(t)∈Rd×T,将子触觉序列S分解为:S(t)=D(t)+w(t),其中D(t)∈Rd ×T为不含噪声部分;
假设存在一个p维滤波器α=1,…,Q,使得x(t)∈R,Q为隐层特征空间的维数,有使得其中,Ai和Ci为满足上式的特征参数,t是S的长度自变量,t=1,2,…,d×T,并且v(t)∈Rd×T独立同分布于噪声概率密度q(·),建模结果如下;
x ( t + 1 ) = A i x ( t ) + C i v ( t ) y ( t ) = φ ( x ( t ) ) + w ( t ) - - - ( 2 )
令Mi=(Ai,Ci),即为子触觉序列的动态特征,即某一频率范围内的触觉序列;
步骤S3、使用马丁距离(Martin Distance)作为量度计算子触觉序列的动态特征之间的距离,获得马丁矩阵;
如图4所示,对于提取特征存在于欧式空间的分类算法,其特征之间的距离使用欧式距离来衡量,然而,对于两个LDS的特征M1=(A1,C1),M2=(A2,C2),因为其存在于非欧式空间中,所以使用马丁距离来进行LDS特征之间的距离衡量,得到马丁距离矩阵,md表征输入样本的触觉子序列个数;
马丁距离是基于两个系统之间的空间角定义的,这种空间角又称为观测子序列模型参数的规则角(Principle Angles),在本发明构建的系统中,即触觉序列的LDS特征之间的规则角,该规则角可以由下式进行定义:
对于任意两个模型之间规则角的计算,使用李雅普诺夫(Lyapunov)方程求解,保证系统稳定的重要条件是存在正定的对称矩阵P满足下式:
ATPQ-P=-CTC (4)
式中,
然后使用下式计算子空间角的余弦值:
cos 2 θ i = i t h e i g e n v a l u e ( P 11 - 1 P 12 P 22 - 1 P 21 ) - - - ( 5 )
最终得到两个LDS特征M1与M2之间的马丁距离dM(M1,M2):
d M ( M 1 , M 2 ) 2 = - l n Π i = 1 n cos 2 θ i - - - ( 6 )
使用上述步骤对所提取出的LDS特征数据进行计算后,得到特征间的马丁距离:
D = { d M ( M i , M j ) } i = 1 , j = 1 i = m d , j = m d = { d i j } i = 1 , j = 1 i = m d , j = m d - - - ( 7 )
步骤S4、使用K-中心点(K-Medoid)算法对马丁矩阵进行聚类,构建码书(Codebook);
K-均值(K-Means)算法和K-Medoid算法均可用于聚类,相较于K-均值(K-Means)算法,K-Medoid算法是一种基于数据划分的聚类算法,使用簇中最靠近样本中心的数据点来代表该簇,而不是使用数据点中心自身,以此避免了噪声和冗余数据对于算法的影响,但是由于两个LDS特征之间的距离使用马丁距离进行衡量,而马丁距离存在于非欧式空间,K-Means需将上面进行计算的马丁距离转换到欧式空间中,其过程较繁琐,并且K-Means算法自身也存在对于原始条件过度依赖的缺点,例如聚类中心点数量k等都会对聚类效果造成影响,综合上述因素,使用K-Medoid算法完成聚类,K-Medoid算法还有一个优点是使用简单方便且易实现;
使用K-中心点算法对马丁矩阵进行聚类的步骤包含:
步骤S4.1、随机选取k个马丁距离矩阵中的数据作为聚类中心点;
步骤S4.2、将矩阵中剩余的数据按照所选取的聚类中心点进行分组,分组以每组中每个数据点与每组中聚类中心点的距离数据值的平方和最小为原则;
步骤S4.3、重复执行步骤S4.1、步骤S4.2和步骤S4.3,更新每组数据样本的聚类中心点;
步骤S4.4、直至聚类中心点稳定不变,完成数据聚类;
聚类完成后得到由k组LDS特征组成的码书(Codebook),为表示LDS特征的元组,对于码书中的任意一组元组(A,C),称其为码词(Codewords);
步骤S5、使用码书对每组触觉序列进行表征,得到外部特征为直方图的系统包(Bag-of-System,BoS)模型;
使用码书对触觉序列进行表征后可以得到系统包模型m为样本中触觉序列的个数,如图5所示,这种表征方式的外部体现为直方图模型可由特征词频率(Term Frequency,TF)算法得到;
假设在第i组触觉序列中,第j组码词出现的次数为cij次,则有下式:
式中,hij表示在第i组触觉序列中,第j组码词出现的频率,m为样本中触觉序列个数,对于h1则有h1=[h11…h1k],为一组特征向量;
这种算法过程简单且严谨,并且这种算法的归一化处理有助于提高样本的分类精度,图5中也对于系统包模型的内部数据形式进行了显示;
经过上述过程,得到触觉序列系统包,它由m组特征向量组成;
步骤S6、将训练集样本的系统包模型和训练集样本标签一起送入极限学习机(EXTREME LEARNING MACHINE,ELM)中训练分类器(即分类函数f);
假定存在一组触觉序列则该触觉序列可以使用具有个隐层结点且扩展到RBF核函数的单隐层核函数网络(Single-hidden Layer Feedfordward NeuralNetwork,SLFN)进行建模,函数模型如下式所示:
f = Σ i = 1 N ~ ω i φ i ( r j ) = Σ i = 1 N ~ φ ( μ i , σ i , r j ) , j = 1 , ... , m - - - ( 9 )
式中,ω=[ω1…ωm]T是连接第i个核函数与输出神经网络的输出权重向量,φi(rj)为输出函数,r=[r1…rm]T为相应的特征向量,μi为函数中心点,σi为影响因子;
高斯核函数可以被定义为:
φ ( μ i , σ i , r j ) = exp ( - | | r - μ i | | σ i 2 ) - - - ( 10 )
使极限学习机ELM具有多个输出结点可以完成对数据的多分类,也就是使进行M种类别识别的分类器具有M组隐含层结点,ELM算法对于属于该类别的样本使用+1进行标记,对于不属于该类的样本使用0进行标记,与一般的分类算法不同的是,ELM算法在使训练样本误差最小的同时,也使样本的输出权重最小,即最小化||Hω-T||2与||ω||的值,式中H为神经网络隐含层输出矩阵,它可由下式进行表示:
H = [ μ 1 , ... , μ m , σ 1 , ... σ m , r 1 , ... r m ] T = φ ( μ 1 , σ 1 , r 1 ) ... φ ( μ m , σ m , r 1 ) . . . . . . . . . φ ( μ 1 , σ 1 , r m ) ... φ ( μ m , σ m , r m ) m × m - - - ( 11 )
T = t 1 T ... t m T T - - - ( 12 )
式中,矩阵为神经网络隐含层输出矩阵H的广义逆矩阵,在训练具有多输出结点的ELM分类器时遵循如下条件:
最小化:
约束条件:上式中,C亦为损耗参数,可由交叉验证获得;ξi=[ξi,1,…,ξi,k]T为训练集误差向量,此时,训练ELM分类器等效于解决下式的最优化问题:
l D E L M = 1 2 | | ω | | 2 + C 1 2 Σ i = 1 N ~ | | ξ i | | 2 - Σ i = 1 N ~ Σ j = 1 m λ i , j ( φ ( μ i , σ i , r j ) ω j - t i , j + ξ i , j ) - - - ( 16 )
式中,λi,j为训练样本相应的拉格朗日系数;
当训练集样本规模不大时,可以得到下式进行描述:
( I C + HH T ) λ = T - - - ( 17 )
并可以由此得到ω:
ω = H T ( I C + HH T ) - 1 T - - - ( 18 )
此时,ELM算法的输出函数可以表示为
f = φ ( r ) H T ( I C + HH T ) - 1 T - - - ( 19 )
使用ΩELM=HHT对极限学习机的核函数矩阵进行定义,并且满足以下核函数公式ΩELMa,b=φ(ra)φ(rb)=K(ra,rb),使用核函数的ELM分类器输出函数可以按照下式进行定义
f = [ K ( r , r 1 ) ... K ( r , r m ) ] ( I C + Ω E L M ) - 1 T - - - ( 20 )
通过上述算法可完成对具有多输出结点的ELM分类器的训练,并且可以对测试集样本的物理标签进行预测,所预测的标签即为输出的结点所对应的索引,此索引对应上式中最大的输出值,且有ltest=arg maxfj,j∈{1,...m},式中fj是第j个输出结点的输出函数;
步骤S7、利用触觉传感器获取待分类样本的触觉序列,对待分类样本的触觉序列按照步骤S2~步骤S5的方法进行处理,获得待分类样本的系统包模型;
步骤S8、将待分类样本的系统包模型送入步骤S6获得的分类器中,即可得到物体类型的标签。
样本对应的标签为li,其中i=1,2,…,N,标签是物体的种类信息,可用数字、文字或字母表示,例如:16种样本,用数字表示分类,那么样本对应的标签为l1=1,l2=2,l3=3,…,l16=16;
对于物体样本的分类准确率见图6,横轴和纵轴分别为式(15)所述损耗参数C和式(9)所述隐层节点根据不同的C和分类准确率均高于80%。
本发明中的触觉传感器安装在机器人的机械臂末端的灵巧手上,在操作过程中,当机械臂系统到达指定位置时,安装在机械臂末端的灵巧手执行抓取操作。由于待抓取的目标物体形状、材质等区别较大,因此,利用安装在灵巧手上的触觉传感器阵列准确获得抓取过程中的触觉信息,自适应调整“握力”大小,确保可以稳定的抓取不同的物体。
物体材质是机器人精细操作过程中一个非常重要的环节。如果能够通过触觉传感器有效地判别物体的材质,就可以根据其特点来采取有针对性的抓取和操作策略。以往对材质的分析大都是基于图像纹理的,这一信息源只能刻画单一角度和距离的纹理信息。在机械臂末端安装的摄像机可以在机械臂末端接近物体过程中不断采集物体的图像,从而形成关于物体的视频序列,这一数据源可以从不同角度和距离感知物体的纹理信息。尽管如此,这两类信息源都是在非接触式的情形下采集的,对于一些难以通过视觉方式鉴别的物体(如用材质做出来的外观相似的物体)效果不佳。本发明结合机器人精细操作平台引入了另一个触觉数据源,即在机械臂正式抓取物体之前,利用手指轻触物体,利用这种接触式的触觉序列信息,可以有效地弥补视觉信息在材质分析任务上的不足。
本发明解决了机器人对非合作目标稳定、柔顺抓取的实际需求,为精细操作任务的完成提供数据基础,并可与其它传感结果融合计算,从而通过多源深度感知增强对不同目标物的描述和辨识能力,为智能操控的实施奠定技术基础。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (9)

1.一种基于机器学习的触觉信息分类计算建模方法,其特征在于,包含以下步骤:
步骤S1、利用触觉传感器获取训练集样本的触觉序列;
步骤S2、将每组触觉序列合并为子触觉序列,使用线性动态系统模型对每组子触觉序列进行建模,分别提取子触觉序列的动态特征;
步骤S3、使用马丁距离作为量度计算子触觉序列的动态特征之间的距离,获得马丁矩阵;
步骤S4、使用K-中心点算法对马丁矩阵进行聚类,构建码书;
步骤S5、使用码书对每组触觉序列进行表征,得到外部特征为直方图的系统包模型;
步骤S6、将训练集样本的系统包模型和训练集样本标签一起送入极限学习机中训练分类器;
步骤S7、利用触觉传感器获取待分类样本的触觉序列,对待分类样本的触觉序列按照步骤S2~步骤S5的方法进行处理,获得待分类样本的系统包模型;
步骤S8、将待分类样本的系统包模型送入步骤S6获得的分类器中,即可得到物体类型的标签。
2.如权利要求1所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S1中,所述的触觉阵列传感器设置在机器人的机械臂末端的灵巧手上,所述的灵巧手具有三个手指,每个手指末端分别配置一个触觉阵列传感器,每个触觉阵列传感器具有m×n个传感器单元,所述的触觉序列为通过触觉阵列传感器获得的给定N个训练时间序列样本
Si∈Rd×T,其中,d是空间维度,T是序列的时间长度,i=1,2,…,N。
3.如权利要求1所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S2中,首先通过降低维数对触觉序列的主要成分进行提取,去除冗杂的成份。
4.如权利要求1或2所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S2中,
通过重塑m×n矩阵作为一个m×n维向量,分别获得灵巧手上三个手指的(m×n)维动态触觉序列S(1)∈R(m×n)×T,S(2)∈R(m×n)×T,S(3)∈R(m×n)×T
串联3个手指的m×n维触觉序列,合并为一个单一的子触觉序列:
S = S ( 1 ) S ( 2 ) S ( 3 ) ∈ R d × T - - - ( 1 )
其中,d=m×n×3;
假设噪声为w(t)∈Rd×T,将子触觉序列S分解为:S(t)=D(t)+w(t),其中D(t)∈Rd×T为不含噪声部分;
其中,Ai和Ci为满足上式的特征参数,t是S的长度自变量,t=1,2,…,d×T,并且v(t)∈Rd×T独立同分布于噪声概率密度q(·),建模结果如下:
x ( t + 1 ) = A i x ( t ) + C i v ( t ) y ( t ) = φ ( x ( t ) ) + w ( t ) - - - ( 2 )
令Mi=(Ai,Ci),即为子触觉序列的动态特征,即某一频率范围内的触觉序列。
5.如权利要求4所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S3中,使用马丁距离来进行两个LDS的特征M1=(A1,C1),M2=(A2,C2)之间的距离衡量,得到马丁距离矩阵,md表征输入样本的触觉子序列个数;
触觉序列的LDS特征之间的规则角由下式进行定义:
对于任意两个模型之间规则角的计算,使用李雅普诺夫方程求解,保证系统稳定的重要条件是存在正定的对称矩阵P满足下式:
ATPQ-P=-CTC (4)
式中,
然后使用下式计算子空间角的余弦值:
cos 2 θ i = i t h e i g e n v a l u e ( P 11 - 1 P 12 P 22 - 1 P 21 ) - - - ( 5 )
最终得到两个LDS特征M1与M2之间的马丁距离dM(M1,M2):
d M ( M 1 , M 2 ) 2 = - l n Π i = 1 n cos 2 θ i - - - ( 6 )
使用上述步骤对所提取出的LDS特征数据进行计算后,得到特征间的马丁距离:
D = { d M ( M i , M j ) } i = 1 , j = 1 i = m d , j = m d = { d i j } i = 1 , j = 1 i = m d , j = m d - - - ( 7 ) .
6.如权利要求5所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S4中,使用K-中心点算法对马丁矩阵进行聚类的步骤包含:
步骤S4.1、随机选取k个马丁距离矩阵中的数据作为聚类中心点;
步骤S4.2、将矩阵中剩余的数据按照所选取的聚类中心点进行分组,分组以每组中每个数据点与每组中聚类中心点的距离数据值的平方和最小为原则;
步骤S4.3、重复执行步骤S4.1、步骤S4.2和步骤S4.3,更新每组数据样本的聚类中心点;
步骤S4.4、直至聚类中心点稳定不变,完成数据聚类;
聚类完成后得到由k组LDS特征组成的码书(Codebook),为表示LDS特征的元组,对于码书中的任意一组元组(A,C),称其为码词(Codewords)。
7.如权利要求6所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S5中,使用码书对触觉序列进行表征后可以得到系统包模型m为样本中触觉序列的个数,这种表征方式的外部体现为直方图模型可由特征词频率算法得到;
假设在第i组触觉序列中,第j组码词出现的次数为cij次,则有下式:
式中,hij表示在第i组触觉序列中,第j组码词出现的频率,m为样本中触觉序列个数,对于h1则有h1=[h11...h1k],为一组特征向量。
8.如权利要求7所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S6中,
假定存在一组训练触觉序列则该触觉序列可以使用具有个隐层结点且扩展到RBF核函数的单隐层核函数网络进行建模,函数模型如下式所示:
f = Σ i = 1 N ~ ω i φ i ( r j ) = Σ i = 1 N ~ φ ( μ i , σ i , r j ) , j = 1 , ... , m - - - ( 9 )
式中,ω=[ω1...ωm]T是连接第i个核函数与输出神经网络的输出权重向量,φi(rj)为输出函数,r=[r1...rm]T为相应的特征向量,μi为函数中心点,σi为影响因子;
高斯核函数可以被定义为:
φ ( μ i , σ i , r j ) = exp ( - | | r - μ i | | σ i 2 ) - - - ( 10 )
使极限学习机具有多个输出结点可以完成对数据的多分类,也就是使进行M种类别识别的分类器具有M组隐含层结点,极限学习机算法对于属于该类别的样本使用+1进行标记,对于不属于该类的样本使用0进行标记,极限学习机算法在使训练样本误差最小的同时,也使样本的输出权重最小,即最小化||Hω-T||2与||ω||的值,式中H为神经网络隐含层输出矩阵,它可由下式进行表示:
H = [ μ 1 , ... , μ m , σ 1 , ... σ m , r 1 , ... r m ] T = φ ( μ 1 , σ 1 , r 1 ) ... φ ( μ m , σ m , r 1 ) . . . . . . . . . φ ( μ 1 , σ 1 , r m ) ... φ ( μ m , σ m , r m ) m × m - - - ( 11 )
T = [ t 1 T . . . t m T ] T - - - ( 12 )
式中,矩阵为神经网络隐含层输出矩阵H的广义逆矩阵,在训练具有多输出结点的极限学习机分类器时遵循如下条件:
最小化:
约束条件:
上式中,C亦为损耗参数,可由交叉验证获得;ξi=[ξi,1,...,ξi,k]T为训练集误差向量,此时,训练极限学习机分类器等效于解决下式的最优化问题:
l D E L M = 1 2 | | ω | | 2 + C 1 2 Σ i = 1 N ~ | | ξ i | | 2 - Σ i = 1 N ~ Σ j = 1 m λ i , j ( φ ( μ i , σ i , r j ) ω j - t i , j + ξ i , j ) - - - ( 16 )
式中,λi,j为训练样本相应的拉格朗日系数;
当训练集样本规模不大时,可以得到下式进行描述:
( I C + HH T ) λ = T - - - ( 17 )
并可以由此得到ω:
ω = H T ( I C + HH T ) - 1 T - - - ( 18 )
此时,极限学习机算法的输出函数可以表示为
f = φ ( r ) H T ( I C + HH T ) - 1 T - - - ( 19 )
使用ΩELM=HHT对极限学习机的核函数矩阵进行定义,并且满足以下核函数公式ΩELMa,b=φ(ra)φ(rb)=K(ra,rb),使用核函数的极限学习机分类器输出函数可以按照下式进行定义
f = [ K ( r , r 1 ) ... K ( r , r m ) ] ( I C + Ω E L M ) - 1 T - - - ( 20 )
通过上述算法可完成对具有多输出结点的极限学习机分类器的训练,并且可以对测试集样本的物理标签进行预测,所预测的标签即为输出的结点所对应的索引,此索引对应上式中最大的输出值,且有ltest=arg max fj,j∈{1,...m},式中fj是第j个输出结点的输出函数。
9.如权利要求8所述的基于机器学习的触觉信息分类计算建模方法,其特征在于,所述的步骤S8中,样本对应的标签为li,其中i=1,2,…,N,标签是物体的种类信息,可用数字、文字或字母表示。
CN201610522439.XA 2016-07-05 2016-07-05 一种基于机器学习的触觉信息分类计算建模方法 Pending CN105956351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610522439.XA CN105956351A (zh) 2016-07-05 2016-07-05 一种基于机器学习的触觉信息分类计算建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610522439.XA CN105956351A (zh) 2016-07-05 2016-07-05 一种基于机器学习的触觉信息分类计算建模方法

Publications (1)

Publication Number Publication Date
CN105956351A true CN105956351A (zh) 2016-09-21

Family

ID=56902303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610522439.XA Pending CN105956351A (zh) 2016-07-05 2016-07-05 一种基于机器学习的触觉信息分类计算建模方法

Country Status (1)

Country Link
CN (1) CN105956351A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446424A (zh) * 2016-09-29 2017-02-22 西北工业大学 一种非定常气动力模型参数预测方法
CN106960099A (zh) * 2017-03-28 2017-07-18 清华大学 一种基于深度学习的机械手抓取稳定性识别方法
CN107463952A (zh) * 2017-07-21 2017-12-12 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN108171279A (zh) * 2018-01-28 2018-06-15 北京工业大学 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
CN108284434A (zh) * 2017-01-10 2018-07-17 发那科株式会社 机器学习装置、示教装置的冲击抑制系统及机器学习方法
CN108573227A (zh) * 2018-04-09 2018-09-25 深圳竹信科技有限公司 心电图数据质量评价方法及装置
CN109086821A (zh) * 2018-07-31 2018-12-25 太原理工大学 机器人的物体抓取判别方法
CN109508740A (zh) * 2018-11-09 2019-03-22 郑州轻工业学院 基于高斯混合噪声生成式对抗网络的物体硬度识别方法
CN109625333A (zh) * 2019-01-03 2019-04-16 西安微电子技术研究所 一种基于深度增强学习的空间非合作目标捕获方法
CN109656361A (zh) * 2018-12-11 2019-04-19 吉林大学 一种以平移交互效率为指标的最优驱动电压选择方法
CN111204476A (zh) * 2019-12-25 2020-05-29 上海航天控制技术研究所 一种基于强化学习的视触融合精细操作方法
CN111459278A (zh) * 2020-04-01 2020-07-28 中国科学院空天信息创新研究院 基于触觉阵列的机器人抓取状态判别方法
CN111507425A (zh) * 2020-04-28 2020-08-07 重庆大学 基于气囊阵列触觉感知的模式识别方法及系统
CN111783959A (zh) * 2020-07-08 2020-10-16 湖南工业大学 一种基于分层极限学习机分类的电子皮肤触觉模式识别方法
CN111881191A (zh) * 2020-08-05 2020-11-03 厦门力含信息技术服务有限公司 移动互联网下的客户画像关键特征挖掘系统与方法
CN112668609A (zh) * 2020-12-07 2021-04-16 深圳先进技术研究院 一种基于核方法的触觉模态识别方法
CN114008571A (zh) * 2019-06-14 2022-02-01 威尔乌集团 基于聚类的传感器分配
CN114670224A (zh) * 2022-05-07 2022-06-28 广东工业大学 一种指尖触觉信息采集装置
WO2024087331A1 (zh) * 2022-10-24 2024-05-02 深圳先进技术研究院 一种基于三元组对比网络的机器人抓取预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130138245A1 (en) * 2011-11-29 2013-05-30 Samsung Electronics Co., Ltd. Robot and control method for the same
CN105005787A (zh) * 2015-06-24 2015-10-28 清华大学 一种基于灵巧手触觉信息的联合稀疏编码的材质分类方法
CN105718954A (zh) * 2016-01-22 2016-06-29 清华大学 一种基于视触觉融合的目标属性和类别的识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130138245A1 (en) * 2011-11-29 2013-05-30 Samsung Electronics Co., Ltd. Robot and control method for the same
CN105005787A (zh) * 2015-06-24 2015-10-28 清华大学 一种基于灵巧手触觉信息的联合稀疏编码的材质分类方法
CN105718954A (zh) * 2016-01-22 2016-06-29 清华大学 一种基于视触觉融合的目标属性和类别的识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马蕊: "基于触觉序列的物体分类方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446424B (zh) * 2016-09-29 2019-07-19 西北工业大学 一种非定常气动力参数预测方法
CN106446424A (zh) * 2016-09-29 2017-02-22 西北工业大学 一种非定常气动力模型参数预测方法
CN108284434B (zh) * 2017-01-10 2019-08-20 发那科株式会社 机器学习装置、示教装置的冲击抑制系统及机器学习方法
CN108284434A (zh) * 2017-01-10 2018-07-17 发那科株式会社 机器学习装置、示教装置的冲击抑制系统及机器学习方法
CN106960099A (zh) * 2017-03-28 2017-07-18 清华大学 一种基于深度学习的机械手抓取稳定性识别方法
CN106960099B (zh) * 2017-03-28 2019-07-26 清华大学 一种基于深度学习的机械手抓取稳定性识别方法
CN107463952A (zh) * 2017-07-21 2017-12-12 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN107463952B (zh) * 2017-07-21 2020-04-03 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN108171279B (zh) * 2018-01-28 2021-11-05 北京工业大学 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
CN108171279A (zh) * 2018-01-28 2018-06-15 北京工业大学 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
CN108573227B (zh) * 2018-04-09 2022-04-29 深圳竹信科技有限公司 心电图数据质量评价方法及装置
CN108573227A (zh) * 2018-04-09 2018-09-25 深圳竹信科技有限公司 心电图数据质量评价方法及装置
CN109086821A (zh) * 2018-07-31 2018-12-25 太原理工大学 机器人的物体抓取判别方法
CN109508740A (zh) * 2018-11-09 2019-03-22 郑州轻工业学院 基于高斯混合噪声生成式对抗网络的物体硬度识别方法
CN109508740B (zh) * 2018-11-09 2019-08-13 郑州轻工业学院 基于高斯混合噪声生成式对抗网络的物体硬度识别方法
CN109656361B (zh) * 2018-12-11 2021-06-04 吉林大学 一种以平移交互效率为指标的最优驱动电压选择方法
CN109656361A (zh) * 2018-12-11 2019-04-19 吉林大学 一种以平移交互效率为指标的最优驱动电压选择方法
CN109625333A (zh) * 2019-01-03 2019-04-16 西安微电子技术研究所 一种基于深度增强学习的空间非合作目标捕获方法
CN109625333B (zh) * 2019-01-03 2021-08-03 西安微电子技术研究所 一种基于深度增强学习的空间非合作目标捕获方法
CN114008571A (zh) * 2019-06-14 2022-02-01 威尔乌集团 基于聚类的传感器分配
CN111204476B (zh) * 2019-12-25 2021-10-29 上海航天控制技术研究所 一种基于强化学习的视触融合精细操作方法
CN111204476A (zh) * 2019-12-25 2020-05-29 上海航天控制技术研究所 一种基于强化学习的视触融合精细操作方法
CN111459278A (zh) * 2020-04-01 2020-07-28 中国科学院空天信息创新研究院 基于触觉阵列的机器人抓取状态判别方法
CN111507425A (zh) * 2020-04-28 2020-08-07 重庆大学 基于气囊阵列触觉感知的模式识别方法及系统
CN111783959A (zh) * 2020-07-08 2020-10-16 湖南工业大学 一种基于分层极限学习机分类的电子皮肤触觉模式识别方法
CN111881191B (zh) * 2020-08-05 2021-06-11 留洋汇(厦门)金融技术服务有限公司 移动互联网下的客户画像关键特征挖掘系统与方法
CN111881191A (zh) * 2020-08-05 2020-11-03 厦门力含信息技术服务有限公司 移动互联网下的客户画像关键特征挖掘系统与方法
CN112668609A (zh) * 2020-12-07 2021-04-16 深圳先进技术研究院 一种基于核方法的触觉模态识别方法
CN114670224A (zh) * 2022-05-07 2022-06-28 广东工业大学 一种指尖触觉信息采集装置
CN114670224B (zh) * 2022-05-07 2024-03-15 广东工业大学 一种指尖触觉信息采集装置
WO2024087331A1 (zh) * 2022-10-24 2024-05-02 深圳先进技术研究院 一种基于三元组对比网络的机器人抓取预测方法

Similar Documents

Publication Publication Date Title
CN105956351A (zh) 一种基于机器学习的触觉信息分类计算建模方法
Pinto et al. The curious robot: Learning visual representations via physical interactions
CN105138973B (zh) 人脸认证的方法和装置
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN108664897A (zh) 票据识别方法、装置及存储介质
CN107066559A (zh) 一种基于深度学习的三维模型检索方法
CN104102922B (zh) 一种基于上下文感知字典学习的害虫图像分类方法
CN102324038B (zh) 一种基于数字图像的植物种类识别方法
CN112529062B (zh) 一种基于灵巧手触觉信息的物体分类方法
CN111639679A (zh) 一种基于多尺度度量学习的小样本学习方法
CN109558902A (zh) 一种快速目标检测方法
CN110287873A (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
Bai et al. Coordinate CNNs and LSTMs to categorize scene images with multi-views and multi-levels of abstraction
Potdar et al. A convolutional neural network based live object recognition system as blind aid
CN107403188A (zh) 一种水质评价方法及装置
CN113722474A (zh) 文本分类方法、装置、设备及存储介质
Nahar et al. Fingerprint classification using deep neural network model resnet50
CN104699781A (zh) 基于双层锚图散列的sar图像检索方法
Udawant et al. Diseased portion classification & recognition of cotton plants using convolution neural networks
JP2021533493A (ja) 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体
CN110163130A (zh) 一种用于手势识别的特征预对齐的随机森林分类器及分类方法
Pohtongkam et al. Object recognition for humanoid robots using full hand tactile sensor
Wei et al. V4 neural network model for shape-based feature extraction and object discrimination
Pohtongkam et al. Object recognition using glove tactile sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921