CN105718954B - 一种基于视触觉融合的目标属性和类别的识别方法 - Google Patents

Abstract

本发明涉及一种基于视触觉融合的目标属性和类别的识别方法，属于分类技术领域，该方法包括:1)采集作为训练样本的视触觉信息：2)按照不同的训练样本和它们不同的属性，将训练样本分为物体类别i类、属性j类，对每个训练样本抓取并采集触觉信息和视觉图像，建立训练样本数据集；3)对需要进行分类的测试样体进行抓取、采集视觉图像，得到测试样本的触觉信息和视觉图像，建立测试样本数据集，求出触觉时间序列测试集与训练集的动态时间规整(DTW)距离矩阵和视觉图像测试集与训练集的协方差描述子距离矩阵。4)将所有测试样本通过最近邻算法得到每个测试样本的物体、属性类别。本发明在最近邻算法的基础上实现一种精细目标识别的视触觉融合方法。提高了分类的鲁棒性和准确率。

Description

一种基于视触觉融合的目标属性和类别的识别方法

技术领域

本发明涉及一种基于视触觉融合的目标属性和类别的识别方法，属于物体分类技术领域。

背景技术

BH8系列的BarrettHand灵巧手是一个可编程的多手指抓持器，它具有非常高的灵活性，可以抓取不同形状、大小及姿态的目标物体。该灵巧手由三个手指F1、F2、F3和一个手掌S四个触觉传感器组成，每个传感器分别包含24个触觉阵列，可抓取物体并采集所抓取物体的触觉信息得到触觉时间序列。

在现有的物体类型识别技术中，包括有多种不同方式的物体类型识别技术，例如：基于启发式规则方式的物体类型识别技术，多采用物体的形状、大小、比例等简单信息对提取的前景物体进行分析，得到物体的类型，但是这种方法比较简单，效果差且抗干扰能力差。然而，基于灵巧手触觉和摄像头视觉信息的物体类别分类和属性分类从一个新的角度对物体进行分类，得到鲁棒的效果。

经对现有的技术文献检索分析，发现邓亚峰等人的发明专利“物体分类模型的训练方法及利用该模型的识别方法，申请号为201010536354.X”中揭示了一种物体分类模型的基于图像的训练方法，此发明对提取的前景物体区域进行主轴归一化变换；同时，采用块匹配技术对不同帧图像上的前景物体区域进行对齐处理，提取的前景物体区域中有效的物体前景区域作为最终前景物体区域，从而实现物体分类。但该方法只是提取物体不同帧图像作为分类特征，未将类似方法应用在触觉信息和视觉信息融合的方法上。

发明内容

本发明的目的是提出一种基于视触觉融合的目标属性和类别的识别方法，在最近邻算法的基础上实现基于视触觉信息的物体类别和属性类别分类，提高目标分类的鲁棒性和准确率。

本发明提出的基于视触觉融合的目标属性和类别的识别方法，包括以下步骤:

(1)采集作为训练样本物体的视触觉信息：

设定用于精细目标识别的灵巧手的抓取力矩值为F，F＝2300-4000N/m，灵巧手手掌的零触觉信号为Z，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号Z时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送一个抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集抓取过程中灵巧手的手指的触觉信息，得到一个触觉时间序列；

(2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类物体、j类属性，每个训练样本的标签为c_i ^*、c_j ^*，其中1≤i≤N、1≤j≤N，重复上述步骤(1)，遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间序列和视觉图像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：

S_tr＝[S₁,S₂,…,S_N]

(3)设测试样本的个数为M，利用上述步骤(1)和步骤(2)的方法，采集每个测试样本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小的触觉测试样本数据集，数据集的表达式为：

S_te＝[S₁,S₂,…,S_M]

(4)设触觉训练样本数据集中，触觉时间序列S_I的长度为T_n，表达式为：其中1≤I≤N，

触觉测试样本数据集中，触觉时间序列S_J的长度为T_m，表达式为：其中1≤J≤M，

设S_I和S_J之间的抓取匹配路径为W，w_k＝(v,h)_k为抓取匹配路径W中的第k个元素，w_K是W的最后一个路径，W＝w₁,w₂,...,w_K，max(T_m,T_n)≤K≤T_m+T_n-1；

根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列S_I和S_J之间的最小匹配路径DTW(S_I,S_J)为：

其中，为K个抓取匹配路径之和；

(5)遍历触觉训练样本数据集中的所有触觉时间序列，重复步骤(4)，得到触觉测试样本数据集中的一个触觉时间序列S_J与触觉训练样本数据集中的所有触觉时间序列S_tr之间的最小匹配路径DTW(S_J,S_tr),1≤J≤M，表达式为：

S_tr＝[S₁,S₂,…,S_N]

DTW(S_J,S_tr)＝[DTW(S_J,S₁),DTW(S_J,S₂),…,DTW(S_J,S_N)]

(6)遍历触觉测试样本数据集中的所有触觉时间序列，重复步骤(5)得到触觉测试样本数据集中的所有触觉时间序列S_te分别与触觉训练样本数据集中的所有触觉时间序列S_tr的最小匹配路径DTW(S_te,S_tr)，构建一个动态时间规整距离矩阵D：

上述距离矩阵D中，D₁₁是S_te中第一个触觉时间序列与S_tr中第一个触觉时间序列之间的DTW距离，D_1N是S_te中第一个触觉时间序列与S_tr中第N个触觉时间序列之间的DTW距离，D_M1是S_te中第M个触觉时间序列与S_tr中第一个触觉时间序列之间的DTW距离，D_MN是S_te中第M个触觉时间序列与S_tr中第N个触觉时间序列之间的DTW距离；

(7)从上述训练样本的视觉图像中提取协方差描述子，得到一个视觉训练样本数据集R_tr，表达式为：R_tr＝[R₁,R₂,…,R_N]，

从上述测试样本的视觉图像中提取协方差描述子，得到一个视觉测试样本数据集R_te，表达式为：R_te＝[R₁,R₂,…,R_M]，

采用Log-Euclidean距离d_cov(R_o,R_r)，1≤o≤N，1≤r≤M，近似度量视觉训练样本数据集R_tr中的任意一个协方差描述子与视觉测试样本数据集R_te中的任意一个协方差描述子之间的差异，表达式为：

d_cov(R_o,R_r)＝||logm(R_o)-logm(R_r)||_F，

其中logm表示对矩阵求对数；

(8)遍历视觉训练样本数据集R_tr中的所有协方差描述子，重复步骤(7)，得到视觉测试样本数据集R_te中一个协方差描述子与视觉训练样本数据集R_tr中的所有协方差描述子之间的Log-Euclidean距离d，表达式为：

d＝[d₁,d₂,…d_N]

(9)遍历视觉测试样本数据集R_te中的所有协方差描述子，重复步骤(8)，得到视觉测试样本数据集中的所有协方差描述子与视觉训练样本数据集中的所有协方差描述子之间的Log-Euclidean距离d，构成Log-Euclidean距离矩阵D_le，表达式为：

上述距离矩阵D_le中，d₁₁是R_te中第一个协方差描述子与R_tr中第一个协方差描述子之间的Log-Euclidean距离，d_1N是R_te中第一个协方差描述子与R_tr中第N个协方差描述子之间的Log-Euclidean距离，d_M1是R_te中第M个协方差描述子与R_tr中第一个协方差描述子之间的Log-Euclidean距离，d_MN是R_te中第M个协方差描述子与R_tr中第N个协方差描述子之间的Log-Euclidean距离；

(10)根据上述步骤(6)得到的动态时间规整(DTW)距离矩阵D和步骤(9)得到的Log-Euclidean距离矩阵D_le，得到第A个测试样本的动态时间规整(DTW)距离A₁和Log-Euclidean距离A₂，表达式为：

A₁＝[D_A，1,D_A，2,…,D_A，N]

A₂＝[d_A，1,d_A，2,…,d_A，N]

分别求出A₁和A₂中的最小值D_a和d_b，其中1≤a≤N，1≤b≤N，根据最近邻算法，则第a个训练样本的标签c_a ^*即为第A个测试样本的属性，第b个训练样本的标签c_b ^*即为第A个测试样本的类别；

(11)重复步骤(10)，得到所有测试样本的属性和类别，完成目标属性和类别的识别。

本发明提出的基于视触觉融合的目标属性和类别的识别方法，具有以下优点:

1、本发明提出的基于视触觉融合的目标属性和类别的识别方法，利用灵巧手采集到的物体触觉信息进行训练和测试，实现物体的属性分类。利用摄像头采集到物体的视觉信息进行训练和测试，实现物体的类别分类。

2、本发明的分类方法，在最近邻算法的基础上联合灵巧手三个手指之间触觉信息和摄像头采集的视觉信息进行物体分类，提高了分类的鲁棒性和准确率。

附图说明

图1为本发明的基于最近邻算法的视触觉融合的物体分类、属性分类方法流程框图。

具体实施方式

本发明提出的基于视触觉融合的目标属性和类别的识别方法，其流程框图如图1所示，包括以下步骤:

(1)采集作为训练样本物体的视触觉信息：

设定用于精细目标识别的灵巧手的抓取力矩值为F，F＝2300-4000N/m，灵巧手手掌的零触觉信号为Z，零触觉的含义是手掌上无物体，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号Z时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送一个抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集抓取过程中灵巧手的手指的触觉信息，得到一个触觉时间序列；

(2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类物体、j类属性，每个训练样本的标签为c_i ^*、c_j ^*，其中1≤i≤N、1≤j≤N，重复上述步骤(1)，遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间序列和视觉图像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：

S_tr＝[S₁,S₂,…,S_N]

(3)设测试样本的个数为M，利用上述步骤(1)和步骤(2)的方法，采集每个测试样本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小的触觉测试样本数据集，数据集的表达式为：

S_te＝[S₁,S₂,…,S_M]

(4)设触觉训练样本数据集中，触觉时间序列S_I的长度为T_n，表达式为：其中1≤I≤N，

触觉测试样本数据集中，触觉时间序列S_J的长度为T_m，表达式为：其中1≤J≤M，

设S_I和S_J之间的抓取匹配路径为W，w_k＝(v,h)_k为抓取匹配路径W中的第k个元素，w_K是W的最后一个路径，W＝w₁,w₂,...,w_K，max(T_m,T_n)≤K≤T_m+T_n-1；

根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列S_I和S_J之间的最小匹配路径DTW(S_I,S_J)为：

其中，为K个抓取匹配路径之和；

(5)遍历触觉训练样本数据集中的所有触觉时间序列，重复步骤(4)，得到触觉测试样本数据集中的一个触觉时间序列S_J与触觉训练样本数据集中的所有触觉时间序列S_tr之间的最小匹配路径DTW(S_J,S_tr),1≤J≤M，表达式为：

S_tr＝[S₁,S₂,…,S_N]

DTW(S_J,S_tr)＝[DTW(S_J,S₁),DTW(S_J,S₂),…,DTW(S_J,S_N)]

(6)遍历触觉测试样本数据集中的所有触觉时间序列，重复步骤(5)得到触觉测试样本数据集中的所有触觉时间序列S_te分别与触觉训练样本数据集中的所有触觉时间序列S_tr的最小匹配路径DTW(S_te,S_tr)，构建一个动态时间规整(DTW)距离矩阵D：

上述距离矩阵D中，D₁₁是S_te中第一个触觉时间序列与S_tr中第一个触觉时间序列之间的DTW距离，D_1N是S_te中第一个触觉时间序列与S_tr中第N个触觉时间序列之间的DTW距离，D_M1是S_te中第M个触觉时间序列与S_tr中第一个触觉时间序列之间的DTW距离，D_MN是S_te中第M个触觉时间序列与S_tr中第N个触觉时间序列之间的DTW距离；

(7)一般情况下，用于图像处理的协方差描述子(CovD)中，令{f_x}_x＝1,...,q为表征图像的灰度值、梯度、边缘、空间属性等的p维特征向量，其中q为图像像元数量。因此任意一幅图像p×p维的协方差描述子R定义为：

其中，μ是均值特征矢量。

从上述训练样本的视觉图像中提取协方差描述子，得到一个视觉训练样本数据集R_tr，表达式为：R_tr＝[R₁,R₂,…,R_N]，

从上述测试样本的视觉图像中提取协方差描述子，得到一个视觉测试样本数据集R_te，表达式为：R_te＝[R₁,R₂,…,R_M]，

采用Log-Euclidean距离d_cov(R_o,R_r)，1≤o≤N，1≤r≤M，近似度量视觉训练样本数据集R_tr中的任意一个协方差描述子与视觉测试样本数据集R_te中的任意一个协方差描述子之间的差异，表达式为：

d_cov(R_o,R_r)＝||logm(R_o)-logm(R_r)||_F，

其中logm表示对矩阵求对数；

(8)遍历视觉训练样本数据集R_tr中的所有协方差描述子，重复步骤(7)，得到视觉测试样本数据集R_te中一个协方差描述子与视觉训练样本数据集R_tr中的所有协方差描述子之间的Log-Euclidean距离d，表达式为：

d＝[d₁,d₂,…d_N]

(9)遍历视觉测试样本数据集R_te中的所有协方差描述子，重复步骤(8)，得到视觉测试样本数据集中的所有协方差描述子与视觉训练样本数据集中的所有协方差描述子之间的Log-Euclidean距离d，构成Log-Euclidean距离矩阵D_le，表达式为：

上述距离矩阵D_le中，d₁₁是R_te中第一个协方差描述子与R_tr中第一个协方差描述子之间的Log-Euclidean距离，d_1N是R_te中第一个协方差描述子与R_tr中第N个协方差描述子之间的Log-Euclidean距离，d_M1是R_te中第M个协方差描述子与R_tr中第一个协方差描述子之间的Log-Euclidean距离，d_MN是R_te中第M个协方差描述子与R_tr中第N个协方差描述子之间的Log-Euclidean距离；

(10)根据上述步骤(6)得到的动态时间规整(DTW)距离矩阵D和步骤(9)得到的Log-Euclidean距离矩阵D_le，得到第A个测试样本的动态时间规整(DTW)距离A₁和Log-Euclidean距离A₂，表达式为：

A₁＝[D_A，1,D_A，2,…,D_A，N]

A₂＝[d_A，1,d_A，2,…,d_A，N]

分别求出A₁和A₂中的最小值D_a和d_b，其中1≤a≤N，1≤b≤N，根据最近邻算法(knn)，则第a个训练样本的标签c_a ^*即为第A个测试样本的属性，第b个训练样本的标签c_b ^*即为第A个测试样本的类别；

(11)重复步骤(10)，得到所有测试样本的属性和类别，完成目标属性和类别的识别。

以下介绍本发明方法的一个实施例：

选择脉动(空瓶)、脉动(满水)、企鹅(毛绒玩具)三个物体作为训练样本，选择加多宝(空瓶)、熊猫(毛绒玩具)两个物体作为测试样本。其中训练样本属性分为：空、满、软，类别分为：瓶子、瓶子、毛绒玩具。

根据上述步骤采集训练样本的触觉信息，得到一个1*3的触觉训练样本数据集，表达式为：S_tre＝[S₁,S₂,S₃]，采集测试样本的触觉信息，得到一个1*2的触觉测试样本数据集，表达式为：S_tee＝[S₁,S₂]；

根据上述步骤求得S_tee中所有触觉时间序列分别与S_tre中所有触觉时间序列的DTW距离，组成一个2*3的DTW距离矩阵De，表达式为：

其中D₁₁表示S_tee中的第一个触觉信息与S_tre中的第一个触觉信息的DTW距离，D₂₁表示S_tee中的第二个触觉信息与S_tre中的第一个触觉信息的DTW距离。类似地可知道其他元素代表含义。

根据上述步骤采集训练样本的视觉图像，提取视觉图像的协方差描述子R，得到一个1*3的视觉训练样本数据集，表达式为：R_tre＝[R₁,R₂,R₃]，采集测试样本的视觉图像，提取视觉图像的协方差描述子R，得到一个1*2的视觉测试样本数据集，表达式为：R_tee＝[R₁,R₂]；

根据上述步骤求得R_tee中所有协方差描述子分别与R_tre中所有协方差描述子的Log-Euclidean距离，组成一个2*3的Log-Euclidean距离矩阵D_lee，表达式为：

其中d₁₁表示R_tee中的第一个协方差描述子与R_tre中的第一个协方差描述子的Log-Euclidean距离，d₂₁表示R_tee中的第二个协方差描述子与R_tre中的第一个协方差描述子的Log-Euclidean距离。类似地可知道其他元素代表含义。

根据上述步骤求得De中每一行的最小值，这里假设最小值是D₁₁和D₂₃，通过最近邻算法，第一个测试样本的属性就是第一个训练样本的属性：“空”，第二个测试样本的属性就是第三个训练样本的属性：“软”。同理求出D_lee中每一行的最小值，这里假设最小值是d₁₁和d₂₃，通过最近邻算法，第一个测试样本的类别就是第一个训练样本的类别：“瓶子”，第二个测试样本的类别就是第三个训练样本的类别：“毛绒玩具”。

Claims (1)

1.一种基于视触觉融合的目标属性和类别的识别方法，其特征在于，该方法包括以下步骤:

(1)采集作为训练样本物体的视触觉信息：

设定用于精细目标识别的灵巧手的抓取力矩值为F，F＝2300-4000N/m，灵巧手手掌的零触觉信号为Z，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号Z时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送一个抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集抓取过程中灵巧手的手指的触觉信息，得到一个触觉时间序列；

(2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类物体、j类属性，每个训练样本的标签为c_i ^*、c_j ^*，其中1≤i≤N、1≤j≤N，重复上述步骤(1)，遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间序列和视觉图像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：

S_tr＝[S₁,S₂,···,S_N]

(3)设测试样本的个数为M，利用上述步骤(1)和步骤(2)的方法，采集每个测试样本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小的触觉测试样本数据集，数据集的表达式为：

S_te＝[S₁,S₂,···,S_M]

(4)设触觉训练样本数据集中，触觉时间序列S_I的长度为T_n，表达式为：其中1≤I≤N，

触觉测试样本数据集中，触觉时间序列S_J的长度为T_m，表达式为：其中1≤J≤M，

设S_I和S_J之间的抓取匹配路径为W，w_k＝(v,h)_k为抓取匹配路径W中的第k个元素，w_K是W的最后一个路径，W＝w₁,w₂,...,w_K，max(T_m,T_n)≤K≤T_m+T_n-1；

根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列S_I和S_J之间的最小匹配路径DTW(S_I,S_J)为：

其中，为K个抓取匹配路径之和；

(5)遍历触觉训练样本数据集中的所有触觉时间序列，重复步骤(4)，得到触觉测试样本数据集中的一个触觉时间序列S_J与触觉训练样本数据集中的所有触觉时间序列S_tr之间的最小匹配路径DTW(S_J,S_tr),1≤J≤M，表达式为：

S_tr＝[S₁,S₂,···,S_N]

DTW(S_J,S_tr)＝[DTW(S_J,S₁),DTW(S_J,S₂),···,DTW(S_J,S_N)]

(6)遍历触觉测试样本数据集中的所有触觉时间序列，重复步骤(5)得到触觉测试样本数据集中的所有触觉时间序列S_te分别与触觉训练样本数据集中的所有触觉时间序列S_tr的最小匹配路径DTW(S_te,S_tr)，构建一个动态时间规整距离矩阵D：

上述距离矩阵D中，D₁₁是S_te中第一个触觉时间序列与S_tr中第一个触觉时间序列之间的DTW距离，D_1N是S_te中第一个触觉时间序列与S_tr中第N个触觉时间序列之间的DTW距离，D_M1是S_te中第M个触觉时间序列与S_tr中第一个触觉时间序列之间的DTW距离，D_MN是S_te中第M个触觉时间序列与S_tr中第N个触觉时间序列之间的DTW距离；

(7)从上述训练样本的视觉图像中提取协方差描述子，得到一个视觉训练样本数据集R_tr，表达式为：R_tr＝[R₁,R₂,···,R_N]，

从上述测试样本的视觉图像中提取协方差描述子，得到一个视觉测试样本数据集R_te，表达式为：R_te＝[R₁,R₂,···,R_M]，

采用Log-Euclidean距离d_cov(R_o,R_r)，1≤o≤N，1≤r≤M，近似度量视觉训练样本数据集R_tr中的任意一个协方差描述子与视觉测试样本数据集R_te中的任意一个协方差描述子之间的差异，表达式为：

d_cov(R_o,R_r)＝||logm(R_o)-logm(R_r)||_F，

其中logm表示对矩阵求对数；

(8)遍历视觉训练样本数据集R_tr中的所有协方差描述子，重复步骤(7)，得到视觉测试样本数据集R_te中一个协方差描述子与视觉训练样本数据集R_tr中的所有协方差描述子之间的Log-Euclidean距离d，表达式为：

d＝[d₁,d₂,···d_N]

(9)遍历视觉测试样本数据集R_te中的所有协方差描述子，重复步骤(8)，得到视觉测试样本数据集中的所有协方差描述子与视觉训练样本数据集中的所有协方差描述子之间的Log-Euclidean距离d，构成Log-Euclidean距离矩阵D_le，表达式为：

上述距离矩阵D_le中，d₁₁是R_te中第一个协方差描述子与R_tr中第一个协方差描述子之间的Log-Euclidean距离，d_1N是R_te中第一个协方差描述子与R_tr中第N个协方差描述子之间的Log-Euclidean距离，d_M1是R_te中第M个协方差描述子与R_tr中第一个协方差描述子之间的Log-Euclidean距离，d_MN是R_te中第M个协方差描述子与R_tr中第N个协方差描述子之间的Log-Euclidean距离；

(10)根据上述步骤(6)得到的动态时间规整(DTW)距离矩阵D和步骤(9)得到的Log-Euclidean距离矩阵D_le，得到第A个测试样本的动态时间规整(DTW)距离A₁和Log-Euclidean距离A₂，表达式为：

A₁＝[D_A，1,D_A，2,···,D_A，N]

A₂＝[d_A，1,d_A，2,···,d_A，N]

分别求出A₁和A₂中的最小值D_a和d_b，其中1≤a≤N，1≤b≤N，根据最近邻算法，则第a个训练样本的标签c_a ^*即为第A个测试样本的属性，第b个训练样本的标签c_b ^*即为第A个测试样本的类别；

(11)重复步骤(10)，得到所有测试样本的属性和类别，完成目标属性和类别的识别。