CN108536780B - 一种基于触觉纹理特征的跨模态物体材质检索方法 - Google Patents

一种基于触觉纹理特征的跨模态物体材质检索方法 Download PDF

Info

Publication number
CN108536780B
CN108536780B CN201810270932.6A CN201810270932A CN108536780B CN 108536780 B CN108536780 B CN 108536780B CN 201810270932 A CN201810270932 A CN 201810270932A CN 108536780 B CN108536780 B CN 108536780B
Authority
CN
China
Prior art keywords
texture
tactile
time domain
data
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810270932.6A
Other languages
English (en)
Other versions
CN108536780A (zh
Inventor
刘华平
郑文栋
王博文
孙富春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810270932.6A priority Critical patent/CN108536780B/zh
Publication of CN108536780A publication Critical patent/CN108536780A/zh
Application granted granted Critical
Publication of CN108536780B publication Critical patent/CN108536780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于触觉纹理特征的纹理图像跨模态检索方法，属于机器人触觉识别技术领域。本发明方法依次包括触觉纹理训练样本材质选取、触觉纹理训练数据集和纹理图像训练数据集的建立、触觉加速度的特征提取和纹理图像的特征提取、对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取、纹理图像检索库的创建以及物体材质检索。本发明利用采集纹理表面的摩擦振动信号作为纹理表面的触觉特征从纹理图像检索库中检索出与被检索表面最相似的纹理表面图像，即实现基于触觉特征的跨模态物体材质检索。本发明具有较高的准确率，而且弥补了文字描述材质的单一性。

Description

一种基于触觉纹理特征的跨模态物体材质检索方法
技术领域
本发明属于机器人触觉识别技术领域，特别涉及一种基于触觉纹理特征的跨模态物体材质检索方法。
背景技术
随着智能制造和全球工业化的发展，物体材质识别在电子商务、皮革纺织和智能机器人等很多工业领域均有广泛应用。目前的材质识别通常基于物体表面的纹理图像，识别图像中物体的所属材质(如木质、玻璃、塑料、钢铁和纤维等)。但是，基于纹理图像的材质识别容易受到拍摄环境的影响，而且大的类内表观差异和小的类间表观差异通常会导致纹理特征的可区分力减弱、鲁棒性降低。除此之外，纹理图像无法准确反应与材质相关的物体属性。如，基于纹理图像，无法区分相同纹理的贴图和实物。
触觉纹理信息源于物体与手指相互接触过程中产生的摩擦振动信号，即触觉纹理信号，它携带了关于物体表面性质的信息，具有纹理图像不具有的触觉信息。已有学者通过实验证明，利用人工手指或智能手指，测量并分析物体与手指相互作用过程中的摩擦振动信号，便可将表面性质差异较大的物体分辨开来。此类研究也证明了，相对于其他方式而言，基于物体表面的触觉纹理信息能够更有效区分不同物体表面的特性，且可作为判断物体材质的重要依据。但是目前基于触觉纹理材质识别方法的准确率都较低，且都处于理论研究阶段。
图像含有较文本更为直观的信息，在人们日常生活中发挥着重要的作用，图像检索技术已成为一个非常活跃的研究领域。基于内容的图像检索是一种基于特征相似性匹配而进行的图像检索方法，它既能自动识别或者理解特征，又能基于特征相似匹配进行纹理图像的检索，可有效提高系统人性化和人机交互能力。在纹理相似性评价或基于纹理特征的图像检索这类人机交互应用中，寻找一种基于触觉特征的图像检索具有十分重要的意义。但是，目前还尚未存在基于触觉特征的跨模态图像检索方法。
发明内容
本发明的目的是为了克服已有技术的不足之处，提出一种基于触觉纹理特征的跨模态物体材质检索方法。本发明利用与被测物体表面相互接触过程中产生的摩擦振动信号判断物体的材质，同时还可以从创建的纹理图像检索库中检索出与待检索物体表面触觉特征最相似的多种典型的纹理表面图像，通过该图像可以更加直观了解被测物体的材质属性。
为了实现上述目的，本发明采用如下技术方案：
一种基于触觉纹理特征的跨模态物体材质检索方法，包括以下步骤：
1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI，1≤LI≤M，1≤I≤M；
2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：
2-1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1-1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集
Figure BDA0001612532540000021
作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为
Figure BDA0001612532540000022
分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据；
2-2)纹理图像训练数据集的建立：对由步骤1)选取的M种材质表面随机拍摄N张图片，建立维度为p＝M×N的纹理图像训练数据集
Figure BDA0001612532540000023
同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应；
3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：3-1)触觉纹理训练数据集，包括以下步骤：
3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据
Figure BDA0001612532540000024
进行合成，并以此得到所有训练样本的一维加速度时域数据集
Figure BDA0001612532540000025
ai为
Figure BDA0001612532540000026
合成后的加速度数据；
3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集U，具体包括：
3-1-2-1)利用离散小波变换(DWT)依次对步骤3-1-1)得到的一维加速度时域数据集
Figure BDA0001612532540000027
中的ai进行β级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，则每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量
Figure BDA0001612532540000028
和细节系数时域分量
Figure BDA0001612532540000029
其中，
Figure BDA00016125325400000210
且为整数，l(ai)为ai的数据长度；
3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量
Figure BDA00016125325400000211
和细节系数时域分量
Figure BDA00016125325400000212
利用快速傅里叶变换(FFT)进行频域变换，得到对应的频域分量，分别为近似系数频域分量
Figure BDA00016125325400000213
和细节系数频域分量
Figure BDA00016125325400000214
3-1-2-3)对一维加速度时域数据集
Figure BDA00016125325400000215
分别均提取各训练样本一维加速度时域数据ai的时域分量
Figure BDA00016125325400000216
和
Figure BDA00016125325400000217
频域分量
Figure BDA00016125325400000218
和
Figure BDA0001612532540000031
的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特征向量
Figure BDA0001612532540000032
并以此得到所有训练样本的触觉纹理特征向量集，记为
Figure BDA0001612532540000033
m为提取的各训练样本ai的触觉纹理特征向量的维度，m＝2β×5；
3-2)纹理图像训练数据集，包括以下步骤：
3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2) 中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；
3-2-2)纹理图像的特征提取得到纹理图像特征向量集V：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到 p＝M×N张纹理图像训练样本的纹理图像的特征向量集，记为
Figure BDA0001612532540000034
4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集U和步骤3-2)得到的触觉纹理特征向量集V进行“触觉加速度-纹理图像”样本对的训练，分别通过映射矩阵Wu和Wv，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集U和触觉纹理特征向量集V的相关性最大，分别记U*＝UWU为触觉纹理检索特征向量集、V*＝VWV为触觉纹理检索特征向量集；
5)纹理图像检索库的创建：
5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的M种材质在正常光照下的纹理表面的正面图片各一张，建立维度p′＝M的纹理图像检索库
Figure BDA0001612532540000035
该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；
5-2)按照步骤3-2)对纹理图像检索库J中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为
Figure BDA0001612532540000036
通过步骤4)求取的映射矩阵Wv将纹理图像检索库J的纹理图像特征向量集Q转换为纹理图像检索特征向量集Q*＝QWV，Q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将Q*及其标签都存储在纹理图像检索库中；
6)物体材质检索，包括以下步骤：
6-1)物体触觉纹理检索特征的提取，具体包括：
6-1-1)按照步骤2-1)，以一定接触力在待检索物体表面进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；
6-1-2)按照步骤3-1)得到待检索物体的m维触觉纹理特征向量，记为T；
6-1-3)根据步骤4)确定的映射矩阵Wu将待检索物体的触觉纹理特征向量T转换为触觉纹理检索特征向量T*＝TWU；
6-2)根据触觉纹理特征的相似性进行跨模态物体材质检索，具体包括：
6-2-1)基于触觉纹理特征的相似性计算：运用KNN分类辨识算法，以步骤6-1-3)提取的待检索物体的触觉纹理检索特征向量T*和步骤5-2)提取的纹理图像检索库J中纹理图像检索特征向量集Q*为输入量，计算待检索物体特征向量T*和纹理图像的检索特征向量集Q*中各个检索特征向量之间的相似性，并对该相似性进行升序排列；
6-2-2)基于触觉纹理特征的跨模态物体材质检索：根据步骤6-2-1)确定的相似性排序结果从纹理图像检索库J中检索出与纹理图像检索特征向量相对应的纹理图片标签，输出相应的纹理表面图片，完成跨模态物体材质检索。
与现有技术相比，本发明的技术特点及有益效果在于：
1、本发明利用采集纹理表面的摩擦振动信号作为纹理表面的触觉特征从纹理图像检索库中检索出与被检索表面最相似的纹理表面图像，即实现基于触觉特征的跨模态物体材质检索。该方法实现了触觉与视觉之间的信息转换，既充分利用触觉信息，又利于更好的人机交互。
2、本发明利用离散小波变换对合成的加速度数据进行分解，并基于这些分量进行特征向量提取，有效提高了基于触觉纹理信号进行材质识别的准确率。
3、本发明以日常生活中一些典型材质的纹理表面的图像为内容建立了一个纹理图像检索库。依据选择的触觉纹理特征，从纹理图像检索库中检索出与被测样本纹理表面相似的纹理表面图像。基于检索出来的纹理图像可以快速、直观地了解材质的特性。
4、本发明以多种材质的摩擦振动信号特征数据作为训练样本数据集，随着选用的材质不断增多，可以不断扩充训练集形成一个数据库，尽可能多的满足检索结果的广泛性和准确性。
附图说明
图1为本发明一个实施例中的应用离散小波变换的四阶分解过程。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了更好地理解本发明，以下详细阐述一个本发明一种基于触觉纹理特征的跨模态物体材质检索方法的应用实例。
本发明提出的一种基于触觉纹理特征的跨模态物体材质检索方法的工作流程，包括以下步骤：
1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为以木材、金属、石头、橡胶、纤维、泡沫，纸和织物等为例的A大类(本实施例选取A＝8大类)；在A 大类材质类型中分别选取B种典型材质的纹理表面(以织物为例，典型材质的纹理表面有纯棉、木纤维、竹纤维、腈纶、涤纶、丝绒、牛仔、皮革、羊毛、绸缎等，B的大小与所构建的触觉纹理训练样本集大小相关，根据用户需求设置，各类材质皆为生活常见的材质物体)，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI， 1≤LI≤M，1≤I≤M。本实施实例以MattiStrese等人提供的LMT Haptic Texture Database 数据库为依据，选择80种材质表面，各材质表面的标签LI满足：1≤LI≤80。
2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：
2-1)触觉纹理训练数据集的建立：
以设定的接触力在由步骤1-1)选取的M种材质表面进行滑动(如将装有三轴加速度传感器的3D打印类手指的采集笔作为振动感受器在材质表面进行滑动)，每种材质进行N(N的选取可根据用户需求设定，如测试精度)次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集
Figure BDA0001612532540000051
作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据
Figure BDA0001612532540000052
分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据。本实施例以0～4N的接触力在各材质表面上进行滑动，每种材质进行10次摩擦振动信号的采集，其中每次采集2048个数据点，因此，Si的数据维度为2048×3，记为L(Si)＝2048×3，输出的各样本三轴加速度数据通过python编写的人机交互界面以txt文件的格式进行保存，建立维度为p＝800的训练样本三轴加速度数据集
Figure BDA0001612532540000053
作为触觉纹理训练数据集。
2-2)纹理图像训练数据集的建立：
采用相机对由步骤1)选取的M种材质表面随机拍摄N(与步骤2-1中的N值完全一致，便于后述步骤4的相关性分析)张图片(照片中物体表面图像应大于拍摄图片的四分之三以上)，建立维度为p＝M×N的纹理图像训练数据集
Figure BDA0001612532540000054
同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应。本实施实例采用Logilink webcam(UA-0072，分辨率：640*480，焦距：30mm)相机拍照，在不同光照、不同角度、不同距离等拍照条件随机对由步骤1)选取的M种材质表面各拍摄10 张图片；建立维度为p＝800的纹理图像训练样本数据集
Figure BDA0001612532540000055
各图片的标签与步骤 1)中相应材质标签一一对应。
3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：
3-1)触觉纹理训练数据集：
3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据
Figure BDA0001612532540000061
进行合成，并以此得到所有训练样本的一维加速度时域数据集
Figure BDA0001612532540000062
ai为
Figure BDA0001612532540000063
合成后的加速度数据，本实施例ai的长度l(ai)＝2048；三轴加速度数据合成的具体包括以下步骤：
3-1-1-1)将训练样本三轴加速度数据集
Figure BDA0001612532540000064
中第i个训练样本的三轴加速度数据
Figure BDA0001612532540000065
进行快速傅立叶变换(FFT)，即从时域数据
Figure BDA0001612532540000066
变换到频域数据
Figure BDA00016125325400000619
Figure BDA00016125325400000620
均为复数，根据该频域数据通过公式(1)计算第i个训练样本一维加速度频域数据的幅值信息|Ai|：
Figure BDA0001612532540000067
式(1)中，f表示频率，
Figure BDA00016125325400000621
分别表示与时域数据
Figure BDA00016125325400000618
相对应的频谱数据；
3-1-1-2)将得到的一维加速度频域数据的幅值信息|Ai|通过公式(2)计算得到合成的一维加速度频域数据的相位信息θi(f)：
Figure BDA0001612532540000068
式中，Im和Re分别表示对复数的虚数部分和实数部分的求取；
3-1-1-3)根据公式(1)求得的幅值信息|Ai|和公式(2)求得的相位信息θi(f)进行反傅立叶变换，即将第i个训练样本的三轴加速度数据
Figure BDA0001612532540000069
合成为一维加速度时域数据 ai，依次得到所有训练样本的一维加速度时域数据集
Figure BDA00016125325400000610
3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集：
3-1-2-1)利用离散小波变换(DWT)依次对步骤3-1-1)得到的一维加速度时域数据集
Figure BDA00016125325400000611
中的ai进行β(依据采样定理的奈奎斯特准则，β的取值范围
Figure BDA00016125325400000612
且为整数，其中l(ai)为ai的数据长度)级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，因此每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量
Figure BDA00016125325400000613
和细节系数时域分量
Figure BDA00016125325400000614
离散小波变换的分解过程具体包括以下步骤：
a)通过离散小波变换的高通滤波函数g[n]和低通滤波函数h[n]将各样本的一维加速度数据分解到不同频带；其中，将步骤3-1-1)得到的一维加速度时域数据集
Figure BDA00016125325400000615
中第 i个训练样本的一维加速度时域数据ai，通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第一级分解，分别得到第一级细节系数时域分量
Figure BDA00016125325400000616
(即高频系数)和第一级近似系数时域分量
Figure BDA00016125325400000617
(即低频系数)，数学公式表示分别如公式(3)和(4)所示：
Figure BDA0001612532540000071
Figure BDA0001612532540000072
式中，ai[m]表示ai中的第m个数据，m的取值范围为1≤m≤l(ai)，且m为整数，l(ai)为 ai的数据长度；
Figure BDA0001612532540000073
分别表示
Figure BDA0001612532540000074
中的第k数据，k的取值范围均为1≤k≤m/2，且k为整数；
b)对第一级近似系数时域分量
Figure BDA0001612532540000075
通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第二级分解，分别得到第二级细节系数时域分量
Figure BDA0001612532540000076
(即高频系数)和第二级近似系数时域分量
Figure BDA0001612532540000077
(即低频系数)，依次类推，对各层的近似系数时域分量进行分解，一直进行到需要的分解级数β，得到ai的2β个时域分量，分别为近似系数时域分量
Figure BDA0001612532540000078
和细节系数时域分量
Figure BDA0001612532540000079
本实施例以紧支撑小波coif5为小波基函数(即由coif5小波基函数提供了用于分解的高通滤波函数g[n]和低通滤波函数h[n])对第i个训练样本的一维加速度时域数据ai进行4 级分解，每级均分别包括1个近似系数时域分量和1个细节系数时域分量，得到4个近似系数时域分量
Figure BDA00016125325400000710
和4个细节系数时域分量
Figure BDA00016125325400000711
共8个时域分量，记为
Figure BDA00016125325400000712
和
Figure BDA00016125325400000713
整个分解过程如图1所示，其中fb＝0～π/2，fb＝π/2～π， fb＝0～π/4，fb＝π/4～π/2，fb＝0～π/8，fb＝π/8～π/4，fb＝0～π/16， fb＝π/16～π/8分别表示ai的时域分量A1、D1、A2、D2、A3、D3、A4、D4对应的频率范围，l(ai)＝2048、l(A1)＝1024、l(D1)＝1024、l(A2)＝512、l(D2)＝512、l(A3)＝256、 l(D3)＝256、l(A4)＝128、l(D4)＝128分别表示A1、D1、A2、D2、A3、D3、A4、D4的数据长度。
由于纹理表面特性不仅与触觉信号(时域振动信号)的频率分量有关，而且还与其时间特性相关，采用传统的频域分析法不能有效地表征纹理表面的触觉特性。本发明实施例采用的离散小波变换是将一个时间信号变换到时间频率域，在时域和频域都具有良好的局部特性。
3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量
Figure BDA00016125325400000714
和细节系数时域分量
Figure BDA00016125325400000715
利用快速傅里叶变换(FFT)进行频域变换，得到对应的频域分量，分别为近似系数频域分量
Figure BDA00016125325400000716
和细节系数频域分量
Figure BDA00016125325400000717
本实施例分别为
Figure BDA00016125325400000718
和
Figure BDA00016125325400000719
共计8个频域分量。
3-1-2-3)对一维加速度时域数据集
Figure BDA00016125325400000720
分别均提取各训练样本一维加速度时域数据ai的时域分量
Figure BDA0001612532540000081
和
Figure BDA0001612532540000082
频域分量
Figure BDA0001612532540000083
和
Figure BDA0001612532540000084
的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特征向量
Figure BDA0001612532540000085
并以此得到所有训练样本的触觉纹理特征向量集，记为
Figure BDA0001612532540000086
m为提取的各训练样本ai的触觉纹理特征向量的维度，由于时域分量的平均值为0，故m＝2β×5；其中，平均值的数学表达式如公式(6)所示：
Figure BDA0001612532540000087
标准差的数学表达式如公式(7)所示：
Figure BDA0001612532540000088
能量的数学表达式如公式(8)所示：
Figure BDA0001612532540000089
式中，xr泛指相应的分量(时域分量或频域分量)，R表示xr的数据点的个数；本实施例为m＝8×5＝40，则触觉加速度训练样本集中各训练样本的特征向量维度为40，记触觉纹理训练样本集的触觉纹理特征向量集
Figure BDA00016125325400000810
3-2)纹理图像训练数据集：
3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2) 中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；本实施例将步骤2-2)中采集的所有纹理图像大小由640*480变为224*224，使其与卷积神经网络中的 AlexNet模型的输入图像大小相一致；
3-2-2)纹理图像的特征提取得到纹理图像特征向量集：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝M ×N张纹理图像训练样本的纹理图像的特征向量集，记为
Figure BDA00016125325400000811
本实施例采用卷积神经网络中训练好的AlexNet模型(为已有技术)来提取t＝4096维的图像特征，得到p＝800 张纹理图像训练样本的纹理图像的特征向量集
Figure BDA00016125325400000812
4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：
利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集U和步骤3-2)得到的触觉纹理特征向量集V进行“触觉加速度-纹理图像”样本对的训练，分别通过映射矩阵Wu和Wv，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集U和触觉纹理特征向量集V的相关性最大，分别记U*＝UWU为触觉纹理检索特征向量集、V*＝VWV为触觉纹理检索特征向量集。
本实施实例利用典型相关分析算法(CCA，为已有技术，参见Hotelling，H.Relations between two sets of variates.Biometrika，28(3/4)：321-377，1936.)对步骤3-1)得到的触觉纹理特征向量集U(本实施例该特征向量集的维度为800×40)和步骤3-2)得到的触觉纹理特征向量集V(本实施例该特征向量集的维度为800×4096)进行“触觉加速度-纹理图像”样本对的训练，U*和V*特征维度的取值范围为[1，40]，利用交叉验证的方法选取U* 和V*相关性最大的映射矩阵Wu和Wv。本实施例通过交叉验证方法确定的U*和V*的特征维度为32，即Wu的维度40×32，Wu的维度为4096×32。
由于触觉纹理特征和纹理图像特征属于异构数据源，具有不同的表示维度和特征含义，无法将两种特征进行直接比较。因此，利用相关分析算法将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使其映射后的特征相关性最大。由于映射后的触觉纹理特征和纹理图像特征具有最大相关性且具有相同的维度，因此，映射后的特征就可以直接进行比较，为后续触觉纹理-纹理图像跨模态的检索作铺垫。
5)纹理图像检索库的创建：
5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的M种材质在正常光照下的纹理表面的正面图片(像素与步骤2-2中所采集图片的像素相同)各一张，建立维度p′＝M的纹理图像检索库
Figure BDA0001612532540000091
该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；本实施例采用Logilink webcam(UA-0072，分辨率：640*480，焦距：30mm)相机对M种材质表面进行拍照，建立维度p′＝80的纹理图像检索库
Figure BDA0001612532540000092
5-2)按照步骤3-2)对纹理图像检索库J中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为
Figure BDA0001612532540000093
通过步骤4)求取的映射矩阵Wv将纹理图像检索库J的纹理图像特征向量集Q转换为纹理图像检索特征向量集Q*＝QWV，Q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将Q*及其标签都存储在纹理图像检索库中，用于后续步骤6-2)。本实施例Q* 中各纹理图像检索特征向量的维度为32，故纹理图像检索特征向量集Q*的维度为80×32，记为
Figure BDA0001612532540000094
6)物体材质检索，包括以下步骤：
6-1)物体触觉纹理检索特征的提取：
6-1-1)按照步骤2-1)，以一定接触力在待检索物体表面(可与训练样本集中的物体不同)进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；
6-1-2)按照步骤3-1)得到待检索物体的m(本实施例m＝40)维触觉纹理特征向量，记为T；
6-1-3)根据步骤4)确定的映射矩阵Wu将待检索物体的触觉纹理特征向量T转换为触觉纹理检索特征向量T*＝TWU；
6-2)根据触觉纹理特征的相似性进行跨模态物体材质检索：
6-2-1)基于触觉纹理特征的相似性计算：运用KNN分类辨识算法，以上述步骤6-1-3) 提取的待检索物体的触觉纹理检索特征向量T*和步骤5-2)提取的纹理图像检索库J中纹理图像检索特征向量集Q*为输入量，计算待检索物体特征向量T*和纹理图像的检索特征向量集Q*中各个检索特征向量之间的相似性，并对该相似性进行升序排列；本实施实例采用欧式距离表示T*和
Figure BDA0001612532540000101
中各个检索特征向量之间的相似度(欧式距离越短，相似度越大)，并根据相似度大小进行排序。
6-2-2)基于触觉纹理特征的跨模态物体材质检索：根据步骤6-2-1)确定的相似性排序结果从纹理图像检索库J中检索出与纹理图像检索特征向量(本实施例检索出相似性最大的三个纹理图像检索特征向量)相对应的纹理图片标签，输出相应的纹理表面图片，完成跨模态物体材质检索。

Claims (3)

1.一种基于触觉纹理特征的跨模态物体材质检索方法，其特征在于，包括以下步骤：
1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为A大类；在A大类材质类型中分别选取B种典型材质的纹理表面，共计M＝A×B种材质表面；对每一种材质进行编号，记为该材质的标签LI，1≤LI≤M，1≤I≤M；
2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：
2-1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1-1)选取的M种材质表面进行滑动，每种材质进行N次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝M×N的训练样本三轴加速度数据集
Figure FDA0002271214320000011
作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为
Figure FDA0002271214320000012
Figure FDA00022712143200000120
分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据；
2-2)纹理图像训练数据集的建立：对由步骤1)选取的M种材质表面随机拍摄N张图片，建立维度为p＝M×N的纹理图像训练数据集
Figure FDA0002271214320000013
同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应；
3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：3-1)触觉纹理训练数据集，包括以下步骤：
3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据
Figure FDA0002271214320000014
进行合成，并以此得到所有训练样本的一维加速度时域数据集
Figure FDA0002271214320000015
Figure FDA00022712143200000121
为
Figure FDA0002271214320000016
合成后的加速度数据；
3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集U，具体包括：
3-1-2-1)利用离散小波变换(DWT)依次对步骤3-1-1)得到的一维加速度时域数据集
Figure FDA0002271214320000017
中的
Figure FDA00022712143200000122
进行β级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，则每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量
Figure FDA0002271214320000018
和细节系数时域分量
Figure FDA0002271214320000019
其中，
Figure FDA00022712143200000110
且为整数，
Figure FDA00022712143200000123
为
Figure FDA00022712143200000124
的数据长度；
3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量
Figure FDA00022712143200000111
和细节系数时域分量
Figure FDA00022712143200000112
利用快速傅里叶变换(FFT)进行频域变换，得到对应的频域分量，分别为近似系数频域分量
Figure FDA00022712143200000113
和细节系数频域分量
Figure FDA00022712143200000114
3-1-2-3)对一维加速度时域数据集
Figure FDA00022712143200000115
分别均提取各训练样本一维加速度时域数据
Figure FDA00022712143200000125
的时域分量
Figure FDA00022712143200000116
和
Figure FDA00022712143200000117
频域分量
Figure FDA00022712143200000118
和
Figure FDA00022712143200000119
的平均值μ、标准差σ和能量E，作为相应训练样本的触觉纹理特征向量
Figure FDA0002271214320000021
并以此得到所有训练样本的触觉纹理特征向量集，记为
Figure FDA0002271214320000022
m为提取的各训练样本
Figure FDA0002271214320000026
的触觉纹理特征向量的维度，m＝2β×5；
3-2)纹理图像训练数据集，包括以下步骤：
3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2)中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；
3-2-2)纹理图像的特征提取得到纹理图像特征向量集V：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝M×N张纹理图像训练样本的纹理图像的特征向量集，记为
Figure FDA0002271214320000023
4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集U和步骤3-2)得到的触觉纹理特征向量集V进行“触觉加速度—纹理图像”样本对的训练，分别通过映射矩阵WU和WV，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集U和触觉纹理特征向量集V的相关性最大，分别记U*＝UWU为触觉纹理检索特征向量集、V*＝VWV为触觉纹理检索特征向量集；
5)纹理图像检索库的创建：
5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的M种材质在正常光照下的纹理表面的正面图片各一张，建立维度p′＝M的纹理图像检索库
Figure FDA0002271214320000024
该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；
5-2)按照步骤3-2)对纹理图像检索库J中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为
Figure FDA0002271214320000025
通过步骤4)求取的映射矩阵WV将纹理图像检索库J的纹理图像特征向量集Q转换为纹理图像检索特征向量集Q*＝QWV，Q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将Q*及其标签都存储在纹理图像检索库中；
6)物体材质检索，包括以下步骤：
6-1)物体触觉纹理检索特征的提取，具体包括：
6-1-1)按照步骤2-1)，以一定接触力在待检索物体表面进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；
6-1-2)按照步骤3-1)得到待检索物体的m维触觉纹理特征向量，记为T；
6-1-3)根据步骤4)确定的映射矩阵WU将待检索物体的触觉纹理特征向量T转换为触觉纹理检索特征向量T*＝TWU；
6-2)根据触觉纹理特征的相似性进行跨模态物体材质检索，具体包括：
6-2-1)基于触觉纹理特征的相似性计算：运用KNN分类辨识算法，以步骤6-1-3)提取的待检索物体的触觉纹理检索特征向量T*和步骤5-2)提取的纹理图像检索库J中纹理图像检索特征向量集Q*为输入量，计算待检索物体特征向量T*和纹理图像的检索特征向量集Q*中各个检索特征向量之间的相似性，并对该相似性进行升序排列；
6-2-2)基于触觉纹理特征的跨模态物体材质检索：根据步骤6-2-1)确定的相似性排序结果从纹理图像检索库J中检索出与纹理图像检索特征向量相对应的纹理图片标签，输出相应的纹理表面图片，完成跨模态物体材质检索。
2.根据权利要求1所述的跨模态物体材质检索方法，其特征在于，所述3-1-1)具体包括以下步骤：
3-1-1-1)将训练样本三轴加速度数据集
Figure FDA0002271214320000031
中第i个训练样本的三轴加速度数据
Figure FDA0002271214320000032
进行快速傅立叶变换(FFT)，即从时域数据
Figure FDA00022712143200000310
变换到频域数据
Figure FDA00022712143200000311
均为复数，根据该频域数据通过公式(1)计算第i个训练样本一维加速度频域数据的幅值信息|Ai|：
Figure FDA0002271214320000039
式(1)中，f表示频率，
Figure FDA00022712143200000313
分别表示与时域数据
Figure FDA00022712143200000312
相对应的频谱数据；
3-1-1-2)将得到的一维加速度频域数据的幅值信息|Ai|通过公式(2)计算得到合成的一维加速度频域数据的相位信息θi(f)：
Figure FDA0002271214320000033
式中，Im和Re分别表示对复数的虚数部分和实数部分的求取；
3-1-1-3)根据式(1)求得的幅值信息|Ai|和式(2)求得的相位信息θi(f)进行反傅立叶变换，即将第i个训练样本的三轴加速度数据
Figure FDA00022712143200000314
合成为一维加速度时域数据
Figure FDA00022712143200000315
并依次得到所有训练样本的一维加速度时域数据集
Figure FDA0002271214320000034
3.根据权利要求1所述的跨模态物体材质检索方法，其特征在于，所述步骤3-1-2-1)中离散小波变换的分解过程具体包括以下步骤：
a)通过离散小波变换的高通滤波函数g[n]和低通滤波函数h[n]将各样本的一维加速度数据分解到不同频带；其中，将步骤3-1-1)得到的一维加速度时域数据集
Figure FDA0002271214320000035
中第i个训练样本的一维加速度时域数据
Figure FDA00022712143200000316
通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第一级分解，分别得到第一级细节系数时域分量
Figure FDA0002271214320000036
和第一级近似系数时域分量
Figure FDA0002271214320000037
数学公式表示分别如式(3)和(4)所示：
Figure FDA0002271214320000038
Figure FDA0002271214320000041
式中，
Figure FDA0002271214320000049
表示
Figure FDA00022712143200000410
中的第m个数据，m的取值范围为
Figure FDA00022712143200000411
且m为整数，
Figure FDA00022712143200000412
为
Figure FDA00022712143200000413
的长度；
Figure FDA0002271214320000042
分别表示
Figure FDA0002271214320000043
中的第k数据，k的取值范围均为1≤k≤m/2，且k为整数；
b)对第一级近似系数时域分量
Figure FDA0002271214320000044
通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第二级分解，分别得到第二级细节系数时域分量
Figure FDA0002271214320000045
和第二级近似系数时域分量
Figure FDA0002271214320000046
依次类推，对各层的近似系数时域分量进行分解，一直进行到需要的分解级数β，得到
Figure FDA00022712143200000414
的2β个时域分量，分别为近似系数时域分量
Figure FDA0002271214320000047
和细节系数时域分量
Figure FDA0002271214320000048
CN201810270932.6A 2018-03-29 2018-03-29 一种基于触觉纹理特征的跨模态物体材质检索方法 Active CN108536780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810270932.6A CN108536780B (zh) 2018-03-29 2018-03-29 一种基于触觉纹理特征的跨模态物体材质检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810270932.6A CN108536780B (zh) 2018-03-29 2018-03-29 一种基于触觉纹理特征的跨模态物体材质检索方法

Publications (2)

Publication Number Publication Date
CN108536780A CN108536780A (zh) 2018-09-14
CN108536780B true CN108536780B (zh) 2020-04-03

Family

ID=63482442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810270932.6A Active CN108536780B (zh) 2018-03-29 2018-03-29 一种基于触觉纹理特征的跨模态物体材质检索方法

Country Status (1)

Country Link
CN (1) CN108536780B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559758B (zh) * 2018-11-05 2023-01-24 清华大学 一种基于深度学习的将纹理图像转换成触觉信号的方法
CN109829480A (zh) * 2019-01-04 2019-05-31 广西大学 物体表面高光特征检测与材质分类的方法及系统
CN109960732B (zh) * 2019-03-29 2023-04-18 广东石油化工学院 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统
CN110509186B (zh) * 2019-08-29 2020-11-24 华中科技大学 一种基于加工振动特征的机器人磨抛质量表征方法
CN111026935B (zh) * 2019-12-05 2023-03-21 中国科学院自动化研究所 基于自适应度量融合的跨模态检索重排序方法
CN111590611B (zh) * 2020-05-25 2022-12-02 北京具身智能科技有限公司 一种基于多模态主动感知的物品分类回收方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1103883B1 (en) * 1999-11-29 2006-03-15 Xerox Corporation Input mode selection on a palmtop computer
CN105893452A (zh) * 2016-01-22 2016-08-24 冯歆鹏 一种呈现多媒体信息的方法及装置
CN107505392A (zh) * 2017-07-24 2017-12-22 清华大学 基于纹理表面接触加速度触觉信息的材质分析方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1103883B1 (en) * 1999-11-29 2006-03-15 Xerox Corporation Input mode selection on a palmtop computer
CN105893452A (zh) * 2016-01-22 2016-08-24 冯歆鹏 一种呈现多媒体信息的方法及装置
CN107505392A (zh) * 2017-07-24 2017-12-22 清华大学 基于纹理表面接触加速度触觉信息的材质分析方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multimodal Measurements Fusion for Surface Material Categorization;Huaping Liu等;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;20180228;第246-256页 *
图像局部纹理特性的静电力触觉渲染;王婷婷等;《中国图象图形学报》;20161031;第1383-1391页 *

Also Published As

Publication number Publication date
CN108536780A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108536780B (zh) 一种基于触觉纹理特征的跨模态物体材质检索方法
Parvathy et al. Development of hand gesture recognition system using machine learning
CN107256246B (zh) 基于卷积神经网络的印花织物图像检索方法
Zhang et al. A comparative study on shape retrieval using Fourier descriptors with different shape signatures
Khan et al. Painting-91: a large scale database for computational painting categorization
CN102880873B (zh) 基于图像分割和语义提取实现人员行为识别的系统及方法
AU2011207120B2 (en) Identifying matching images
Yap et al. A comparative study of mobile-based landmark recognition techniques
EP2894577B1 (en) Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
Zheng et al. Fusing shape and spatio-temporal features for depth-based dynamic hand gesture recognition
CN111444488A (zh) 一种基于动态手势的身份认证方法
Ali et al. Object recognition for dental instruments using SSD-MobileNet
Larabi et al. High-resolution optical remote sensing imagery change detection through deep transfer learning
Benmoussa et al. Machine learning for hand gesture recognition using bag-of-words
JP5746550B2 (ja) 画像処理装置、画像処理方法
Chao et al. A framework for robust feature selection for real-time fashion style recommendation
CN105930459B (zh) 一种有效的基于内容的人体皮肤图像分类检索方法
CN110516638B (zh) 一种基于轨迹和随机森林的手语识别方法
CN109359543B (zh) 一种基于骨骼化的人像检索方法及装置
Wang et al. Accelerometer-based gesture recognition using dynamic time warping and sparse representation
Chitaliya et al. Comparative analysis using fast discrete Curvelet transform via wrapping and discrete Contourlet transform for feature extraction and recognition
Parvathy et al. Rapid speedup segment analysis based feature extraction for hand gesture recognition
Voronin et al. Action recognition using the 3D dense microblock difference
Madhu et al. Depth motion map based human action recognition using adaptive threshold technique
Khare et al. Towards discrete wavelet transform-based human activity recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant