CN107505392B - 基于纹理表面接触加速度触觉信息的材质分析方法及装置 - Google Patents

基于纹理表面接触加速度触觉信息的材质分析方法及装置 Download PDF

Info

Publication number
CN107505392B
CN107505392B CN201710605338.3A CN201710605338A CN107505392B CN 107505392 B CN107505392 B CN 107505392B CN 201710605338 A CN201710605338 A CN 201710605338A CN 107505392 B CN107505392 B CN 107505392B
Authority
CN
China
Prior art keywords
acceleration data
training sample
training
data
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710605338.3A
Other languages
English (en)
Other versions
CN107505392A (zh
Inventor
刘华平
刘晓楠
孙富春
方静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710605338.3A priority Critical patent/CN107505392B/zh
Publication of CN107505392A publication Critical patent/CN107505392A/zh
Application granted granted Critical
Publication of CN107505392B publication Critical patent/CN107505392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0232—Glass, ceramics, concrete or stone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0234—Metals, e.g. steel
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0238—Wood
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出的一种基于纹理表面接触的加速度触觉信息的材质识别方法，属于电子信息、人工智能、模式识别和机器学习领域。该方法首先将物品划分为不同材质细类，对每种材质细类选取相对应物品并采集三轴加速度数据构成训练样本数据集；对训练样本提取特征，得到每种材质细类的融合特征向量组成融合特征矩阵；利用该矩阵训练前馈神经网络后，采集待测物品的三轴加速度数据并提取特征，输入前馈神经网络，该网络预测输出矩阵中最大值对应的细类材质即为待测物品材质分析结果。该装置包括：振动感受体、数据采集模块和上位机。本发明通过获得商品材质表面纹理的接触加速度信息判断商品的材质，应用于互联网购物，简单准确有效地反映商品的真实情况。

Description

基于纹理表面接触加速度触觉信息的材质分析方法及装置
技术领域
本发明涉及一种基于纹理表面接触加速度触觉信息的材质分析方法及装置，属于电子信息、人工智能、模式识别和机器学习领域。
背景技术
近年来，随着信息时代的到来和互联网技术的不断发展，人们越来越多的依赖于使用互联网进行商品购买，互联网购物虽然方便了人们的行为，但是人们往往只能通过商家提供的图片信息从视觉感官判断商品的材质，而图片信息往往不能完全反应出商品材质的准确信息。
触觉是一种重要的知觉形式，与视觉相比，触觉可以获得更精细的纹理特性。材质表面的纹理是物体表面微观结构分布特征的体现。当人手与纹理表面接触时，会感觉到凹凸不平的触感及纹理触觉。依靠探知表面纹理特性即可获得对材质的分类。这方面的研究工作很多，依靠探知表面纹理特性来获得对材质的分类，一般需要通过刮插、滑动、磨蹭等操作获得振动信号，利用信号处理的方法对振动信息进行处理和分析。例如，文献“Vibrotactile recognition and categorization of surfaces by a humanoid robot”利用5种刮擦动作识别了20种表面纹理；“Methods for robotic tool-mediated hapticsurface recognition”识别了15种表面材质；“Majority voting:materialclassification by tactile sensing using surface texture”模拟人类的行为，通过多次接触，采用投票(majority voting)的方式识别了8类表面纹理。由此可见，触觉对于材质纹理的识别具有相当重要的意义。但目前，基于触觉信息的材质分析还停留在理论研究阶段，尚无一种明确的方法或装置能够应用于实际的商品材质分析。
触觉传感器能够感知到很多视觉传感器难以感知，甚至无法感知到的材质信息。其按功能可分为接触觉传感器、力－力矩觉传感器、压觉传感器和滑觉传感器等，此外，加速度传感器也可作为一种触觉传感器感受纹理的振动信息。
发明内容
本发明的目的是为了克服网购时仅仅依靠视觉判断无法完全反应出商品材质的不足之处，提出一种基于纹理表面接触加速度触觉信息的材质分析方法及装置。本发明通过获得商品材质表面纹理的接触加速度信息判断商品的材质，应用于互联网购物，简单准确有效地反映商品的真实情况。
本发明提出的一种基于纹理表面接触加速度信息的材质分析方法，包括以下步骤：
1)材质分类；
划分A大类材质，在每大类材质中选取B类具体物品，再将B类具体物品划分为C类细类材质，共划分得到M＝A×B×C种不同的细类材质；
2)构建训练样本数据集；具体步骤如下：
2-1)任意选取步骤1)确定的一种细类材质所属的具体物品，将该物品摆放平整后，数据采集人员使用振动感受体在该材质表面的随机1个地区进行滑动，滑动轨迹随机，力度范围为0-4N，采集振动感受体在该材质表面滑动时产生的三轴加速度数据，将采集到的三轴加速度数据发送至上位机进行存储，作为该细类材质的一个的训练样本；
2-2)重复2-1)，对步骤2-1)选定的具体物品重复N次数据采集操作，并保存每次操作采集得到的三轴加速度数据，得到该细类材质的N个训练样本；
2-3)重复步骤2-1)至步骤2-2)，对步骤1)确定的所有细类材质所属的具体物品分别采集相应的三轴加速度数据，每种细类材质分别得到N个训练样本，组成所有细类材质的训练样本数据集
Figure BDA0001358172160000021
Rp代表第p个训练样本，P为训练样本数据集中训练样本的数量，P＝M×N个；
3)对训练样本数据集进行处理并提取特征；
3-1)对训练样本数据集
Figure BDA0001358172160000022
中第p个训练样本Rp，该训练样本的三轴加速度数表示为
Figure BDA0001358172160000023
对三轴加速度数据
Figure BDA0001358172160000024
进行合成处理，合成之后得到一维加速度数据
Figure BDA0001358172160000025
具体步骤如下：
3-1-1)首先将三轴加速度数据进行离散傅立叶变换从时域变换到频域，变换之后记为
Figure BDA0001358172160000027
求取复数的幅值的平方和并进行开方处理得到合成一维加速度数据的幅值信息
Figure BDA0001358172160000029
表达式如式(1)所示：
Figure BDA00013581721600000210
式中，f表示频率；
3-1-2)分别求取
Figure BDA00013581721600000211
复数和的实部和虚部，计算和的实部与虚部的商的反正切得到合成一维加速度数据的相位信息
Figure BDA00013581721600000212
表达式如式(2)所示：
Figure BDA00013581721600000213
根据式(1)和式(2)的结果，利用幅值信息
Figure BDA00013581721600000214
和相位信息进行反傅立叶变换从频域变换到时域得到一维加速度数据的时域序列
Figure BDA00013581721600000216
3-2)对步骤3-1)得到的一维加速度数据
Figure BDA00013581721600000217
提取小波包分解各尺度能量特征和功率谱密度特征；具体步骤如下：
3-2-1)对一维加速度数据
Figure BDA00013581721600000218
进行小波包3层分解，尺度为2，提取小波包分解后各尺度能量信息，特征向量长度为23＝8维；
小波分解过程中，一维加速度数据
Figure BDA0001358172160000031
在希尔伯特空间L2(R)上的2范数定义为：
Figure BDA0001358172160000032
式中，
Figure BDA0001358172160000033
等价于一维加速度数据在时域的能量；
假设小波包分解后第e层第f个频带的重构信号Def对应的能量为Eef，则有：
Figure BDA0001358172160000034
式中，Q为一维加速度数据
Figure BDA0001358172160000035
的长度，f＝0,1,2,...,2e-1,为分解频带的节点；|dfq|为重构信号Def的离散点幅值；
使用分解频带的信号能量百分比作为反映不同材质表面振动加速度性质的特征向量，提取第p个训练样本
Figure BDA0001358172160000036
的小波包分解各频带的信号能量百分比特征向量为X,
Figure BDA0001358172160000037
其中，xpu表示第p个训练样本信号能量百分比特征向量X的第u维的值，U表示第p个训练样本信号能量百分比特征向量X的维数；
3-2-2)提取一维加速度数据的功率谱密度特征并进行降维处理；
首先对一维加速度数据
Figure BDA0001358172160000039
分段，分段长度为L，共分为λ段，Q为一维加速度数据的长度，得到每段一维加速度数据记为
Figure BDA00013581721600000311
1≤l≤L；令每段一维加速度数据重合一半，对每段一维加速度数据进行加窗处理后，每一段数据的功率谱表达式如下：
Figure BDA00013581721600000312
式中，
Figure BDA00013581721600000313
为归一化因子，σ表示角频率，γ表示每段一维加速度数据中第γ个数据点；
对λ段功率谱进行平均，得到
Figure BDA00013581721600000314
的功率谱估计表达式如下：
Figure BDA00013581721600000315
使用主成分分析算法将式(6)得到的功率谱估计特征向量进行降维处理，将降维后的特征向量命名为PCA特征，第p个训练样本的PCA特征向量表示为Y,
Figure BDA00013581721600000316
ypv表示第p个训练样本的PCA特征向量Y的第v维的值，V表示第p个训练样本的PCA特征向量Y的维数；
3-3)使用典型相关分析算法将步骤3-2-1)得到的特征向量X和步骤3-2-2)得到的特征向量Y进行融合处理，得到第p个训练样本的融合特征向量Tp,其中，tpw表示融合特征向量Tp的第w维的值，W表示融合特征向量Tp的维数；第p个训练样本的标签向量记为Zp,
Figure BDA0001358172160000041
zpm表示标签向量Zp的第m维的值,标签向量的维数对应训练样本数据集中细类材质的总数，共M维；
3-4)重复步骤3-1)至步骤3-3)，得到所有训练样本对应的融合特征向量，组成所有训练样本的融合特征矩阵Tr,同时得到所有训练样本的标签矩阵
Figure BDA0001358172160000043
4)使用极限学习机训练前馈神经网络；
4-1)构建前馈神经网络；
前馈神经网络包括输入层、隐含层和输出层三部分，每层包含相应神经元；设输入层包含I个神经元，隐含层包含H个神经元，输出层包含O个神经元，其中输入层神经元的个数I与步骤3-3)中得到的每个训练样本的融合特征向量的维数相等，则I＝W；输出层神经元的个数O与训练样本数据集中材质细类的总数相等，则O＝M；
4-2)将步骤3-4)得到的融合特征矩阵Tr作为前馈神经网络的输入矩阵，表达式如下：
Figure BDA0001358172160000044
将步骤3-4)得到的标签矩阵Zr作为前馈神经网络的实际输出矩阵，表达式如下：
Figure BDA0001358172160000045
4-3)使用极限学习机训练前馈神经网络；
输入层和隐含层之间的连接权值ω表示为：
Figure BDA0001358172160000046
式中，ωwh表示输入层第w个神经元与隐含层第h个神经元间的连接权值，1≤w≤W,1≤h≤H；
隐含层神经元的偏置b表示为：
Figure BDA0001358172160000051
式中，bh表示隐含层第h个神经元的偏置；
选择一个无限可微的函数作为隐含层神经元的激励函数g(t)，隐含层与输出层之间的输出权重β表示为：
Figure BDA0001358172160000052
得到极限学习机的预测输出矩阵V表达式如下：
Figure BDA0001358172160000053
式中，ωh＝[ωh1,ωh2,…,ωhI]，tp＝[t1p,t2p,…,tIp]T；
式(12)简化表示为：
Φβ＝V' (13)
式中，Φ为隐含层输出矩阵，Φ表示为：
Figure BDA0001358172160000054
4-4)计算输出层的最优权重
使用极限学习机训练前馈神经网络的目的是找到最佳的ω、b和β，使得
Figure BDA0001358172160000056
最小；当激活函数g(t)无限可微时，ω和b训练时随机选择，且在训练过程中保持不变，β通过求解下式的最小二乘解获得：
Figure BDA0001358172160000057
引入规范化系数来优化计算，获得最优解为
Figure BDA0001358172160000058
表达式如下：
Figure BDA0001358172160000061
式中，η为规范化系数，E为单位矩阵，Φ为隐含层输出矩阵；前馈神经网络训练完毕；
5)预测分类；
5-1)数据采集人员随机选择1种细类材质所属的具体物品作为测试物品，该物品的材质种类包含在已构建的训练样本数据集中；
5-2)重复步骤2-1)，对步骤5-1)选定的测试物品采集三轴加速度数据作为测试样本；
5-2)重复步骤3-1)至步骤3-3)，对步骤5-1)得到的测试样本进行处理并提取特征，得到该测试样本的的融合特征向量Te,
Figure BDA0001358172160000062
其中，tew表示融合特征向量Te的第w维的值；
5-3)将步骤5-2)得到的测试样本的融合特征向量Te输入步骤4)训练完毕的前馈神经网络，前馈神经网络输出该测试样本的预测输出矩阵Ve，该矩阵包含O个输出值，其中最大输出值对应的细类材质即为该待测物品的材质分析结果，记为Pe。
本发明提出的一种基于如上所述方法的材质分析装置，其特征在于，包括：振动感受体、数据采集模块和上位机；其中，数据采集模块包括：微控制器、加速度传感器模块和供电模块；所述振动感受体用于在待分析物品表面进行滑动产生加速度数据，数据采集模块中加速度传感器模块一端连接振动感受体，另一端连接微控制器，微控制器控制加速度传感器模块采集加速度数据；微控制器通过有线或者无线方式连接上位机，将加速度传感器模块采集到的加速度数据发送给上位机；上位机对加速度数据进行处理后实时显示物品的材质分析结果并保存；数据采集模块中的供电模块为微控制器和加速度传感器模块提供工作电源。
本发明的技术特点及有益效果在于：
1、本发明提供了一种基于纹理表面接触加速度触觉信息的材质识别方法，并提供了一套完整的材质智能识别装置，依靠探知材质纹理表面特性实现对材质的分类。通过实验人员用不同力度使用3D打印笔在材质表面进行随机滑动得到三轴接触加速度信息，并通过傅立叶变换的方法实现三轴加速度到一维加速度的合成，通过对一维加速度数据的特征提取和融合以及对分类网络的训练对材质进行识别，弥补了人们通过视觉感官无法判别材质种类的缺陷，在互联网购物时代，这套装置表现出很大的优势，人们通过使用3D打印笔或者其他可以进行振动传感的受体对材质表面进行随意滑动即可判断出物体表面属于什么材质。
2、本发明设计出具有自己特色的上位机界面，可以实时显示原始三轴加速度信息，与此同时，数据可以进行存储。
3、本发明提供了一种多特征融合的办法，对一维加速度数据实现高效分类。
4、本发明构架了多种材质的加速度特征数据库作为分类器的训练集，尽可能多的满足不同材质识别的需求。
附图说明
图1为本发明的基于纹理表面接触加速度信息的材质分析方法的流程框图。
图2为本发明的基于纹理表面接触加速度信息的材质分析装置的组成示意图。
具体实施方式
本发明提出的一种基于纹理表面接触加速度信息的材质分析方法及装置，下面结合附图和具体实施例进一步详细说明如下。
本发明提出的一种基于纹理表面接触加速度信息的材质分析方法，整体流程如图1所示，包括以下步骤：
1)材质分类：将物品根据材质的不同分为金属、木材、纺织品、皮制品、砖类等A大类(本实施例设置为5)材质，并在每大类材质中选取B类(本实施例设置为3)具体物品，再将B类具体物品按照材质细类划分为C类(本实施例设置为5)具体材质，举例来说：纺织品大类中包括毛巾等具体物品，以毛巾为例，分为纯棉、木纤维、竹纤维、竹浆纤维、超细纤维、涤纶5种不同细类材质，共划分得到M＝A×B×C种不同细类材质。
2)构建训练样本数据集；具体步骤如下：
2-1)任意选取步骤1)确定的一种细类材质所属的具体物品(该物品所属的细类材质和大类材质均为已知)，将该物品摆放平整后，使用python脚本程序控制数据采集开始，数据采集人员使用振动感受体(本实施例为3D打印笔)在该材质表面随机1个地区进行滑动，滑动轨迹随机，力度范围为0-4N，采集振动感受体在该材质表面滑动时产生的三轴加速度数据，将采集到的三轴加速度数据发送至上位机进行数据存储，作为该细类材质的一个的训练样本。上位机使用python脚本程序实时显示每次在物品表面滑动时的三轴加速度波形。
2-2)重复2-1)，对步骤2-1)选定的具体物品重复N次数据采集操作(本实施例N＝10)，并保存每次操作采集得到的三轴加速度数据，得到该细类材质的N个训练样本；
2-3)重复步骤2-1)至步骤2-2)，对步骤1)确定的所有细类材质所属的具体物品采集相应的三轴加速度数据，每种细类材质分别得到N个训练样本，组成所有细类材质的训练样本数据集；共采集M类不同的细类材质的训练样本，M＝A×B×C，使用上位机存储得到所有训练样本，构成训练样本数据集
Figure BDA0001358172160000071
Rp代表第p个训练样本，P＝M×N，其中每个训练样本的三轴加速度数据表达式记为
Figure BDA0001358172160000072
m代表该训练样本代表的细类材质序号，1≤m≤M,n代表该细类材质进行三轴加速度数据采集时的顺序编号，1≤n≤N；训练样本数据集中训练样本的数量为P＝M×N个。
3)对训练样本数据集进行处理并提取特征；
3-1)对训练样本数据集
Figure BDA0001358172160000081
中第p个训练样本Rp，将该训练样本的三轴加速度数据简化表示为
Figure BDA0001358172160000082
对三轴加速度数据
Figure BDA0001358172160000083
进行合成处理，合成之后得到一维加速度数据
Figure BDA0001358172160000084
具体步骤如下：
3-1-1)首先将三轴加速度数据
Figure BDA0001358172160000085
进行离散傅立叶变换从时域变换到频域，变换之后记为求取复数
Figure BDA0001358172160000087
的幅值的平方和并进行开方处理得到合成一维加速度数据的幅值信息
Figure BDA0001358172160000088
表达式如式(1)所示：
Figure BDA0001358172160000089
其中，f表示频率。
3-1-2)分别求取复数和的实部和虚部，计算和的实部与虚部的商的反正切得到合成一维加速度数据的相位信息
Figure BDA00013581721600000811
表达式如式(2)所示：
Figure BDA00013581721600000812
根据式(1)和式(2)的结果，得到合成一维加速度数据
Figure BDA00013581721600000813
的幅值信息和相位信息
Figure BDA00013581721600000815
后，利用幅值信息
Figure BDA00013581721600000816
和相位信息
Figure BDA00013581721600000817
进行反傅立叶变换从频域变换到时域得到一维加速度数据的时域序列
Figure BDA00013581721600000818
整个合成过程功率守恒。
3-2)对步骤3-1)得到的一维加速度数据
Figure BDA00013581721600000819
提取小波包分解各尺度能量特征和功率谱密度特征，具体步骤如下：
3-2-1)对一维加速度数据
Figure BDA00013581721600000820
进行小波包3层分解，尺度为2，提取小波包分解后各尺度能量信息，特征向量长度为23＝8维。
小波包分解从滤波方向分析，是将待分析的一维加速度数据
Figure BDA00013581721600000821
通过一个高通滤波器和一个低通滤波器将信号分解开，得到一组低频信号和一组高频信号，然后再对分解后的低频和高频信号分别进行高通和低通分解，重复这个过程，最终将获得的分解结果使用能量方式表示，由于使用的小波包分解是正交的，各频带信号相互独立且无冗余无丢失，因此小波包分解的过程遵守能量守恒原理。
小波分解过程中，一维加速度数据
Figure BDA00013581721600000822
在希尔伯特空间L2(R)上的2范数定义为：
Figure BDA00013581721600000823
式中，
Figure BDA00013581721600000824
等价于一维加速度数据在时域的能量，假设小波包分解后第e(e＝3)层第f(f＝2e)个频带的重构信号Def对应的能量为Eef，则有：
Figure BDA0001358172160000091
式中，Q为一维加速度数据
Figure BDA0001358172160000092
的长度，f＝0,1,2,...,2e-1,为分解频带的节点；|dfq|为重构信号Def的离散点幅值。使用分解频带的信号能量百分比作为反映不同材质表面振动加速度性质的特征向量。提取第p个训练样本
Figure BDA0001358172160000093
的小波包分解各频带的信号能量百分比特征向量为X,
Figure BDA0001358172160000094
其中，xpu表示第p个训练样本信号能量百分比特征向量X的第u维的值，U表示第p个训练样本信号能量百分比特征向量X的维数。
3-2-2)提取一维加速度数据
Figure BDA0001358172160000095
的功率谱密度特征并进行降维处理；
首先对一维加速度数据
Figure BDA0001358172160000096
分段，分段长度为L，共分为λ段，
Figure BDA0001358172160000097
Q为一维加速度数据的长度，得到每段一维加速度数据记为
Figure BDA0001358172160000098
1≤l≤L；令每段一维加速度数据重合一半，对每段一维加速度数据进行加窗处理后，每一段数据的功率谱表达式如下：
式中，为归一化因子，σ表示角频率，γ表示每段一维加速度数据中第γ个数据点；
对λ段功率谱进行平均，得到
Figure BDA00013581721600000911
的功率谱估计表达式如下：
Figure BDA00013581721600000912
使用主成分分析算法将式(6)得到的功率谱估计特征向量进行降维处理，将降维后的特征向量命名为PCA特征，第p个训练样本的PCA特征向量表示为Y,
Figure BDA00013581721600000913
ypv表示第p个训练样本的PCA特征向量Y的第v维的值，V表示第p个训练样本的PCA特征向量Y的维数；
3-3)使用典型相关分析算法将步骤3-2-1)得到的特征向量X和步骤3-2-2)得到的特征向量Y进行融合处理，得到第p个训练样本的融合特征向量Tp,
Figure BDA00013581721600000914
其中，tpw表示融合特征向量Tp的第w维的值，W表示融合特征向量Tp的维数。第p个训练样本的标签向量记为Zp,
Figure BDA00013581721600000915
zpm表示标签向量Zp的第m维的值,标签向量的维数对应训练样本数据集中细类材质的总数，共M维。
3-4)重复步骤3-1)至步骤3-3)，得到所有训练样本对应的融合特征向量，组成所有训练样本的融合特征矩阵Tr,
Figure BDA00013581721600000916
使用融合特征矩阵Tr架构训练集特征库，同时得到所有训练样本的标签矩阵
Figure BDA00013581721600000917
4)使用极限学习机(ELM)训练前馈神经网络；
4-1)构建前馈神经网络；
前馈神经网络包括输入层、隐含层和输出层三部分，每层包含相应神经元。设输入层包含I个神经元，隐含层包含H个神经元，输出层包含O个神经元，其中输入层神经元的个数I与步骤3-3)中得到的每个训练样本的融合特征向量的维数相等，则I＝W。隐含层神经元的个数H根据实际情况设定，范围一般在几百到几千。输出层神经元的个数O与训练样本数据集中材质细类的总数相等，则O＝M。
4-2)将步骤3-4)得到的融合特征矩阵Tr作为前馈神经网络的输入矩阵，将每个训练样本的融合特征向量输入前馈神经网络，则前馈神经网络的输入矩阵Tr可以表示为：
Figure BDA0001358172160000101
步骤3-4)的标签矩阵即为前馈神经网络的实际输出矩阵Zr，表达式如下：
Figure BDA0001358172160000102
4-3)使用极限学习机训练前馈神经网络；
极限学习机随机选择前馈神经网络输入层与隐含层间的输入权重矩阵ω和隐含层神经元的偏置b，因此只需要训练隐含层与输出层的输出权重矩阵β。
输入层和隐含层之间的连接权值ω可以表示为：
Figure BDA0001358172160000103
式中，ωwh表示输入层第w个神经元与隐含层第h个神经元间的连接权值，1≤w≤W,1≤h≤H。
隐含层神经元的偏置b可表示为：
Figure BDA0001358172160000104
式中，bh表示隐含层第h个神经元的偏置，1≤h≤H。
选择一个无限可微的函数作为隐含层神经元的激励函数g(t)，本实施例激活函数g(t)选择sin(t)，隐含层与输出层之间的输出权重β可表示为：
Figure BDA0001358172160000111
由此可得到极限学习机的预测输出矩阵V表达式为：
Figure BDA0001358172160000112
式中，ωh＝[ωh1,ωh2,…,ωhI]，tp＝[t1p,t2p,…,tIp]T，其中I为输入层神经元的个数。
式(12)可简化表示为：
Φβ＝V' (13)
其中，Φ为隐含层输出矩阵，Φ表示为：
Figure BDA0001358172160000113
4-4)计算输出层的最优权重
Figure BDA0001358172160000114
使用极限学习机训练前馈神经网络的目的是找到最佳的ω、b和β，使得
Figure BDA0001358172160000115
最小，由于当激活函数g(t)无限可微时，ω和b训练时可以随机选择，且在训练过程中保持不变，故只需确定β，β可通过求解下式的最小二乘解获得：
Figure BDA0001358172160000116
引入规范化系数来优化计算，获得最优解为
Figure BDA0001358172160000117
表达式如下：
Figure BDA0001358172160000118
得到优化的输出权重矩阵
Figure BDA0001358172160000119
其中，η为规范化系数，本实施例取80，E为单位矩阵。Φ为隐含层输出矩阵。至此，单隐层前馈神经网络训练完毕。
5)预测分类；
5-1)为了保证实验的普遍适用性，寻找其他1个数据采集人员进行实验，数据采集人员随机选择1种细类材质所属的具体物品作为测试物品，该物品的材质种类包含在已构建的训练样本数据集中，但预测阶段每种细类材质使用的具体物品不同于训练阶段使用的物品。
5-2)重复步骤2-1)，利用振动感受体(本实施例为3D打印笔)在步骤5-1)选定的测试物品表面的随机1个地区进行滑动，滑动轨迹随机，并采集该测试物品所对应的三轴加速度数据作为测试样本；
5-2)重复步骤3-1)至步骤3-3)，对步骤5-1)得到的测试样本进行处理并提取特征，得到该测试样本的的融合特征向量Te,
Figure BDA0001358172160000121
其中，tew表示融合特征向量Te的第w维的值；
5-3)将步骤5-2)得到的测试样本的融合特征向量Te输入步骤4)训练完毕的前馈神经网络，前馈神经网络输出该测试样本的预测输出矩阵Ve，该矩阵包含O个输出值，其中最大输出值对应的细类材质即为该待测物品的材质分析结果，记为Pe。
本发明提出的一种基于如上述方法的材质分析装置，组成示意图如图2所示，包括：振动感受体、数据采集模块和上位机。其中，数据采集模块包括：微控制器、加速度传感器模块和供电模块；所述振动感受体在待分析物品表面进行滑动产生加速度数据，数据采集模块中加速度传感器模块一端连接振动感受体，另一端连接微控制器，微控制器控制加速度传感器模块采集加速度数据；微控制器通过有线或者无线方式连接上位机，将加速度传感器模块采集到的加速度数据发送给上位机；上位机对加速度数据进行处理后实时显示物品的材质分析结果并保存；数据采集模块中的供电模块为微控制器和加速度传感器模块提供工作电源。
所述振动感受体通过人手持其操作在待分析材质的物品表面滑动，产生待分析材质的加速度数据，本实施例采用3D打印笔作为振动感受体。
所述数据采集模块中，加速度传感器模块用于采集振动感受体在物品表面滑动产生的加速度数据，本实施例加速度传感器模块选用mpu6050模块。
所述微控制器用于控制加速度传感器模块的工作，并通过有线或无线方式与上位机通信(本实施例采用有线的方式进行通信)，将加速度传感器模块采集到的加速度数据发送给上位机，本实施例微控制器选用Arduino控制器。
所述供电模块为加速度传感器模块和微控制器提供工作电源，可采用普通的计算机作为供电模块，本实施例选用联想笔记本电脑Y471A。
所述上位机用于对接收到的加速度数据进行数据处理和分析，得到物品材质分析结果并进行实时显示。上位机可采用普通的计算机，本实施例选用联想笔记本电脑Y471A。

Claims (2)

1.一种基于纹理表面接触加速度信息的材质分析方法，包括以下步骤：
1)材质分类；
划分A大类材质，在每大类材质中选取B类具体物品，再将B类具体物品划分为C类细类材质，共划分得到M＝A×B×C种不同的细类材质；
2)构建训练样本数据集；具体步骤如下：
2-1)任意选取步骤1)确定的一种细类材质所属的具体物品，将该物品摆放平整后，数据采集人员使用振动感受体在该材质表面的随机1个地区进行滑动，滑动轨迹随机，力度范围为0-4N，采集振动感受体在该材质表面滑动时产生的三轴加速度数据，将采集到的三轴加速度数据发送至上位机进行存储，作为该细类材质的一个的训练样本；
2-2)重复2-1)，对步骤2-1)选定的具体物品重复N次数据采集操作，并保存每次操作采集得到的三轴加速度数据，得到该细类材质的N个训练样本；
2-3)重复步骤2-1)至步骤2-2)，对步骤1)确定的所有细类材质所属的具体物品分别采集相应的三轴加速度数据，每种细类材质分别得到N个训练样本，组成所有细类材质的训练样本数据集
Figure FDA0002128185820000011
Rp代表第p个训练样本，P为训练样本数据集中训练样本的数量，P＝M×N个；
3)对训练样本数据集进行处理并提取特征；
3-1)对训练样本数据集中第p个训练样本Rp，该训练样本的三轴加速度数表示为对三轴加速度数据
Figure FDA0002128185820000014
进行合成处理，合成之后得到一维加速度数据
Figure FDA0002128185820000015
具体步骤如下：
3-1-1)首先将三轴加速度数据
Figure FDA0002128185820000016
进行离散傅立叶变换从时域变换到频域，变换之后记为求取复数
Figure FDA0002128185820000018
的幅值的平方和并进行开方处理得到合成一维加速度数据的幅值信息
Figure FDA0002128185820000019
表达式如式(1)所示：
Figure FDA00021281858200000110
式中，f表示频率；
3-1-2)分别求取
Figure FDA00021281858200000111
复数和的实部和虚部，计算和的实部与虚部的商的反正切得到合成一维加速度数据的相位信息
Figure FDA00021281858200000112
表达式如式(2)所示：
Figure FDA00021281858200000113
根据式(1)和式(2)的结果，利用幅值信息和相位信息进行反傅立叶变换从频域变换到时域得到一维加速度数据的时域序列
Figure FDA0002128185820000023
3-2)对步骤3-1)得到的一维加速度数据
Figure FDA0002128185820000024
提取小波包分解各尺度能量特征和功率谱密度特征；具体步骤如下：
3-2-1)对一维加速度数据进行小波包3层分解，尺度为2，提取小波包分解后各尺度能量信息，特征向量长度为23＝8维；
小波分解过程中，一维加速度数据
Figure FDA0002128185820000026
在希尔伯特空间L2(R)上的2范数定义为：
Figure FDA0002128185820000027
式中，
Figure FDA0002128185820000028
等价于一维加速度数据在时域的能量；
假设小波包分解后第e层第f个频带的重构信号Def对应的能量为Eef，则有：
Figure FDA0002128185820000029
式中，Q为一维加速度数据
Figure FDA00021281858200000210
的长度，f＝0,1,2,...,2e-1,为分解频带的节点；|dfq|为重构信号Def的离散点幅值；
使用分解频带的信号能量百分比作为反映不同材质表面振动加速度性质的特征向量，提取第p个训练样本
Figure FDA00021281858200000211
的小波包分解各频带的信号能量百分比特征向量为X,
Figure FDA00021281858200000212
其中，xpu表示第p个训练样本信号能量百分比特征向量X的第u维的值，U表示第p个训练样本信号能量百分比特征向量X的维数；
3-2-2)提取一维加速度数据
Figure FDA00021281858200000213
的功率谱密度特征并进行降维处理；
首先对一维加速度数据
Figure FDA00021281858200000214
分段，分段长度为L，共分为λ段，
Figure FDA00021281858200000215
Q为一维加速度数据的长度，得到每段一维加速度数据记为
Figure FDA00021281858200000216
1≤l≤L；令每段一维加速度数据重合一半，对每段一维加速度数据进行加窗处理后，每一段数据的功率谱表达式如下：
Figure FDA00021281858200000217
式中，
Figure FDA00021281858200000218
为归一化因子，σ表示角频率，γ表示每段一维加速度数据中第γ个数据点；
对λ段功率谱进行平均，得到
Figure FDA00021281858200000219
的功率谱估计表达式如下：
Figure FDA00021281858200000220
使用主成分分析算法将式(6)得到的功率谱估计特征向量进行降维处理，将降维后的特征向量命名为PCA特征，第p个训练样本的PCA特征向量表示为Y,
Figure FDA0002128185820000031
ypv表示第p个训练样本的PCA特征向量Y的第v维的值，V表示第p个训练样本的PCA特征向量Y的维数；
3-3)使用典型相关分析算法将步骤3-2-1)得到的特征向量X和步骤3-2-2)得到的特征向量Y进行融合处理，得到第p个训练样本的融合特征向量Tp,
Figure FDA0002128185820000032
其中，tpw表示融合特征向量Tp的第w维的值，W表示融合特征向量Tp的维数；第p个训练样本的标签向量记为Zp,
Figure FDA0002128185820000033
zpm表示标签向量Zp的第m维的值,标签向量的维数对应训练样本数据集中细类材质的总数，共M维；
3-4)重复步骤3-1)至步骤3-3)，得到所有训练样本对应的融合特征向量，组成所有训练样本的融合特征矩阵Tr,
Figure FDA0002128185820000034
同时得到所有训练样本的标签矩阵
Figure FDA0002128185820000035
4)使用极限学习机训练前馈神经网络；
4-1)构建前馈神经网络；
前馈神经网络包括输入层、隐含层和输出层三部分，每层包含相应神经元；设输入层包含I个神经元，隐含层包含H个神经元，输出层包含O个神经元，其中输入层神经元的个数I与步骤3-3)中得到的每个训练样本的融合特征向量的维数相等，则I＝W；输出层神经元的个数O与训练样本数据集中材质细类的总数相等，则O＝M；
4-2)将步骤3-4)得到的融合特征矩阵Tr作为前馈神经网络的输入矩阵，表达式如下：
Figure FDA0002128185820000036
将步骤3-4)得到的标签矩阵Zr作为前馈神经网络的实际输出矩阵，表达式如下：
Figure FDA0002128185820000037
4-3)使用极限学习机训练前馈神经网络；
输入层和隐含层之间的连接权值ω表示为：
式中，ωwh表示输入层第w个神经元与隐含层第h个神经元间的连接权值，1≤w≤W,1≤h≤H；
隐含层神经元的偏置b表示为：
Figure FDA0002128185820000042
式中，bh表示隐含层第h个神经元的偏置；
选择一个无限可微的函数作为隐含层神经元的激励函数g(t)，隐含层与输出层之间的输出权重β表示为：
Figure FDA0002128185820000043
得到极限学习机的预测输出矩阵V表达式如下：
Figure FDA0002128185820000044
式中，ωh＝[ωh1,ωh2,…,ωhI]，tp＝[t1p,t2p,…,tIp]T；
式(12)简化表示为：
Φβ＝V' (13)
式中，Φ为隐含层输出矩阵，Φ表示为：
Figure FDA0002128185820000045
4-4)计算输出层的最优权重
Figure FDA0002128185820000046
使用极限学习机训练前馈神经网络的目的是找到最佳的ω、b和β，使得
Figure FDA0002128185820000051
最小；当激活函数g(t)无限可微时，ω和b训练时随机选择，且在训练过程中保持不变，β通过求解下式的最小二乘解获得：
Figure FDA0002128185820000052
引入规范化系数来优化计算，获得最优解为
Figure FDA0002128185820000053
表达式如下：
式中，η为规范化系数，E为单位矩阵，Φ为隐含层输出矩阵；前馈神经网络训练完毕；
5)预测分类；
5-1)数据采集人员随机选择1种细类材质所属的具体物品作为测试物品，该物品的材质种类包含在已构建的训练样本数据集中；
5-2)重复步骤2-1)，对步骤5-1)选定的测试物品采集三轴加速度数据作为测试样本；
5-3)重复步骤3-1)至步骤3-3)，对步骤5-1)得到的测试样本进行处理并提取特征，得到该测试样本的的融合特征向量Te,其中，tew表示融合特征向量Te的第w维的值；
5-4)将步骤5-3)得到的测试样本的融合特征向量Te输入步骤4)训练完毕的前馈神经网络，前馈神经网络输出该测试样本的预测输出矩阵Ve，该矩阵包含O个输出值，其中最大输出值对应的细类材质即为该待测物品的材质分析结果，记为Pe。
2.一种基于如权利要求1所述方法的材质分析装置，其特征在于，包括：振动感受体、数据采集模块和上位机；其中，数据采集模块包括：微控制器、加速度传感器模块和供电模块；所述振动感受体用于在待分析物品表面进行滑动产生加速度数据，数据采集模块中加速度传感器模块一端连接振动感受体，另一端连接微控制器，微控制器控制加速度传感器模块采集加速度数据；微控制器通过有线或者无线方式连接上位机，将加速度传感器模块采集到的加速度数据发送给上位机；上位机对加速度数据进行处理后实时显示物品的材质分析结果并保存；数据采集模块中的供电模块为微控制器和加速度传感器模块提供工作电源。
CN201710605338.3A 2017-07-24 2017-07-24 基于纹理表面接触加速度触觉信息的材质分析方法及装置 Active CN107505392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710605338.3A CN107505392B (zh) 2017-07-24 2017-07-24 基于纹理表面接触加速度触觉信息的材质分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710605338.3A CN107505392B (zh) 2017-07-24 2017-07-24 基于纹理表面接触加速度触觉信息的材质分析方法及装置

Publications (2)

Publication Number Publication Date
CN107505392A CN107505392A (zh) 2017-12-22
CN107505392B true CN107505392B (zh) 2020-01-31

Family

ID=60688795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710605338.3A Active CN107505392B (zh) 2017-07-24 2017-07-24 基于纹理表面接触加速度触觉信息的材质分析方法及装置

Country Status (1)

Country Link
CN (1) CN107505392B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536780B (zh) * 2018-03-29 2020-04-03 清华大学 一种基于触觉纹理特征的跨模态物体材质检索方法
CN110288606B (zh) * 2019-06-28 2024-04-09 中北大学 一种基于蚁狮优化的极限学习机的三维网格模型分割方法
CN110509186B (zh) * 2019-08-29 2020-11-24 华中科技大学 一种基于加工振动特征的机器人磨抛质量表征方法
CN111421536B (zh) * 2020-03-13 2021-07-09 清华大学 一种基于触觉信息的摇杆操作控制方法
CN112198222B (zh) * 2020-09-17 2022-04-05 美智纵横科技有限责任公司 地面材质识别方法、系统、设备及存储介质
KR20220049407A (ko) 2020-10-14 2022-04-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956299A (zh) * 2016-05-10 2016-09-21 清华大学 一种分层粗糙表面接触性能的分析方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956299A (zh) * 2016-05-10 2016-09-21 清华大学 一种分层粗糙表面接触性能的分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Creating Realistic Virtual Textures from Contact Acceleration Data;Joseph M. Romano et al.;《IEEE TRANSACTIONS ON HAPTICS》;20110721;第5卷(第2期);109-119 *
Multimodal Feature-Based Surface Material Classification;Matti Strese et al.;《IEEE TRANSACTIONS ON HAPTICS》;20161107;第10卷(第2期);226-239 *
基于触觉序列的物体分类;马蕊 等;《智能系统学报》;20150630;第10卷(第3期);362-368 *

Also Published As

Publication number Publication date
CN107505392A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107505392B (zh) 基于纹理表面接触加速度触觉信息的材质分析方法及装置
CN107463952B (zh) 一种基于多模态融合深度学习的物体材质分类方法
CN100492399C (zh) 利用降维方法进行人脸姿态估计的方法
Lee et al. The model of surface roughness inspection by vision system in turning
WO2016086024A2 (en) Learning contour identification system using portable contour metrics derived from contour mappings
Abidin et al. Classification of Indonesian Traditional Snacks Based on Image Using Convolutional Neural Network (CNN) Algorithm
Wen et al. A negative correlation ensemble transfer learning method for fault diagnosis based on convolutional neural network
Ovcharenko et al. Style transfer for generation of realistically textured subsurface models
An et al. Reservoir characterization using feedforward neural networks
Sattarifar et al. Damage localization and characterization using one-dimensional convolutional neural network and a sparse network of transducers
Daugela et al. Deep learning based characterization of nanoindentation induced acoustic events
CN110032987A (zh) 一种基于小脑神经网络模型的表面肌电信号分类方法
CN109542224A (zh) 一种基于人力触觉感知特性的纹理粗糙度客观评价方法
Gonçalves et al. Wear Particle Classifier System Based on an Artificial Neural Network.
CN110321936A (zh) 一种基于vgg16及svm实现图片二分类的方法
Li et al. Magnetotelluric noise suppression via convolutional neural network
CN116619780A (zh) 酚醛复合材料的智能化生产方法及其系统
Naidu et al. Stress recognition using facial landmarks and CNN (Alexnet)
Madulid et al. Clothing classification using the convolutional neural network inception model
Manga et al. Hyperparameter Tuning of Identity Block Uses an Imbalance Dataset with Hyperband Method
Sun et al. 3D human pose detection using nano sensor and multi-agent deep reinforcement learning
CN113988977A (zh) 一种商品推荐方法及装置、计算机可读存储介质
Sharifi et al. Estimation of pore types in a carbonate reservoir through artificial neural networks
Khare et al. Complex wavelet transform-based approach for human action recognition in video
Kumar et al. Face Recognition with decision tree using SVM and SURF

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant