CN112529062B - 一种基于灵巧手触觉信息的物体分类方法 - Google Patents

一种基于灵巧手触觉信息的物体分类方法 Download PDF

Info

Publication number
CN112529062B
CN112529062B CN202011406300.1A CN202011406300A CN112529062B CN 112529062 B CN112529062 B CN 112529062B CN 202011406300 A CN202011406300 A CN 202011406300A CN 112529062 B CN112529062 B CN 112529062B
Authority
CN
China
Prior art keywords
data
lstm
lstm network
batch
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011406300.1A
Other languages
English (en)
Other versions
CN112529062A (zh
Inventor
张鹏
于国奇
单东日
王晓芳
周茂辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202011406300.1A priority Critical patent/CN112529062B/zh
Publication of CN112529062A publication Critical patent/CN112529062A/zh
Application granted granted Critical
Publication of CN112529062B publication Critical patent/CN112529062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请涉及一种基于灵巧手触觉信息的物体分类方法，所述方法包括：根据灵巧手搭载的触觉传感器夹持物体收集触觉数据，构建用于模型训练的数据集；提出了一种触觉数据预处理方法处理收集到的数据集；按比例分割数据集为训练集和测试集两部分；对于预处理后的数据，提出了一种Two‑LSTM神经网络模型(双层长短期记忆神经网络模型)，以下简称T‑LSTM。使用训练集对预先设置的T‑LSTM网络模型进行训练，得到训练时物体分类的真实类别与预测类别之间的损失和准确率；使用测试集测试训练好的T‑LSTM网络，得到测试时物体分类的真实类别与预测类别之间的损失和准确率。采用本方法能有效分类灵巧手触觉感知到的物体。

Description

一种基于灵巧手触觉信息的物体分类方法
技术领域
本发明涉及使用灵巧手搭载触觉传感器进行信息采集，触觉信息预处理以及目标物体分类技术领域，特别涉及一种基于灵巧手触觉信息的物体分类方法。
背景技术
随着计算机带来的海量数据的出现，以及深度学习领域技术的飞速发展，在计算机学习模拟人类感官，进行类人判断的智能化过程中，搭载相机的机器视觉技术借助于深度学习的力量，得到了爆发性的进步。然而，相机在黑暗，反光等不利于拍摄的环境下有种种限制，因此，在计算机智能化过程中，除了要具备机器视觉技术，机器触觉技术的使用也是非常重要的一部分。机器触觉技术通过与物体直接接触，直接获得不同物体的不同信号，通过深度学习技术分析信号之间的差异性，从而获得可以从触觉角度增强机器学习的能力，有助于推动机器智能化更好的发展进步。所以，通过灵巧手搭载触觉传感器，得到不同物体的输入信号，通过深度学习技术来进行物体分类，对机器实现触觉感知，模拟人类判断，推进机器智能化发展等方面有十分重要的意义。
发明内容
针对上述技术问题，本发明将提供一种触觉数据预处理方法，即对于采集到的一维振动信号原始数据，切除无效数据并重新整形成三维振动信号数据，使数据从二维到三维都具有时间关系。并且提出一种用于触觉数据分类的T-LSTM网络模型，T-LSTM网络模型由两个LSTM单元和全连接层组成，T-LSTM可以由二维到三维逐步实现数据样本时间序列特征的提取，并对物体进行分类。
本发明的内容为：
一种基于灵巧手触觉信息的物体分类方法，其特征在于，包括以下步骤：
S1，使用灵巧手搭载NumaTac触觉传感器夹持物体收集触觉数据，构建用于模型训练的数据集；
S2，对S1中收集到的数据集进行数据预处理；
S3，按比例分隔数据集为训练集和测试集两部分；
为了避免数据按一定规律排列，影响网络模型的泛化能力，因此将预处理后的数据随机打乱，并按比例8：2分为训练集和测试集两部分。
S4，将训练集、测试集的数据输入T-LSTM网络模型；
S5，使用训练集对预先设置T-LSTM的网络模型进行训练，得到训练时物体分类的真实类别与预测类别之间的损失和准确率，其中我们使用交叉熵损失函数来计算预测标签的概率分布和真实标签的概率分布之间的差异性，准确率被被定义为预测正确的样本数/总的样本数；
S6，使用测试集测试训练好的T-LSTM网络，得到测试时物体分类的真实类别与预测类别之间的损失和准确率。
进一步的，为了更好的实现本发明，所述S1中，夹持的物体为22类不同的物体，分别是圆海绵，方海绵，毛巾，白线团，抽纸，垃圾袋，三角绷带，黑色绷带，胶水，纸杯，指甲盒，火腿肠，果冻，护手霜，肥皂盒，耳机盒，牙缸盒，印泥盒，透明塑料盒，玻璃瓶，易拉罐，金属圆柱；以这些物体的英文名按首字母排序后的英文名顺序作为样本标签，对22类物体各夹持50次，通过ROS系统命令保存NumaTac触觉传感器传出的微振动信号到计算机，信号采样频率为2200HZ，共得到1100个.bag样本文件，然后使用matlab读取.bag文件，保存.bag文件中的触觉数据成.csv文件，。
进一步的，为了更好的实现本发明，所述S2中的数据预处理具体为，只对无效数据进行切除，以及数据重新整形为三维数据，并不对原始数据做其他任何幅值或频率上的改动。由于.csv文件不能保存三维数据，因此使用python读.csv文件，将数据预处理，然后将预处理后的三维数据保存为.npz文件，文件名为物体英文类别名。
进一步的，为了更好的实现本发明，所述T-LSTM网络模型为使用LSTM网络和全连接层构建的一个T-LSTM物体分类模型，本模型由一个包含3层LSTM网络以及2层全连接层的LSTM1单元和一个3层LSTM网络以及2层全连接层的LSTM2单元组成。
进一步的，为了更好的实现本发明，所述S4中预处理的数据输入T-LSTM网络模型的具体输入流程为：
S41，由预处理后的数据格式，输入三维数据中每一层的二维数据到LSTM1单元的LSTM网络中，对于每一层二维数据大小，每一个时间步输入一个13×1的特征向量，时间序列长度是13，使用小批量随机梯度下降法，每次输入64个样本，LSTM1单元的输入数据维度为(64,13,13)，根据LSTM网络隐含状态更新过程，LSTM网络的输出特征向量维度为(64,13,512)，其中64是小批量随机梯度下降法的batch_size数，13为数据时间序列长度，512为预设的隐藏神经元数目；在13个时间步的循环输入结束后，经过全连接层进行维度变换，输出特征向量维度为(64,44)，其中64是小批量随机梯度下降法的batch_size数，44是预设输出特征数；而每一个三维样本有22层二维数据，所以每一个batch_size的LSTM1单元输出特征向量维度为(64,22,44)；
S42，将LSTM1单元的输出特征向量作为LSTM2单元的输入特征向量，根据LSTM网络隐含状态更新过程，LSTM网络输出特征向量维度为(64,22,512)，其中64是小批量随机梯度下降法的batch_size数，22为数据时间序列长度，512为预设的隐藏神经元数目；在22个时间步的循环输入结束后，经过全连接层进行维度变换，LSTM2单元输出特征向量的维度为(64,22)，其中64是小批量随机梯度下降法的batch_size数，22为物体类别数目。
进一步的，为了更好的实现本发明，所述LSTM网络隐含状态更新过程为，网络模型得到输入数据之后，LSTM1单元和LSTM2单元循环更新隐含状态，在LSTM的传播过程中，LSTM的隐含状态是元组(ci-1,hi-1)，元组(ci-1,hi-1)初始化为全零张量，隐含状态更新过程如下：
a，根据上一步的隐含状态hi-1(初始状态为全零张量)和输入张量xi进行四个不同的线性变换，分别用不同的函数σ(sigmoid激活函数)和tanh(Tanh激活函数)，输出四个不同的值：
b，在计算下一步的隐含状态ci时，需要使用ft(通过sigmoid函数结合当前输入张量xt和上一步隐含状态ht-1)控制上一步的隐含状态ci-1流入到下一步的多少：
ft＝σ(Wifxt+bif+Whfht-1+bhf)
c，在引入上一步信息ht-1的同时，需要使用gt(通过Tanh函数结合当前输入张量xt和上一步隐含状态ht-1)给出当前步引入的信息：
gt＝tanh(Wigxt+big+Whght-1+bhg)
d，在计算得到gt的同时，需要控制流到神经网络信息的多少，这部分由it(通过sigmoid函数结合当前输入张量xt和上一步隐含状态ht-1)线性变换给出：
it＝σ(Wiixt+bii+Whiht-1+bhi)
e，由此得到新的隐含状态信息ci＝ftci-1+itgt，最后，由ci通过Tanh激活函数计算得到的结果乘以ot(通过sigmoid函数结合当前输入张量xt和上一步隐含状态ht-1)得到新的隐含状态ht：
ot＝σ(Wioxt+bio+Whoht-1+bho)
ht＝ot×tanhci
由于输出结果yt和新的隐含状态ht相等，因此，输出结果yt：
yt＝ht＝ot×tanhci
yt输入全连接层中，进行维度变换，输出结果为LSTM1单元或LSTM2单元的输出。
本发明的有益效果为：
本发明的触觉数据预处理方法，可以充分识别二维到三维之间的时间关系，本发明的T-LSTM网络模型对于触觉数据具有良好的分类效果，使用本发明的能有效分类灵巧手触觉感知到的物体，对机器实现触觉感知，模拟人类判断，推进机器智能化发展等方面有十分重要的意义。
附图说明
图1是本发明中数据维度变换原理图。
图2是本发明中触觉数据分类实验流程图。
图3是本发明中T-LSTM网络模型图。
图4是本发明中LSTM1单元、LSTM2单元结构图。
图5是本发明中LSTM网络隐含状态更新图。
图6是本发明中训练损失(train_loss)图。
图7是本发明中训练准确率(train_acc)图。
图8是本发明中测试损失(test_loss)图。
图9是本发明中测试准确率(test_acc)图。
图10是本发明中训练损失、准确率和测试损失、准确率曲线综合图。
图11是本发明中物体分类准确率混淆矩阵图。
具体实施方式
下面结合附图和具体实施方式对本发明给出进一步的说明。
图1-图11为本发明的一种具体实施例，该实施例为一种基于灵巧手触觉信息的物体分类方法。
具体步骤如下：
相关试验设备包括，kinova二指灵巧手，NumaTac触觉传感器，采样频率2200HZ，计算机ubuntu系统和ROS系统。
1)收集数据
使用灵巧手搭载NumaTac触觉传感器夹持22类不同的物体，分别是圆海绵，方海绵，毛巾，白线团，抽纸，垃圾袋，三角绷带，黑色绷带，胶水，纸杯，指甲盒，火腿肠，果冻，护手霜，肥皂盒，耳机盒，牙缸盒，印泥盒，透明塑料盒，玻璃瓶，易拉罐，金属圆柱。以这些物体的英文名按首字母排序后(blankbandage，can，dentalcylinderbox，drawpaper，earphonebox，garbagebag，glassbottle，glue，hamsausage，handcream，inkpad，jelly，metalcylinder，nailcase，papercup，roundsponge，soapbox，squaresponge，towel，transparentplasticbox，trianglebandage，whitecoil)作为样本标签对22类物体各夹持50次，通过ROS系统命令保存NumaTac触觉传感器传出的微振动信号到计算机，信号采样频率为2200HZ，共得到1100个.bag样本文件。然后使用matlab读取.bag文件，保存.bag文件中的触觉数据成.csv文件。
2)数据预处理
灵巧手夹持物体的一个行程中，由于夹持物体前的一段行程和松开物体后的一段行程未接触物体，为了去除这些无效数据的影响，我们切除了夹持物体前的一段数据和松开物体后的一段数据。NumaTac触觉传感器的采样频率2200HZ，夹持一个物体全程需要3s，也就是6600个离散信号数据点，在切除无效数据后，每一个行程共返回3718个离散信号数据点。
对于一维微振动信号，我们把数据整形成三维信号,并使用python将.csv文件保存为.npz文件。由于本身的触觉数据太多，仅以以下例子说明整形过程。
例子：如图1所示，以数值1，2，3，4，5，6，7，8假设为触觉信号数据(这8个值不代表真实触觉数据)，8个数值以时间先后排列。
我们可以看到，一维数据的每一个数据都有时间关系，将一维数据整形成二维数据之后，二维数据的每一列保持了时间关系，当把二维数据整形成三维数据之后，三维数据的每一层保持了时间关系。经过对真实数据的重新整形，每一个样本3718个数据点的维度为(22,13,13)。
为了保持数据的原始特征，我们只对无效数据进行了切除，以及数据的重新整形，并不对原始数据做其他任何幅值或频率上的改动。
3)实验流程及模型介绍
实验流程
我们使用灵巧手搭载触觉传感器收集数据，进行数据预处理，将预处理后的数据输入网络模型，得到物体分类的损失和准确率。实验流程如图2所示，
T-LSTM网络模型
我们使用LSTM网络构建了一个T-LSTM物体分类模型。该模型由一个包含3层LSTM网络以及2层全连接层的LSTM1单元和一个3层LSTM网络以及2层全连接层的LSTM2单元组成。T-LSTM网络模型如图3和图4所示。
4)T-LSTM网络单元的输入与输出以及隐含状态的更新
在LSTM1单元中包含一个3层LSTM网络和2层全连接层，由上文预处理后的数据格式，输入三维数据中每一层的二维数据到LSTM1单元的LSTM网络中。对于每一层二维数据大小，每一个时间步输入一个13×1的特征向量，时间序列长度(时间步数)是13，使用小批量随机梯度下降法，每次输入64个样本，所以LSTM1单元的输入数据维度为(64,13,13)，根据下文所叙述的LSTM网络隐含状态更新过程，LSTM网络的输出特征向量维度为(64,13,512)，其中64是小批量随机梯度下降法的batch_size数，13为数据时间序列长度，512为预设的隐藏神经元数目。在13个时间步的循环输入结束后，经过全连接层进行维度变换，输出特征向量维度为(64,44)。其中64是小批量随机梯度下降法的batch_size数，44是预设输出特征数。而每一个三维样本有22层二维数据，所以每一个batch_size(64个三维样本)的LSTM1单元输出特征向量维度为(64,22,44)。
在LSTM2单元中包含一个3层的LSTM网络和2层全连接层，将LSTM1单元的输出特征向量作为LSTM2单元的输入特征向量。根据下文所叙述的LSTM网络隐含状态更新过程，LSTM网络输出特征向量维度为(64,22,512)，其中64是小批量随机梯度下降法的batch_size数，22为数据时间序列长度，512为预设的隐藏神经元数目。在22个时间步的循环输入结束后，经过全连接层进行维度变换，LSTM2单元输出特征向量的维度为(64,22)，其中64是小批量随机梯度下降法的batch_size数，22为物体类别数目。
网络模型得到输入数据之后，LSTM1单元和LSTM2单元循环更新隐含状态。在LSTM的传播过程中，LSTM的隐含状态是元组(ci-1,hi-1)，元组(ci-1,hi-1)初始化为全零张量，隐含状态更新过程如图5所示：
首先根据上一步的隐含状态hi-1(初始状态为全零张量)和输入张量xi进行四个不同的线性变换，分别用不同的函数σ(sigmoid激活函数)和tanh(Tanh激活函数)，输出四个不同的值。
在计算下一步的隐含状态ci时，需要使用ft(通过sigmoid函数结合当前输入张量xt和上一步隐含状态ht-1)控制上一步的隐含状态ci-1流入到下一步的多少。
ft＝σ(Wifxt+bif+Whfht-1+bhf)
在引入上一步信息ht-1的同时，需要使用gt(通过Tanh函数结合当前输入张量xt和上一步隐含状态ht-1)给出当前步引入的信息。
gt＝tanh(Wigxt+big+Whght-1+bhg)
在计算得到gt的同时，需要控制流到神经网络信息的多少，这部分由it(通过sigmoid函数结合当前输入张量xt和上一步隐含状态ht-1)线性变换给出。
it＝σ(Wiixt+bii+Whght-1+bhi)
由此得到新的隐含状态信息cici＝ftci-1+itgt，最后，由ci通过Tanh激活函数计算得到的结果乘以ot(通过sigmoid函数结合当前输入张量xt和上一步隐含状态ht-1)得到新的隐含状态ht，
ot＝σ(Wioxt+bio+Whoht-1+bho)
ht＝ot×tanhci
由于输出结果yt和新的隐含状态ht相等，因此，输出结果yt，
yt＝ht＝ot×tanhci
5)网络模型学习结果
经过网络模型训练以及测试以后，我们的模型取得了良好的效果。其中训练损失(train_loss)图，训练准确率(train_acc)图，测试损失(test_loss)图，测试准确率(test_acc)图如图6、7、8、9所示，由图可以看出，训练损失和测试损失逐步下降，在大约150epochs之后，损失趋于平稳，逐步逼近0，同时训练准确率和测试准确率逐步上升，大约150epochs之后准确率达到较高水平，并逐步逼近1。由于小批量随机梯度下降法的特性，损失和准确率在不断波动，但损失基本在0.1左右，准确率基本稳定在0.95左右。
为了得到数据训练集和测试集上分类效果的差距，把所有结果曲线放到一个图中。如图10所示，由训练损失、准确率和测试损失、准确率曲线综合图可以看出，损失曲线和准确率曲线在训练时和测试基本没有差别，由此可见提出的T-LSTM网络模型没有过拟合或欠拟合问题。
由图11的物体分类混淆矩阵图可以看出，大部分类别分类正确率是100％，主要的分类错误是方海绵(squaresponge)，只有85％的正确率，15％的机率错误识别为圆海绵(roundsponge)。
6)结论
由此，我们可以说，提出的一种触觉数据预处理方法，可以充分识别二维到三维之间的时间关系；提出的T-LSTM网络模型对于触觉数据具有良好的分类效果。
应当指出，对于本技术领域的一般技术人员来说，在不脱离本发明的原理的前提下，还可做出若干改进，这些改进也应视为本发明的保护范围。本实施例中未明确说明的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种基于灵巧手触觉信息的物体分类方法，其特征在于，包括以下步骤：
S1，使用灵巧手搭载NumaTac触觉传感器夹持物体收集触觉数据，构建用于模型训练的数据集；
S2，对S1中收集到的数据集进行数据预处理；
S3，将预处理后的数据随机打乱，并按比例8：2分隔数据集为训练集和测试集两部分；
S4，将训练集、测试集输入T-LSTM网络模型；所述T-LSTM网络模型为使用LSTM网络和全连接层构建的一个T-LSTM物体分类模型，本模型由一个包含3层LSTM网络以及2层全连接层的LSTM1单元和一个3层LSTM网络以及2层全连接层的LSTM2单元组成；
预处理的数据输入T-LSTM网络模型的具体输入流程为：
S41，由预处理后的数据格式，输入三维数据中每一层的二维数据到LSTM1单元的LSTM网络中，对于每一层二维数据大小，每一个时间步输入一个13×1的特征向量，时间序列长度是13，使用小批量随机梯度下降法，每次输入64个样本，LSTM1单元的输入数据维度为(64,13,13)，根据LSTM网络隐含状态更新过程，LSTM网络的输出特征向量维度为(64,13,512)，其中64是小批量随机梯度下降法的batch_size数，13为数据时间序列长度，512为预设的隐藏神经元数目；在13个时间步的循环输入结束后，经过全连接层进行维度变换，输出特征向量维度为(64,44)，其中64是小批量随机梯度下降法的batch_size数，44是预设输出特征数；而每一个三维样本有22层二维数据，所以每一个batch_size的LSTM1单元输出特征向量维度为(64,22,44)；
S42，将LSTM1单元的输出特征向量作为LSTM2单元的输入特征向量，根据LSTM网络隐含状态更新过程，LSTM网络输出特征向量维度为(64,22,512)，其中64是小批量随机梯度下降法的batch_size数，22为数据时间序列长度，512为预设的隐藏神经元数目；在22个时间步的循环输入结束后，经过全连接层进行维度变换，LSTM2单元输出特征向量的维度为(64,22)，其中64是小批量随机梯度下降法的batch_size数，22为物体类别数目；
S5，使用训练集对预先设置T-LSTM的网络模型进行训练，得到训练时物体分类的真实类别与预测类别之间的损失和准确率，其中使用交叉熵损失函数来计算预测标签的概率分布和真实标签的概率分布之间的差异性，准确率被定义为预测正确的样本数/总的样本数；
S6，使用测试集测试训练好的T-LSTM网络，得到测试时物体分类的真实类别与预测类别之间的损失和准确率。
2.根据权利要求1所述的基于灵巧手触觉信息的物体分类方法，其特征在于：
所述S1中，夹持的物体为22类不同的物体，分别是圆海绵，方海绵，毛巾，白线团，抽纸，垃圾袋，三角绷带，黑色绷带，胶水，纸杯，指甲盒，火腿肠，果冻，护手霜，肥皂盒，耳机盒，牙缸盒，印泥盒，透明塑料盒，玻璃瓶，易拉罐，金属圆柱；以这些物体的英文名按首字母排序后的英文名顺序作为样本标签，对22类物体各夹持50次，通过ROS系统命令保存NumaTac触觉传感器传出的微振动信号到计算机，信号采样频率为2200HZ，共1100个.bag样本文件，然后使用matlab读取.bag文件，保存.bag文件中的触觉数据成.csv文件。
3.根据权利要求1所述的基于灵巧手触觉信息的物体分类方法，其特征在于：
所述S2中的数据预处理具体为，只对无效数据进行切除，以及数据重新整形为三维数据，并不对原始数据做其他任何幅值或频率上的改动。
4.据权利要求1所述的基于灵巧手触觉信息的物体分类方法，其特征在于：
所述LSTM网络隐含状态更新过程为，网络模型得到输入数据之后，LSTM1单元和LSTM2单元循环更新隐含状态，在LSTM的传播过程中，LSTM的隐含状态是元组(ci-1,hi-1)，元组(ci-1,hi-1)初始化为全零张量，隐含状态更新过程如下：
a，根据上一步的隐含状态hi-1和输入张量xi进行四个不同的线性变换，分别用不同的函数σ和tanh，输出四个不同的值；
b，在计算下一步的隐含状态ci时，需要使用ft控制上一步的隐含状态ci-1流入到下一步的多少；
ft＝σ(Wifxt+bif+Whfht-1+bhf)
c，在引入上一步信息ht-1的同时，需要使用gt给出当前步引入的信息；
gt＝tanh(Wigxt+big+Whght-1+bhg)
d，在计算得到gt的同时，需要控制流到神经网络信息的多少，这部分由it线性变换给出；
it＝σ(Wiixt+bii+Whiht-1+bhi)
e，由此得到新的隐含状态信息ci＝ftci-1+itgt，最后，由ci通过Tanh激活函数计算得到的结果乘以ot得到新的隐含状态ht，
ot＝σ(Wioxt+bio+Whoht-1+bho)
ht＝ot×tanhci
由于输出结果yt和新的隐含状态ht相等，因此，输出结果yt，
yt＝ht＝ot×tanhci。
CN202011406300.1A 2020-12-04 2020-12-04 一种基于灵巧手触觉信息的物体分类方法 Active CN112529062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011406300.1A CN112529062B (zh) 2020-12-04 2020-12-04 一种基于灵巧手触觉信息的物体分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011406300.1A CN112529062B (zh) 2020-12-04 2020-12-04 一种基于灵巧手触觉信息的物体分类方法

Publications (2)

Publication Number Publication Date
CN112529062A CN112529062A (zh) 2021-03-19
CN112529062B true CN112529062B (zh) 2021-06-15

Family

ID=74998432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011406300.1A Active CN112529062B (zh) 2020-12-04 2020-12-04 一种基于灵巧手触觉信息的物体分类方法

Country Status (1)

Country Link
CN (1) CN112529062B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113334368A (zh) * 2021-06-29 2021-09-03 西安理工大学 一种垃圾分类装置及分类方法
CN113792792B (zh) * 2021-09-15 2023-07-25 厦门大学 一种基于机器人的触觉数据感知分析方法
CN114035680A (zh) * 2021-10-27 2022-02-11 上海电机学院 一种假手感知被抓取物体信息的方法和系统
CN114065806B (zh) * 2021-10-28 2022-12-20 贵州大学 基于脉冲神经网络的机械手触觉数据分类方法
CN114330460B (zh) * 2022-01-12 2023-05-30 齐鲁工业大学 一种基于灵巧手触觉的物体属性识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154150A (zh) * 2017-07-25 2017-09-12 北京航空航天大学 一种基于道路聚类和双层双向lstm的交通流量预测方法
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法
CN110956154A (zh) * 2019-12-11 2020-04-03 哈尔滨高斯触控科技有限公司 一种基于cnn-lstm的振动信息地形分类识别方法
US10755199B2 (en) * 2017-05-30 2020-08-25 Adobe Inc. Introspection network for training neural networks
US10783900B2 (en) * 2014-10-03 2020-09-22 Google Llc Convolutional, long short-term memory, fully connected deep neural networks
US20200338445A1 (en) * 2019-04-26 2020-10-29 Sony Interactive Entertainment LLC Game controller with touchpad input

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516735B (zh) * 2019-08-27 2023-05-26 天津科技大学 一种基于LSTM网络和Adam算法的天然气管道事件分类方法
CN111973193A (zh) * 2020-08-20 2020-11-24 中山大学 一种基于硅酮-镍纳米传感器的步态识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783900B2 (en) * 2014-10-03 2020-09-22 Google Llc Convolutional, long short-term memory, fully connected deep neural networks
US10755199B2 (en) * 2017-05-30 2020-08-25 Adobe Inc. Introspection network for training neural networks
CN107154150A (zh) * 2017-07-25 2017-09-12 北京航空航天大学 一种基于道路聚类和双层双向lstm的交通流量预测方法
US20200338445A1 (en) * 2019-04-26 2020-10-29 Sony Interactive Entertainment LLC Game controller with touchpad input
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法
CN110956154A (zh) * 2019-12-11 2020-04-03 哈尔滨高斯触控科技有限公司 一种基于cnn-lstm的振动信息地形分类识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Deep Learning for Haptic Feedback of Flexible Endoscopic Robot without Prior Knowledge on Sheath Configuration;Xiaoguo Li 等;《International Journal of Mechanical Sciences》;20190903;第1-13页 *
Recognition of Social Touch Gestures Using 3D Convolutional Neural Networks;Nan Zhou、Jun Du;《Chinese Conference on Pattern Recognition》;20161130;第164-173页 *
Using 3D Convolutional Neural Networks for Tactile Object Recognition with Robotic Palpation;Francisco Pastor 等;《Sensors 2019》;20191205;第1-16页 *
图像与图形动态配准的误差检测方法;单东日 等;《机械科学与技术》;20200707;第1-10页 *
基于 CNN-LSTM 的机器人触觉识别与自适应抓取控制;惠文珊 等;《仪器仪表学报》;20190131;第40卷(第1期);第214-215页第3节 *
基于LSTM网络的大雾临近预报模型及应用;苗开超 等;《计算机应用》;20190531;第28卷(第5期);第215-219页 *

Also Published As

Publication number Publication date
CN112529062A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112529062B (zh) 一种基于灵巧手触觉信息的物体分类方法
Adithya et al. A deep convolutional neural network approach for static hand gesture recognition
CN107578014B (zh) 信息处理装置及方法
CN105956351A (zh) 一种基于机器学习的触觉信息分类计算建模方法
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN107862322B (zh) 结合图片和文本进行图片属性分类的方法、装置及系统
CN113792881B (zh) 模型训练方法及装置、电子设备和介质
Ruiz-Garcia et al. Deep learning for emotion recognition in faces
Alameh et al. DCNN for tactile sensory data classification based on transfer learning
Aggarwal A review: deep learning technique for image classification
Kumar et al. Static hand gesture recognition using stacked denoising sparse autoencoders
Mutegeki et al. Feature-representation transfer learning for human activity recognition
CN107229921A (zh) 基于Hausdorff距离的动态手势识别方法
Debard et al. Learning to recognize touch gestures: Recurrent vs. convolutional features and dynamic sampling
CN109308316A (zh) 一种基于主题聚类的自适应对话生成系统
Sahoo et al. DeReFNet: Dual-stream Dense Residual Fusion Network for static hand gesture recognition
CN114925320B (zh) 一种数据处理方法及相关装置
CN112860907B (zh) 一种情感分类方法及设备
Li et al. Enhancing representation of deep features for sensor-based activity recognition
Shah et al. Real-time facial emotion recognition
Mishra et al. CNN based efficient image classification system for smartphone device
CN113779244A (zh) 文档情感分类方法、装置、存储介质以及电子设备
CN112801283A (zh) 一种神经网络模型、动作识别方法、装置及存储介质
Li et al. Robot grasping stability prediction network based on feature-fusion and feature-reconstruction of tactile information
Suteja Application of Neural Network in Letter Recognition Using the Perceptron Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant