CN115358261A - 基于脉冲时间序列误差反向传播的触觉物体识别方法 - Google Patents

Abstract

本发明提出了一种基于脉冲时间序列误差反向传播的触觉物体识别方法，包括：S‑A，搭建基于脉冲神经元的脉冲神经网络模型；S‑B，将用于模型训练的触觉数据输入脉冲神经网络模型，并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练，根据计算所得的梯度来迭代更新直到得到最优的网络权重参数，最终得到训练完毕的脉冲神经网络模型；S‑C，将待识别的触觉数据输入神经网络模型，输出物体识别结果。本发明能够方法能很好处理离散的触觉数据信息，且考虑了触觉数据的时间动态信息以及计算成本较高的问题，从而实现机器人触觉物体识别效果大大提高，具有高效率、高准确率、低耗能等优点。

Description

基于脉冲时间序列误差反向传播的触觉物体识别方法

技术领域

本发明涉及物体识别领域，特别是涉及一种基于脉冲时间序列误差反向传播的触觉物体识别方法。

背景技术

物体识别作为一项基本的感知技能成为机器视觉领域的热门，但是在处于黑暗等不利于视觉条件的情况下，触觉作为机器人对环境感知的一种方式，例如在接触物体时提供的纹理、粗糙度等信息，可以应用在物体识别、纹理识别等各种任务中。针对在机器人手臂装备的受生物启发的具有时间信息的触觉事件传感器生成的离散触觉数据，现有的传统深度学习方法往往不能很好的处理离散的脉冲数据，计算成本较高，还会丢失很多的时间动态信息，导致触觉的物体识别效果不理想。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于脉冲时间序列误差反向传播的触觉物体识别方法。

为了实现本发明的上述目的，本发明提供了一种基于脉冲时间序列误差反向传播的触觉物体识别方法，包括：

S-A，搭建基于脉冲神经元的脉冲神经网络模型；

S-B，将用于模型训练的触觉数据输入脉冲神经网络模型，并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练，以最小化损失函数，根据计算所得的梯度来迭代更新直到得到最优的网络权重参数，最终得到训练完毕的脉冲神经网络模型；

S-C，将待识别的触觉数据输入神经网络模型，输出物体识别结果。

所述触觉数据通过机器人的触觉传感器采集。

还包括：对采集的触觉数据进行处理：

通过触觉传感器电压信号的变化计算当前传感器所属子区域受到的压力Pr_area，

然后判断子区域所属区域，判断当前子区域与关联的子区域的平面夹角是否超过最大阈值角，若不超过，则判定为同一个区域；若超过，则判定为另一个区域；

求取同一区域下的子区域平均压力，并做受力合理性分析；若不合理则剔除当前数据并以平均压力数值代替，由此得到不同区域下的子区域所受压力Pr_area_Label；

对Pr_area_Label进行小波变换处理，用于增加数据的细节；

然后对长短不一的数据进行剪切、压缩处理，得到长短一致的触觉数据。

进一步地，所述S-A包括：

当膜电位u(t)达到阈值V_th时，脉冲神经元将激发脉冲，之后膜电位落回至静息电位u_reset；否则，脉冲神经元更新膜电位；

使用一阶突触模型作为脉冲响应函数，在网络传播过程中，当前网络层所有神经元的输出脉冲序列经过一阶突触模型后得到的PSC序列矩阵作为下一层神经元的输入，神经元i的经过一阶突触模型后电流为：

P_i(t)＝(∈*s_i)(t) (4)

其中P_i(t)表示神经元i在t时刻的突触后电流；

∈是脉冲响应核；

s_i表示神经元i的输出脉冲序列；

t表示t时刻；

所述一阶突触模型为：

其中τ_{s_t}是突触时间常数；

s_i(t)表示神经元i在t时刻的输出脉冲序列。

神经元i在t时刻的膜电位函数表示为：

其中τ_{m_t}是膜时间常数；

u_i(t)表示神经元i在t时刻的膜电位；

R表示细胞膜的阻抗；

ω_ij是从突触前神经元j到突触后神经元i的突触权重；

P_j(t)是由突触前神经元j的脉冲响应得到的突触后电流PSC；

u_{i_reset}(t)表示神经元模型激发脉冲后的复位函数；

所述脉冲神经元更新膜电位的表达式为：

将R和τ_{m_t}的值被缩放到突触权重ω_ij中；u_i(t-1)表示神经元i在t-1时刻的膜电位，u_{i_reset}(t)表示神经元模型激发脉冲后的复位函数。

复位函数表达式：

u_{i_reset}(t)＝(ν*s_i)(t) (8)

其中ν是膜电位复位内核。

使用阶跃函数来表示当神经元接收输入刺激后膜电位达到阈值并激发脉冲的输出：

H(·)表示海维赛德阶跃函数；

u_i(t)是神经元i在t时刻的膜电位；

V_th是神经元激发脉冲的阈值。

进一步地，所述将用于模型训练的触觉数据输入脉冲神经网络模型包括以下步骤：

B-1，脉冲神经网络模型的TAG图卷积层根据触觉传感器中每个触觉像素点的空间排列构建触觉图，然后利用点的空间几何构型计算两节点间的欧几里得度量来构造边；

B-2，脉冲神经网络模型的Dropout层将C-1得到的数据进行正则化操作，用于防止网络过拟合；

B-3，脉冲神经网络模型的全连接层进行数据分类，最终得到物体识别结果。

所述脉冲神经网络模型包括TAG图卷积层，Dropout层，两个全连接层和一个投票层；TAG图卷积层与Dropout层相连，Dropout层与两个全连接层相连，两个全连接层与投票层相连。

进一步地，所述构建触觉图是通过拓扑自适应图卷积TAG操作来获取触觉数据的空间特征；

通过一组局部特征的可学习滤波器G_c,f来对图进行卷积，当滤波器扫描图形以执行卷积操作时，会自适应图形的拓扑结构。拓扑自适应图卷积TAG在顶点分类问题的分类精度方面相较于传统的卷积神经网络CNN具有显著的性能优势。

所述构造边是通过最小生成树或k-近邻算法来构造触觉图的边。

进一步地，还包括：

在网络传播过程中，需要同时考虑网络层与层之间的空间信息和时间域上的神经元状态，通过神经元间和神经元内的依赖关系分情况计算误差损失：

1)突触后神经元对其任何突触前神经元的时间依赖仅通过突触前神经元激发的脉冲导致突触后电位变化影响到突触后的神经元状态被视为神经元间的依赖关系；

2)突触脉冲的激发时间会通过神经元内的时间依赖影响同一突触神经元紧接着的脉冲的激发时间。

进一步地，包括：

脉冲神经网络模型的第n层根据链式法则，可以得到梯度的精确值

其中，

为均方误差损失总和；

W⁽ⁿ⁾表示第n层的权重矩阵；

N_T为总时间步长；

t_k表示第k个时刻，t_m表示第m个时刻，t_m≤t_k；

表示误差；u⁽ⁿ⁾[t_m]表示第n层神经元t_m时刻的膜电位；

P^(n-1)表示n-1层即上一层的突触后电流。

进一步地，所述误差

包括：

当脉冲神经网络模型的第n层为输出层时：

当脉冲神经网络模型的第n层为隐藏层时：

其中N_T为总时间步长；

t_k表示第k个时刻，t_m表示第m个时刻，t_m≤t_k；

P^(n-1)表示n层即当前层的突触后电流。

进一步地，还包括：

对训练完毕的脉冲神经网络模型进行评价，评价指标包括损失和识别准确率对比。

综上所述，由于采用了上述技术方案，本发明能够方法能很好处理离散的触觉数据信息，且考虑了触觉数据的时间动态信息以及计算成本较高的问题，从而实现机器人触觉物体识别效果大大提高，具有高效率、高准确率、低耗能等优点。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明脉冲神经网络模型示意图。

图2是本发明触觉数据在脉冲神经网络模型传播流程图。

图3是本发明具体实施例基于触觉传感器的39-taxels构造的触觉图。

图4是本发明脉冲神经网络两层之间的前向传播示意图。

图5是本发明神经元间和神经元内的依赖示意图。

图6是本发明模型与TactileSGNet模型的损失对比图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

针对事件驱动的传感器用于触觉的物体识别任务，搭建的一个具有事件驱动特性、丰富的时空领域动力学特性的脉冲神经网络模型，应用能够处理连续脉冲的脉冲时间序列误差反向传播方法来实现触觉物体识别。基于脉冲神经网络的触觉物体识别方法提供了一种与事件数据学习相竞争的方法，具有丰富的时空领域的动力学特性和事件驱动的优势，可以直接处理离散脉冲，因此具有高时间分辨率、低延迟和低功耗的特性。与传统的人工神经网络的反向传播方法相比，现有的脉冲神经网络反向传播方法都缺乏对脉冲不连续的适当处理，而脉冲时间序列误差反向传播方法将误差反向传播分解为两种类型的神经元依赖关系：神经元间和神经元内的依赖。它通过考虑突触前神经元激发脉冲时激发活动的特性来捕捉空间层面的神经元间依赖关系；并通过考虑每个神经元状态的在时间维度上的状态演变，即通过捕捉同一突触前神经元的不同激发脉冲的时间的神经元内依赖关系而间接影响其突触后神经元活动，从而提高了时间学习精度，能够更好的处理基于事件的传感器获取的事件数据。

首先，根据触觉传感器每个触觉像素点(taxels)的空间排列构建触觉图，假设G＝(V,E)，V代表节点的集合，E代表一组无向边，然后利用点的空间几何构型，通过计算两节点间的欧几里得度量d(v_i,v_j)＝||v_i-v_j||₂来引入边，其中||·||₂表示二范数。例如最小生成树算法或k-近邻算法。在这里，我们使用k-近邻算法来构造触觉图的边，应用拓扑自适应图卷积TAG操作来获取触觉数据的空间特征。

拓扑自适应图卷积TAG是在顶点域定义的图卷积操作，可以通过一组(共K个)提取大小从1到大小为K的接收域上的局部特征的可学习滤波器G_c,f来对图进行卷积，当滤波器扫描图形以执行卷积操作时，会自适应图形的拓扑结构。拓扑自适应图卷积TAG与传统的卷积神经网络CNN中用于网格结构数据的卷积特性一致，取代了传统CNN中的固定平方滤波器，而且还不需要对卷积进行近似，因此，拓扑自适应图卷积TAG在顶点分类问题的分类精度方面具有显著的性能优势。

一个TAG图卷积的定义：

其中Z_f表示第f个输出的特征图；X_c表示节点的第c个输入特征；G_c,f表示f个图滤波器；

表示所有节点的输入特征X_c与图滤波器G_c,f的卷积；C表示每个节点的输入特征数；b_f表示可学习的偏置值。

图滤波器使用图的归一化邻接矩阵来定义：

其中g_c,f,k是图滤波器G_c,f的多项式，共有K个图卷积核分别提取不同尺寸的局部特征；A是图的归一化邻接矩阵。

其次，建立LIF(leaky integrate-and-fire)脉冲神经元模型，它的神经元动力学可以用等式(3)表示：

其中τ_{m_t}是膜时间常数，u(t)是神经元膜电位，u_reset是静息电位，R、I(t)分别表示细胞膜的阻抗与输入电流。

LIF神经元的激发过程：当膜电位u(t)达到阈值V_th时，神经元将激发脉冲，之后膜电位落回至静息电位u_reset；否则，神经元接收突触输入I(t)根据等式(3)更新膜电位。神经元激发脉冲的阈值为V_th为一个定值。

使用一阶突触模型作为脉冲响应函数，在网络传播过程中，当前网络层所有神经元的输出脉冲序列经过一阶突触模型后得到的PSC序列矩阵作为下一层神经元的输入。本文中的神经元即脉冲神经元。神经元i的经过一阶突触模型后电流为：

P_i(t)＝(∈*s_i)(t) (4)

其中∈是脉冲响应核，s_i表示神经元i的输出脉冲序列。

一阶突触模型表达式：

τ_{s_t}是突触时间常数。

因此，神经元i在t时刻的膜电位函数表示为：

其中τ_{m_t}是膜时间常数，u_i(t)表示神经元i在t时刻的膜电位，R表示细胞膜的阻抗；u_{i_reset}(t)表示神经元模型激发脉冲后的复位函数；ω_ij是从突触前神经元j到突触后神经元i的突触权重，P_j(t)是由突触前神经元j的脉冲响应得到的(未加权)突触后电流PSC。

综合以上等式，我们使用固定步长的欧拉方法解等式(6)，得到脉冲神经元膜电位更新表达式：

将R和τ_{m_t}的值被缩放到突触权重ω_ij中；u_i(t-1)表示神经元i在t-1时刻的膜电位，u_{i_reset}(t)表示神经元模型激发脉冲后的复位函数。

复位函数表达式：

u_{i_reset}(t)＝(ν*s_i)(t) (8)

其中ν是膜电位复位内核。

使用阶跃函数来表示当神经元接收输入刺激后膜电位达到阈值并激发脉冲的输出：

V_th是神经元激发脉冲的阈值，u_i(t)是神经元i在t时刻的膜电位，H(·)表示海维赛德阶跃函数。

然后，应用脉冲时间序列学习的误差反向传播方法来处理连续的脉冲进行网络模型的训练。脉冲神经网络模型的前向传播过程描述为：当触觉数据在网络模型中传播时，在第n-1层神经元生成的脉冲序列

其中，

表示第n-1层的第一个神经元的输出脉冲序列，N_n-1表示当前第n-1层的脉冲神经元总个数。脉冲序列经过一阶突触模型的脉冲响应函数生成突触后电流(PSC)序列：

P₁ ^(n-1)[t]表示第n-1层的第一个神经元的神经元膜电位，经过等式(7)进行膜电位更新并输出第n层的脉冲序列

第n层输出的膜电位序列

表示第n层的第一个神经元的神经元膜电位，N_n表示第n层的神经元总个数。

通过计算每一个输出神经元(神经网络输出层的神经元)在每一个时间步长上的总均方损失E[t_k]作为误差损失函数来训练我们的网络，即根据标签生成期望的脉冲序列d＝[d[t₀],d[t₁],…,d[t_T]]与模型最后实际输出的脉冲序列o＝[o[t₀],o[t₁],…,o[t_T]]在总时间步长N_T上的均方误差损失总和。其中d[t]表示t时刻所有输出层神经元期望的输出脉冲序列，o[t]表示t时刻所有输出层神经元实际的输出脉冲序列。

其中

为均方误差损失总和，N_T为总时间步长，E[t_k]是基于时间t_k处的输出层激发的脉冲，它进一步依赖于所有的神经元在时间窗口T内的神经元膜电位u[t]，(t≤t_k)。d[t_k]表示t时刻第k个输出层神经元期望的输出脉冲序列，o[t_k]表示t时刻第k个输出层神经元实际的输出脉冲序列。

在网络传播过程中，需要同时考虑网络层与层之间的空间信息和时间域上的神经元状态。具体做法是通过两种类型的神经元依赖：神经元间和神经元内的依赖，通过这两个依赖关系分情况计算误差损失。1)突触后神经元对其任何突触前神经元的时间依赖仅通过突触前神经元激发的脉冲导致突触后电位变化影响到突触后的神经元状态被视为神经元间的依赖关系(前层神经元传至后层神经元的过程)；2)突触脉冲的激发时间会通过神经元内的时间依赖影响同一突触神经元紧接着的脉冲的激发时间。

对第n层而言，根据链式法则，综合等式(4)-(10)可以得到：

其中，t_m≤t_k，N_T为总时间步长，W⁽ⁿ⁾表示第n层的权重矩阵，因此，一旦

已知，就可以计算梯度的精确值。

其中，当n为输出层时：

当n为隐藏层时：误差

从第l+1层映射到第l层，第l层神经元的膜电位u[t]影响其(未加权)相应的突触后电流(PSC)，而突触后电流(PSC)P⁽ⁿ⁾会进一步影响下一层n+1层的神经元膜电位：

其中t_k表示第k个时刻，t_m表示第m个时刻。

本发明方法在基于事件的触觉传感器NeuTouch触摸物体产生的两个触觉数据集：EvTouch-Objects和EvTouch-Containers上验证。

EvTouch-Objects：该数据集包含36个家居物品的触觉数据。在这些对象中，有26个是来自YCB数据集，其余10个对象是可形变的对象来YCB数据集作为补充，该数据集包含720个样本。

EvTouch-Containers：该数据集包含四种容器的重量分类触觉数据：咖啡罐，塑料苏打瓶，豆浆盒，和金属金枪鱼罐。每个容器按比例{0％、25％、50％、75％、100％)装水，一共20个目标类别。

表1展示了我们的脉冲神经网络模型和应用的误差反向传播方法与其他三个网络模型的实验对于物体识别和物体重量识别的准确率对比。

表1.我们的模型与其他三种模型在两种数据集的准确率

Method	EvTouch-Objects	EvTouch-Containers
			MLP	85.97	58.83
GCN	85.14	58.83
			TactileSGNet	88.96	64.17
Our_Net	91.67	68.33

表格中的方法使用的都是相同大小的网络结构，其中，MLP表示用标准的全连接层替换TAG拓扑自适应图卷积层；GCN是用标准的图卷积替换了TAG拓扑自适应图卷积；TactileSGNet使用的是近似导数的方法代替作为脉冲神经网络的梯度曲线。我们提出的方法相比于其他的三个网络模型在两个触觉数据集上的识别准确率都有大于2％的提升。

图1为本发明脉冲神经网络模型示意图，包括TAG图卷积层，Dropout层，两个全连接层和一个投票层。将数据按照时间维度传入脉冲神经网络模型中，经过图卷积层，Dropout层，全连接层，输出层(投票层)得到脉冲序列的结果，通过脉冲时间序列误差反向传播方法计算梯度，来进行触觉上的物体分类。

图2显示了触觉数据在网络模型中处理流程，它表示在包含总时间步长的触觉数据脉冲序列作为网络模型的输入，经TAG图卷积自适应提取触觉图特征，经过Dropout层的正则化操作可以适当防止网络过拟合，然后由三层全连接层得到网络模型的输出结果，虚线表示通过脉冲时间序列误差反向传播方法来学习网络模型的参数，使网络模型达到最佳性能。

具体实施例如下：

首先，根据公式(4)-(9)建立脉冲神经元模型，以图1所示的模型结构图搭建脉冲神经网络模型，然后将触觉数据作为网络的输入，利用脉冲时间序列的误差反向传播方法计算梯度，以最小化损失函数，根据计算所得的梯度来迭代更新直到得到最优的网络权重参数。具体步骤如下：

步骤S1：准备预处理好的触觉数据，将触觉传感器采集的数据经过处理得到具有有效的触觉信息的数据后，数据提供者将触觉数据预处理分成两组数据集分别作为训练集和测试集。在本实例中，使用的是基于事件驱动的触觉传感器NeuTouch收集的含有36类日常生活物品的EvTouch-Objects，共计720条数据，以4：1的比例分成训练集和测试集，训练集作为网络模型的输入用于训练模型得到最优的权重参数。

步骤S2：根据触觉传感器的底层触觉像素点(taxels)排列构建触觉图，设G＝(V,E)，V代表节点的集合，E代表一组无向边，然后利用点的空间几何构型计算两节点间的欧几里得度量d(v_i,v_j)＝||v_i-v_j||₂来构造边。在本实例中，根据NeuTouch触觉传感器的底层的39个触觉像素点的空间排列，如图3所示；我们以传感器最中心点建立坐标轴，来确定每个触觉像素点的相对位置，计算每个节点间的欧几里得距离来确定节点间的关联程度，然后使用k-近邻算法来建立触觉图的边。

步骤S3：建立脉冲神经网络模型的基本单元——LIF(leaky integrate-and-fire)脉冲神经元模型。根据等式(4)-(9)建立LIF脉冲神经元的时空动力学模型：当神经元膜电位u(t)达到给定的激发脉冲阈值V_th时，神经元将激发脉冲，输出s_i(t)＝1，之后膜电位落回至静息电位u_reset；否则，当前神经元接收到的前突触神经元输入根据等式(7)更新膜电位。在本实例中，我们将膜电位激发脉冲阈值初始化为V_th为0.5，膜时间常数τ_{m_t}为8，突触时间常数τ_{s_t}为3。

步骤S4：搭建脉冲神经网络模型，脉冲神经网络模型的两层全连接层之间的前向传播过程如图4所示，其可以描述为：当触觉数据在网络模型中传播时，在第n-1层的脉冲神经元接收输入刺激后产生神经元膜电位变化生成的脉冲序列

作为第n层脉冲神经元的输入，经过一阶突触模型的脉冲响应函数(等式(4))生成突触后电流(PSC)序列：

经过等式(7)进行膜电位更新，第n层神经元在时间t式的膜电位变化且膜电位大于给定的阈值V_th时，则神经元s_i(t)＝1，否则s_i(t)＝0，直到所有时间步长结束时得到最后的输出脉冲序列

第n层输出的膜电位序列

步骤S5：通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练。首先通过数据标签得到准确的脉冲序列d＝[d[t₀],…,d[t_T]]，通过等式(10)计算数据标签的脉冲序列与网络模型最后输出结果的脉冲序列的均方误差损失，如图5所示的两种神经元依赖，判断层与层之间、前一时间步长和后一时间步长的神经元是否激发脉冲的神经状态确定是否满足两种依赖关系根据等式(11-12)来准确计算梯度，经过多次训练迭代来更新网络参数，直到神经网络学习到针对该数据的最优权重参数。在本实施例中，我们将准备好的训练样本标签生成对应的脉冲序列，然后将训练样本作为网络输入，训练迭代次数为100，每次训练迭代都通过梯度更新最小化损失函数等式(10)，用AdamW优化器优化网络权重参数。

步骤S6：对训练好的脉冲神经网络模型进行评价，评价指标包括损失和识别准确率对比。在本实例中，我们通过在数据集EvTouch-Objects上的实验，与使用近似函数代替脉冲导数的方法TactileSGNet网络进行了对比，图6展示了我们的网络模型和TactileSGNet网络模型的损失，表2展示了准确率对比。

表2.我们的模型与TactileSGNet在数据集EvTouch-Objects的准确率

Method	EvTouch-Objects
		TactileSGNet	88.96
Our_Net	91.67

这都说明我们的脉冲神经网络模型对于TactileSGNet模型在触觉数据集EvTouch-Objects上的表现更好，与TactileSGNet模型对比我们的物体识别准确率提升将近3％。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，包括：

S-A，搭建基于脉冲神经元的脉冲神经网络模型；

S-B，将用于模型训练的触觉数据输入脉冲神经网络模型，并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练，根据计算所得的梯度来迭代更新直到得到最优的网络权重参数，最终得到训练完毕的脉冲神经网络模型；

S-C，将待识别的触觉数据输入神经网络模型，输出物体识别结果。

2.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，所述S-A包括：

当膜电位u(t)达到阈值V_th时，脉冲神经元将激发脉冲，之后膜电位落回至静息电位u_reset；否则，脉冲神经元更新膜电位；

使用一阶突触模型作为脉冲响应函数，在网络传播过程中，当前网络层所有神经元的输出脉冲序列经过一阶突触模型后得到的PSC序列矩阵作为下一层神经元的输入，神经元i的经过一阶突触模型后电流为：

P_i(t)＝(∈*s_i)(t) (4)

其中P_i(t)表示神经元i在t时刻的突触后电流；

∈是脉冲响应核；

s_i表示神经元i的输出脉冲序列；

t表示t时刻；

神经元i在t时刻的膜电位函数表示为：

其中τ_{m_t}是膜时间常数；

u_i(t)表示神经元i在t时刻的膜电位；

R表示细胞膜的阻抗；

ω_ij是从突触前神经元j到突触后神经元i的突触权重；

P_j(t)是由突触前神经元j的脉冲响应得到的突触后电流PSC；

u_{i_reset}(t)表示神经元模型激发脉冲后的复位函数。

3.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，所述将用于模型训练的触觉数据输入脉冲神经网络模型包括以下步骤：

B-1，脉冲神经网络模型的TAG图卷积层根据触觉传感器中每个触觉像素点的空间排列构建触觉图，然后利用点的空间几何构型计算两节点间的欧几里得度量来构造边；

B-2，脉冲神经网络模型的Dropout层将C-1得到的数据进行正则化操作，用于防止网络过拟合；

B-3，脉冲神经网络模型的全连接层进行数据分类，最终得到物体识别结果。

4.根据权利要求3所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，所述构建触觉图是通过拓扑自适应图卷积TAG操作来获取触觉数据的空间特征；

所述构造边是通过最小生成树或k-近邻算法来构造触觉图的边。

5.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，还包括：

通过神经元间和神经元内的依赖关系分情况计算误差损失：

突触后神经元激发脉冲的时间到突触后神经元膜电位变化影响

1)神经元间的依赖：突触后神经元对其任何突触前神经元的时间依赖是由于突触前神经元输出的脉冲序列产生的突触后电流PSC；

2)突触脉冲的激发时间会通过神经元内的时间依赖影响同一突触神经元紧接着的脉冲的激发时间。

6.根据权利要求5所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，包括：

脉冲神经网络模型的第n层根据链式法则，可以得到梯度的精确值

其中，

为均方误差损失总和；

W⁽ⁿ⁾表示第n层的权重矩阵；

N_T为总时间步长；

t_k表示第k个时刻，t_m表示第m个时刻，t_m≤t_k；

表示误差；

u⁽ⁿ⁾[t_m]表示第n层神经元t_m时刻的膜电位；

P^(n-1)表示n-1层即上一层的突触后电流。

7.根据权利要求6所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，所述误差

包括：

当脉冲神经网络模型的第n层为输出层时：

当脉冲神经网络模型的第n层为隐藏层时：

其中N_T为总时间步长；

t_k表示第k个时刻，t_m表示第m个时刻，t_m≤t_k；

P^(n-1)表示n层即当前层的突触后电流。

8.根据权利要求1所述的一种基于脉冲时间序列误差反向传播的触觉物体识别方法，其特征在于，还包括：

对训练完毕的脉冲神经网络模型进行评价，评价指标包括损失和识别准确率对比。

Images