CN115223243A - 手势识别系统与方法 - Google Patents

手势识别系统与方法 Download PDF

Info

Publication number
CN115223243A
CN115223243A CN202210810308.7A CN202210810308A CN115223243A CN 115223243 A CN115223243 A CN 115223243A CN 202210810308 A CN202210810308 A CN 202210810308A CN 115223243 A CN115223243 A CN 115223243A
Authority
CN
China
Prior art keywords
neuron
neurons
layer
gesture
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210810308.7A
Other languages
English (en)
Inventor
杨旭
朱艺菲
雷云霖
张禹
王淼
蔡建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210810308.7A priority Critical patent/CN115223243A/zh
Publication of CN115223243A publication Critical patent/CN115223243A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种手势识别系统，包括：输入模块、卷积特征提取模块和控制系统模块。其中输入模块利用事件相机实时捕捉手势图像事件流作为输入。卷积特征提取模块是一个卷积神经网络，用于从输入图像数据中提取结构特征。使用这类信息，网络能够识别出图像中手势较为重要的特征信息，并仅将这部分图像传输至下一个模块。控制系统模块由神经回路策略网络实现，由四层神经元构成，分别实现承接卷积网络的图像特征，构造循环连接结构和最终输出手势含义的功能。本发明将神经回路策略应用于视听辅助系统的手势识别，拥有较高的计算效率，有利于对时间序列建模，在更小的参数量下却有更好的效果，具有鲁棒性和较强的可解释性，不容易受到噪声的干扰。

Description

手势识别系统与方法
技术领域
本发明属于人工智能、神经网络以及模式识别技术领域，特别涉及一种手势识别系统与方法。
背景技术
由于手势交互的自然与便利，在众多领域均可进行应用。例如，在智能交通领域，手势识别能够实现驾驶员与车载电脑的快速交互，并且近年来自动驾驶技术迎来了突飞猛进的发展，加入对交警手势的识别将进一步完善现有的自动驾驶技术。在智能家居领域，手势识别将可以与语音控制成为一对互补的交互方式，实现智能家居更加自然的控制。在手语识别领域，通过移动端设备就可以检测并识别出聋哑人手语含义，对于解决聋哑人交流困难等问题具有革命性的意义。
早期实现手势识别除了传统浅层网络外主要是基于限制玻尔兹曼机的深度学习网络或基于LeNet-5卷积神经网络的深度学习网络实现的，或者其他基于深度学习改进的方法。这些深度学习的方法虽然性能要优于传统浅层网络，但往往需要大量运算。这样的做法不但带来巨额的运算量，其耗时也较长，精度也较低，几乎不可能在节能、硬件算力一般的前提下保证准确性和时效性。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种手势识别系统与方法，基于神经回路策略构建，可大量减小对算力的需求，提高处理速度和智能特性，并提高识别准确性。
为了实现上述目的，本发明采用的技术方案是：
手势识别系统，其特征在于，包括：
输入模块，利用事件相机实时捕捉手势图像；
卷积特征提取模块，为一个卷积神经网络，包括卷积层、池化层和全连接层，用于从所述手势图像的像素中提取数字结构特征，从而得到特征向量序列；
控制系统模块，由神经回路策略网络实现，所述神经回路策略网络由四层神经元构成，依次为感知层、中转层、控制层和驱动层；所述感知层的神经元为感官神经元，所述中转层的神经元为中间神经元，所述控制层的神经元为指令神经元，所述驱动层的神经元为运动神经元；所述中间神经元与感官神经元和指令神经元均建立突触连接；所述指令神经元与中间神经元和运动神经元均建立突触连接，并与其它指令神经元建立自反馈突触连接，以形成循环连接结构；
所述感官神经元用于接收所述特征向量序列，将特征向量序列转化为脉冲信号，刺激中间神经元，即向所述中间神经元发出抑制信号或激发信号；
所述中间神经元用于所述特征向量序列进行转义，向所述指令神经元发出抑制信号或激发信号；
所述指令神经元进行时序信息的保存与决策，在控制层建立自循环，同时刺激所述运动神经元，向所述运动神经元以及所述其它指令神经元发出抑制信号或激发信号；
所述运动神经元依据自身脉冲信号高低，输出代表手势种类的数字编码序列，从而判断出手势识别的结果。
本发明还提供了基于所述手势识别系统的手势识别方法，包括如下步骤：
步骤1)通过事件相机实时捕捉手势图像；
步骤2)利用卷积特征提取模块对手势图像进行卷积和池化操作，提取输入图像中的手势特征，并编码得到特征向量序列；
步骤3)感知层接收所述特征向量序列后，借助两种正负极性的突触向下一层传递抑制信号或激发信号，并且根据突触的权重和极性，控制脉冲延时长短，动态更新目标神经元的膜电位，信号从感知层经过中转层向控制层传递，接着循环传递并输出到驱动层，驱动层更新所有神经元的状态，各个运动神经元经非线性激活函数计算出输出膜电位，其中膜电位最高的仿生神经元对应的手势即为系统识别出来的手势，由此完成手势识别。
与现有技术相比，本发明的有益效果是：
1.本方法通过构建四层神经回路策略网络，能够高效准确地完成手势识别，与当前时期其他技术相比，本方法对硬件算力要求更低，能够拥有较高的计算效率，只需要少量神经元便能达到较好的效果。
2.本方法利用多级神经元延时级联结构，使用脉冲传递信息，反应更灵活，速度更快，同时更加节能。使用具有非线性时变特性的仿生神经元，有利于对时间序列建模。
3.本方法具有鲁棒性和较强的可解释性，不容易受到噪声的干扰，即模型能较稳定的关注手势更加关键的信息，进而提高识别的准确性。
4.本方法是第三代神经网络在手势识别中的一种具体实现，与当前时期其他技术相比，本方法的工作原理更接近神经细胞的功能原理，具有更先进的理论支撑，在人工智能领域有更多发展潜力。
附图说明
图1是本发明原理框图。
图2是神经回路策略网络的基本模型。
图3、图4、图5是神经回路策略网络结构设计所遵循的3个规则。
图6是输出判断手势类型的示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式，本实施例详细阐述了用基于神经回路策略构建的手势识别系统在手势识别训练集DvsGesture情况下具体实施时的例子。
DvsGesture是真实场景下用于姿态识别的数据集，一共包含29名受试者在三种照明条件下的11种手势，下面是类值与手势的对应方式：1：拍手；2：右手摇晃；3：左手摇晃；4：右臂顺时针；5：右臂逆时针；6：左臂顺时针；7：左臂逆时针；8：手臂滚动；9：空气鼓；10：空气吉他；11：其他手势
本发明手势识别功能的系统框架，基于神经回路策略构建(NCP)，采用卷积神经网络和四层神经回路策略网络，功能上其包括捕捉手势图像事件流的输入模块，从输入图像像素中提取结构特征的卷积特征提取模块，由四层神经回路策略网络实现，最终输出手势含义的控制系统模块。
各模块的具体架构和功能参考图1：
输入模块，采用事件相机实时捕捉手势图像作为输入。具体地，通过异步监察每个像素感知器的亮度变化情况，多个像素变化就产生了事件流，从而捕捉到手势图像事件流，并输出为AER格式图像。将事件作为一个一个单独的向量序列输入到卷积特征提取模块，每个向量序列都是事件流的展开表示。
卷积特征提取模块，是一个紧凑的卷积神经网络，包括卷积层、池化层和全连接层，用于从输入图像的像素中提取数字结构特征，其对事件流手势图像进行卷积，池化，全连接等操作，得到图像对应的特征向量序列。具体地，每个向量序列将通过两个卷积层，一个池化层和一个全连接层，其中第一层卷积层用于识别出图像中手势较为重要的特征信息，并仅将这部分图像信息传输至下一个模块。
控制系统模块，由神经回路策略网络实现，神经回路策略网络由四层神经元构成，依次为感知层、中转层、控制层和驱动层。感知层的神经元为感官神经元，中转层的神经元为中间神经元，控制层的神经元为指令神经元，驱动层的神经元为运动神经元；中间神经元与感官神经元和指令神经元均建立突触连接；指令神经元与中间神经元和运动神经元均建立突触连接，并与其它指令神经元建立自反馈突触连接，以形成循环连接结构。
神经回路策略网络创建仿生神经元，并在仿生神经元之间建立可以传递抑制和激发信号的突触，突触通过突触间异步的双极性信号传递改变目标仿生神经元的状态，仿生神经元的状态更新对应了图像特征向量脉冲信号的处理。
具体地，感官神经元接收特征向量序列，将特征向量序列转化为脉冲信号，刺激中间神经元，向中间神经元发出抑制信号或激发信号。中间神经元用于对得到的特征向量序列进行转义，向指令神经元发出抑制信号或激发信号；指令神经元进行时序信息的保存与决策，在控制层建立自循环，同时刺激运动神经元，向运动神经元及其它指令神经元发出抑制信号或激发信号；驱动层的运动神经元依据自身脉冲信号高低，输出代表手势种类的数字编码序列，从而判断出手势识别的结果。其具体包括用于实现承接卷积网络的图像特征，构造类似 RNN循环连接结构和最终输出手势含义。
在本发明控制系统模块中，各仿生神经元使用膜电位表示神经元状态，用微分方程动态更新膜电位，神经元状态由当前膜电位和上层神经元到当前神经元的输入突触的作用共同决定，且仿生神经元之间连接的突触具有不同的权重和两种极性，其中正极性的突触会使得目标神经元膜电位上升，负极性的突触则会使目标神经元膜电位下降，因此不同突触对目标神经元的膜电位影响不同。
其中，更新膜电位的微分方程表示如下：
Figure BDA0003740542870000051
其中xi是神经元i的当前状态，即膜电位，
Figure BDA0003740542870000052
是具有泄漏电导
Figure BDA0003740542870000053
的神经元i的时间常数，在不同仿生神经元上τi不同，从而保证了膜电位变化的异步性，wij是从神经元j到神经元i的突触权重，
Figure BDA0003740542870000056
是膜电容，σi(xj)是神经元激活函数，与信号强度正相关，
Figure BDA0003740542870000054
是静息电位，Eij是逆转突触电位，Eij定义了突触的极性，仿生神经元的整体耦合灵敏度即时间常数由
Figure BDA0003740542870000055
定义，该时间常数可变，确定了决策过程中仿生神经元的反应速度。
本发明中，感知层的感官神经元数目Ns等于卷积特征提取模块输出的特征向量序列长度，中间神经元的数量为Ni，指令神经元的数量为Nc，运动神经元的数量为Nm，其中Nm-1代表了本系统可识别的手势种类；相邻两层仿生神经元之间依据预设规则的概率建立稀疏的突触连接，突触的建立和极性存在随机性。
在本案例中建立的神经回路策略网络中，感知神经元的数目和特征向量的维度相同，中转层包括32个中转神经元，命令层包括8个命令神经元，最后有 11个驱动神经元(对应11种可识别的手势种类)。
本发明中，突触的建立规则：
参考图2，神经回路策略网络由四层仿生神经元构成，其中Ns、Ni、Nc、Nm分别对应感知层、中转层、命令层和驱动层的仿生神经元数目。
参考图3，对于相邻两层仿生神经元来说，在所有的源仿生神经元上插入 nso-t个突触到nso-t个目标仿生神经元上，其中 nso-t≤Nn，Nn为下一层的仿生神经元数，目标仿生神经元的随机选取服从ns-t次二项分布，突触的极性选择满足伯努利分布。
参考图4，在任意相邻两层，对于在2)中没有连接突触输入的所有目标仿生神经元，计算目标仿生神经元所在层平均每个仿生神经元接收的突触数目L，从上层通过mso-t次二项分布，随机选取mso-个源仿生神经元和目标仿生神经元建立突触，mso-t≤L，突触极性使用伯努利分布进行初始化。
参考图5，对于所有控制层的仿生神经元，插入lso-t个突触，lso-t≤Nc，对应的目标仿生神经元通过lso-t次二项分布从控制层中随机选择，每个突触的极性使用伯努利分布初始化。
相应地，本发明8、本发明的手势识别方法，包括如下步骤：
步骤1)通过事件相机实时捕捉手势图像；
步骤1.1)，手势图像捕捉
手势图像由事件相机进行拍摄捕捉，存储为AER格式图像。为了防止手势图像的画质将会因噪声而在不同程度上出现畸变，对于事件相机捕捉手势图像事件流，采集原始手势图像后，可以对原始手势图像进行平滑和二值化预处理，以去除手势图像中的噪声和光照对原始图像造成的影响，并使用处理过后的手势图像作为输入。
步骤1.2)，特征提取
图像经过两层的卷积神经网络进行局部特征的提取，通过卷积神经网络，模型能够识别出图像中手势较为重要的特征信息，并仅将这部分图像信息编码后传输至下一个模块作为输入；
步骤2)利用卷积特征提取模块对手势图像进行卷积和池化操作，提取输入图像中的手势特征，并编码得到特征向量序列。
步骤3)感知层接收所述特征向量序列后，借助两种正负极性的突触向下一层传递抑制信号或激发信号，并且根据突触的权重和极性，控制脉冲延时长短，动态更新目标神经元的膜电位，信号从感知层经过中转层向控制层传递，接着循环传递并输出到驱动层，驱动层更新所有神经元的状态，各个运动神经元经非线性激活函数计算出输出膜电位，其中膜电位最高的仿生神经元对应的手势即为系统识别出来的手势，由此完成手势识别。
步骤3.1)，特征向量接收
将手势图像的特征向量序列转化为脉冲信号输入到神经回路策略网络感知层的对应的感官神经元，感知层通过不同极性的突触向中转层传递抑制信号或激发信号，并根据突触的权重更新中间神经元的状态，同时继续接收特征编码向下传递；
步骤3.2)，中转层转接
中间神经元可能接收到激发信号或抑制信号，激发信号会增加神经元膜电位，抑制信号会降低神经元膜电位，而在信号传递过程中，在正极性的突触上源神经元的膜电位高于传递阈值时将增强信号的强度，而负极性的突触上源神经元膜电位高于传递阈值时将降低信号的强度，以此来模拟生物神经系统模型；
步骤3.3)，控制层循环
除了继续通过突触向下层驱动层的运动神经元传递激发和抑制信号，指令神经元还可以同时接收自身所在控制层上个时间间隔产生的信号输出，两者共同作用于目标神经元的膜电位，其中信号的传递机制和突触的效果类似步骤3.2)；
步骤3.4)，驱动层输出
驱动层运动神经元接收上层神经元的信号后，其膜电位经过非线性激活函数转换成的概率值表示该神经元对应编码为所有可能手势的可能性，选择置信程度最大的神经元对应手势，即为手势识别结果。
最终，运动神经元的膜电位经过非线性激活函数转换为概率值即可判断所有手势的可能性，由此完成手势识别。
参考图6，所有驱动层神经元的状态量化值都将经过softmax归一化函数处理映射为代表置信程度的数值，取映射后数值最大的神经元的编号，查询预设计的手势编号，找到对应的手势。在本案例中，输出的11维向量的各维度对应了本次输入的特征向量识别为该维度的字母的概率，比如(0.96，0.02，0，……， 0.01)，该向量中最大的分量0.96的维度对应的手势为拍手，即说明这次输入的事件流特征向量对于系统而言最有可能是拍手，因此就得到了一个事件流的手势识别结果。
综上，本发明由以上三种模块构成一个独立的基于神经回路策略构建的手势识别系统框架，同其它技术相比，本方面提出一种全新的方式，将脉冲神经网络应用于视听辅助系统，能够实现在保证迅速反应能力的前提下，整体运算量还相对较低。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (10)

1.手势识别系统，其特征在于，包括：
输入模块，利用事件相机实时捕捉手势图像；
卷积特征提取模块，为一个卷积神经网络，包括卷积层、池化层和全连接层，用于从所述手势图像的像素中提取数字结构特征，从而得到特征向量序列；
控制系统模块，由神经回路策略网络实现，所述神经回路策略网络由四层神经元构成，依次为感知层、中转层、控制层和驱动层；所述感知层的神经元为感官神经元，所述中转层的神经元为中间神经元，所述控制层的神经元为指令神经元，所述驱动层的神经元为运动神经元；所述中间神经元与感官神经元和指令神经元均建立突触连接；所述指令神经元与中间神经元和运动神经元均建立突触连接，并与其它指令神经元建立自反馈突触连接，以形成循环连接结构；
所述感官神经元用于接收所述特征向量序列，将特征向量序列转化为脉冲信号，刺激中间神经元，即向所述中间神经元发出抑制信号或激发信号；
所述中间神经元用于所述特征向量序列进行转义，向所述指令神经元发出抑制信号或激发信号；
所述指令神经元进行时序信息的保存与决策，在控制层建立自循环，同时刺激所述运动神经元，向所述运动神经元以及所述其它指令神经元发出抑制信号或激发信号；
所述运动神经元依据自身脉冲信号高低，输出代表手势种类的数字编码序列，从而判断出手势识别的结果。
2.根据权利要求1所述手势识别系统，其特征在于，所述输入模块中，利用事件相机采集AER格式手势图像事件流，作为卷积特征提取模块的输入。
3.根据权利要求1所述手势识别系统，其特征在于，所述卷积特征提取模块对事件流手势图像进行卷积，池化，全连接操作，得到图像对应的特征向量序列。
4.根据权利要求1所述手势识别系统，其特征在于，所述控制系统模块中，各仿生神经元使用膜电位表示神经元状态，用微分方程动态更新膜电位，神经元状态由当前膜电位和上层神经元到当前神经元的输入突触的作用共同决定，且仿生神经元之间连接的突触具有不同的权重和两种极性，其中正极性的突触会使得目标神经元膜电位上升，负极性的突触则会使目标神经元膜电位下降。
5.根据权利要求4所述手势识别系统，其特征在于，当神经元j通过突触连接向神经元i时，所述更新膜电位的微分方程表示如下：
Figure FDA0003740542860000021
其中xi是神经元i的当前状态，即膜电位，
Figure FDA0003740542860000022
是具有泄漏电导gli的神经元i的时间常数，在不同仿生神经元上τi不同，从而保证了膜电位变化的异步性，wij是从神经元j到神经元i的突触权重，
Figure FDA0003740542860000023
是膜电容，σi(xj)是神经元激活函数，与信号强度正相关，xleaki是静息电位，Eij是逆转突触电位，Eij定义了突触的极性，仿生神经元的整体耦合灵敏度即时间常数由
Figure FDA0003740542860000024
定义，该时间常数可变，确定了决策过程中仿生神经元的反应速度。
6.根据权利要求5所述手势识别系统，其特征在于，所述感知层的感官神经元数目Ns等于卷积特征提取模块输出的特征向量序列长度，中间神经元的数量为Ni，指令神经元的数量为Nc，运动神经元的数量为Nm，其中Nm-1代表了本系统可识别的手势种类；相邻两层仿生神经元之间依据预设规则的概率建立稀疏的突触连接，突触的建立和极性存在随机性。
7.根据权利要求6所述手势识别系统，其特征在于，所述突触的建立规则如下：
1)，神经回路策略网络由四层仿生神经元构成，其中Ns、Ni、Nc、Nm分别对应感知层、中转层、命令层和驱动层的仿生神经元数目；
2)，对于相邻两层仿生神经元来说，在所有的源仿生神经元上插入nso-t个突触到nso-个目标仿生神经元上，其中nso-t≤Nn，Nn为下一层的仿生神经元数，目标仿生神经元的随机选取服从ns-t次二项分布，突触的极性选择满足伯努利分布；
3)，在任意相邻两层，对于在2)中没有连接突触输入的所有目标仿生神经元，计算目标仿生神经元所在层平均每个仿生神经元接收的突触数目L，从上层通过mso-t次二项分布,随机选取mso-t个源仿生神经元和目标仿生神经元建立突触,mso-t≤L，突触极性使用伯努利分布进行初始化；
4)，对于所有控制层的仿生神经元，插入lso-个突触，lso-t≤Nc，对应的目标仿生神经元通过lso-次二项分布从控制层中随机选择，每个突触的极性使用伯努利分布初始化。
8.基于权利要求1所述手势识别系统的手势识别方法，包括如下步骤：
步骤1)通过事件相机实时捕捉手势图像；
步骤2)利用卷积特征提取模块对手势图像进行卷积和池化操作，提取输入图像中的手势特征，并编码得到特征向量序列；
步骤3)感知层接收所述特征向量序列后，借助两种正负极性的突触向下一层传递抑制信号或激发信号，并且根据突触的权重和极性，控制脉冲延时长短，动态更新目标神经元的膜电位，信号从感知层经过中转层向控制层传递，接着循环传递并输出到驱动层，驱动层更新所有神经元的状态，各个运动神经元经非线性激活函数计算出输出膜电位，其中膜电位最高的仿生神经元对应的手势即为系统识别出来的手势，由此完成手势识别。
9.根据权利要求6所述手势识别方法，其特征在于，所述步骤1)包括如下步骤：
步骤1.1)，手势图像捕捉
手势图像由事件相机进行拍摄捕捉，存储为AER格式图像；
步骤1.2)，特征提取
图像经过两层的卷积神经网络进行局部特征的提取，通过卷积神经网络，模型能够识别出图像中手势较为重要的特征信息，并仅将这部分图像信息编码后传输至下一个模块作为输入；
所述步骤3)包括如下步骤：
步骤3.1)，特征向量接收
将手势图像的特征向量序列转化为脉冲信号输入到神经回路策略网络感知层的对应的感官神经元，感知层通过不同极性的突触向中转层传递抑制信号或激发信号，并根据突触的权重更新中间神经元的状态，同时继续接收特征编码向下传递；
步骤3.2)，中转层转接
中间神经元接收到激发信号或抑制信号，激发信号会增加神经元膜电位，抑制信号会降低神经元膜电位，信号传递过程中，在正极性的突触上源神经元的膜电位高于传递阈值时将增强信号的强度，负极性的突触上源神经元膜电位高于传递阈值时将降低信号的强度，以此来模拟生物神经系统模型；
步骤2.3)，控制层循环
除了继续通过突触向运动神经元传递激发和抑制信号，指令神经元还同时接收自身所在控制层上个时间间隔产生的信号输出，两者共同作用于目标神经元的膜电位；
步骤3.4)，驱动层输出
驱动层运动神经元接收上层神经元的信号后，其膜电位经过非线性激活函数转换成的概率值表示该神经元对应编码为所有可能手势的可能性，选择置信程度最大的神经元对应手势，即为手势识别结果。
10.根据权利要求6所述手势识别方法，其特征在于，所述步骤3)，运动神经元的膜电位经过非线性激活函数转换为概率值即可判断所有手势的可能性，由此完成手势识别。
CN202210810308.7A 2022-07-11 2022-07-11 手势识别系统与方法 Pending CN115223243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210810308.7A CN115223243A (zh) 2022-07-11 2022-07-11 手势识别系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210810308.7A CN115223243A (zh) 2022-07-11 2022-07-11 手势识别系统与方法

Publications (1)

Publication Number Publication Date
CN115223243A true CN115223243A (zh) 2022-10-21

Family

ID=83610500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210810308.7A Pending CN115223243A (zh) 2022-07-11 2022-07-11 手势识别系统与方法

Country Status (1)

Country Link
CN (1) CN115223243A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343342A (zh) * 2023-05-30 2023-06-27 山东海量信息技术研究院 手语识别方法、系统、装置、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343342A (zh) * 2023-05-30 2023-06-27 山东海量信息技术研究院 手语识别方法、系统、装置、电子设备及可读存储介质
CN116343342B (zh) * 2023-05-30 2023-08-04 山东海量信息技术研究院 手语识别方法、系统、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110084281B (zh) 图像生成方法、神经网络的压缩方法及相关装置、设备
CN110458844B (zh) 一种低光照场景的语义分割方法
Tavanaei et al. Multi-layer unsupervised learning in a spiking convolutional neural network
WO2021189364A1 (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111475797A (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
KR20180004898A (ko) 딥러닝 기반의 이미지 처리 기술 및 그 방법
CN111858989A (zh) 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN108985252B (zh) 改进的脉冲深度神经网络的图像分类方法
CN111612136B (zh) 一种神经形态视觉目标分类方法及系统
CN113705769A (zh) 一种神经网络训练方法以及装置
McDonnell et al. An introductory review of information theory in the context of computational neuroscience
CN108304912B (zh) 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法
CN110222718B (zh) 图像处理的方法及装置
CN113205048B (zh) 一种手势识别方法及识别系统
CN113221663B (zh) 一种实时手语智能识别方法、装置及系统
CN112597980B (zh) 一种面向动态视觉传感器的类脑手势序列识别方法
CN110795618B (zh) 内容推荐方法、装置、设备及计算机可读存储介质
WO2022012668A1 (zh) 一种训练集处理方法和装置
KR20180123810A (ko) Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법
Yepes et al. Improving classification accuracy of feedforward neural networks for spiking neuromorphic chips
CN115223243A (zh) 手势识别系统与方法
CN111310816B (zh) 基于无监督匹配追踪编码的仿脑架构图像识别方法
Albak et al. Palm print verification based deep learning
CN115346096A (zh) 一种基于忆阻器所构建的脉冲神经网络模型
CN112884118A (zh) 神经网络的搜索方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination