CN109635706B - 基于神经网络的手势识别方法、设备、存储介质及装置 - Google Patents

基于神经网络的手势识别方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN109635706B
CN109635706B CN201811485288.0A CN201811485288A CN109635706B CN 109635706 B CN109635706 B CN 109635706B CN 201811485288 A CN201811485288 A CN 201811485288A CN 109635706 B CN109635706 B CN 109635706B
Authority
CN
China
Prior art keywords
neural network
preset
interlayer
gesture recognition
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811485288.0A
Other languages
English (en)
Other versions
CN109635706A (zh
Inventor
周文奇
熊鹏航
李美宏
邱轶琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hexacercle Technology Co ltd
Original Assignee
Wuhan Hexacercle Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hexacercle Technology Co ltd filed Critical Wuhan Hexacercle Technology Co ltd
Priority to CN201811485288.0A priority Critical patent/CN109635706B/zh
Publication of CN109635706A publication Critical patent/CN109635706A/zh
Application granted granted Critical
Publication of CN109635706B publication Critical patent/CN109635706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于神经网络的手势识别方法、设备、存储介质及装置。本发明中采集当前手势数据，读取与预设训练神经网络对应的预设层间关系模板，预设层间关系模板中包括各层间关系式，根据当前手势数据通过预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。区别于直接适用预设训练神经网络来实施手势识别操作的实施方式，本发明将对预设训练神经网络进行剥离并简化为层间关系式，通过适用层间关系式来实施手势识别操作的实施方式，从而可以大大降低了手势识别消耗的计算量，也就降低了对于设备的计算能力的要求，解决了手势识别对于计算能力要求较高的技术问题。

Description

基于神经网络的手势识别方法、设备、存储介质及装置
技术领域
本发明涉及神经网络技术领域，尤其涉及基于神经网络的手势识别方法、设备、存储介质及装置。
背景技术
随着电子设备的逐渐普及，用户与电子设备之间的人机交互方式也从利用遥控器、鼠标、键盘等外设进行的简单交互方式，发展到了利用语音交互、体感交互、眼动交互和手势交互等多样化的交互方式。
特别地，针对手势交互方式而言，由于手势交互方式较为方便，在很多应用场景中都能够较好地适用。
但是，由于手势交互方式中存在手势识别的环节，而且，手势识别环节的计算过程比较复杂且对实时性要求比较高，这就要求进行手势识别的硬件设备需要具有较高的计算能力。
比如，若欲通过家庭中基本普及的数字机顶盒来实施手势识别，明显地，数字机顶盒由于计算能力不足可能会导致一帧图像的处理时间太长，无法满足手势识别环节对于实时交互的实际计算要求。
所以，实质上存在着手势识别对于计算能力要求较高的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供基于神经网络的手势识别方法、设备、存储介质及装置，旨在解决手势识别对于计算能力要求较高的技术问题。
为实现上述目的，本发明提供一种基于神经网络的手势识别方法，所述基于神经网络的手势识别方法包括以下步骤：
在接收到手势识别指令时，采集目标用户的当前手势数据；
读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系；
根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。
优选地，所述在接收到手势识别指令时，采集目标用户的当前手势数据之前，所述基于神经网络的手势识别方法还包括：
在接收到待训练手势数据时，对所述待训练手势数据进行归一化处理，以获得归一化的待训练手势数据；
根据归一化的待训练手势数据对预设神经网络分类器进行训练，以获得预设训练神经网络；
从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，所述第一层间权值用于记录所述预设训练神经网络中的输入层、隐含层与输出层依次之间的权重值。
优选地，所述从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，包括：
从所述预设训练神经网络中提取第一层间权值与第一层阈值；
根据所述第一层间权值与所述第一层阈值按照前向传播方式分别构建与预设神经网络层对应的层间关系式，并根据所述层间关系式确定预设层间关系模板。
优选地，所述根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果，包括：
根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，所述层间关系式与所述预设神经网络层对应；
在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果。
优选地，所述预设层间关系模板包括第一层间关系式与第二层间关系式，所述第一层间关系式与所述隐含层对应，所述第二层间关系式与所述输出层对应；
所述根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，包括：
根据所述当前手势数据通过所述第一层间关系式进行运算，以获得与所述隐含层对应的第一运算结果；
根据所述第一运算结果通过所述第二层间关系式进行运算，以获得与所述输出层对应的第二运算结果。
优选地，所述根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，包括：
读取所述层间关系式中的第二层间权值与第二层阈值；
在所述层间关系式中根据所述当前手势数据与所述第二层间权值进行乘法运算，以获得运算积；
根据所述运算积与所述第二层阈值进行加法运算，以获得运算和，并将所述运算和作为与预设神经网络层对应的运算结果。
优选地，所述在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果，包括：
在所述预设神经网络层为所述输出层时，从所述运算结果中提取与预设手势类别对应的目标匹配度；
在所述目标匹配度大于预设合格阈值时，确定大于所述预设合格阈值的目标匹配度对应的预设手势类别作为目标手势类别，并将所述目标手势类别作为手势识别结果。
此外，为实现上述目的，本发明还提出一种用户设备，所述用户设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于神经网络的手势识别程序，所述基于神经网络的手势识别程序配置为实现如上文所述的基于神经网络的手势识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于神经网络的手势识别程序，所述基于神经网络的手势识别程序被处理器执行时实现如上文所述的基于神经网络的手势识别方法的步骤。
此外，为实现上述目的，本发明还提出一种基于神经网络的手势识别装置，所述基于神经网络的手势识别装置包括：
数据采集模块，用于在接收到手势识别指令时，采集目标用户的当前手势数据；
模板获取模块，用于读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系；
手势识别模块，用于根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。
本发明中可先采集当前手势数据，再读取与预设训练神经网络对应的预设层间关系模板，并根据当前手势数据通过预设层间关系模板中的层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。明显地，区别于直接适用预设训练神经网络来实施手势识别操作的实施方式，本发明将对预设训练神经网络进行剥离并简化为层间关系式，通过适用层间关系式来实施手势识别操作的实施方式，从而可以大大降低手势识别消耗的计算量，也就降低了对于设备的计算能力的要求。所以，解决了手势识别对于计算能力要求较高的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的用户设备结构示意图；
图2为本发明基于神经网络的手势识别方法第一实施例的流程示意图；
图3为本发明基于神经网络的手势识别方法第二实施例的流程示意图；
图4为本发明基于神经网络的手势识别方法第三实施例的流程示意图；
图5为本发明基于神经网络的手势识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的用户设备结构示意图。
如图1所示，该用户设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器或者闪存，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对用户设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于神经网络的手势识别程序。
在图1所示的用户设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接外设；所述用户设备通过处理器1001调用存储器1005中存储的基于神经网络的手势识别程序，并执行以下操作：
在接收到手势识别指令时，采集目标用户的当前手势数据；
读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系；
根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。
进一步地，处理器1001可以调用存储器1005中存储的基于神经网络的手势识别程序，还执行以下操作：
在接收到待训练手势数据时，对所述待训练手势数据进行归一化处理，以获得归一化的待训练手势数据；
根据归一化的待训练手势数据对预设神经网络分类器进行训练，以获得预设训练神经网络；
从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，所述第一层间权值用于记录所述预设训练神经网络中的输入层、隐含层与输出层依次之间的权重值。
进一步地，处理器1001可以调用存储器1005中存储的基于神经网络的手势识别程序，还执行以下操作：
从所述预设训练神经网络中提取第一层间权值与第一层阈值；
根据所述第一层间权值与所述第一层阈值按照前向传播方式分别构建与预设神经网络层对应的层间关系式，并根据所述层间关系式确定预设层间关系模板。
进一步地，处理器1001可以调用存储器1005中存储的基于神经网络的手势识别程序，还执行以下操作：
根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，所述层间关系式与所述预设神经网络层对应；
在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果。
进一步地，处理器1001可以调用存储器1005中存储的基于神经网络的手势识别程序，还执行以下操作：
根据所述当前手势数据通过所述第一层间关系式进行运算，以获得与所述隐含层对应的第一运算结果；
根据所述第一运算结果通过所述第二层间关系式进行运算，以获得与所述输出层对应的第二运算结果。
进一步地，处理器1001可以调用存储器1005中存储的基于神经网络的手势识别程序，还执行以下操作：
读取所述层间关系式中的第二层间权值与第二层阈值；
在所述层间关系式中根据所述当前手势数据与所述第二层间权值进行乘法运算，以获得运算积；
根据所述运算积与所述第二层阈值进行加法运算，以获得运算和，并将所述运算和作为与预设神经网络层对应的运算结果。
进一步地，处理器1001可以调用存储器1005中存储的基于神经网络的手势识别程序，还执行以下操作：
在所述预设神经网络层为所述输出层时，从所述运算结果中提取与预设手势类别对应的目标匹配度；
在所述目标匹配度大于预设合格阈值时，确定大于所述预设合格阈值的目标匹配度对应的预设手势类别作为目标手势类别，并将所述目标手势类别作为手势识别结果。
本实施例中可先采集当前手势数据，再读取与预设训练神经网络对应的预设层间关系模板，并根据当前手势数据通过预设层间关系模板中的层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。明显地，区别于直接适用预设训练神经网络来实施手势识别操作的实施方式，本实施例将对预设训练神经网络进行剥离并简化为层间关系式，通过适用层间关系式来实施手势识别操作的实施方式，从而可以大大降低手势识别消耗的计算量，也就降低了对于设备的计算能力的要求。所以，解决了手势识别对于计算能力要求较高的技术问题。
基于上述硬件结构，提出本发明基于神经网络的手势识别方法的实施例。
参照图2，图2为本发明基于神经网络的手势识别方法第一实施例的流程示意图。
在第一实施例中，所述基于神经网络的手势识别方法包括以下步骤：
步骤S10：在接收到手势识别指令时，采集目标用户的当前手势数据。
可以理解的是，考虑到手势识别操作对于硬件设备的计算能力要求较高，存在着诸多手势识别方式，比如，卷积神经网络、支持向量机等。这些手势识别方式的计算过程均较为复杂，运算所需的内存占用比较大，运算时间比较长，低功耗的硬件设备均不能满足计算需要，需借助高性能的计算机才可完成手势识别。
应当理解的是，就类型为神经网络的手势识别方式而言，为了克服这一困境，本实施例提出了一种针对神经网络的简化实施方式，可运行于低功耗的硬件设备中，脱离手势识别对高性能计算机的依赖。
在具体实现中，本实施例的执行主体为用户设备，用户设备可为可穿戴式设备，比如，智能手套等。在实际运行时，可通过该可穿戴式设备来实施手势识别环节。至于当前手势数据的采集操作可由该可穿戴式设备中的陀螺仪、加速度计、磁力计或者摄像头等部件来实现，从而可以适配多种类型的手势数据的输入。
步骤S20：读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系。
在具体实现中，若目标用户穿戴了该可穿戴式设备，可先采集当前手势数据，当前手势数据用于记录与用户手部动作相关的信息，当前手势数据包括指关节掌关节相对角度、运动姿态欧拉角、运动姿态四元数、视频图像特征点以及视频图像特征向量等。
可以理解的是，为了提高运算效率，缩短运算时间，本实施例可适用简化后的运算方式来适用神经网络的手势识别方式，以大大降低直接适用神经网络带来的运算复杂度。比如，若直接适用神经网络，可直接启用训练后的神经网络分类器即预设训练神经网络来实施手势识别操作，该过程中的矩阵运算会带来巨大的计算量以及运算复杂度。
应当理解的是，但若启用简化后的运算方式，可以提高运算效率，降低对于计算能力的要求。具体而言，可将训练后的神经网络简化为多个层间关系式，每个层间关系式用于确定一层神经网络层与下一层神经网络层之间的关系。
步骤S30：根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。
可以理解的是，在获得与训练后的神经网络对应的层间关系式后，可直接应用简化后的层间关系式来实施手势识别操作。具体而言，可将当前手势数据作为层间关系式中的输入层的输入量，以最终获得输出层处的输出结果，从而根据输出结果来确定手势识别结果。其中，手势识别结果为某种手势类别，比如，握拳手势、示意为数字一的手势以及示意为数字二的手势等。
本实施例中可先采集当前手势数据，再读取与预设训练神经网络对应的预设层间关系模板，并根据当前手势数据通过预设层间关系模板中的层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。明显地，区别于直接适用预设训练神经网络来实施手势识别操作的实施方式，本实施例将对预设训练神经网络进行剥离并简化为层间关系式，通过适用层间关系式来实施手势识别操作的实施方式，从而可以大大降低手势识别消耗的计算量，也就降低了对于设备的计算能力的要求。所以，解决了手势识别对于计算能力要求较高的技术问题。
参照图3，图3为本发明基于神经网络的手势识别方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明基于神经网络的手势识别方法的第二实施例。
第二实施例中，所述步骤S10之前，所述基于神经网络的手势识别方法还包括：
步骤S101：在接收到待训练手势数据时，对所述待训练手势数据进行归一化处理，以获得归一化的待训练手势数据。
可以理解的是，为了获得预设层间关系模板，可先以离线方式构建该预设层间关系模板。
在具体实现中，在获得待训练手势数据后，可先对待训练手势数据进行预处理，以获得预处理的待训练手势数据，再对预处理的待训练手势数据进行归一化处理，以获得归一化的待训练手势数据。具体而言，预处理包括数据筛选操作，可从输入的待训练手势数据中剔除掉超过合理范围或者不符合实际的异常输入值。所以，预处理的待训练手势数据也就为符合条件的手势数据。
应当理解的是，在获得符合条件的手势数据后，再对符合条件的手势数据进行规范化变换。比如，可对符合条件的手势数据进行归一化处理，以将数据转换为从0至1的范围内的某个值，归一化处理可以统一化各输入值的单位影响。
步骤S102：根据归一化的待训练手势数据对预设神经网络分类器进行训练，以获得预设训练神经网络。
在具体实现中，在获得归一化的待训练手势数据后，可将归一化的待训练手势数据代入预设神经网络分类器内进行训练迭代，在预设神经网络分类器收敛后，也就完成了对于预设神经网络分类器的训练。训练后的预设神经网络分类器即为预设训练神经网络。其中，预设神经网络分类器用于实现分类功能，主要包括输入层、隐含层以及输出层。
应当理解的是，通过训练迭代可以不断修改预设神经网络分类器内的层间权值，以获得一个可靠性高且准确性高的训练后的预设训练神经网络。
步骤S103：从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，所述第一层间权值用于记录所述预设训练神经网络中的输入层、隐含层与输出层依次之间的权重值。
可以理解的是，在获得可直接适用于手势识别环节的预设训练神经网络后，还将对预设训练神经网络进行逆变换以求解出第一层间权值。第一层间权值包括输入层权值、隐含层权值以及输出层权值，输入层权值为输入层到隐含层的权值，隐含层权值为各隐含层之间传递的权值，输出层权值为隐含层到输出层的权值。
应当理解的是，在获得第一层间权值后，将基于第一层间权值来构建层间关系式以组成预设层间关系模板。通过第一层间权值来构建预设层间关系模板，可以使得预设层间关系模板可表征各层之间的关联性，以简易化地替换并充当原本的神经网络。
此外，预设训练神经网络中的第一层间权值可以数组形式存储。
进一步地，所述从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，包括：
从所述预设训练神经网络中提取第一层间权值与第一层阈值；
根据所述第一层间权值与所述第一层阈值按照前向传播方式分别构建与预设神经网络层对应的层间关系式，并根据所述层间关系式确定预设层间关系模板。
可以理解的是，对预设训练神经网络进行逆变换，不仅可求解出记录层间传递关系的第一层间权值，还可获得记录各层自身特性的第一层阈值。第一层阈值包括隐含层阈值以及输出层阈值。
在具体实现中，可联合第一层间权值与第一层阈值并以前向传播方式作为构建准则来构建各层的层间关系式。其中，神经网络中的前向传播方式是指通过加权求和以及激活函数来构建层间关联，预设神经网络层可为隐含层与输出层中的任一层。其中，激活函数包括但不限于线性函数、S型函数中的Sigmoid函数、双曲函数中的Tanh函数以及线性整流函数(Rectified Linear Unit,ReLU)等。
本实施例中将先以离线方式来构建预设层间关系模板，并以固化程序代码的方式对预设层间关系模板进行存储，比如，可存储至用户设备的存储器中以完成程序固化；在实际使用时再以在线方式分类手势数据，以实现手势识别。明显地，在实际使用时，可直接依据固化的程序代码来成功识别出当前用户作出的手势。
参照图4，图4为本发明基于神经网络的手势识别方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明基于神经网络的手势识别方法的第三实施例。
第三实施例中，所述步骤S30，包括：
步骤S301：根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，所述层间关系式与所述预设神经网络层对应。
可以理解的是，为了获得手势识别结果，可先通过层间关系式来获得运算结果，再基于运算结果来确定实时的手势类别。
在具体实现中，预设层间关系模板实际上是一关系式组，每个层间关系式在运算后都将获得一对应的运算结果。至于最终的手势识别结果将由与输出层对应的运算结果来确定。
步骤S302：在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果。
进一步地，所述预设层间关系模板包括第一层间关系式与第二层间关系式，所述第一层间关系式与所述隐含层对应，所述第二层间关系式与所述输出层对应；
所述根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，包括：
根据所述当前手势数据通过所述第一层间关系式进行运算，以获得与所述隐含层对应的第一运算结果；
根据所述第一运算结果通过所述第二层间关系式进行运算，以获得与所述输出层对应的第二运算结果。
可以理解的是，若以三层预设训练神经网络为例，预设层间关系模板中将包括第一层间关系式与第二层间关系式，该预设层间关系模板具体为，
Figure BDA0001892089640000121
其中，T1表示第一运算结果，w1与w2表示层间权值，T0表示当前手势数据，b1与b2表示层阈值，T2表示第二运算结果。明显地，该预设层间关系模板的上一关系式为第一层间关系式，可根据当前手势数据T0获得第一运算结果T1，以表征从输入层传递至隐含层；该预设层间关系模板的下一关系式为第二层间关系式，可根据第一运算结果T1获得第二运算结果T2，以表征从隐含层传递至输出层。
当然，预设训练神经网络也不限制为三层，也可大于三层，则该预设层间关系模板具体为，
Figure BDA0001892089640000122
其中，Tn表示运算结果，n≥1且为正整数，wn表示层间权值，T0表示当前手势数据，bn表示层阈值。明显地，该预设层间关系模板也包括第一层间关系式与第二层间关系式。而且，第一层间关系式的数量存在多个，可将该预设层间关系模板中从上至下的层间关系式第一个至倒数第二个均归类为第一层间关系式，计算至倒数第二个层间关系式时将获得第一运算结果Tn-1；最后一个层间关系式为第二层间关系式。
明显地，上述预设层间关系模板整理后，可记为如下的函数式：
Tn＝wn×(wn-1×(…(w1×T0+b1)…)+bn-1)+bn。
考虑到现有的神经网络算法需要进行矩阵运算，故而，不适合使用嵌入式处理器等算力不高的硬件来计算识别。通过整理成这种形式的函数式，既能反映出神经网络的层层传递关系，又可以方便处理器快速运算。
此外，考虑到隐含层一般来说只有一层，那么上述的函数式可为，
T2＝w2×(w1×T0+b1)+b2，
该公式的计算对于嵌入式处理器来说计算是十分简单的。
进一步地，所述根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，包括：
读取所述层间关系式中的第二层间权值与第二层阈值；
在所述层间关系式中根据所述当前手势数据与所述第二层间权值进行乘法运算，以获得运算积；
根据所述运算积与所述第二层阈值进行加法运算，以获得运算和，并将所述运算和作为与预设神经网络层对应的运算结果。
可以理解的是，为了获得运算结果，将使用加法运算与乘法运算。经过简单的加减乘运算就可获得最终的手势识别结果，大大地降低了计算复杂度。
应当理解的是，将使用到加法运算与乘法运算，甚至不会使用到除法运算，这是考虑到除法运算对于硬件而言将衍生较大的运算量，故而，本实施例可大大缩短运算时间，以提高反应速度。
在具体实现中，层间关系式内将使用层间权值与层阈值，可将第二层间权值记为w1，将第二层阈值记为b1，当前手势数据记为T0。比如，若以前向传播方式作为构建准则来构建各层的层间关系式，激活函数为线性函数，则可根据当前手势数据T0与第二层间权值w1进行乘法运算，以获得运算积，可记为w1×T0；根据运算积与第二层阈值b1进行加法运算，以获得运算和，即为T1＝w1×T0+b1。
进一步地，所述在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果，包括：
在所述预设神经网络层为所述输出层时，从所述运算结果中提取与预设手势类别对应的目标匹配度；
在所述目标匹配度大于预设合格阈值时，确定大于所述预设合格阈值的目标匹配度对应的预设手势类别作为目标手势类别，并将所述目标手势类别作为手势识别结果。
可以理解的是，输出层的输出值的数量将与预设手势类别的类别数量相同，预设手势类别为预先设置的多种手势类型，包括握拳手势等。故而，若预设手势类别的类别数量为10，则与输出层对应的运算结果中将含有10个匹配度，匹配度用于表征当前手势为与匹配度对应的预设手势类别的可能性。
在具体实现中，比如，可将预设合格阈值设为0.8，若计算出的10个匹配度中仅有与握拳手势对应的匹配度0.9大于0.8，则将握拳手势作为手势识别结果输出。
本实施例中在以在线方式实施手势识别操作时，将启动层间关系式来实现各层之间的信息传递，以最终实现手势识别结果的输出，可以保证输出结果的准确性。此外，由于可经过简单的加减法乘法运算来获得输出结果，从而大大降低了运算复杂度，减少了手势识别过程中对于硬件处理器中内存空间的占用。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于神经网络的手势识别程序，所述基于神经网络的手势识别程序被处理器执行时实现如下操作：
在接收到手势识别指令时，采集目标用户的当前手势数据；
读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系；
根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。
进一步地，所述基于神经网络的手势识别程序被处理器执行时还实现如下操作：
在接收到待训练手势数据时，对所述待训练手势数据进行归一化处理，以获得归一化的待训练手势数据；
根据归一化的待训练手势数据对预设神经网络分类器进行训练，以获得预设训练神经网络；
从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，所述第一层间权值用于记录所述预设训练神经网络中的输入层、隐含层与输出层依次之间的权重值。
进一步地，所述基于神经网络的手势识别程序被处理器执行时还实现如下操作：
从所述预设训练神经网络中提取第一层间权值与第一层阈值；
根据所述第一层间权值与所述第一层阈值按照前向传播方式分别构建与预设神经网络层对应的层间关系式，并根据所述层间关系式确定预设层间关系模板。
进一步地，所述基于神经网络的手势识别程序被处理器执行时还实现如下操作：
根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，所述层间关系式与所述预设神经网络层对应；
在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果。
进一步地，所述基于神经网络的手势识别程序被处理器执行时还实现如下操作：
根据所述当前手势数据通过所述第一层间关系式进行运算，以获得与所述隐含层对应的第一运算结果；
根据所述第一运算结果通过所述第二层间关系式进行运算，以获得与所述输出层对应的第二运算结果。
进一步地，所述基于神经网络的手势识别程序被处理器执行时还实现如下操作：
读取所述层间关系式中的第二层间权值与第二层阈值；
在所述层间关系式中根据所述当前手势数据与所述第二层间权值进行乘法运算，以获得运算积；
根据所述运算积与所述第二层阈值进行加法运算，以获得运算和，并将所述运算和作为与预设神经网络层对应的运算结果。
进一步地，所述基于神经网络的手势识别程序被处理器执行时还实现如下操作：
在所述预设神经网络层为所述输出层时，从所述运算结果中提取与预设手势类别对应的目标匹配度；
在所述目标匹配度大于预设合格阈值时，确定大于所述预设合格阈值的目标匹配度对应的预设手势类别作为目标手势类别，并将所述目标手势类别作为手势识别结果。
本实施例中可先采集当前手势数据，再读取与预设训练神经网络对应的预设层间关系模板，并根据当前手势数据通过预设层间关系模板中的层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。明显地，区别于直接适用预设训练神经网络来实施手势识别操作的实施方式，本实施例将对预设训练神经网络进行剥离并简化为层间关系式，通过适用层间关系式来实施手势识别操作的实施方式，从而可以大大降低手势识别消耗的计算量，也就降低了对于设备的计算能力的要求。所以，解决了手势识别对于计算能力要求较高的技术问题。
此外，参照图5，本发明实施例还提出一种基于神经网络的手势识别装置，所述基于神经网络的手势识别装置包括：
数据采集模块10，用于在接收到手势识别指令时，采集目标用户的当前手势数据；
模板获取模块20，用于读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系；
手势识别模块30，用于根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。
本实施例中可先采集当前手势数据，再读取与预设训练神经网络对应的预设层间关系模板，并根据当前手势数据通过预设层间关系模板中的层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果。明显地，区别于直接适用预设训练神经网络来实施手势识别操作的实施方式，本实施例将对预设训练神经网络进行剥离并简化为层间关系式，通过适用层间关系式来实施手势识别操作的实施方式，从而可以大大降低手势识别消耗的计算量，也就降低了对于设备的计算能力的要求。所以，解决了手势识别对于计算能力要求较高的技术问题。
在一实施例中，所述基于神经网络的手势识别装置还包括：
模板剥离模块，用于在接收到待训练手势数据时，对所述待训练手势数据进行归一化处理，以获得归一化的待训练手势数据；根据归一化的待训练手势数据对预设神经网络分类器进行训练，以获得预设训练神经网络；从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，所述第一层间权值用于记录所述预设训练神经网络中的输入层、隐含层与输出层依次之间的权重值。
在一实施例中，所述模板剥离模块，还用于从所述预设训练神经网络中提取第一层间权值与第一层阈值；根据所述第一层间权值与所述第一层阈值按照前向传播方式分别构建与预设神经网络层对应的层间关系式，并根据所述层间关系式确定预设层间关系模板。
在一实施例中，所述手势识别模块30，还用于根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，所述层间关系式与所述预设神经网络层对应；在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果。
在一实施例中，所述手势识别模块30，还用于根据所述当前手势数据通过所述第一层间关系式进行运算，以获得与所述隐含层对应的第一运算结果；根据所述第一运算结果通过所述第二层间关系式进行运算，以获得与所述输出层对应的第二运算结果。
在一实施例中，所述手势识别模块30，还用于读取所述层间关系式中的第二层间权值与第二层阈值；在所述层间关系式中根据所述当前手势数据与所述第二层间权值进行乘法运算，以获得运算积；根据所述运算积与所述第二层阈值进行加法运算，以获得运算和，并将所述运算和作为与预设神经网络层对应的运算结果。
在一实施例中，所述手势识别模块30，还用于在所述预设神经网络层为所述输出层时，从所述运算结果中提取与预设手势类别对应的目标匹配度；在所述目标匹配度大于预设合格阈值时，确定大于所述预设合格阈值的目标匹配度对应的预设手势类别作为目标手势类别，并将所述目标手势类别作为手势识别结果。
本发明所述基于神经网络的手势识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于神经网络的手势识别方法，其特征在于，所述基于神经网络的手势识别方法包括以下步骤：
在接收到手势识别指令时，采集目标用户的当前手势数据；
读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系；
根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果；
所述根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果，包括：
根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，所述层间关系式与所述预设神经网络层对应；
在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果。
2.如权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述在接收到手势识别指令时，采集目标用户的当前手势数据之前，所述基于神经网络的手势识别方法还包括：
在接收到待训练手势数据时，对所述待训练手势数据进行归一化处理，以获得归一化的待训练手势数据；
根据归一化的待训练手势数据对预设神经网络分类器进行训练，以获得预设训练神经网络；
从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，所述第一层间权值用于记录所述预设训练神经网络中的输入层、隐含层与输出层依次之间的权重值。
3.如权利要求2所述的基于神经网络的手势识别方法，其特征在于，所述从所述预设训练神经网络中提取第一层间权值，并根据所述第一层间权值构建预设层间关系模板，包括：
从所述预设训练神经网络中提取第一层间权值与第一层阈值；
根据所述第一层间权值与所述第一层阈值按照前向传播方式分别构建与预设神经网络层对应的层间关系式，并根据所述层间关系式确定预设层间关系模板。
4.如权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述预设层间关系模板包括第一层间关系式与第二层间关系式，所述第一层间关系式与所述隐含层对应，所述第二层间关系式与所述输出层对应；
所述根据所述当前手势
数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，包括：
根据所述当前手势数据通过所述第一层间关系式进行运算，以获得与所述隐含层对应的第一运算结果；
根据所述第一运算结果通过所述第二层间关系式进行运算，以获得与所述输出层对应的第二运算结果。
5.如权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，包括：
读取所述层间关系式中的第二层间权值与第二层阈值；
在所述层间关系式中根据所述当前手势数据与所述第二层间权值进行乘法运算，以获得运算积；
根据所述运算积与所述第二层阈值进行加法运算，以获得运算和，并将所述运算和作为与预设神经网络层对应的运算结果。
6.如权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果，包括：
在所述预设神经网络层为所述输出层时，从所述运算结果中提取与预设手势类别对应的目标匹配度；
在所述目标匹配度大于预设合格阈值时，确定大于所述预设合格阈值的目标匹配度对应的预设手势类别作为目标手势类别，并将所述目标手势类别作为手势识别结果。
7.一种用户设备，其特征在于，所述用户设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行基于神经网络的手势识别程序，所述基于神经网络的手势识别程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于神经网络的手势识别方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有基于神经网络的手势识别程序，所述基于神经网络的手势识别程序被处理器执行时实现如权利要求1至6中任一项所述的基于神经网络的手势识别方法的步骤。
9.一种基于神经网络的手势识别装置，其特征在于，所述基于神经网络的手势识别装置包括：
数据采集模块，用于在接收到手势识别指令时，采集目标用户的当前手势数据；
模板获取模块，用于读取与预设训练神经网络对应的预设层间关系模板，所述预设层间关系模板中包括各层间关系式，所述层间关系式用于表征所述预设训练神经网络中的输入层、隐含层与输出层之间的关系；
手势识别模块，用于根据所述当前手势数据通过所述预设层间关系模板中的各层间关系式进行基于神经网络的手势识别操作，以获得手势识别结果；
所述手势识别模块，还用于根据所述当前手势数据通过所述层间关系式进行运算，以获得与预设神经网络层对应的运算结果，所述层间关系式与所述预设神经网络层对应；在所述预设神经网络层为所述输出层时，根据所述运算结果确定对应的手势识别结果。
CN201811485288.0A 2018-12-04 2018-12-04 基于神经网络的手势识别方法、设备、存储介质及装置 Active CN109635706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811485288.0A CN109635706B (zh) 2018-12-04 2018-12-04 基于神经网络的手势识别方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811485288.0A CN109635706B (zh) 2018-12-04 2018-12-04 基于神经网络的手势识别方法、设备、存储介质及装置

Publications (2)

Publication Number Publication Date
CN109635706A CN109635706A (zh) 2019-04-16
CN109635706B true CN109635706B (zh) 2020-09-01

Family

ID=66071460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485288.0A Active CN109635706B (zh) 2018-12-04 2018-12-04 基于神经网络的手势识别方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN109635706B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348323B (zh) * 2019-06-19 2022-12-16 广东工业大学 一种基于神经网络优化的穿戴式设备手势识别方法
CN110472506B (zh) * 2019-07-11 2023-05-26 广东工业大学 一种基于支持向量机和神经网络优化的手势识别方法
CN112308042A (zh) * 2020-05-22 2021-02-02 哈尔滨工程大学 一种基于信道状态信息的陌生人动作识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456991B1 (en) * 1999-09-01 2002-09-24 Hrl Laboratories, Llc Classification method and apparatus based on boosting and pruning of multiple classifiers
CN104361548A (zh) * 2014-10-28 2015-02-18 河南师范大学 基于bp神经网络数字图像压缩的图像水印嵌入与提取方法
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置
CN106156845A (zh) * 2015-03-23 2016-11-23 日本电气株式会社 一种用于构建神经网络的方法和设备
CN106293057A (zh) * 2016-07-20 2017-01-04 西安中科比奇创新科技有限责任公司 基于bp神经网络的手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456991B1 (en) * 1999-09-01 2002-09-24 Hrl Laboratories, Llc Classification method and apparatus based on boosting and pruning of multiple classifiers
CN104361548A (zh) * 2014-10-28 2015-02-18 河南师范大学 基于bp神经网络数字图像压缩的图像水印嵌入与提取方法
CN106156845A (zh) * 2015-03-23 2016-11-23 日本电气株式会社 一种用于构建神经网络的方法和设备
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置
CN106293057A (zh) * 2016-07-20 2017-01-04 西安中科比奇创新科技有限责任公司 基于bp神经网络的手势识别方法

Also Published As

Publication number Publication date
CN109635706A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN109522450B (zh) 一种视频分类的方法以及服务器
CN109635706B (zh) 基于神经网络的手势识别方法、设备、存储介质及装置
CN111950596A (zh) 一种用于神经网络的训练方法以及相关设备
WO2024041479A1 (zh) 一种数据处理方法及其装置
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN113516227B (zh) 一种基于联邦学习的神经网络训练方法及设备
CN107993651B (zh) 一种语音识别方法、装置、电子设备及存储介质
JP2022502758A (ja) 符号化方法、装置、機器およびプログラム
CN113627422A (zh) 一种图像分类方法及其相关设备
CN111950700A (zh) 一种神经网络的优化方法及相关设备
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN116186326A (zh) 视频推荐方法、模型训练方法、电子设备及存储介质
Li et al. Real-time one-shot learning gesture recognition based on lightweight 3D Inception-ResNet with separable convolutions
CN114169393A (zh) 一种图像分类方法及其相关设备
CN113627421A (zh) 一种图像处理方法、模型的训练方法以及相关设备
WO2023246735A1 (zh) 一种项目推荐方法及其相关设备
CN111144374B (zh) 人脸表情识别方法及装置、存储介质和电子设备
CN117373064A (zh) 基于自适应跨维度加权的人体姿态估计方法、计算机设备及存储介质
CN117056589A (zh) 一种物品推荐方法及其相关设备
CN116259311A (zh) 一种语音处理方法及其相关设备
CN115795025A (zh) 一种摘要生成方法及其相关设备
CN115376203A (zh) 一种数据处理方法及其装置
CN114707070A (zh) 一种用户行为预测方法及其相关设备
CN113641900A (zh) 信息推荐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant