CN110334605A - 基于神经网络的手势识别方法、装置、存储介质及设备 - Google Patents

基于神经网络的手势识别方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN110334605A
CN110334605A CN201910493340.5A CN201910493340A CN110334605A CN 110334605 A CN110334605 A CN 110334605A CN 201910493340 A CN201910493340 A CN 201910493340A CN 110334605 A CN110334605 A CN 110334605A
Authority
CN
China
Prior art keywords
gestures
images
gesture
neural network
original images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910493340.5A
Other languages
English (en)
Inventor
张爽
王义文
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910493340.5A priority Critical patent/CN110334605A/zh
Priority to PCT/CN2019/103056 priority patent/WO2020244071A1/zh
Publication of CN110334605A publication Critical patent/CN110334605A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像识别技术领域，尤其涉及一种基于神经网络的手势识别方法、装置、存储介质及设备。其中，所述基于神经网络的手势识别方法，包括：获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。本申请提供的方案，能够解决手势识别的准确率低下的问题，以提高手势识别的准确率。

Description

基于神经网络的手势识别方法、装置、存储介质及设备
技术领域
本申请涉及图像识别技术领域，具体而言，本申请涉及一种基于神经网络的手势识别方法、装置、存储介质及设备。
背景技术
手势识别是通过一定的算法使计算机识别图片或镜头中人体的手势，进而理解该手势的含义，实现用户和计算机的相互交流。随着机器学习和深度学习的发展，手势识别被广泛应用在游戏，购物等场景中。
现有技术中，一般是利用手势图像进行相应图像处理和识别后得到手势类型。但是，由于拍照环境不同，往往会造成光照不足、遮挡、分辨率不够、姿态不正确等场景，采用上述现有技术，容易存在会造成手势识别准确度下降等问题，给手势识别过程造成极大的挑战。
发明内容
本申请提供了一种基于神经网络的手势识别方法、基于神经网络的手势识别装置、计算机可读存储介质及计算机设备，以解决手势识别的准确率低下的问题，以提高手势识别的准确率。
本申请实施例首先提供了一种基于神经网络的手势识别方法，包括：
获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
在一种实施例中，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，包括：
将原始手势图像划分为若干子区域；
对每个子区域中的像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；
用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。
在一种实施例中，所述将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：
根据训练手势图像建立神经网络模型；其中，建立神经网络模型的步骤，包括：
获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；
基于该2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。
在一种实施例中，所述利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型的步骤，包括：
采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；
提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；
利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。
在一种实施例中，获得二值化手势图像对应的N维特征向量的步骤，包括：
将所述二值化手势图像划分为N个子区域；
获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；
将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。
在一种实施例中，所述计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的步骤，包括：
获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向量之间的欧式距离；
根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。
在一种实施例中，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤之前，还包括：
利用保边降噪算法对原始手势图像进行降噪处理。
进一步地，本申请实施例还提供了一种基于神经网络的手势识别装置，包括：
二值化处理模块，用于获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
识别模块，用于将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
确定手势类型模块，用于计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述任一项技术方案所述的基于神经网络的手势识别方法的步骤。
更进一步地，本申请实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一技术方案所述的基于神经网络的手势识别方法的步骤。
与现有技术相比，本申请提供的方案至少具备如下优点：
本申请实施例提供的基于神经网络的手势识别方法，通过将原始手势图像及其对应的二值化手势图像输入神经网络模型中进行识别，获得原始手势图像的特征信息，再根据原始手势图像的特征信息与数据库中存储的正样本手势图像的特征信息之间的欧式距离确定原始手势图像中的手势类型。由于二值化手势图像能够体现原始手势图像的纹理特征，多个通道的神经网络模型提取了原始手势图像的手势特征及纹理特征信息，与传统的通过单通道神经网络进行手势识别的方案相比，提高了原始手势图像的识别准确性。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个实施例提供的基于神经网络的手势识别方法的实施环境图；
图2为本申请一个实施例提供的基于神经网络的手势识别方法的流程图；
图3为本申请一个实施例提供的对原始手势图像进行二值化处理获得二值化手势图像的流程图；
图4为本申请一个实施例提供的建立神经网络模型的流程图；
图5为本申请另一个实施例提供的建立双通道神经网络模型的流程图；
图6为本申请一个实施例提供的计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的流程图；
图7为本申请一种实施例提供的基于神经网络的手势识别装置的结构示意图；
图8为本申请一种实施例提供的计算机设备的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一直播视频图像称为第二直播视频图像，且类似地，可将第二直播视频图像称为第一直播视频图像。第一直播视频图像和第二直播视频图像两者都是直播视频图像，但其不是同一个直播视频图像。
图1为一个实施例中提供的基于神经网络的手势识别方法的实施环境图，在该实施环境中，包括用户终端、服务器端。
本实施例提供的基于神经网络的手势识别方法可以在服务器端执行，执行过程如下：获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息，计算所述手势特征信息与数据库中的各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
需要说明的是，用户终端可为智能手机、平板电脑、笔记本电脑、台式计算机等，服务器端可以有具有处理功能的计算机设备来实现，但并不局限于此。服务器端与用户终端可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行网络连接，本申请在此不做限制。
在一个实施例中，图2为本申请实施例提供的基于神经网络的手势识别方法的流程示意图，该基于神经网络的手势识别方法可以应用于上述的服务器端，包括如下步骤：
步骤S210，获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
步骤S220，将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
步骤S230，计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
本申请提供的手势识别方案可以应用于如下场景中：身份验证过程中，捕捉用户的验证手势图像，由于实际情况复杂，捕捉到的验证手势图像，可能会模糊不清，难以辨认；或者在游戏、视频等文件中，手势图像只是整帧图片的一小部分，由于存储技术或者拍摄技术的不足，导致无法清楚地辨认图像中的手势类型。
为了解决上述问题，本申请提供了一种基于神经网络的手势识别方法，对获取到的原始手势图像进行二值化处理，获得其二值化手势图像，利用双通道神经网络模型识别手势特征信息，确定手势特征信息与各正样本手势特征信息之间的欧式距离，根据欧式距离大小确定原始手势图像的手势类型，如可以将欧式距离最小的正样本手势作为原始手势图像的手势类型。
在利用上述方案识别出原始手势图像中的手势类型之后，可以利用识别结果进行如下操作，如：进行身份验证中的验证分析，或者将手势图像的识别结果返回给用户等操作。
对原始手势图像进行二值化处理获得二值化手势图像，二值化手势图像提取了原始手势图像的纹理特征，尤其是原始手势图像局部的纹理特征信息，纹理特征识别用户手势，能够区别用户手势与背景图像，基于二值化手势图像进行手势类别的识别，有利于提高手势识别的准确性。
本申请提供的方案适用于静态手势识别场景，为了解决由于采集的手势图像不够清晰导致的手势识别困难或识别失败，本申请提供的方案提出基于神经网络模型的基于神经网络的手势识别方法，该神经网络模型有两个输入通道，双通道卷积神经网络能够同时接受图像的不同特征作为输入，本申请提供的方案中有两种特征，一种特征是手势特征，如：手势姿态信息，一种特征是纹理特征，分别进行卷积处理，然后再将这些特征进行组合，提取更多原始手势特征信息进行图像的识别与分类，有利于提高手势图像的识别准确率。
为了更清楚本申请提供的基于神经网络的手势识别方案及其技术效果，接下来以多个实施例对其具体方案进行详细阐述。
在一种实施例中，步骤S210的对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，可以采用如下方式进行处理，其流程示意图如图3所示，包括如下子步骤：
S211，将原始手势图像划分为若干子区域；
S212，对每个子区域的各像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；
S213，用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。
LBP指局部二值模式(Local Binary Patterns)，用来描述图像局部纹理特征的算子，提取的特征是原始手势图像的局部纹理特征。本方案是将原始手势图像转换成二值化手势图像，以便提取原始手势图像的纹理特征信息。
具体地，将原始手势图像划分为若干子区域，若干子区域包括一个及多于一个子区域的情况，每个子区域均包括多个像素点，选取合适的窗口大小，以窗口中心像素的灰度值作为阈值，相邻像素点的灰度值与其相比得到对应的二进制码表示局部纹理特征，举例阐述本方案，窗口大小为3*3，若窗口中心的周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，这样，3*3邻域内的8个像素点经比较可产生8位二进制数，将该二进制数转换成十进制数，即得到该窗口中心像素点的LBP值，用这个值来反映像素窗口的纹理特征信息。按照上述方式获得子区域中每个窗口像素点的LBP值，用该LBP值代替像素窗口的原灰度值，像素窗口被全部替换之后，获得二值化子区域手势图像，按照该方案获得全部子区域对应的二值化子区域手势图像，拼接所述二值化子区域手势图像获得原始手势图像的二值化手势图像。
在一种实施例中，步骤S220的将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：根据训练手势图像建立神经网络模型，建立神经网络模型的过程可以采用如下方式进行，请参见图4所示的流程示意图，包括如下步骤：
S221，获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；
S222，基于所述2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。
其中，N是任意正整数，N＝1、2……。训练手势图像是从预设的训练图像集合中提取的，对训练手势图像进行二值化处理，获得训练手势图像对应的二值化手势图像，对训练手势图像及其二值化手势图像进行特征提取，对这两张图像均提取N维特征向量，将获得的N维特征向量进行整合获得2N维特征向量，利用正样本手势图像的特征向量进行对比，获得该2N维特征向量的权重，建立神经网络模型。
其中，正样本手势图像是指包括已知手势类型的图像，即预先存储有该正样本手势图像及对应的手势类型。提取正样本手势图像的上述2N维特征向量，以所述正样本手势图像作为训练样本获得该2N维特征向量的权重，建立的神经网络模型可以通过如下方式描述：
P＝A1*X1+A2*X2+…+A2N*X2N，
其中，X1、X2…X2N为2N个特征向量，A1、A2…A2N为2N个特征向量对应的特征向量的权重，P是对应的手势类型，通过正样本手势图像集中的大量正样本手势图像的训练，获得2N个特征向量对应的特征向量的权重。通过该种大数据训练的方式获得神经网络模型，有利于后续进行手势图像识别时，调用该神经网络模型，迅速获得准确的手势类型。
本实施例进一步详细阐述如何获得神经网络模型，本申请实施例中所述的神经网络模型优选为双通道神经网络模型，优选采用如图5所示的方式获得双通道神经网络模型，包括如下子步骤：
S2221，采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；
S2222，提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；
S2223，利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。
具体地，正样本手势图像集中包括大量已知手势类型的正样本手势图像。具体地，提取第一正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及第一正样本手势图像对应的手势类型输入双通道神经网络模型，获得2N维特征向量的第一权重值，该第一权重值为初始权重值；提取第二正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及第二正样本手势图像对应的手势类型输入各特征向量权重值为第一权重值的双通道神经网络模型，获得2N维特征向量的第二权重值，该第二权重值为对第一权重值进行调整后的权重值，按照该种方式，依次利用正样本手势集中的正样本手势图像对2N维特征向量进行权重值的调整，经过获得双通道神经网络模型中各特征向量的最终权重值，各特征向量对应的权重值确定后，即建立了双通道神经网络模型。
步骤S2221的利用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型，Inception-Resnet-V2是一种卷积神经网络，是当今基准类测试中图像分类效果最好的神经网络，采用该种网络结构建立的卷积神经网络模型能够提高手势类型识别的准确率。
以N取64为例阐述获得2N维特征向量的过程：双通道神经网络模型中的一个通道中输入正样本手势图像，另一通道输入正样本手势图像对应的二值化手势图像，在两个通道中分别进行特征提取，分别获得64维特征向量，经过L2归一化后，最后整合连接成128维向量。
基于整合成的128维向量进行整样本手势图像的训练过程如下：利用第一正样本图像获得对应的第一权重值，利用第一权重值对应的神经网络模型计算第二正样本手势图像的输出与预设的手势类型之间的损失函数的数值，根据损失函数的数值调整神经网络模型的权重值，以减小损失函数的数值。不断计算神经网络模型输出与正样本预设手势类型之间的损失函数，经过样本集中的大量样本训练，损失函数的数值不断减小，模型输出手势类型的准确率越来越高，最终提取的128维特征向量能够反映待验证手势的特征点，各特征向量的权重能够准确反映各特征点的影像力，有利于快速准确地进行手势识别。
通过上述方法进行模型训练，利用步骤2进行手势特征信息的提取，再根据提取出特征信息进行手势识别，优选提取128维手势特征进行手势验证，增加了手势识别算法的鲁棒性和准确性。
以2N维特征向量建立的双通道神经网络模型，与单通道神经网络模型相比，增多了提取的特征信息，利用提取出的特征向量进行特征信息的对比和识别，有利于提高手势识别的准确度。
上述实施例介绍了如何根据获得的2N维特征向量进行神经网络模型的建立，接下来的实施例阐述如何获得二值化手势图像的2N维特征向量。
进一步地，还可以进行如下操作，获得原始手势图像的LBP特征向量：统计每个子区域LBP值的分布，获得每个子区域的LBP直方图，将每个子区域的直方图进行连接，获得原始手势图像的LBP纹理特征向量。
可以通过如下操作获得二值化手势图像对应的N维特征向量，包括如下子步骤：
A1、将二值化手势图像划分为N个子区域；
A2、获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；
A3、将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。
本申请实施例中获取N个子区域的LBP直方图的过程为：首先利用S212所述的方案获得各子区域中各像素窗口的LBP值，统计各子区域中LBP值的分布，获得各子区域的LBP直方图。
对N个子区域的LBP直方图进行归一化处理，将处理后的各子区域的直方图按照各子区域的空间顺序依次排成一列，形成LBP特征向量，按照该方式获得二值化手势图像对应的N维特征向量。
步骤S230的计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型，可以通过如下方式进行确定，其流程示意图如图6所示，包括如下步骤：
S231，获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向量之间的欧式距离；
S232，根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。
步骤S230利用计算原始手势图像的手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离确定原始手势图像中的特征信息，手势特征信息可以用多种形式表示，本申请实施例优选采用特征向量表示原始手势图像的特征信息，按照步骤S221提供的方案对原始手势图像及其二值化手势图像进行特征提取，分别获得原始手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量，同样的方案获得各正样本手势图像的2N维特征向量，计算原始手势图像的特征向量与各正样本手势图像之间的欧式距离，根据欧式距离的大小获得各正样本手势图像的置信度，将置信度最高的正样本手势图像中的手势类型作为原始手势图像的手势类型输出。
本申请实施例提供的方案利用原始手势图像对应的特征向量与正样本手势图像对应的特征向量之间的欧式距离确定原始手势图像中的手势类型，能够准确判断原始手势图像中的手势类型与正样本手势图像的手势类型之间的相似度，利用相似度在短时间内准确判断原始手势图像中的手势类型。
可选地，为了提高原始手势图像中手势类型的识别准确性，可以向数据库中增加正样本手势图像的样本数量，还可以预先对原始手势图像进行图像增强和/或图像滤波处理，利用保边降噪算法处理原始手势图像，利用保边降噪算法处理原始手势图像有利于凸显原始手势图像中的手势部分，过滤掉原始手势图像中的噪声，有利于提高原始手势图像的手势识别。
以上为本申请提供的基于神经网络的手势识别方法实施例，针对于该方法，下面阐述与其对应的基于神经网络的手势识别装置的实施例。
本申请实施例还提供了一种基于神经网络的手势识别装置，其结构示意图如图7所示，包括：二值化处理模块710、识别模块720、确定手势类型模块730，具体如下：
二值化处理模块710，用于获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
识别模块720，用于将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
确定手势类型模块730，用于计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
关于上述实施例中的基于神经网络的手势识别装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
进一步地，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述任意一项所述的基于神经网络的手势识别方法的步骤。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。
更进一步地，本申请实施例还提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的基于神经网络的手势识别方法的步骤。
图8是根据一示例性实施例示出的一种用于计算机设备800的结构框图。例如，计算机设备800可以被提供为一服务器。参照图8，计算机设备800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述基于双通道神经网络的基于神经网络的手势识别方法的步骤。
计算机设备800还可以包括一个电源组件826被配置为执行计算机设备800的电源管理，一个有线或无线网络接口850被配置为将计算机设备800连接到网络，和一个输入输出(I/O)接口858。计算机设备800可以操作基于存储在存储器832的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
应该理解的是，在本申请各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于神经网络的手势识别方法，其特征在于，包括：
获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
2.根据权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，包括：
将原始手势图像划分为若干子区域；
对每个子区域中的像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；
用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。
3.根据权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：
根据训练手势图像建立神经网络模型；其中，建立神经网络模型的步骤，包括：
获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；
基于该2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。
4.根据权利要求3所述的基于神经网络的手势识别方法，其特征在于，所述利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型的步骤，包括：
采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；
提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；
利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。
5.根据权利要求3所述的基于神经网络的手势识别方法，其特征在于，获得二值化手势图像对应的N维特征向量的步骤，包括：
将所述二值化手势图像划分为N个子区域；
获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；
将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。
6.根据权利要求3所述的基于神经网络的手势识别方法，其特征在于，所述计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的步骤，包括：
获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向量之间的欧式距离；
根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。
7.根据权利要求1所述的基于神经网络的手势识别方法，其特征在于，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤之前，还包括：
利用保边降噪算法对原始手势图像进行降噪处理。
8.一种基于神经网络的手势识别装置，其特征在于，包括：
二值化处理模块，用于获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
识别模块，用于将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
确定手势类型模块，用于计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的基于神经网络的手势识别方法的步骤。
10.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的基于神经网络的手势识别方法的步骤。
CN201910493340.5A 2019-06-06 2019-06-06 基于神经网络的手势识别方法、装置、存储介质及设备 Pending CN110334605A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910493340.5A CN110334605A (zh) 2019-06-06 2019-06-06 基于神经网络的手势识别方法、装置、存储介质及设备
PCT/CN2019/103056 WO2020244071A1 (zh) 2019-06-06 2019-08-28 基于神经网络的手势识别方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910493340.5A CN110334605A (zh) 2019-06-06 2019-06-06 基于神经网络的手势识别方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN110334605A true CN110334605A (zh) 2019-10-15

Family

ID=68140809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910493340.5A Pending CN110334605A (zh) 2019-06-06 2019-06-06 基于神经网络的手势识别方法、装置、存储介质及设备

Country Status (2)

Country Link
CN (1) CN110334605A (zh)
WO (1) WO2020244071A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244071A1 (zh) * 2019-06-06 2020-12-10 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备
CN112598728A (zh) * 2020-12-23 2021-04-02 成都极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质
CN113033290A (zh) * 2021-02-01 2021-06-25 广州朗国电子科技有限公司 一种图像子区域的识别方法、设备、存储介质
CN113420609A (zh) * 2021-05-31 2021-09-21 湖南森鹰智造科技有限公司 激光雷达人体手势识别方法、电子设备、存储介质
CN113570948A (zh) * 2021-08-06 2021-10-29 郑州捷安高科股份有限公司 急救教学方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926423B (zh) * 2021-02-07 2023-08-25 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN113435340B (zh) * 2021-06-29 2022-06-10 福州大学 基于改进Resnet的实时手势识别方法
CN113837025A (zh) * 2021-09-03 2021-12-24 深圳创维－Rgb电子有限公司 一种手势识别方法、系统、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127170B (zh) * 2016-07-01 2019-05-21 重庆中科云从科技有限公司 一种融合关键特征点的训练方法、识别方法及系统
CN108960412B (zh) * 2018-06-29 2022-09-30 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN109657533B (zh) * 2018-10-27 2020-09-25 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN110334605A (zh) * 2019-06-06 2019-10-15 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244071A1 (zh) * 2019-06-06 2020-12-10 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备
CN112598728A (zh) * 2020-12-23 2021-04-02 成都极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质
CN112598728B (zh) * 2020-12-23 2024-02-13 极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质
CN113033290A (zh) * 2021-02-01 2021-06-25 广州朗国电子科技有限公司 一种图像子区域的识别方法、设备、存储介质
CN113420609A (zh) * 2021-05-31 2021-09-21 湖南森鹰智造科技有限公司 激光雷达人体手势识别方法、电子设备、存储介质
CN113570948A (zh) * 2021-08-06 2021-10-29 郑州捷安高科股份有限公司 急救教学方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2020244071A1 (zh) 2020-12-10

Similar Documents

Publication Publication Date Title
CN110334605A (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110929569B (zh) 人脸识别方法、装置、设备及存储介质
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN113011403B (zh) 手势识别方法、系统、介质及设备
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN108197585A (zh) 脸部识别方法和装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN110795975B (zh) 人脸误检优化方法及装置
CN109255768A (zh) 图像补全方法、装置、终端及计算机可读存储介质
CN111597978B (zh) 基于StarGAN网络模型实现行人重识别图片自动生成的方法
CN111914762A (zh) 基于步态信息的身份识别方法及装置
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN110222647B (zh) 一种基于卷积神经网络的人脸活体检测方法
CN104978583B (zh) 人物动作的识别方法及装置
US20220366607A1 (en) System and method for hair analysis of user
CN114973293A (zh) 相似性判断方法、关键帧提取方法及装置、介质和设备
CN112906508B (zh) 一种基于卷积神经网络的面部活体检测方法
CN108647600A (zh) 人脸识别方法、设备及计算机可读存储介质
CN114004974A (zh) 对弱光环境下拍摄的图像的优化方法及装置
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及系统
CN114283087A (zh) 一种图像去噪方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination