CN107729854A - 一种机器人的手势识别方法、系统及机器人 - Google Patents

一种机器人的手势识别方法、系统及机器人 Download PDF

Info

Publication number
CN107729854A
CN107729854A CN201711006447.XA CN201711006447A CN107729854A CN 107729854 A CN107729854 A CN 107729854A CN 201711006447 A CN201711006447 A CN 201711006447A CN 107729854 A CN107729854 A CN 107729854A
Authority
CN
China
Prior art keywords
gesture
picture
sample
training
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711006447.XA
Other languages
English (en)
Inventor
谢阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Science And Technology Ltd Of A Fanda Robot
Original Assignee
Nanjing Science And Technology Ltd Of A Fanda Robot
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Science And Technology Ltd Of A Fanda Robot filed Critical Nanjing Science And Technology Ltd Of A Fanda Robot
Priority to CN201711006447.XA priority Critical patent/CN107729854A/zh
Priority to PCT/CN2017/111185 priority patent/WO2019080203A1/zh
Publication of CN107729854A publication Critical patent/CN107729854A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机器人的手势识别方法、系统及机器人，包括：预先采集包含不同手势及不包含手势的图片，得到样本图片集；根据所述样本图片集制作检测样本集、过滤样本集；根据所述检测样本集，训练得到adaboost级联手势检测器；根据所述过滤样本集，训练得到手势识别卷积神经网络；通过所述adaboost级联手势检测器识别采集到的手势图片，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。根据本发明能够通过手势识别卷积神经网络对adaboost级联手势检测器识别的结果进行过滤，在复杂背景下准确地识别出手势。

Description

一种机器人的手势识别方法、系统及机器人
技术领域
本发明涉及人工智能和图片处理领域，特别是一种机器人的手势识别方法、系统及机器人。
背景技术
随着科学技术的发展，智能机器人在日常生活和工业生产中的运用越来越多。在实现机器人智能化的过程中，手势识别作为人机交互一种重要方式，其研究发展影响着人机交互的自然性和灵活性。
目前有许多服务型机器人，能够根据用户的手势，识别用户指令，帮助人们完成许多工作。常规的图片处理技术和机器学习方法实现手势识别的流程通常包括手势分割、手势分析和手势识别等步骤。这种方式通常适用于单一背景下的识别，然而在现实应用中，手势通常处于复杂的环境下，例如背景复杂、光线过亮或过黯、手势离采集设备的距离不同等；在复杂的环境下，机器学习方法易出现误判，这时需要人工完成筛选，无法满足智能检测的目的。
因此，本发明提供了一种更加智能的手势识别方法和系统，能够使机器人更好地识别手势，完成相应的工作。
发明内容
本发明提供的一种机器人的手势识别方法、系统及机器人，能够通过手势识别卷积神经网络对adaboost级联手势检测器识别的结果进行过滤，在复杂背景下准确地识别出手势，其技术方案如下：
一种机器人的手势识别方法，包括：预先采集包含不同手势及不包含手势的图片，得到样本图片集；根据所述样本图片集制作检测样本集、过滤样本集；根据所述检测样本集，训练得到adaboost级联手势检测器；根据所述过滤样本集，训练得到手势识别卷积神经网络；通过所述adaboost级联手势检测器在待检测图片中识别手势，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
通过本方案，通过手势样本训练得到的adaboost级联手势检测器，在复杂环境下识别手势得到的识别结果并不是非常准确，会出现一些误判结果，通过手势识别卷积神经网络对识别结果进行过滤，能够自动筛选出正确的识别结果，使机器人在工作时更加智能化。
优选的，根据所述样本图片集制作检测样本集、过滤样本集具体为：从所述样本图片集中筛选出需要训练的手势对应的图片，作为手势样本集；从所述手势样本集中筛选出符合预设样本要求的图片，得到筛选后的手势样本集；对筛选后的手势样本集中的每张图片中手势位置进行标记，并对标记过手势的图片按照预设规格进行裁剪，并作为检测正样本集；将所述样本图片集中不包含手势的图片、包含肉色样本的图片，以及含有其他手势的图片作为检测负样本集；将所述检测正样本集和所述检测负样本集组合成所述检测样本集；将所述检测正样本集作为过滤正样本集；将所述样本图片集中不包含手势的图片，以及包含肉色样本的图片按照所述预设规格进行裁剪，得到过滤负样本集；所述过滤正样本集和所述过滤负样本集组合成所述过滤样本集。
通过本方案提供的手势样本制作方法，通过人工筛选，使筛选出的样本能够更加符合训练的要求，提高样本质量，训练得到的adaboost级联手势检测器和手势识别卷积神经网络在识别手势时的结果更加精确。
优选的，所述根据所述检测样本集，训练得到adaboost级联手势检测器具体为：根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；根据adaboost算法在所述多个弱分类器中筛选出误判率低的若干个弱分类器组成多个强分类器，其组合方式为：
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；将所述多个强分类器组合成adaboost级联手势检测器。
过本方案可以通过手势样本训练得到多个不同的弱分类器，组成不同的强分类器，最后训练得到的adaboost级联手势检测器，用于对手势进行初步识别，有较高的识别精确度，识别能力较强，识别正确率高。
优选的，训练得到手势识别卷积神经网络具体为：通过样本增强、归一化方法预处理所述过滤样本集；将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络。
通过预处理过滤样本集的方法，能够提高过滤样本集的多样性，提高精确度，并加速网络的收敛，将过滤样本集分成训练样本集、验证样本集和测试样本集，能够得到识别度高的手势识别卷积神经网络。
优选的，根据所述adaboost级联手势检测器和识别采集到的手势图片，得到识别结果，根据所述手势识别卷积0神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果具体为：使用级联adaboost分类器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；将多个手势分类图片按照所述预设规格调整图片大小，得到调整后的手势分类图片；将后的手势分类图片输入手势识别卷积神经网络中，以多线程的方式进行过滤，若所述调整后的手势分类图片中包含手势，则保存并显示所述调整后的手势分类图片，否则，过滤所述调整后的手势分类图片。
通过本方案，在识别手势的时候，先通过adaboost级联手势检测器对手势进行初步识别，得到多个手势识别结果，但是得到的识别结果不够精确，此时可以再将识别结果全部输入到手势识别卷积神经网络进行过滤，手势识别卷积神经网络在过滤时，以多进程的方式进行，能最大程度地提高过滤效率，大大降低处理时间，过滤之后，能得到精度较高的手势分类结果。
一种机器人的手势识别系统，包括：图片采集模块，用于预先采集包含不同手势及不包含手势的图片，得到样本图片集；检测器训练模块，用于根据人工制作的检测样本集，训练得到adaboost级联手势检测器；神经网络训练模块，用于根据人工制作的过滤样本集，训练得到手势识别卷积神经网络；手势识别模块，分别与所述检测器训练模块和所述手势识别卷积神经网络训练模块电连接，用于通过所述adaboost级联手势检测器在待检测图片中识别手势，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
通过本方案，通过手势样本训练得到的adaboost级联手势检测器，在复杂环境下识别手势得到的识别结果并不是非常准确，会出现一些误判结果，通过手势识别卷积神经网络对识别结果进行过滤，能够自动筛选出正确的识别结果，使机器人在工作时更加智能化。
优选的，所述检测器训练模块包括：计算子模块，用于根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；弱分类器训练子模块，与所述计算子模块电连接，用于根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；强分类器训练子模块，与所述弱分类器训练子模块电连接，用于根据adaboost算法在多个弱分类器中筛选出误判率低的若干个个弱分类器组成多个强分类器，其组合方式为：
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；检测器训练子模块，与所述强分类器训练子模块电连接，用于将所述多个强分类器组合成adaboost级联手势检测器。
过本方案可以通过手势样本训练得到多个不同的弱分类器，组成不同的强分类器，最后训练得到的adaboost级联手势检测器，用于对手势进行初步识别，有较高的识别精确度，识别能力较强，识别正确率高。优选的，所述神经网络训练模块包括：处理子模块，通过样本增强、归一化方法预处理手势识别卷积神经网络样本集；样本分类子模块，用于将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；处理子模块还用于初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；神经网络训练子模块，与所述处理模块和所述样本分类子模块电连接，通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络。
通过预处理过滤样本集的方法，能够提高过滤样本集的多样性，提高精确度，并加速网络的收敛，将过滤样本集分成训练样本集、验证样本集和测试样本集，能够得到识别度高的手势识别卷积神经网络。
优选的，所述手势识别模块包括：检测子模块，使用级联adaboost分类器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；图片调整子模块，与所述检测子模块电连接，用于将多个手势分类图片按照所述预设规格调整图片大小，得到调整后的手势分类图片；依次电连接的过滤子模块、储存子模块和显示子模块，所述过滤子模块与所述图片调整子模块电连接，用于将所述调整后的手势分类图片输入手势识别卷积神经网络中进行过滤，若所述调整后的手势分类图片中包含手势，则通过所述储存子模块保存所述调整后的手势分类图片，并通过显示子模块显示所述调整剪后的手势分类图片，否则，通过所述过滤子模块过滤裁剪后的手势分类图片。
通过本方案，在识别手势的时候，先通过adaboost级联手势检测器对手势进行初步识别，得到多个手势识别结果，但是得到的识别结果不够精确，此时可以再将识别结果全部输入到手势识别卷积神经网络进行过滤，手势识别卷积神经网络在过滤时，以多进程的方式进行，能最大程度地提高过滤效率，大大降低处理时间，过滤之后，能得到精度较高的手势分类结果。
一种机器人，其集成有上述的机器人手势识别系统。
根据本发明提供的，能够实现以下至少一种有益效果：
1、能够提高手势识别的正确率，识别手势更加精确。以往单一使用adaboost级联手势检测器对手势进行识别，但是环境的变化会影响识别结果，导致识别结果正确率不高。本发明训练了一个手势识别卷积神经网络，对adaboost级联手势检测器识别的结果进行进一步筛选过滤，剔除错误的识别结果，提高了手势识别的正确率。
2、本发明提供了一种改良后的S-LeNet神经网络结构。为了使手势检测在移动端和嵌入式等平台上运行，在保证准确率的同时尽可能的降低网络大小，使用卷积层和降采样层来代替一个全连接层；由于全连接层的参数占整体网络参数比重较大，换成卷积层和降采样层，能够有效的降低网络参数，同时还能增加网络特征提取的能力。由于卷积核个数越多，参数越多，前向传播时间越长，因此在保证网络准确率的同时，本发明尽可能的降低卷积核个数，使手势识别卷积神经网络的识别效率提高，由此训练得到的手势识别卷积神经网络处理速度快，识别的正确率更高，达到较好的识别效果。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种机器人的手势识别方法、系统及机器人的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种机器人的手势识别方法的一个实施例流程图；
图2是本发明一种机器人的手势识别方法的另一个实施例流程图；
图3是本发明中样本制作流程图；
图4是本发明一种机器人的手势识别方法的另一个实施例流程图；
图5是本发明中adaboost级联手势检测器训练流程图；
图6是本发明中手势识别卷积神经网络训练流程图；
图7是本发明一种机器人的手势识别方法的另一个实施例流程图；
图8是本发明中S-LeNet神经网络结构图；
图9是本发明中手势识别流程图；
图10是本发明手势识别卷积神经网络过滤adaboost分类器误判的效果图；
图11是本发明一种机器人的手势识别系统的一个结构示意图；
图12是本发明一种机器人的手势识别系统的另一个结构示意图；
图13是本发明一种机器人的手势识别系统的另一个结构示意图。
附图标号说明：
1-图片采集模块、2-检测器训练模块、21-计算子模块、22-弱分类器训练子模块、23-强分类器训练子模块、24-检测器训练子模块、3-神经网络训练模块、31-处理子模块、32-样本分类子模块、33-神经网络训练子模块、4-手势识别模块、41-检测子模块、42-图片调整子模块、43-过滤子模块、44-储存子模块、45-显示子模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
如图1所示，本发明提供了一种机器人的手势识别方法的一个实施例，包括：
预先采集包含不同手势及不包含手势的图片，得到样本图片集；
根据所述样本图片集制作检测样本集、过滤样本集；
根据所述检测样本集，训练得到adaboost级联手势检测器；根据所述过滤样本集，训练得到手势识别卷积神经网络；
通过所述adaboost级联手势检测器在待检测图片中识别手势，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
具体的，在以往的技术中，识别手势的过程只利用了adaboost级联手势检测器，这样识别得到的结果精确度不够高，而且在例如背景复杂、光线变化等复杂的环境下，识别的正确率会大大降低，识别到的手势结果往往有错误的结果，因此，本发明提供了一种具有深度学习能力的手势识别卷积神经网络，用于过滤掉错误的识别结果，进一步提高识别的正确率。在训练adaboost级联手势检测器和手势识别卷积神经网络之前，需要预先采集包含不同手势及不包含手势的图片，将之制作成检测样本集、过滤样本集，再通过检测样本集、过滤样本集训练对应的adaboost级联手势检测器和手势识别卷积神经网络。
如图2所示，本发明提供了一种机器人的手势识别方法的一个实施例，包括：
预先采集包含不同手势及不包含手势的图片，得到样本图片集；
从所述样本图片集中筛选出需要训练的手势对应的图片，作为手势样本训练集；
从所述手势样本训练集中筛选出符合预设样本要求的图片，得到筛选后的手势样本训练集；
对筛选后的手势样本训练集中的每张图片中手势位置进行标记，并对标记过手势的图片按照预设规格进行裁剪，并作为检测正样本集；
将所述样本图片集中不包含手势的图片、包含肉色样本的图片，以及含有其他手势的图片作为检测负样本集；
所述检测样本集包括所述检测正样本集和所述检测负样本集。
将所述检测正样本集作为过滤正样本集；
将所述样本图片集中不包含手势的图片，以及包含肉色样本的图片按照所述预设规格进行裁剪，得到过滤负样本集。
所述过滤样本集包括所述过滤正样本集和所述过滤负样本集。
根据所述检测样本集，训练得到adaboost级联手势检测器；根据所述过滤样本集，训练得到手势识别卷积神经网络；
根据所述adaboost级联手势检测器识别采集到的手势图片，得到手势识别结果，根据所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
具体的，本实施例具体阐述了样本的制作过程。样本制作流程如图3所示，首先采集包含不同手势的图片样本，同时也采集不包含手势的图片，并按手势进行分类存储，得到需要训练的手势对应的手势样本集；其次再从手势样本集中筛选出符合符合预设样本要求的图片，手势的预设样本要求包括手势图片清晰，图片中的手势完整等等；之后，人工分别标记手势样本集中手势的位置并剪裁，将其变换到指定大小，如40×40像素点大小，作为训练两种算法的正样本；
本发明在训练级联Adaboost检测器时，是针对不同的手势，训练不同的分类器，具体样本制作子步骤如下：将上述经过裁剪的样本作为检测正样本集；收集不包含手势的负样本图片，负样本图片中应包含肉色样本，肉色样本是指包含人体皮肤颜色的样本，不同手势的样本也作为负样本，如训练剪刀手检测分类器时，拳头、布的样本作为Adaboost算法负样本集使用。训练级联Adaboost所需的负样本的大小不需要变换成规定大小。将Adaboost算法正样本集和Adaboost算法负样本集作为Adaboost算法样本集。
本发明使用手势识别卷积神经网络进行误判过滤时，只判断手或非手，因此只需进行简单分类即可，具有的样本制作子步骤如下：将Adaboost算法正样本集作为手势识别卷积神经网络正样本集；收集不包含手势的负样本图片，负样本图片中应包含肉色样本；将收集到负样本，裁剪出若干个指定大小的负样本，如像40×40素点大小。
本实施例中的手势样本制作主要通过人工来完成，筛选样本的精度较高，样本比较规范，制作得到的样本训练得到的adaboost分类器和手势识别卷积神经网络识别度会比较高。
如图4所示，本发明提供了一种机器人的手势识别方法的一个实施例，包括：
预先采集包含不同手势及不包含手势的图片，得到样本图片集；
根据所述样本图片集制作检测样本集、过滤样本集；
根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；
根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；根据adaboost算法在多个弱分类器中筛选出误判率低的若干个弱分类器组成多个强分类器，其组合方式为：
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；
将所述多个强分类器组合成adaboost级联手势检测器。
通过样本增强、归一化方法预处理所述过滤样本集；
将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；
初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；
通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络；
优选的，根据所述S-LeNet神经网络，使用所述训练样本集对手势识别卷积神经网络进行训练，得到训练准确率，当所述训练准确率达到第一预设期望值时，执行下一步骤，否则，调整所述S-LeNet神经网络的参数继续训练，直到所述训练准确率达到第一预设期望值；
优选的，根据所述S-LeNet神经网络，使用所述验证样本集对训练得到的手势识别卷积神经网络进行验证，得到验证准确率，当所述验证准确率达到第二预设期望值时，执行下一步骤，否则，调整所述S-LeNet神经网络的参数重新训练并验证，直到所述验证准确率达到所述第二预设期望值；
优选的，根据所述S-LeNet神经网络，使用所述测试样本集对训练得到的手势识别卷积神经网络进行测试，得到测试准确率，当所述测试准确率达到第三预设期望值时，停止训练，得到训练后的所述手势识别卷积神经网络，否则，调整所述S-LeNet神经网络的参数重新训练、验证及测试，直到所述测试准确率达到所述第三预设期望值。
通过所述adaboost级联手势检测器在待检测图片中识别手势，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
具体的，本实施例对如何训练adaboost级联手势检测器以及手势识别卷积神经网络进行了进一步的说明。
本实施例中训练adaboost级联手势检测器的流程如图5所示，adaboost级联手势检测器是由多个强分类器组成而成，强分类器又由多个弱分类器组成，因此在得到级联Adaboost前，先训练多个弱分类器。根据不同手势的样本训练不同的分类器，每种手势训练多层不同分类器，并组合用于手势检测和识别。每个手势(例如，单个剪刀手，其他手势训练流程相同)的强分类器训练流程如下：
1、以检测样本集作为输入，在给定的矩形特征原型下，计算并获得矩形特征集；
2、以矩形特征集作为输入，根据给定的弱学习算法，确定阈值，训练弱分类器；
3、以弱分类器作为输入，根据检测率和误判率，使用Adaboost算法挑选最优的几个弱分类器组成强分类器；
4、以强分类器作为输入，组合成adaboost级联手势检测器；
通过本实施例提供的adaboost级联手势检测器训练方法，能够使adaboost级联手势检测器有较高的识别精度和较好的识别效果，减小手势识别卷积神经网络的处理任务。
本实施例中训练手势识别卷积神经网络的流程如图6所示，具体训练流程如下：
1、通过样本增强、归一化方法预处理手势过滤样本集，以提高样本的多样性和加速网络的收敛；
2、将所述过滤样本集按预设比例，如6∶2∶2分割为训练样本集、验证样本集和测试样本集；
3、初始化所述神经网络卷积中的S-LeNet神经网络的参数；
4、使用所述训练样本集对手势识别卷积神经网络进行训练，得到训练准确率，当所述训练准确率达到第一预设期望值时，执行下一步骤，否则，调整所述LeNet神经网络的参数继续训练，直到所述训练准确率达到第一预设期望值；
5、使用所述验证样本集对训练得到的手势识别卷积神经网络进行验证，得到验证准确率，当所述验证准确率达到第二预设期望值时，执行下一步骤，否则，调整所述LeNet神经网络的参数重新训练并验证，直到所述验证准确率达到所述第二预设期望值；
6、使用所述测试样本集对训练得到的手势识别卷积神经网络进行测试，得到测试准确率，当所述测试准确率达到第三预设期望值时，停止训练，得到训练后的所述手势识别卷积神经网络，否则，调整所述LeNet神经网络的参数重新训练、验证及测试，直到所述测试准确率达到所述第三预设期望值。
通过本实施例提供的手势识别卷积神经网络训练方法，训练得到的手势识别卷积神经网络识别率非常高，能够将adaboost级联手势检测器识别的结果进行准确的判定，达到智能化识别的效果。
如图7所示，本发明提供了一种机器人的手势识别方法的一个实施例，包括：
预先采集包含不同手势及不包含手势的图片，得到样本图片集；
根据所述样本图片集制作检测样本集、过滤样本集；
根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；
根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；
根据adaboost算法在多个弱分类器中筛选出误判率低的若干个个弱分类器组成多个强分类器，其组合方式为：
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；
将所述多个强分类器组合成adaboost级联手势检测器。
通过样本增强、归一化方法预处理所述过滤样本集；
将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；
初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；
通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络；
使用级联adaboost分类器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；
将多个手势分类图片按照所述预设规格调整图片大小，得到调整后的手势分类图片；
将后的手势分类图片输入手势识别卷积神经网络中，以多线程的方式进行过滤，若所述调整后的手势分类图片中包含手势，则保存并显示所述调整后的手势分类图片，否则，过滤所述调整后的手势分类图片。
优选的，所述S-LeNet神经网络具体为：
输入层接收输入的所述过滤样本；
第一卷积层中的每个卷积核通过卷积操作，分别检测输入的所述过滤样本集中每个过滤样本对应的特定特征，得到每个手势识别卷积神经网络手势对应的第一卷积特征集，其卷积操作方式为：
X＝f(x*wij+b)
其中，*为二维离散卷积运算符，b为偏置，wij为卷积核，x为输入特征图，f(·)为激活函数；
第一激活函数层通过非线性变换保留所述第一卷积特征集中符合激活函数要求的特征，删除不符合激活函数要求的特征，得到处理后的第一处理特征集；
第一下采样层对所述第一处理特征集进行聚合统计，得到每个手势识别卷积神经网络手势对应的聚合统计后的第一统计特征集，其统计方法为：
x＝f(β·down(x)+b)
其中，β为乘性偏置，down()为下采样函数，b为加性偏置，f(·)为激活函数；
第二卷积层对所述第一下采样层得到的聚合统计后的所述第一统计特征集进行卷积操作，得到第二卷积特征集；
第二激活函数层通过非线性变换保留所述第二卷积特征集中符合激活函数要求的特征，删除不符合激活函数要求的特征，得到处理后的第二处理特征集；
第二下采样层对所述第二处理特征集进行聚合统计，得到每个手势识别卷积神经网络手势对应的聚合统计后的第二统计特征集；
第三卷积层对所述第二下采样层得到的聚合统计后的所述第一统计特征集进行卷积操作，得到第三卷积特征集；
第三激活函数层通过非线性变换保留所述第三卷积特征集中符合激活函数要求的特征，删除不符合激活函数要求的特征，得到处理后的第三处理特征集；
第三下采样层对所述第三处理特征集进行聚合统计，得到每个手势识别卷积神经网络手势对应的聚合统计后的第三统计特征集；
全连接层中所有神经元节点与所述第三下采样层输出的每个手势识别卷积神经网络手势对应的第三特征集中所有的特征点相互连接，其输出函数为：
h(x)＝f(w·x+b)
式中：x为全连接层的输入；h(x)为全连接层的输出；w为权值；b为加性偏置；f(·)为激活函数；
所述全连接层的输出作为输入样本，通过SOFTMAX输出层计算得到K类分类器，所述K类分类器为K维向量，其计算方法为：
式中：x为输入样本，y为输出，p(y＝j|x)为将样本判定为某个类别j的概率。为模型参数；为归一化函数，对概率分布进行归一化，使得所有概率之和为1。
具体的，本实施例对手势识别卷积神经网络中的S-LeNet神经网络的结构进行了阐述。一般来说，现有的LeNet结构包含两个卷积层、两个降采样层、两个全连接层和一个输出层，为了使手势识别在移动端和嵌入式等平台上运行，在保证准确率的同时尽可能的降低网络大小，本发明使用的网络包含三个卷积层，三个降采样层、一个全连接层和一个输出层，如图8所示。本发明使用卷积层和降采样层来代替一个全连接层。全连接层的参数占整体网络参数比重较大，换成卷积层和降采样层，能够有效的降低网络参数，同时还能增加网络特征提取的能力。本实施例中，还降低卷积核的个数，卷积核个数越多，参数越多，前向传播时间越长，因此在保证网络准确率的同时尽可能的降低卷积核个数。
第一卷积层、第二卷积层、第三卷积层的结构功能都一样，其中的每个卷积核检测输入特征图所有位置上的特定特征，实现了同一输入特征图上的权值共享。为了提取输入特征图不同的特征，则使用不同的卷积核进行卷积操作；手势识别卷积神经网络样本在通过卷积层后，通过非线性变换保留特征中重要的部分并映射出来，去除特征中冗余的部分，同时提高特征的表征能力；常见激活函数有sigmoid、Tanh和Relu等；然后再经过降采样层。对卷积得到的特征图进行聚合统计，从而更加方便的描述高维图片，这种聚合操作就是下采样。下采样操作在降低了输出特征图分辨率的同时，依旧较好的保持着高分辨率特征图描述的特征；全连接层的所有神经元节点，都与上一层输出的特征图中所有的神经元节点互相连接，然后再通过输出层计算，输出一个K维的向量。在训练每个手势对应的手势识别卷积神经网络的时候，每一个手势训练之后都能得到对应的一个K维向量，如拳头对应的是一个K维向量{ak}，剪刀对应的是一个K维向量{bk}，布对应的是一个K维向量{ck}。
手势识别的过程可以参照图9所示的流程图，首先使用adaboost级联手势检测器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；然后将多个手势分类图片按照所述预设规格，如40×40像素大小进行裁剪，得到手势识别卷积神经网络能够识别的手势分类图片；将裁剪后的手势分类图片输入手势识别卷积神经网络中，以多线程的方式进行识别过滤，在手势识别卷积神经网络在识别手势的时候，通过上述的步骤，将得到一个K维向量，将得到的K维向量和预先训练得到的K维向量进行比对，由此来识别手势，比如识别手势得到的K维向量与拳头对应的K维向量{ak}非常接近，则可以判断识别到的手势为拳头。若识别到图片中包含手势，则保存并显示此图片，否则，过滤此图片。如图10所示，adaboost级联手势检测器检测到的结果为三个黑框，但是由于背景比较复杂，检测到的结果不是很精确，经过手势识别卷积神经网络过滤之后将识别到的结果用白色框显示出来。
如图11所示，本发明提供了一种机器人的手势识别方法的一个实施例，包括：
图片采集模块，用于预先采集包含不同手势及不包含手势的图片，得到样本图片集；
检测器训练模块，用于根据人工制作的检测样本集，训练得到adaboost级联手势检测器；
神经网络训练模块，用于根据人工制作的过滤样本集，训练得到手势识别卷积神经网络；
手势识别模块，分别与所述检测器训练模块和所述手势识别卷积神经网络训练模块电连接，用于通过所述adaboost级联手势检测器在待检测图片中识别手势，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
具体的，机器人可以安装多个摄像头，这些摄像头采集采集包含不同手势及不包含手势的图片，得到样本图片集；之后人工处理样本图片集，制作得到检测样本集、过滤样本集，之后通过检测器训练模块和神经网络训练模块分别训练得到adaboost级联手势检测器和手势识别卷积神经网络。在机器人识别手势的时候，通过手势识别模块，先使用adaboost级联手势检测器对手势进行一个初步识别，得到多个结果。由于adaboost级联手势检测器在复杂环境下识别的精度不够高，得到的结果有可能会出现错误的结果，因此，再使用手势识别卷积神经网络对得到的结果进行过滤，筛选出正确的结果，并显示在屏幕上，完成识别过程。
如图12所示，本发明提供了一种机器人的手势识别方法的一个实施例，在上一实施例的基础上，本实施例包括：
图片采集模块，用于预先采集包含不同手势及不包含手势的图片，得到样本图片集；
检测器训练模块，用于根据人工制作的检测样本集，训练得到adaboost级联手势检测器；
计算子模块，用于根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；
弱分类器训练子模块，与所述计算子模块电连接，用于根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；
强分类器训练子模块，与所述弱分类器训练子模块电连接，用于根据adaboost算法在多个弱分类器中筛选出误判率低的若干个个弱分类器组成多个强分类器，其组合方式为：
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；
检测器训练子模块，与所述强分类器训练子模块电连接，用于将所述多个强分类器组合成adaboost级联手势检测器。
神经网络训练模块，用于根据人工制作的过滤样本集，训练得到手势识别卷积神经网络；
处理子模块，通过样本增强、归一化方法预处理手势识别卷积神经网络样本集；
样本分类子模块，用于将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；
处理子模块还用于初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；
神经网络训练子模块，与所述处理模块和所述样本分类子模块电连接，通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络。
手势识别模块，分别与所述检测器训练模块和所述手势识别卷积神经网络训练模块电连接，用于根据所述adaboost级联手势检测器和所述手势识别卷积神经网络识别采集到的手势图片。
具体的，本实施例对如何训练adaboost级联手势检测器以及手势识别卷积神经网络进行了进一步的说明。
本实施例中，adaboost级联手势检测器是由多个强分类器组成而成，强分类器又由多个弱分类器组成，因此在得到级联Adaboost前，先训练多个弱分类器。根据不同手势的样本训练不同的分类器，每种手势训练多层不同分类器，并组合用于手势检测和识别。每个手势的强分类器训练流程如下：
首先，计算子模块以检测样本集作为输入，在给定的矩形特征原型下，计算并获得矩形特征集；
弱分类器训练子模块以矩形特征集作为输入，根据给定的弱学习算法，确定阈值，训练弱分类器；
强分类器训练子模块以弱分类器作为输入，根据检测率和误判率，使用Adaboost算法挑选最优的几个弱分类器组成强分类器；
检测器训练子模块以强分类器作为输入，组合成adaboost级联手势检测器；
通过本实施例提供的adaboost级联手势检测器训练方法，能够使adaboost级联手势检测器有较高的识别精度和较好的识别效果，减小手势识别卷积神经网络的处理任务。
训练手势识别卷积神经网络具体如下：处理子模块通过样本增强、归一化方法预处理手势过滤样本集，以提高样本的多样性和加速网络的收敛；人工将所述过滤样本集按预设比例，如6∶2∶2分割为训练样本集、验证样本集和测试样本集；处理子模块初始化所述神经网络卷积中的S-LeNet神经网络的参数；
神经网络训练子模块使用所述训练样本集对手势识别卷积神经网络进行训练，得到训练准确率，当所述训练准确率达到第一预设期望值时，执行下一步骤，否则，调整所述S-LeNet神经网络的参数继续训练，直到所述训练准确率达到第一预设期望值；
神经网络训练子模块使用所述验证样本集对训练得到的手势识别卷积神经网络进行验证，得到验证准确率，当所述验证准确率达到第二预设期望值时，执行下一步骤，否则，调整所述S-LeNet神经网络的参数重新训练并验证，直到所述验证准确率达到所述第二预设期望值；
神经网络训练子模块使用所述测试样本集对训练得到的手势识别卷积神经网络进行测试，得到测试准确率，当所述测试准确率达到第三预设期望值时，停止训练，得到训练后的所述手势识别卷积神经网络，否则，调整所述S-LeNet神经网络的参数重新训练、验证及测试，直到所述测试准确率达到所述第三预设期望值。
通过本实施例提供的手势识别卷积神经网络训练方法，训练得到的手势识别卷积神经网络识别率非常高，能够将adaboost级联手势检测器识别的结果进行准确的判定，达到智能化识别的效果。
如图13所示，本发明提供了一种机器人的手势识别方法的一个实施例，包括：
图片采集模块，用于预先采集包含不同手势及不包含手势的图片，得到样本图片集；
检测器训练模块，用于根据人工制作的检测样本集，训练得到adaboost级联手势检测器；
计算子模块，用于根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；
弱分类器训练子模块，与所述计算子模块电连接，用于根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；
强分类器训练子模块，与所述弱分类器训练子模块电连接，用于根据adaboost算法在多个弱分类器中筛选出误判率低的若干个个弱分类器组成多个强分类器，其组合方式为：
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；
检测器训练子模块，与所述强分类器训练子模块电连接，用于将所述多个强分类器组合成adaboost级联手势检测器。
神经网络训练模块，用于根据人工制作的过滤样本集，训练得到手势识别卷积神经网络；
处理子模块，通过样本增强、归一化方法预处理手势识别卷积神经网络样本集；
样本分类子模块，用于将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；
处理子模块还用于初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；
神经网络训练子模块，与所述处理模块和所述样本分类子模块电连接，通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络。
手势识别模块，分别与所述检测器训练模块和所述手势识别卷积神经网络训练模块电连接，用于根据所述adaboost级联手势检测器和所述手势识别卷积神经网络识别采集到的手势图片。
检测子模块，使用级联adaboost分类器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；
图片调整子模块，与所述检测子模块电连接，用于将多个手势分类图片按照所述预设规格调整图片大小，得到调整后的手势分类图片；
依次电连接的过滤子模块、储存子模块和显示子模块，所述过滤子模块与所述图片调整子模块电连接，用于将所述调整后的手势分类图片输入手势识别卷积神经网络中进行过滤，若所述调整后的手势分类图片中包含手势，则通过所述储存子模块保存所述调整后的手势分类图片，并通过显示子模块显示所述调整剪后的手势分类图片，否则，通过所述过滤子模块过滤裁剪后的手势分类图片。
优选的，所述神经网络训练子模块训练得到的S-LeNet神经网络包括：
输入层，用于接收输入的所述过滤样本；
第一卷积层，所述第一卷积层中的每个卷积核通过卷积操作，分别检测输入的所述过滤样本集中每个过滤样本对应的特定特征，得到每个手势识别卷积神经网络手势对应的第一卷积特征集，其卷积操作方式为：
X＝f(x*wij+b)
其中，*为二维离散卷积运算符，b为偏置，wij为卷积核，x为输入特征图，f(·)为激活函数；
第一激活函数层，通过非线性变换保留所述第一卷积特征集中符合激活函数要求的特征，删除不符合激活函数要求的特征，得到处理后的第一处理特征集；
第一下采样层，对所述第一处理特征集进行聚合统计，得到每个手势识别卷积神经网络手势对应的聚合统计后的第一统计特征集，其统计方法为：
x＝f(β·down(x)+b)
其中，β为乘性偏置，down()为下采样函数，b为加性偏置，f(·)为激活函数；
第二卷积层，对所述第一下采样层得到的聚合统计后的手势第一统计特征集进行卷积操作，得到第二卷积特征集；
第二激活函数层，通过非线性变换保留所述第二卷积特征集中符合激活函数要求的特征，删除不符合激活函数要求的特征，得到处理后的第二处理特征集；
第二下采样层，对所述第二处理特征集进行聚合统计，得到每个手势识别卷积神经网络手势对应的聚合统计后的第二统计特征集；
第三卷积层，对所述第二下采样层得到的聚合统计后的手势第一统计特征集进行卷积操作，得到第三卷积特征集；
第三激活函数层，通过非线性变换保留所述第三卷积特征集中符合激活函数要求的特征，删除不符合激活函数要求的特征，得到处理后的第三处理特征集；
第三下采样层，对所述第三处理特征集进行聚合统计，得到每个手势识别卷积神经网络手势对应的聚合统计后的第三统计特征集；
全连接层，所述全连接层中所有神经元节点与所述第三下采样层输出的每个手势识别卷积神经网络手势对应的第三特征集中所有的特征点相互连接，其输出函数为：
h(x)＝f(w·x+b)
式中：x为全连接层的输入；h(x)为全连接层的输出；w为权值；b为加性偏置；f(·)为激活函数；
输出层，用于将所述全连接层的输出作为输入样本，计算得到K类分类器，所述K类分类器为K维向量，其计算方法为：
式中：x为输入样本，y为输出，p(y＝j|x)为将样本判定为某个类别j的概率。为模型参数；为归一化函数，对概率分布进行归一化，使得所有概率之和为1。
一般来说，当前的LeNet神经网络结构包含两个卷积层、两个降采样层、两个全连接层和一个输出层，为了使手势识别在移动端和嵌入式等平台上运行，在保证准确率的同时尽可能的降低网络大小，本发明使用的网络包含三个卷积层，三个降采样层、一个全连接层和一个输出层，如图8所示。本发明使用卷积层和降采样层来代替一个全连接层。全连接层的参数占整体网络参数比重较大，换成卷积层和降采样层，能够有效的降低网络参数，同时还能增加网络特征提取的能力。本实施例中，还降低卷积核的个数，卷积核个数越多，参数越多，前向传播时间越长，因此在保证网络准确率的同时尽可能的降低卷积核个数。
第一卷积层、第二卷积层、第三卷积层的结构功能都一样，其中的每个卷积核检测输入特征图所有位置上的特定特征，实现了同一输入特征图上的权值共享。为了提取输入特征图不同的特征，则使用不同的卷积核进行卷积操作；手势识别卷积神经网络样本在通过卷积层后，通过非线性变换保留特征中重要的部分并映射出来，去除特征中冗余的部分，同时提高特征的表征能力；常见激活函数有sigmoid、Tanh和Relu等；然后再经过降采样层。对卷积得到的特征图进行聚合统计，从而更加方便的描述高维图片，这种聚合操作就是下采样。下采样操作在降低了输出特征图分辨率的同时，依旧较好的保持着高分辨率特征图描述的特征；全连接层的所有神经元节点，都与上一层输出的特征图中所有的神经元节点互相连接，然后再通过输出层计算，输出一个K维的向量。在训练每个手势对应的手势识别卷积神经网络的时候，每一个手势训练之后都能得到对应的一个K维向量，如拳头对应的是一个K维向量{ak}，剪刀对应的是一个K维向量{bk}，布对应的是一个K维向量{ck}。
在对手势进行识别之后，首先使用adaboost级联手势检测器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；然后将多个手势分类图片按照所述预设规格，如40×40像素大小进行裁剪，得到手势识别卷积神经网络能够识别的手势分类图片；将裁剪后的手势分类图片输入手势识别卷积神经网络中，以多线程的方式进行识别过滤，在手势识别卷积神经网络在识别手势的时候，通过上述的步骤，将得到一个K维向量，将得到的K维向量和预先训练得到的K维向量进行比对，由此来识别手势。若识别到图片中包含手势，则保存并显示此图片，否则，过滤此图片。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种机器人的手势识别方法，其特征在于，包括：
预先采集包含不同手势及不包含手势的图片，得到样本图片集；
根据所述样本图片集制作检测样本集、过滤样本集；
根据所述检测样本集，训练得到adaboost级联手势检测器；根据所述过滤样本集，训练得到手势识别卷积神经网络；
通过所述adaboost级联手势检测器在待检测图片中识别手势，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
2.如权利要求1所述的一种机器人的手势识别方法，其特征在于，根据所述样本图片集制作检测样本集、过滤样本集具体为：
从所述样本图片集中筛选出需要训练的手势对应的图片，作为手势样本集；
从所述手势样本集中筛选出符合预设样本要求的图片，得到筛选后的手势样本集；
对筛选后的手势样本集中的每张图片中手势位置进行标记，并对标记过手势的图片按照预设规格进行裁剪，作为检测正样本集；
将所述样本图片集中不包含手势的图片、包含肉色样本的图片，以及含有其他手势的图片作为检测负样本集；
将所述检测正样本集和所述检测负样本集组合成所述检测样本集；
将所述检测正样本集作为过滤正样本集；
将所述样本图片集中不包含手势的图片，以及包含肉色样本的图片按照所述预设规格进行裁剪，得到过滤负样本集；
所述过滤正样本集和所述过滤负样本集组合成所述过滤样本集。
3.如权利要求1所述的一种机器人的手势识别方法，其特征在于，所述根据所述检测样本集，训练得到adaboost级联手势检测器具体为：
根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；
根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；
根据adaboost算法在所述多个弱分类器中筛选出误判率低的若干个弱分类器组成多个强分类器，其组合方式为：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mover> <mi>&amp;Sigma;</mi> <mi>M</mi> </mover> <msub> <mi>&amp;alpha;</mi> <mi>m</mi> </msub> <msub> <mi>G</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow>
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；
将所述多个强分类器组合成adaboost级联手势检测器。
4.如权利要求1所述的一种机器人的手势识别方法，其特征在于，训练得到手势识别卷积神经网络具体为：
通过样本增强、归一化方法预处理所述过滤样本集；
将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；
初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；
通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络。
5.如权利要求1～4中任一项所述的一种机器人的手势识别方法，其特征在于，根据所述adaboost级联手势检测器和识别采集到的手势图片，得到识别结果，根据所述手势识别卷积0神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果具体为：
使用级联adaboost分类器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；
将多个手势分类图片按照所述预设规格调整图片大小，得到调整后的手势分类图片；
将后的手势分类图片输入手势识别卷积神经网络中，以多线程的方式进行过滤，若所述调整后的手势分类图片中包含手势，则保存并显示所述调整后的手势分类图片，否则，过滤所述调整后的手势分类图片。
6.一种机器人的手势识别系统，其特征在于，包括：
图片采集模块，用于预先采集包含不同手势及不包含手势的图片，得到样本图片集；
检测器训练模块，用于根据人工制作的检测样本集，训练得到adaboost级联手势检测器；
神经网络训练模块，用于根据人工制作的过滤样本集，训练得到手势识别卷积神经网络；
手势识别模块，分别与所述检测器训练模块和所述手势识别卷积神经网络训练模块电连接，用于通过所述adaboost级联手势检测器在待检测图片中识别手势，得到手势识别结果，通过所述手势识别卷积神经网络对所述手势识别结果进行过滤，得到正确的手势识别结果。
7.如权利要求6所述的一种机器人的手势识别系统，其特征在于，所述检测器训练模块包括：
计算子模块，用于根据所述检测样本集，计算得到每个检测样本对应的矩形特征集；
弱分类器训练子模块，与所述计算子模块电连接，用于根据所有检测样本分别对应的矩形特征集，训练得到多个弱分类器；
强分类器训练子模块，与所述弱分类器训练子模块电连接，用于根据adaboost算法在多个弱分类器中筛选出误判率低的若干个个弱分类器组成多个强分类器，其组合方式为：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mover> <mi>&amp;Sigma;</mi> <mi>M</mi> </mover> <msub> <mi>&amp;alpha;</mi> <mi>m</mi> </msub> <msub> <mi>G</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow>
其中，M为迭代次数，即得到的弱分类器的个数；αm为每个弱分类器的权值；Gm(x)为弱分类器，f(x)为强分类器；
检测器训练子模块，与所述强分类器训练子模块电连接，用于将所述多个强分类器组合成adaboost级联手势检测器。
8.如权利要求6所述的一种机器人的手势识别系统，其特征在于，所述神经网络训练模块包括：
处理子模块，通过样本增强、归一化方法预处理手势识别卷积神经网络样本集；
样本分类子模块，用于将所述过滤样本集按预设比例分割为训练样本集、验证样本集和测试样本集；
处理子模块还用于初始化轻量化神经网络S-LeNet，所述S-LeNet为对LeNet进行优化后的神经网络，所述优化具体为使用卷积层和降采样层来代替LeNet的全连接层，以及降低卷积核的个数；
神经网络训练子模块，与所述处理模块和所述样本分类子模块电连接，通过所述S-LeNet神经网络，使用所述训练样本集、所述验证样本集和所述测试样本集训练得到手势识别卷积神经网络。
9.如权利要求6～8任一项所述的一种机器人的手势识别系统，其特征在于，所述手势识别模块包括：
检测子模块，使用级联adaboost分类器对采集到的每一帧待检测图片进行检测，得到多个手势分类图片；
图片调整子模块，与所述检测子模块电连接，用于将多个手势分类图片按照所述预设规格调整图片大小，得到调整后的手势分类图片；
依次电连接的过滤子模块、储存子模块和显示子模块，所述过滤子模块与所述图片调整子模块电连接，用于将所述调整后的手势分类图片输入手势识别卷积神经网络中进行过滤，若所述调整后的手势分类图片中包含手势，则通过所述储存子模块保存所述调整后的手势分类图片，并通过显示子模块显示所述调整剪后的手势分类图片，否则，通过所述过滤子模块过滤裁剪后的手势分类图片。
10.一种机器人，其特征在于，集成有如权利要求6～9中任一项所述的一种机器人的手势识别系统。
CN201711006447.XA 2017-10-25 2017-10-25 一种机器人的手势识别方法、系统及机器人 Pending CN107729854A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711006447.XA CN107729854A (zh) 2017-10-25 2017-10-25 一种机器人的手势识别方法、系统及机器人
PCT/CN2017/111185 WO2019080203A1 (zh) 2017-10-25 2017-11-15 一种机器人的手势识别方法、系统及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711006447.XA CN107729854A (zh) 2017-10-25 2017-10-25 一种机器人的手势识别方法、系统及机器人

Publications (1)

Publication Number Publication Date
CN107729854A true CN107729854A (zh) 2018-02-23

Family

ID=61213476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711006447.XA Pending CN107729854A (zh) 2017-10-25 2017-10-25 一种机器人的手势识别方法、系统及机器人

Country Status (2)

Country Link
CN (1) CN107729854A (zh)
WO (1) WO2019080203A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629288A (zh) * 2018-04-09 2018-10-09 华中科技大学 一种手势识别模型训练方法、手势识别方法及系统
CN109446961A (zh) * 2018-10-19 2019-03-08 北京达佳互联信息技术有限公司 姿势检测方法、装置、设备及存储介质
CN109740738A (zh) * 2018-12-29 2019-05-10 腾讯科技（深圳）有限公司 一种神经网络模型训练方法、装置、设备和介质
CN111367415A (zh) * 2020-03-17 2020-07-03 北京明略软件系统有限公司 一种设备的控制方法、装置、计算机设备和介质
CN111401261A (zh) * 2020-03-18 2020-07-10 金陵科技学院 基于gan-cnn框架的机器人手势识别方法
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备
WO2021190046A1 (zh) * 2020-03-24 2021-09-30 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726248B2 (en) 2018-02-01 2020-07-28 Ford Global Technologies, Llc Validating gesture recognition capabilities of automated systems
CN110222645B (zh) * 2019-06-10 2022-09-27 济南大学 一种手势误识特征发现方法
CN110348417B (zh) * 2019-07-17 2022-09-30 济南大学 一种深度手势识别算法的优化方法
CN112764349A (zh) * 2019-11-01 2021-05-07 佛山市云米电器科技有限公司 晾衣架控制方法、晾衣架、系统及存储介质
CN111160114B (zh) * 2019-12-10 2024-03-19 深圳数联天下智能科技有限公司 手势识别方法、装置、设备及计算机可读存储介质
CN112163447B (zh) * 2020-08-18 2022-04-08 桂林电子科技大学 基于Attention和SqueezeNet的多任务实时手势检测和识别方法
CN112132192A (zh) * 2020-09-07 2020-12-25 北京海益同展信息科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN112053354B (zh) * 2020-09-15 2024-01-30 上海应用技术大学 一种轨道板裂缝检测方法
CN113297956B (zh) * 2021-05-22 2023-12-08 温州大学 一种基于视觉的手势识别方法及系统
CN113837263B (zh) * 2021-09-18 2023-09-26 浙江理工大学 基于特征融合注意力模块和特征选择的手势图像分类方法
CN113934302B (zh) * 2021-10-21 2024-02-06 燕山大学 基于SeNet和门控时序卷积网络的肌电手势识别方法
CN113945566A (zh) * 2021-11-16 2022-01-18 南京华鼎纳米技术研究院有限公司 一种滤网失效检测方法
CN116766213B (zh) * 2023-08-24 2023-11-03 烟台大学 一种基于图像处理的仿生手控制方法、系统和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404845A (zh) * 2014-09-15 2016-03-16 腾讯科技（深圳）有限公司 图片处理方法及装置
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106600595A (zh) * 2016-12-21 2017-04-26 厦门可睿特信息科技有限公司 一种基于人工智能算法的人体特征尺寸自动测量方法
CN107179683A (zh) * 2017-04-01 2017-09-19 浙江工业大学 一种基于神经网络的交互机器人智能运动检测与控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404845A (zh) * 2014-09-15 2016-03-16 腾讯科技（深圳）有限公司 图片处理方法及装置
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106600595A (zh) * 2016-12-21 2017-04-26 厦门可睿特信息科技有限公司 一种基于人工智能算法的人体特征尺寸自动测量方法
CN107179683A (zh) * 2017-04-01 2017-09-19 浙江工业大学 一种基于神经网络的交互机器人智能运动检测与控制方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629288B (zh) * 2018-04-09 2020-05-19 华中科技大学 一种手势识别模型训练方法、手势识别方法及系统
CN108629288A (zh) * 2018-04-09 2018-10-09 华中科技大学 一种手势识别模型训练方法、手势识别方法及系统
US11138422B2 (en) 2018-10-19 2021-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Posture detection method, apparatus and device, and storage medium
CN109446961B (zh) * 2018-10-19 2020-10-30 北京达佳互联信息技术有限公司 姿势检测方法、装置、设备及存储介质
CN109446961A (zh) * 2018-10-19 2019-03-08 北京达佳互联信息技术有限公司 姿势检测方法、装置、设备及存储介质
CN109740738A (zh) * 2018-12-29 2019-05-10 腾讯科技（深圳）有限公司 一种神经网络模型训练方法、装置、设备和介质
CN109740738B (zh) * 2018-12-29 2022-12-16 腾讯科技（深圳）有限公司 一种神经网络模型训练方法、装置、设备和介质
CN111367415A (zh) * 2020-03-17 2020-07-03 北京明略软件系统有限公司 一种设备的控制方法、装置、计算机设备和介质
CN111367415B (zh) * 2020-03-17 2024-01-23 北京明略软件系统有限公司 一种设备的控制方法、装置、计算机设备和介质
CN111401261A (zh) * 2020-03-18 2020-07-10 金陵科技学院 基于gan-cnn框架的机器人手势识别方法
CN111401261B (zh) * 2020-03-18 2022-06-10 金陵科技学院 基于gan-cnn框架的机器人手势识别方法
WO2021190046A1 (zh) * 2020-03-24 2021-09-30 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备
CN111582235B (zh) * 2020-05-26 2023-04-07 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备

Also Published As

Publication number Publication date
WO2019080203A1 (zh) 2019-05-02

Similar Documents

Publication Publication Date Title
CN107729854A (zh) 一种机器人的手势识别方法、系统及机器人
CN110321923B (zh) 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN105303193B (zh) 一种基于单帧图像处理的人数统计系统
CN109300121B (zh) 一种心血管疾病诊断模型的构建方法、系统及该诊断装置
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN105975941B (zh) 一种基于深度学习的多方向车型检测识别系统
CN107979554B (zh) 基于多尺度卷积神经网络的无线电信号调制识别方法
CN106372666B (zh) 一种目标识别方法及装置
CN109063728A (zh) 一种火灾图像深度学习模式识别方法
CN106682633B (zh) 基于机器视觉的粪便镜检图像有形成分的分类识别方法
CN108229338A (zh) 一种基于深度卷积特征的视频行为识别方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN107871134A (zh) 一种人脸检测方法及装置
CN109325395A (zh) 图像的识别方法、卷积神经网络模型的训练方法及装置
CN109359666A (zh) 一种基于多特征融合神经网络的车型识别方法及处理终端
CN108090447A (zh) 双分支深层结构下的高光谱图像分类方法及装置
CN109934115A (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
CN106485215A (zh) 基于深度卷积神经网络的人脸遮挡检测方法
CN108491892A (zh) 基于机器视觉的水果分拣系统
CN106599773A (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN107004138A (zh) 利用神经网络的对象检测
CN109102543A (zh) 基于图像分割的物体定位方法、设备和存储介质
CN107694962A (zh) 一种基于机器视觉与bp神经网络的水果自动分拣方法
CN109815945B (zh) 一种基于图像识别的呼吸道检查结果判读系统和方法
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223