CN106557173B - 动态手势识别方法及装置 - Google Patents

动态手势识别方法及装置 Download PDF

Info

Publication number
CN106557173B
CN106557173B CN201611070447.1A CN201611070447A CN106557173B CN 106557173 B CN106557173 B CN 106557173B CN 201611070447 A CN201611070447 A CN 201611070447A CN 106557173 B CN106557173 B CN 106557173B
Authority
CN
China
Prior art keywords
dynamic gesture
gesture
dynamic
hidden markov
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611070447.1A
Other languages
English (en)
Other versions
CN106557173A (zh
Inventor
徐晓东
张程
张毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Heavy Chi Robot Research Institute Co Ltd
Original Assignee
Chongqing Heavy Chi Robot Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Heavy Chi Robot Research Institute Co Ltd filed Critical Chongqing Heavy Chi Robot Research Institute Co Ltd
Priority to CN201611070447.1A priority Critical patent/CN106557173B/zh
Publication of CN106557173A publication Critical patent/CN106557173A/zh
Application granted granted Critical
Publication of CN106557173B publication Critical patent/CN106557173B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种动态手势识别方法及装置，所述方法包括：图像采集装置采集图像信息，从图像信息中分割出动态手势信息；提取动态手势信息中的动态手势向量特征，对动态手势向量特征进行十二个方向的链码离散化处理；利用支持向量机算法计算十二个方向角度的概率分布以作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型；计算多个隐马尔可夫模型中每个动态手势特征轨迹对应的阈值；计算待识别手势轨迹在隐马尔可夫模型中的输出概率，选取输出概率中的最大输出概率；比较最大输出概率与阈值的大小，当最大输出概率大于阈值时，输出识别结果。本发明能够提高动态手势识别率。

Description

动态手势识别方法及装置
技术领域
本发明涉及智能人机交互领域，具体而言，涉及一种动态手势识别方法及装置。
背景技术
动态手势识别是由一系列的手势动作组成，主要研究手势视频序列中连续的手型变化和轨迹变化，这种交互方式更加符合人们日常的交流习惯。动态手势识别结合静态手势识别的结果，并在此基础上加以扩展以实现更多、更丰富的语义，因此动态手势识别技术在人机交互领域的发展中有着重要的研究意义以及广阔的应用前景。
基于视觉的动态手势识别技术的研究起步比较早，通过融合Camshift算法和Kalman滤波算法来提高动态手势跟踪的效果，然后对相应的动态手势轨迹特征进行提取，最后通过HMM算法识别数字0～9的轨迹。在经典HMM算法的基础上，通过基于HMM的阈值模型的动态手势识别方法也完成了动态手势轨迹的识别。
在现有技术中，基于视觉的动态手势识别技术虽然已经取得了一些显著性的成果，也开发出了一系列的手势识别系统，但是现有动态手势识别技术在光照变化、复杂背景以及轨迹提取等问题还有很多的不足和缺陷，并且极容易受到未定义手势轨迹、肤色及手腕等部位的干扰，动态手势识别率不高。
发明内容
为了克服现有技术中的上述不足，本发明的目的在于提供一种动态手势识别方法及装置，其能够获得比较高的手势识别率。
为了实现上述目的，本发明较佳实施例所采用的技术方如下所示：
本发明较佳实施例提供一种动态手势识别方法，应用于智能终端。所述智能终端上设置有图像采集装置，所述方法包括：
所述图像采集装置采集图像信息，从所述图像信息中分割出动态手势信息；
提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度；
根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型；
计算多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值；
计算待识别手势轨迹在所述隐马尔可夫模型中的输出概率，选取所述输出概率中的最大输出概率；
比较所述最大输出概率与所述阈值的大小，当所述最大输出概率大于所述阈值时，输出识别结果。
在本发明较佳实施例中，上述图像采集装置采集图像信息，从所述图像信息中分割出动态手势信息的步骤包括：
所述图像采集装置采集深度图像及RGB彩色图像；
对所述深度图像进行灰度阈值化分割，得到动态手势的二值图像；
根据所述动态手势的二值图像计算所述动态手势的最小外接矩形并获取所述外接矩形的二维坐标，将所述二维坐标映射到对应的RGB彩色图像中，得到包括所述动态手势的最小外接矩形；
对所述最小外接矩形进行肤色分割，得到最小外接矩形的肤色二值图像；
通过所述动态手势的二值图像和所述肤色二值图像从所述图像信息中分割出动态手势信息。
在本发明较佳实施例中，上述提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度的步骤包括：
计算动态手势轨迹的坐标集；
通过所述动态手势轨迹的坐标集计算所述动态手势轨迹在任意时刻的速率；
通过所述动态手势轨迹在任意时刻的速率确定所述动态手势轨迹方向的突变情况；
根据所述动态手势轨迹方向的突变情况得到所述动态手势轨迹的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理。
在本发明较佳实施例中，上述根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型的步骤还包括：
结合隐马尔可夫模型的状态转移矩阵和初始状态分布概率，训练得到多个手势轨迹的隐马尔可夫模型。
在本发明较佳实施例中，上述多个隐马尔可夫模型中每个动态手势特征轨迹对应的阈值的计算方法为：
上式中，ε(i)为动态手势轨迹i所对应的隐马尔可夫模型的阈值，P(sij|λi)为样本si在动态手势轨迹i对应的隐马尔可夫模型λi中的输出概率，Ri表示动态手势轨迹i的样本集中被隐马尔可夫模型正确识别的样本集，k表示比例系数，L(sij)表示动态手势轨迹i的轨迹长度。
本发明较佳实施例还提供一种动态手势识别装置，应用于智能终端，所述智能终端上设置有图像采集装置，所述装置包括：
分割模块，用于所述图像采集装置采集图像信息，从所述图像信息中分割出动态手势信息；
提取模块，用于提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度；
模型优化模块，用于根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型；
第一计算模块，用于计算多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值；
第二计算模块，用于计算待识别手势轨迹在所述隐马尔可夫模型中的输出概率，选取所述输出概率中的最大输出概率；
识别输出模块，用于比较所述最大输出概率与所述阈值的大小，当所述最大输出概率大于所述阈值，输出识别结果。
相对于现有技术而言，本发明具有以下有益效果：
本发明提供的动态手势识别方法，其能够在动态手势的识别过程中对光照变化、复杂背景下的图像信息以及动态手势轨迹进一步优化，提高动态手势识别率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明较佳实施例提供的智能终端的方框示意图；
图2为本发明较佳实施例提供的动态手势识别方法的流程示意图；
图3为图2中步骤S210的子步骤的流程示意图；
图4为图2中步骤S220的子步骤的流程示意图；
图5为本发明较佳实施例提供的动态手势识别装置的功能模块图。
图标：100-智能终端；110-存储器；120-处理器；130-通信单元；140-存储控制器；150-图像采集装置；200-动态手势识别装置；210-分割模块；220-提取模块；230-模型优化模块；240-第一计算模块；250-第二计算模块；260-识别输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本发明较佳实施例提供的智能终端100的方框示意图。本发明实施例中所述智能终端100可以为用于识别动态手势的智能设备，例如，所述智能终端100可以是，但不限于，智能机器人、智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internetdevice，MID)等。
如图1所示，所述智能终端100包括存储器110、处理器120、通信单元130、存储控制器140以及图像采集装置150。所述存储器110、处理器120、通信单元130、存储控制器140以及图像采集装置150相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器110中存储有动态手势识别装置200，所述动态手势识别装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块，所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本发明实施例中的动态手势识别装置200，从而执行各种功能应用以及数据处理，即实现本发明实施例中的动态手势识别方法。
其中，所述存储器110可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器110用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。进一步地，通信单元130将各种输入/输入装置耦合至处理器120以及存储器110，上述存储器110内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其他软件组件的运行环境。
所述处理器120可以是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。
所述通信单元130用于建立所述智能终端100与所述动态手势识别装置200二者之间的通信连接。
所述图像采集装置150可以采用Kinect传感器，以得到深度图像和RGB图像。
可以理解，图1所示的结构仅为示意，所述智能终端100还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参阅图2，图2为本发明较佳实施例提供的动态手势识别方法的流程示意图。所述方法的具体流程如下：
步骤S210，所述图像采集装置150采集图像信息，从所述图像信息中分割出动态手势信息。
具体地，请参阅图3，所述步骤S210包括：子步骤S211、子步骤S212、子步骤S213、子步骤S214和子步骤S215。
所述子步骤S211，所述图像采集装置150采集深度图像及RGB彩色图像。
本实施例中，所述图像采集装置150(比如，Kinect传感器)采集包括动态手势信息的图像信息，所述图像信息包括深度图像及RGB彩色图像。所述深度图像具有物体三维特征信息,即深度信息。由于深度图像不受光源照射方向及物体表面的发射特性的影响,同时也不存在阴影,可以更准确地表现采集目标表面的三维深度信息。
所述子步骤S212，对所述深度图像进行灰度阈值化分割，得到动态手势的二值图像。
具体地，运用基于阈值的灰度图像分割算法对所述深度图像进行处理。通过确定灰度门限来区分动态手势和背景，用像素的灰度值同门限值进行比较来划分像素到动态手势区，得到灰度直方图。根据所述灰度直方图选取合适的分割阈值，对动态手势进行分割，得到包括所述动态手势的二值图像。
所述子步骤S213，根据所述动态手势的二值图像计算所述动态手势的最小外接矩形并获取所述外接矩形的二维坐标，将所述二维坐标映射到对应的RGB彩色图像中，得到包括所述动态手势的最小外接矩形。
所述子步骤S214，对所述最小外接矩形进行肤色分割，得到最小外接矩形的肤色二值图像。
具体地，本实施例利用椭圆肤色模型对所述最小外接矩形进行肤色分割，得到肤色二值图像。
所述子步骤S215，通过所述动态手势的二值图像和所述肤色二值图像从所述图像信息中分割出动态手势信息。
通过对所述动态手势的二值图像和所述肤色二值图像进行“与”运算，最终将所述动态手势信息从所述图像信息中分割出来。
请再次参阅图2，步骤S220，提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度。
具体地，请参阅图4，所述步骤S220包括：子步骤S221、子步骤S222、子步骤S223和子步骤S224。
所述子步骤S221，计算动态手势轨迹的坐标集。
具体地，通过连续手势质心的空间序列点来描述手势运动轨迹，手心坐标来表示动态手势轨迹的方法为：
L＝{(x1,y1),(x2,y2),…,(xi,yi),…,(xl,yl)}
其中，(xi,yi)为第i帧时手的质心坐标，l为手势轨迹的长度，采用等间隔获取手心坐标，得到手势序列L为一系列的具有时间先后关系的点的序列。
所述子步骤S222，通过所述动态手势轨迹的坐标集计算所述动态手势轨迹在任意时刻的速率。
具体地，计算手势轨迹点在第i帧时的速率为：
其中，T为每一帧所需时间，由此可知，位于拐点处的手势是先减速后加速的，故拐点位于速率曲线的波谷处，当轨迹点处的速率满足：
式中，Ti为第i个波峰或波谷对应的帧数，波峰和波谷为轨迹点两边速率差分值符号相反的点，若手势在某一时刻内其速率为0，则判定该时间段内手势序列两端的点为所求的拐点。
所述子步骤S223，通过所述动态手势轨迹在任意时刻的速率确定所述动态手势轨迹方向的突变情况。
具体地，在本实施例中，选用相位差的差分来判定方向是否突变，当相位差大于阈值时判定该点为拐点，其集合形式如下所示：
式中，ε为阈值，且相位可由下式计算出：
当手势序列中点的相位差大于阈值ε时，判定该点为拐点并保留，在检测到拐点时，查找此拐点之前的其他拐点，若存在一个或多个拐点，则分别提取该拐点与该拐点之前每一个拐点之间的轨迹序列作为候选手势序列进行后续的动态手势轨迹识别。
所述子步骤S224，根据所述动态手势轨迹方向的突变情况得到所述动态手势轨迹的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理。
具体地，在本实施例中，选取局部方向角作为手势轨迹特征，设手势在和时刻的手心位置分别为(xt,yt)和(xt+1,yt+1)，计算出手势轨迹在t时刻的方向角φt为：
对所述动态手势向量特征进行十二个方向的链码离散化处理。
请再次参阅图2，步骤S230，根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型。
根据所述十二方向的链码离散化的方向角度，利用支持向量机算法(SVM)的有向无环图分类思想来构建十二类多分类的有向无环图支持向量机算法(SVM)分类模型；
通过对支持向量机算法(SVM)输出值大小的研究，提出了支持向量机算法(SVM)的概率输出模式，即将支持向量机算法(SVM)的状态输出转化成概率输出，支持向量机算法(SVM)的输出模式为：
g(x)＝ω·x+b
通过对其进行归一化处理，利用Sigmoid函数给出支持向量机算法(SVM)的概率输出模式为
利用上式可准确地计算出状态之间转移输出各个角度的概率，并作为隐马尔可夫模型的观测状态转移矩阵参数，结合隐马尔可夫模型的状态转移矩阵和初始状态分布概率，训练得到多个手势轨迹的隐马尔可夫模型，对隐马尔可夫模型进行优化。
步骤S240，计算多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值。
多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值的计算方法为：
上式中，ε(i)为动态手势轨迹i所对应的隐马尔可夫模型的阈值，P(sij|λi)为样本Sij在动态手势轨迹i对应的隐马尔可夫模型λi中的输出概率，Ri表示动态手势轨迹i的样本集中被隐马尔可夫模型正确识别的样本集，k表示比例系数，L(sij)表示动态手势轨迹i的轨迹长度。
步骤S250，计算待识别手势轨迹在所述隐马尔可夫模型中的输出概率，选取所述输出概率中的最大输出概率。
具体地，利用Viterbi算法分别计算出待识别的手势轨迹在各个隐马尔可夫模型中的输出概率，选取其中最大的输出概率。
步骤S260，比较所述最大输出概率与所述阈值的大小，当所述最大输出概率大于所述阈值时，输出识别结果。
所述最大输出概率大于所述阈值时，输出识别的动态手势结果，所述动态手势为所述智能终端100定义的动态手势。若无识别结果输出，则该待识别的动态手势为未定义手势，所述智能终端100将其滤除。
请参阅图5，图5本发明较佳实施例提供的动态手势识别装置200的功能模块图。所述动态手势识别装置200包括：
分割模块210、提取模块220、模型优化模块230、第一计算模块240、第二计算模块250和是识别输出模块260。
所述分割模块210，用于所述图像采集装置150采集图像信息，从所述图像信息中分割出动态手势信息。所述分割模块210用于执行步骤S210的功能。
所述提取模块220，用于提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度。所述提取模块220用于执行步骤S220的功能。
所述模型优化模块230，用于根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型。所述模型优化模块230用于执行步骤S230的功能。
所述第一计算模块240，用于计算多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值。所述第一计算模块240用于执行所述步骤S240的功能。
所述第二计算模块250，用于计算待识别手势轨迹在所述隐马尔可夫模型中的输出概率，选取所述输出概率中的最大输出概率。所述第二计算模块250用于执行步骤S250的功能。
所述识别输出模块260，用于比较所述最大输出概率与所述阈值的大小，当所述最大输出概率大于所述阈值，输出识别结果。所述识别输出模块260用于执行步骤S260的功能。
综上所述，本发明提供的动态手势识别方法及装置，其能够在动态手势的识别过程中对光照变化、复杂背景下的图像信息以及动态手势轨迹进一步优化，提高动态手势识别率。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种动态手势识别方法，应用于智能终端，所述智能终端上设置有图像采集装置，其特征在于，所述方法包括：
所述图像采集装置采集图像信息，从所述图像信息中分割出动态手势信息；
提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度；
根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型；
计算多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值；
计算待识别手势轨迹在所述隐马尔可夫模型中的输出概率，选取所述输出概率中的最大输出概率；
比较所述最大输出概率与所述阈值的大小，当所述最大输出概率大于所述阈值时，输出识别结果，所述提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度的步骤包括：
计算动态手势轨迹的坐标集；
通过所述动态手势轨迹的坐标集计算所述动态手势轨迹在任意时刻的速率；
通过所述动态手势轨迹在任意时刻的速率确定所述动态手势轨迹方向的突变情况；
根据所述动态手势轨迹方向的突变情况得到所述动态手势轨迹的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理。
2.根据权利要求1所述的方法，其特征在于，所述图像采集装置采集图像信息，从所述图像信息中分割出动态手势信息的步骤包括：
所述图像采集装置采集深度图像及RGB彩色图像；
对所述深度图像进行灰度阈值化分割，得到动态手势的二值图像；
根据所述动态手势的二值图像计算所述动态手势的最小外接矩形并获取所述外接矩形的二维坐标，将所述二维坐标映射到对应的RGB彩色图像中，得到包括所述动态手势的最小外接矩形；
对所述最小外接矩形进行肤色分割，得到最小外接矩形的肤色二值图像；
通过所述动态手势的二值图像和所述肤色二值图像从所述图像信息中分割出动态手势信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型的步骤还包括：
结合隐马尔可夫模型的状态转移矩阵和初始状态分布概率，训练得到多个手势轨迹的隐马尔可夫模型。
4.根据权利要求1所述的方法，其特征在于，多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值的计算方法为：
上式中，ε(i)为动态手势轨迹i所对应的隐马尔可夫模型的阈值，P(sij|λi)为样本si在动态手势轨迹i对应的隐马尔可夫模型λi中的输出概率，Ri表示动态手势轨迹i的样本集中被隐马尔可夫模型正确识别的样本集，k表示比例系数，L(sij)表示动态手势轨迹i的轨迹长度。
5.一种动态手势识别装置，应用于智能终端，所述智能终端上设置有图像采集装置，其特征在于，所述装置包括：
分割模块，用于所述图像采集装置采集图像信息，从所述图像信息中分割出动态手势信息；
提取模块，用于提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度；
模型优化模块，用于根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型；
第一计算模块，用于计算多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值；
第二计算模块，用于计算待识别手势轨迹在所述隐马尔可夫模型中的输出概率，选取所述输出概率中的最大输出概率；
识别输出模块，用于比较所述最大输出概率与所述阈值的大小，当所述最大输出概率大于所述阈值，输出识别结果，所述提取模块提取所述动态手势信息中的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理得到十二个方向的方向角度的方式包括：
计算动态手势轨迹的坐标集；
通过所述动态手势轨迹的坐标集计算所述动态手势轨迹在任意时刻的速率；
通过所述动态手势轨迹在任意时刻的速率确定所述动态手势轨迹方向的突变情况；
根据所述动态手势轨迹方向的突变情况得到所述动态手势轨迹的动态手势向量特征，对所述动态手势向量特征进行十二个方向的链码离散化处理。
6.根据权利要求5所述的装置，其特征在于，所述分割模块采集图像信息，从所述图像信息中分割出动态手势信息的方式包括：
所述图像采集装置采集深度图像及RGB彩色图像；
对所述深度图像进行灰度阈值化分割，得到动态手势的二值图像；
根据所述动态手势的二值图像计算所述动态手势的最小外接矩形并获取所述外接矩形的二维坐标，将所述二维坐标映射到对应的RGB彩色图像中，得到包括所述动态手势的最小外接矩形；
对所述最小外接矩形进行肤色分割，得到最小外接矩形的肤色二值图像；
通过所述动态手势的二值图像和所述肤色二值图像从所述图像信息中分割出动态手势信息。
7.根据权利要求5所述的装置，其特征在于，所述根据所述十二个方向的方向角度，利用支持向量机算法计算十二个方向角度的概率分布，所述十二个方向角度的概率分布作为多个手势轨迹的隐马尔可夫模型的观测状态转移概率矩阵，以得到多个手势轨迹的隐马尔可夫模型的方式还包括：
结合所述隐马尔可夫模型的状态转移矩阵和初始状态分布概率，训练得到多个手势轨迹的隐马尔可夫模型。
8.根据权利要求5所述的装置，其特征在于，多个所述隐马尔可夫模型中每个动态手势特征轨迹对应的阈值的计算方法为：
上式中，ε(i)为动态手势轨迹i所对应的隐马尔可夫模型的阈值，P(sij|λi)为样本si在动态手势轨迹i对应的隐马尔可夫模型λi中的输出概率，Ri表示动态手势轨迹i的样本集中被隐马尔可夫模型正确识别的样本集，k表示比例系数，L(sij)表示动态手势轨迹i的轨迹长度。
CN201611070447.1A 2016-11-29 2016-11-29 动态手势识别方法及装置 Expired - Fee Related CN106557173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611070447.1A CN106557173B (zh) 2016-11-29 2016-11-29 动态手势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611070447.1A CN106557173B (zh) 2016-11-29 2016-11-29 动态手势识别方法及装置

Publications (2)

Publication Number Publication Date
CN106557173A CN106557173A (zh) 2017-04-05
CN106557173B true CN106557173B (zh) 2019-10-18

Family

ID=58445346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611070447.1A Expired - Fee Related CN106557173B (zh) 2016-11-29 2016-11-29 动态手势识别方法及装置

Country Status (1)

Country Link
CN (1) CN106557173B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909003B (zh) * 2017-10-16 2019-12-10 华南理工大学 一种针对大词汇量的手势识别方法
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置
CN108133206B (zh) * 2018-02-11 2020-03-06 辽东学院 静态手势识别方法、装置及可读存储介质
CN108803426A (zh) * 2018-06-27 2018-11-13 常州星宇车灯股份有限公司 一种基于tof手势识别的车机控制系统
CN109086664B (zh) * 2018-06-27 2023-04-28 济南大学 一种动静态融合的多态手势识别方法
CN109598206B (zh) * 2018-11-09 2021-10-29 歌尔光学科技有限公司 动态手势识别方法及装置
CN109961016B (zh) * 2019-02-26 2022-10-14 南京邮电大学 面向智能家居场景的多手势精准分割方法
CN111665934A (zh) * 2020-04-30 2020-09-15 哈尔滨理工大学 一种基于zynq软硬件协同处理的手势识别系统及方法
CN111680618B (zh) * 2020-06-04 2023-04-18 西安邮电大学 基于视频数据特性的动态手势识别方法、存储介质和设备
CN112686231B (zh) * 2021-03-15 2021-06-01 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及计算机设备
CN113269025B (zh) * 2021-04-01 2024-03-26 广州车芝电器有限公司 一种自动报警方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN103345626A (zh) * 2013-07-18 2013-10-09 重庆邮电大学 一种智能轮椅静态手势识别方法
CN103390168A (zh) * 2013-07-18 2013-11-13 重庆邮电大学 基于Kinect深度信息的智能轮椅动态手势识别方法
CN103902984A (zh) * 2014-04-15 2014-07-02 福州大学 一种改进的动态手势识别的hmm模型训练算法
CN105205475A (zh) * 2015-10-20 2015-12-30 北京工业大学 一种动态手势识别方法
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN103345626A (zh) * 2013-07-18 2013-10-09 重庆邮电大学 一种智能轮椅静态手势识别方法
CN103390168A (zh) * 2013-07-18 2013-11-13 重庆邮电大学 基于Kinect深度信息的智能轮椅动态手势识别方法
CN103902984A (zh) * 2014-04-15 2014-07-02 福州大学 一种改进的动态手势识别的hmm模型训练算法
CN105205475A (zh) * 2015-10-20 2015-12-30 北京工业大学 一种动态手势识别方法
CN105787471A (zh) * 2016-03-25 2016-07-20 南京邮电大学 一种应用于助老助残移动服务机器人控制的手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Ｂ参数的改进HMM动态手势识别算法;张毅 等;《基于Ｂ参数的改进HMM动态手势识别算法》;20151031;第1-2节 *
基于Kinect 深度图像信息的手势轨迹识别及应用;张毅 等;《计算机应用研究》;20120930;摘要，第1-2节 *

Also Published As

Publication number Publication date
CN106557173A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN106557173B (zh) 动态手势识别方法及装置
US12094247B2 (en) Expression recognition method and related apparatus
CN105069413B (zh) 一种基于深度卷积神经网络的人体姿势识别方法
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
Li et al. Heterogeneous multi-task learning for human pose estimation with deep convolutional neural network
US11107242B2 (en) Detecting pose using floating keypoint(s)
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN108509839A (zh) 一种基于区域卷积神经网络高效的手势检测识别方法
CN113642431B (zh) 目标检测模型的训练方法及装置、电子设备和存储介质
CN103793926B (zh) 基于样本重选择的目标跟踪方法
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
Cai et al. Multi-AUV collaborative target recognition based on transfer-reinforcement learning
CN110263874A (zh) 一种基于注意力关系图学习的图像分类方法及装置
Yang et al. HCNN-PSI: A hybrid CNN with partial semantic information for space target recognition
CN112365423A (zh) 一种图像数据增强方法、装置、介质及设备
Tian et al. Object localization via evaluation multi-task learning
CN111126515A (zh) 基于人工智能的模型训练方法和相关装置
CN117152788A (zh) 基于知识蒸馏与多任务自监督学习的骨架行为识别方法
CN115131604A (zh) 一种多标签图像分类方法、装置、电子设备及存储介质
Ahmed et al. Robust Object Recognition with Genetic Algorithm and Composite Saliency Map
CN115527269A (zh) 一种人体姿态图像智能识别方法及系统
Lu et al. Pose-guided model for driving behavior recognition using keypoint action learning
Cao Face recognition robot system based on intelligent machine vision image recognition
Ke et al. Dense small face detection based on regional cascade multi‐scale method
Ma Fixed-point tracking of English reading text based on mean shift and multi-feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018

Termination date: 20201129