CN104517100B - 手势预判方法和系统 - Google Patents

手势预判方法和系统 Download PDF

Info

Publication number
CN104517100B
CN104517100B CN201410777668.7A CN201410777668A CN104517100B CN 104517100 B CN104517100 B CN 104517100B CN 201410777668 A CN201410777668 A CN 201410777668A CN 104517100 B CN104517100 B CN 104517100B
Authority
CN
China
Prior art keywords
gesture
guide body
movement locus
current
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410777668.7A
Other languages
English (en)
Other versions
CN104517100A (zh
Inventor
陈彦伦
王倩倩
吴新宇
徐元荣
郭会文
徐旦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201410777668.7A priority Critical patent/CN104517100B/zh
Publication of CN104517100A publication Critical patent/CN104517100A/zh
Application granted granted Critical
Publication of CN104517100B publication Critical patent/CN104517100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种手势预判方法和系统，该方法包括：检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列；每隔第一预设时间间隔，根据记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量；采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；其中，预训练手势识别模型根据预采集手势特征向量样本集训练获得，预采集手势特征向量样本集包括按预设比例在完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。本发明的手势预判方法和系统可以实现手势的实时识别。

Description

手势预判方法和系统
技术领域
本发明涉及模式识别技术领域，特别是涉及一种手势预判方法和系统。
背景技术
随着计算机的广泛应用，传统的操纵实体按键方式的人机交互方式不够自然方便，而将人手作为人机交互的手段，相比其他生物特征而言更为自然、直接、丰富，可大幅度增强用户体验。最初的手势识别主要是借助外部设备来直接检测手、胳膊各关节的角度和空间位置，如典型的数据手套等，这些外部设备虽然使得手势识别的准确度和稳定性得以提高，但是不符合手势自然的表达方式。于是基于视觉的手势识别方式应运而生。基于视觉的手势交互方式，是一种非接触的交互方式，符合人的动作习惯，具有直观和自然的优点。目前，基于视觉的手势识别已经被国内外学者广泛研究。
基于视觉的手势识别方式，其步骤一般都包括图像的获取、手的检测和分割、手势的特征提取以及手势识别。虽然目前的这种手势识别方式对特定的完整手势基本具有较高的识别准确率，但是这种手势识别方式只能够在手势结束之后进行识别并给出识别结果，影响了手势识别的实时性。
发明内容
基于此，有必要针对目前手势识别方式只能够在手势结束之后进行识别并给出识别结果，影响手势识别的实时性的技术问题，提供一种手势预判方法和系统。
一种手势预判方法，所述方法包括：
检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列；
每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量；
采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；
其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按预设比例而在完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。
一种手势预判系统，所述系统包括：
手势轨迹采集模块，用于检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列；
当前运动轨迹特征向量提取模块，用于每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量；
手势预判模块，用于采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按预设比例而在完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。
上述手势预判方法和系统，从手势起始坐标开始就记录手势引导体当前的运动轨迹坐标的序列，从而每隔第一预设时间间隔据此来提取特征向量进行模式匹配，以输出匹配的完整手势标识。而且预训练手势识别模型是根据按比例截取的局部运动轨迹特征向量训练而获得的，这样不需要将完整手势完成就可以给出完整手势标识，以实现手势的预判，可以实现手势的实时识别。
附图说明
图1为一个实施例中手势预判方法的流程示意图；
图2为一个实施例中以电子设备为参照建立的三维直角坐标系的示意图；
图3为一个实施例中每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量的步骤的流程示意图；
图4为一个实施例中记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角的示意图；
图5为一个实施例中训练获得预训练手势识别模型的步骤的流程示意图；
图6为一个实施例中手势预判系统的结构框图；
图7为另一个实施例中手势预判系统的结构框图；
图8为再一个实施例中手势预判系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在一个实施例中，提供了一种手势预判方法，本实施例以该方法应用于具有手势采集装置和显示屏幕的电子设备来举例说明，手势采集装置可以是摄像头。该方法具体包括如下步骤：
步骤102，检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列。
手势引导体是指完成手势的媒介，可以是人身体的一部分，比如手；也可以是特定形状的非活体器具，比如制作成手掌形状的引导棒或者带有传感器的手套等。手势引导体的坐标是指在事先建立的坐标系中表示手势引导体位置的信息。可以电子设备为参照建立三维直角坐标系，参照图2，具体将电子设备的中心点作为坐标系的坐标原点，坐标系的X轴平行于该电子设备的一边，坐标系的Z轴平行于该电子设备的另一边，坐标系的Y轴则垂直于显示屏幕。若手势引导体为人的手掌，则其坐标可以是手掌中心位置的坐标。
当前手势起始坐标，是指电子设备判定手势引导体从该起始坐标开始接下来将开始描绘一个手势。可以通过检测当前手势引导体是否处于预设坐标范围和/或当前手势引导体的速度变化是否满足预设速度变化条件来检测到手势引导体的当前手势起始坐标。通常一些手势是从一些特定的位置开始的，于是可以根据当前手势引导体是否处于预设坐标范围来检测。而且手势在开始时以及形成过程中，手势引导体的运动速度变化是不同的，可以据此来检测当前手势起始坐标。可以在检测到终止点时停止记录坐标。
步骤104，每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量。
其中，第一预设时间间隔是为了与下述的第二预设时间间隔的概念区分开。可以设定第一预设时间间隔小于事先统计获得的完成一个完整手势的时间。每隔第一预设时间间隔执行步骤104至106。
在一个实施例中，可以从手势引导体当前的运动轨迹坐标的序列筛选出指定数量的坐标以构成手势引导体当前的运动轨迹特征向量。比如可以从该序列中平均地按顺序选取指定数量的坐标；也可以将该序列按顺序分为指定数量的类后每类分别取平均值后顺序组成手势引导体当前的运动轨迹特征向量。
如图3所示，在一个实施例中，步骤104具体包括如下步骤：
步骤302，每隔第一预设时间间隔，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角。
具体地，每隔第一预设时间间隔执行步骤302至306。本实施例中手势引导体的运动轨迹坐标的序列中相邻坐标Pt-1(xt-1,yt-1,zt-1)和Pt(xt,yt,zt)分别用Pt-1和Pt表示，Pt-1和Pt之间的方向用他们之间的向量表示，其中下标序号t取值正整数，表示坐标在序列中的顺序。为了方便表达，本实施例中计算相邻坐标Pt-1和Pt之间的方向角αt用以构成手势引导体当前的运动轨迹特征向量。相邻坐标Pt-1和Pt之间的方向角αt如图4所示，方向角是指用特定坐标轴方向作为标准方向所确定的角度。
在一个实施例中，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角具体包括：步骤(1)，将记录的手势引导体当前的三维的运动轨迹坐标的序列中的各个坐标分别投影到基准平面，计算投影的坐标在该基准平面的第一轴向上的第一变化量与第二轴向上的第二变化量。步骤(2)，根据第二变化量与第一变化量的商的反正切值来计算相对于第一轴向的方向角。
具体地，可采用以下公式(1)和公式(2)来计算记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角。
公式(1)：
公式(2)：
其中，公式(1)与步骤(1)对应，公式(2)与步骤(2)对应。目前手势一般都有一个主要的运动平台，为了简化计算，本实施例中将记录的手势引导体当前的运动轨迹坐标的序列中的各个三维坐标投影到一个基准平面上，这里基准平面采用如图2中XOZ所表示的平面，该平面为手势主要的运动平面。
进一步地，XOZ平面中X轴向为第一轴向，Z轴向为第二轴向，坐标Pt-1投影到XOZ平面的坐标为(xt-1，zt-1)，坐标Pt投影到XOZ平面的坐标为(xt，zt)，于是计算第一变化量为Δx，第二变化量为Δz。公式(2)中的各种情况下计算的方向角是从第一轴向开始顺时针转动的角度，计算出的方向角αt的取值范围是[0，360)。
步骤304，按照预设的方向角范围与编码值的对应关系，将所述计算出的方向角进行编码而获得编码值。
具体地，计算出的方向角的取值范围是很广的，可以直接构成手势引导体当前的运动轨迹特征向量，但特征不够明显而且计算效率不高，影响手势预判的性能。因此，这里预先设置方向角范围与编码值的对应关系，比如方向角0对应编码值为9，然后将其它角度大致分成八等份，如设定方向角范围1到45对应编码值为1，方向角范围46到90对应编码值为2，……，依此类推，方向角346到359对应编码值为8。这样每个方向角都可以编码为0到9中的一个数值。可以理解的是，编码值的范围并不限定到0到9，比如还可以为0到16，0到13等，这里不做限制。
步骤306，将所述编码获得的编码值顺序组合形成手势引导体当前的运动轨迹特征向量。
具体地，将编码获得的编码值按照其对应的方向角所对应的坐标在记录的手势引导体当前的运动轨迹坐标的序列中的顺序进行组合，构成手势引导体当前的运动轨迹特征向量。这样每个手势的轨迹都可以用1到9中的数字的组合来表示。
步骤106，采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按预设比例而在完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。
具体地，预训练手势识别模型是预先训练获得的用于手势识别的模式识别模型，与特定的完整手势对应。预训练手势识别模型表现为一种计算方式，对输入其中的当前的运动轨迹特征向量进行模式匹配，若匹配则计算出表示匹配成功的数值，从而将该匹配的预训练手势识别模型对应的完整手势标识输出；若不匹配，则会计算出表示不匹配的数值，表示匹配失败。
预采集手势特征向量样本集包括作为训练样本的若干局部运动轨迹特征向量，这些局部运动轨迹特征向量的特征值取自其对应的完整手势的完整运动轨迹特征向量中的一部分特征值，且是在完整运动轨迹特征向量中从头开始截取的连续的特征值。该特征向量中特征值的顺序是与手势引导体当前的运动轨迹坐标的序列中坐标的顺序是一致的，从头开始截取特征值是指从该特征向量中首个特征值开始截取。比如可以分别截取一个完整运动轨迹特征向量的前50％、前60％、70％、80％和90％的特征值构成相应的局部运动轨迹特征向量。为了保证识别准确率，可以设定预设比例不小于50％.
上述手势预判方法，从手势起始坐标开始就记录手势引导体当前的运动轨迹坐标的序列，从而每隔第一预设时间间隔据此来提取特征向量进行模式匹配，以输出匹配的完整手势标识。而且预训练手势识别模型是根据按比例截取的局部运动轨迹特征向量训练而获得的，这样不需要将完整手势完成就可以给出完整手势标识，以实现手势的预判，可以实现手势的实时识别。
在一个实施例中，步骤102中检测到手势引导体的当前手势起始坐标的步骤，具体包括：每隔第二预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度；当检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标。
具体地，本实施例中，考虑到一个完整的手势的起始有一个从0开始的加速阶段，这里检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时就说明当前处于手势起始状态。若将手势引导体的运动速度为0时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标，那么需要在获取手势引导体的运动轨迹坐标的同时记录其坐标。而若将手势引导体的运动速度为第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标，那么就可以在检测到手势引导体的当前手势起始坐标时再开始记录坐标。
在一个实施例中，可以在检测到手势引导体的运动轨迹坐标的Y轴值低于预设门限值，且手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标。在另一个实施例中，当检测到手势引导体的运动速度连续降低到第二速度阈值时，检测到终止点，停止记录坐标。
在一个实施例中，在步骤104之前，还包括：对所述记录的手势引导体当前的运动轨迹坐标的序列进行平滑处理。或者，在步骤104之后，还包括：对所述提取的手势引导体当前的运动轨迹特征向量进行平滑处理。
具体地，可以采用低通滤波、中值滤波、平均滤波等各种滤波方式对手势引导体当前的运动轨迹坐标的序列或者当前的运动轨迹特征向量进行预处理，通过滤波进行平滑处理。优选为采用低通滤波，因为在手势操作中，手势变化是缓慢的，而由手的抖动或者视觉误差带来的噪声通常为高频噪声，采用低通滤波效果更佳。本实施例中通过在提取特征向量之前或者之后进行平滑处理，消除噪声带来的影响从而提高手势识别准确率。
如图5所示，在一个实施例中，该手势预判方法还包括训练获得预训练手势识别模型的步骤，本步骤在实施步骤102之前执行。该步骤具体包括如下步骤：
步骤502，采集完整手势下手势引导体的完整运动轨迹坐标的序列。
具体地，可以选择多个人分别实施完整手势，电子设备则在检测到手势引导体在完整手势下的手势起始坐标时，顺序记录从该手势起始坐标开始的手势引导体的运动轨迹坐标的序列，直到检测到终止点时停止记录。
在一个实施例中，电子设备可以通过检测在完整手势下手势引导体是否处于预设坐标范围和/或手势引导体的速度变化是否满足预设速度变化条件来检测到手势引导体的当前手势起始坐标。
在一个实施例中，在完整手势下，电子设备可以每隔第二预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度；当检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体在完整手势下的手势起始坐标。在另一个实施例中，当检测到手势引导体的运动速度连续降低到第二速度阈值时，检测到终止点，停止记录坐标。
在一个实施例中，在完整手势下，可以在检测到手势引导体的运动轨迹坐标的Y轴值低于预设门限值，且手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体在完整手势下的手势起始坐标。
步骤504，根据所述采集的完整运动轨迹坐标的序列提取手势引导体的完整运动轨迹特征向量。
具体地，步骤504中提取手势引导体的完整运动轨迹特征向量所采用的方式，与步骤104中提取手势引导体当前的运动轨迹特征向量的方式一致。
在一个实施例中，步骤504包括：每隔第一预设时间间隔，计算所述采集的完整运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角。按照预设的方向角范围与编码值的对应关系，将完整手势下计算出的方向角进行编码而获得编码值。将完整手势下编码获得的编码值顺序组合形成手势引导体的完整运动轨迹特征向量。
其中，计算所述采集的完整运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角具体包括：将采集的完整运动轨迹坐标的序列中的各个坐标分别投影到基准平面，计算投影的坐标在该基准平面的第一轴向上的第三变化量与第二轴上的第四变化量；根据第四变化量和第三变化量的商的反正切值来计算相对于第一轴向的方向角。
步骤506，将所述提取的完整运动轨迹特征向量中从头开始截取连续的特征值以组成若干局部运动轨迹特征向量。
具体地，预采集手势特征向量样本集包括作为训练样本的若干局部运动轨迹特征向量，这些局部运动轨迹特征向量的特征值取自其对应的完整手势的完整运动轨迹特征向量中的一部分特征值，且是在完整运动轨迹特征向量中从头开始截取的连续的特征值。比如可以分别截取一个完整运动轨迹特征向量的前50％、前60％、70％、80％和90％的特征值构成相应的局部运动轨迹特征向量。
步骤508，根据包括所述若干局部运动轨迹特征向量的预采集手势特征向量样本集，训练获得所述预训练手势识别模型。
在一个实施例中，预采集手势特征向量样本集还包括完整运动轨迹特征向量，这样训练获得的预训练手势识别模型不仅可以进行手势预判，还可以进行完整手势的识别。此时由若干局部运动轨迹特征向量组成的集合称为扩展训练样本库。
手势识别的常用方法有：模板匹配法、神经网络法、隐马尔科夫模型法等。模板匹配法是手势的动作看成一序列的静态手势，然后将待识别的手势序列与之进行比较，从而识别出手势。但是由于动作的快慢不同，两次手势的图像序列中的图像很难互相对应，因此一般需要进行时间上的规整。神经网络法由于其处理时间序列的能力不强，目前主要应用于静态手势的识别。
隐马尔科夫模型是具有较强的描述时空变化的能力，广泛应用于序列数据的分类。用隐马尔科夫建模的系统具有双重随机过程，包括状态转移过程和观察值输出过程，其中状态转移过程是隐性的。但常规的隐马尔科夫模型存在一个重要的缺点，模型在状态驻留一定时间的概率会随着时间的增长呈指数下降的趋势，这显然与许多实际情况不符。
在一个实施例中，预训练手势识别模型采用隐半马尔科夫模型。隐半马尔科夫考虑了状态驻留时间的概率分布，可使一个状态对应一段观察值，克服了隐马尔科夫模型的局限性，在实际应用中具有更好的建模能力。
具体地，在步骤506中，得到了每个手势由方向角编码后组成的一个序列，这个序列用于手势建模的训练学习，经过隐半马尔科夫模型训练，转化为隐半马尔科夫模型描述的手势模型。隐半马尔科夫模型与常规的隐马尔科夫模型相比具有更好的建模能力，与实际情况更加相符。常规隐马尔科夫模型一个状态对应一个观察符号，而隐半马尔科夫模型中一个状态对应一段观察。克服了隐马尔科夫模型在状态驻留一定时间的概率随时间的增长呈指数下降趋势的缺点。每个手势的隐半马尔科夫模型由模型的隐状态数N、观测值数M、状态转移概率矩阵A、观测概率矩阵B、初始状态概率矩阵π和持续时间P六个参数确定。
其中，对于不同的手势N取值不同，根据需要可取5～20个状态。观测值数M这里是完整手势的种类个数。状态转移概率矩阵A为N阶方阵，描述了某个完整手势各个状态件转移的概率。观测概率矩阵B为N×M阶矩阵，表示某个手势被识别为该预训练手势识别模型所对应的手势的概率。初始状态概率矩阵π表示手势从某个状态开始的概率。持续时间P是描述状态驻留时间的概率分布。
本实施例中，提供了训练获得预训练手势识别模型的具体步骤，采用本步骤训练获得的预训练手势识别模型可以有效地进行手势的预判。
如图6所示，在一个实施例中，提供了一种手势预判系统600，具有实现上述各个实施例的手势预判方法的功能。该手势预判系统600包括手势轨迹采集模块601、当前运动轨迹特征向量提取模块602和手势预判模块603。
手势轨迹采集模块601，用于检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列。
手势引导体是指完成手势的媒介，可以是人身体的一部分，比如手；也可以是特定形状的非活体器具，比如制作成手掌形状的引导棒或者带有传感器的手套等。手势引导体的坐标是指在事先建立的坐标系中表示手势引导体位置的信息。可以电子设备为参照建立三维直角坐标系，参照图2，具体将电子设备的中心点作为坐标系的坐标原点，坐标系的X轴平行于该电子设备的一边，坐标系的Z轴平行于该电子设备的另一边，坐标系的Y轴则垂直于显示屏幕。若手势引导体为人的手掌，则其坐标可以是手掌中心位置的坐标。
当前手势起始坐标，是指电子设备判定手势引导体从该起始坐标开始接下来将形成一个手势。手势轨迹采集模块601可用于通过检测当前手势引导体是否处于预设坐标范围和/或当前手势引导体的速度变化是否满足预设速度变化条件来检测到手势引导体的当前手势起始坐标。通常一些手势是从一些特定的位置开始的，于是手势轨迹采集模块601可用于根据当前手势引导体是否处于预设坐标范围来检测。而且手势在开始时以及形成过程中，手势引导体的运动速度变化是不同的，手势轨迹采集模块601可用于据此来检测当前手势起始坐标。
在一个实施例中，所述手势轨迹采集模块601还用于每隔第二预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度；当检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标。
当前运动轨迹特征向量提取模块602，用于每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量。
在一个实施例中，当前运动轨迹特征向量提取模块602可用于从手势引导体当前的运动轨迹坐标的序列筛选出指定数量的坐标以构成手势引导体当前的运动轨迹特征向量。比如当前运动轨迹特征向量提取模块602可用于从该序列中平均地按顺序选取指定数量的坐标；当前运动轨迹特征向量提取模块602还可用于将该序列按顺序分为指定数量的类后每类分别取平均值后顺序组成手势引导体当前的运动轨迹特征向量。
在一个实施例中，所述当前运动轨迹特征向量提取模块602还用于每隔第一预设时间间隔，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角；按照预设的方向角范围与编码值的对应关系，将所述计算出的方向角进行编码而获得编码值；将所述编码获得的编码值顺序组合形成手势引导体当前的运动轨迹特征向量。
在一个实施例中，所述当前运动轨迹特征向量提取模块602还用于将记录的手势引导体当前的三维的运动轨迹坐标的序列中的各个坐标分别投影到基准平面，计算投影的坐标在该基准平面的第一轴向上的第一变化量与第二轴向上的第二变化量；根据第二变化量与第一变化量的商的反正切值来计算相对于第一轴向的方向角。
手势预判模块603，用于采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按预设比例而在完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。
具体地，预训练手势识别模型是预先训练获得的用于手势识别的模式识别模型，与特定的完整手势对应。预训练手势识别模型表现为一种计算方式，对输入其中的当前的运动轨迹特征向量进行模式匹配，若匹配则计算出表示匹配成功的数值，从而将该匹配的预训练手势识别模型对应的完整手势标识输出；若不匹配，则会计算出表示不匹配的数值，表示匹配失败。
预采集手势特征向量样本集包括作为训练样本的若干局部运动轨迹特征向量，这些局部运动轨迹特征向量的特征值取自其对应的完整手势的完整运动轨迹特征向量中的一部分特征值，且是在完整运动轨迹特征向量中从头开始截取的连续的特征值。该特征向量中特征值的顺序是与手势引导体当前的运动轨迹坐标的序列中坐标的顺序是一致的，从头开始截取特征值是指从该特征向量中首个特征值开始截取。比如可以分别截取一个完整运动轨迹特征向量的前50％、前60％、70％、80％和90％的特征值构成相应的局部运动轨迹特征向量。为了保证识别准确率，可以设定预设比例不小于50％.
上述手势预判系统600，从手势起始坐标开始就记录手势引导体当前的运动轨迹坐标的序列，从而每隔第一预设时间间隔据此来提取特征向量进行模式匹配，以输出匹配的完整手势标识。而且预训练手势识别模型是根据按比例截取的局部运动轨迹特征向量训练而获得的，这样不需要将完整手势完成就可以给出完整手势标识，以实现手势的预判，可以实现手势的实时识别。
如图7所示，在一个实施例中，该手势预判系统600还包括预处理模块604，用于对所述记录的手势引导体当前的运动轨迹坐标的序列进行平滑处理；或者，该预处理模块604用于对所述提取的手势引导体当前的运动轨迹特征向量进行平滑处理。
具体地，预处理模块604可用于采用低通滤波、中值滤波、平均滤波等各种滤波方式对手势引导体当前的运动轨迹坐标的序列或者当前的运动轨迹特征向量进行预处理，通过滤波进行平滑处理。优选预处理模块604可用于采用低通滤波，因为在手势操作中，手势变化是缓慢的，而由手的抖动或者视觉误差带来的噪声通常为高频噪声，采用低通滤波效果更佳。本实施例中通过在提取特征向量之前或者之后进行平滑处理，消除噪声带来的影响从而提高手势识别准确率。
如图8所示，在一个实施例中，该手势预判系统600还包括：完整手势采集模块611、完整运动轨迹特征向量提取模块612、局部运动轨迹特征向量生成模块613和模型建立模块614。
完整手势采集模块611，用于采集完整手势下手势引导体的完整运动轨迹坐标的序列。
具体地，可以选择多个人分别实施完整手势，完整手势采集模块611则用于在检测到手势引导体在完整手势下的手势起始坐标时，顺序记录从该手势起始坐标开始的手势引导体的运动轨迹坐标的序列，直到检测到终止点时停止记录。
在一个实施例中，完整手势采集模块611可用于通过检测在完整手势下手势引导体是否处于预设坐标范围和/或手势引导体的速度变化是否满足预设速度变化条件来检测到手势引导体的当前手势起始坐标。
在一个实施例中，在完整手势下，完整手势采集模块611可用于每隔第二预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度；当检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体在完整手势下的手势起始坐标。在另一个实施例中，当检测到手势引导体的运动速度连续降低到第二速度阈值时，检测到终止点，停止记录坐标。
在一个实施例中，在完整手势下，完整手势采集模块611可用于在检测到手势引导体的运动轨迹坐标的Y轴值低于预设门限值，且手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体在完整手势下的手势起始坐标。
完整运动轨迹特征向量提取模块612，用于根据所述采集的完整运动轨迹坐标的序列提取手势引导体的完整运动轨迹特征向量。
具体地，完整运动轨迹特征向量提取模块612可用于每隔第一预设时间间隔，计算所述采集的完整运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角。按照预设的方向角范围与编码值的对应关系，将完整手势下计算出的方向角进行编码而获得编码值。将完整手势下编码获得的编码值顺序组合形成手势引导体的完整运动轨迹特征向量。
在一个实施例中，完整运动轨迹特征向量提取模块612还用于将采集的完整运动轨迹坐标的序列中的各个坐标分别投影到基准平面，计算投影的坐标在该基准平面的第一轴向上的第三变化量与第二轴上的第四变化量；根据第四变化量和第三变化量的商的反正切值来计算相对于第一轴向的方向角。
局部运动轨迹特征向量生成模块613，用于将所述提取的完整运动轨迹特征向量中从头开始截取连续的特征值以组成若干局部运动轨迹特征向量。
具体地，预采集手势特征向量样本集包括作为训练样本的若干局部运动轨迹特征向量，这些局部运动轨迹特征向量的特征值取自其对应的完整手势的完整运动轨迹特征向量中的一部分特征值，且是在完整运动轨迹特征向量中从头开始截取的连续的特征值。比如局部运动轨迹特征向量生成模块613可用于分别截取一个完整运动轨迹特征向量的前50％、前60％、70％、80％和90％的特征值构成相应的局部运动轨迹特征向量。
模型建立模块614，用于根据包括所述若干局部运动轨迹特征向量的预采集手势特征向量样本集，训练获得所述预训练手势识别模型。
在一个实施例中，预采集手势特征向量样本集还包括完整运动轨迹特征向量，这样训练获得的预训练手势识别模型不仅可以进行手势预判，还可以进行完整手势的识别。此时由若干局部运动轨迹特征向量组成的集合称为扩展训练样本库。
在一个实施例中，模型建立模块614训练获得的预训练手势识别模型采用隐马尔科夫模型或者隐半马尔科夫模型。
本实施例中，提供了训练获得预训练手势识别模型的实时方式，采用本步骤训练获得的预训练手势识别模型可以有效地进行手势的预判。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种手势预判方法，所述方法包括：
检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列；
每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量；
采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；
其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按不同预设比例而在每个完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。
2.根据权利要求1所述的方法，其特征在于，所述检测到手势引导体的当前手势起始坐标，包括：
每隔第二预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度；
当检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标。
3.根据权利要求1所述的方法，其特征在于，所述每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量，包括：
每隔第一预设时间间隔，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角；
按照预设的方向角范围与编码值的对应关系，将所述计算出的方向角进行编码而获得编码值；
将所述编码获得的编码值顺序组合形成手势引导体当前的运动轨迹特征向量。
4.根据权利要求3所述的方法，其特征在于，所述计算所述记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角，包括：
将记录的手势引导体当前的三维的运动轨迹坐标的序列中的各个坐标分别投影到基准平面，计算投影的坐标在该基准平面的第一轴向上的第一变化量与第二轴向上的第二变化量；
根据第二变化量与第一变化量的商的反正切值来计算相对于第一轴向的方向角。
5.根据权利要求1所述的方法，其特征在于，所述每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量的步骤之前，还包括：
对所述记录的手势引导体当前的运动轨迹坐标的序列进行平滑处理；
或者，每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量的步骤之后，还包括：
对所述提取的手势引导体当前的运动轨迹特征向量进行平滑处理。
6.根据权利要求1所述的方法，其特征在于，所述预训练手势识别模型采用隐马尔科夫模型或隐半马尔科夫模型。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
采集完整手势下手势引导体的完整运动轨迹坐标的序列；
根据所述采集的完整运动轨迹坐标的序列提取手势引导体的完整运动轨迹特征向量；
按不同预设比例，将所述提取的完整运动轨迹特征向量中从头开始截取连续的特征值以组成若干局部运动轨迹特征向量；
根据包括所述若干局部运动轨迹特征向量的预采集手势特征向量样本集，训练获得所述预训练手势识别模型。
8.一种手势预判系统，其特征在于，所述系统包括：
手势轨迹采集模块，用于检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列；
当前运动轨迹特征向量提取模块，用于每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量；
手势预判模块，用于采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按不同预设比例而在每个完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。
9.根据权利要求8所述的系统，其特征在于，所述手势轨迹采集模块还用于每隔第二预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度；当检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体的运动速度为0或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标。
10.根据权利要求8所述的系统，其特征在于，所述当前运动轨迹特征向量提取模块还用于每隔第一预设时间间隔，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角；按照预设的方向角范围与编码值的对应关系，将所述计算出的方向角进行编码而获得编码值；将所述编码获得的编码值顺序组合形成手势引导体当前的运动轨迹特征向量。
11.根据权利要求10所述的系统，其特征在于，所述当前运动轨迹特征向量提取模块还用于将记录的手势引导体当前的三维的运动轨迹坐标的序列中的各个坐标分别投影到基准平面，计算投影的坐标在该基准平面的第一轴向上的第一变化量与第二轴向上的第二变化量；根据第二变化量与第一变化量的商的反正切值来计算相对于第一轴向的方向角。
12.根据权利要求8所述的系统，其特征在于，所述系统还包括预处理模块，用于对所述记录的手势引导体当前的运动轨迹坐标的序列进行平滑处理；或者，用于对所述提取的手势引导体当前的运动轨迹特征向量进行平滑处理。
13.根据权利要求8-12中任一项所述的系统，其特征在于，所述系统还包括：
完整手势采集模块，用于采集完整手势下手势引导体的完整运动轨迹坐标的序列；
完整运动轨迹特征向量提取模块，用于根据所述采集的完整运动轨迹坐标的序列提取手势引导体的完整运动轨迹特征向量；
局部运动轨迹特征向量生成模块，用于按不同预设比例，将所述提取的完整运动轨迹特征向量中从头开始截取连续的特征值以组成若干局部运动轨迹特征向量；
模型建立模块，用于根据包括所述若干局部运动轨迹特征向量的预采集手势特征向量样本集，训练获得所述预训练手势识别模型。
CN201410777668.7A 2014-12-15 2014-12-15 手势预判方法和系统 Active CN104517100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410777668.7A CN104517100B (zh) 2014-12-15 2014-12-15 手势预判方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410777668.7A CN104517100B (zh) 2014-12-15 2014-12-15 手势预判方法和系统

Publications (2)

Publication Number Publication Date
CN104517100A CN104517100A (zh) 2015-04-15
CN104517100B true CN104517100B (zh) 2017-09-29

Family

ID=52792374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410777668.7A Active CN104517100B (zh) 2014-12-15 2014-12-15 手势预判方法和系统

Country Status (1)

Country Link
CN (1) CN104517100B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933408B (zh) * 2015-06-09 2019-04-05 深圳先进技术研究院 手势识别的方法及系统
CN104915009B (zh) * 2015-06-25 2018-04-13 深圳先进技术研究院 手势预判的方法及系统
CN106775353A (zh) * 2016-12-21 2017-05-31 普华基础软件股份有限公司 一种利用鼠标动作解锁桌面操作系统屏幕的方法
CN106934345B (zh) * 2017-01-25 2020-03-27 上海蔚来汽车有限公司 车辆伤痕库及其构建方法、车辆伤痕信息显示方法及系统
CN111330243A (zh) * 2018-12-18 2020-06-26 上海赢赞数字科技有限公司 一种攀岩墙体感互动方法、控制系统、互动系统
CN111475014A (zh) * 2019-12-24 2020-07-31 长融(北京)信息技术有限公司 基于交错双维度多层光幕空间位置定位方法
CN113449711A (zh) * 2021-09-01 2021-09-28 天津大学 一种基于方向密度特征的微多普勒图像手语感知识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024151A (zh) * 2010-12-02 2011-04-20 中国科学院计算技术研究所 手势动作识别模型的训练方法和手势动作识别方法
CN103577793A (zh) * 2012-07-27 2014-02-12 中兴通讯股份有限公司 手势识别方法及装置
CN103714322A (zh) * 2013-12-26 2014-04-09 四川虹欧显示器件有限公司 一种实时手势识别方法及装置
CN104020848A (zh) * 2014-05-15 2014-09-03 中航华东光电（上海）有限公司 一种静态手势识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024151A (zh) * 2010-12-02 2011-04-20 中国科学院计算技术研究所 手势动作识别模型的训练方法和手势动作识别方法
CN103577793A (zh) * 2012-07-27 2014-02-12 中兴通讯股份有限公司 手势识别方法及装置
CN103714322A (zh) * 2013-12-26 2014-04-09 四川虹欧显示器件有限公司 一种实时手势识别方法及装置
CN104020848A (zh) * 2014-05-15 2014-09-03 中航华东光电（上海）有限公司 一种静态手势识别方法

Also Published As

Publication number Publication date
CN104517100A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN104517100B (zh) 手势预判方法和系统
CN105718878B (zh) 基于级联卷积神经网络的第一视角空中手写和空中交互方法
CN103226387B (zh) 基于Kinect的视频人手指尖定位方法
CN104598915B (zh) 一种手势识别方法与装置
CN103839040B (zh) 基于深度图像的手势识别方法和装置
CN103718175B (zh) 检测对象姿势的设备、方法和介质
CN100407798C (zh) 三维几何建模系统和方法
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN106650687A (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
CN109410242A (zh) 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN109597485B (zh) 一种基于双指角域特征的手势交互系统及其工作方法
CN108664877A (zh) 一种基于三维深度数据的动态手势识别方法
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN104123007A (zh) 一种多维加权的3d动态手势识别方法
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
CN102426480A (zh) 一种人机交互系统及其实时手势跟踪处理方法
CN106886986B (zh) 基于自适应组结构稀疏字典学习的图像融合方法
CN105739702A (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN109800676A (zh) 基于深度信息的手势识别方法及系统
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN105096311A (zh) 基于gpu的深度图修复和虚实场景结合技术
CN110378208A (zh) 一种基于深度残差网络的行为识别方法
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN108983968A (zh) 一种基于虚拟现实的图像大数据交互控制系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant