CN107092349A

CN107092349A - 一种基于RealSense的手语识别系统及方法

Info

Publication number: CN107092349A
Application number: CN201710166706.9A
Authority: CN
Inventors: 李红波; 余杨; 吴渝; 陈尧
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2017-03-20
Filing date: 2017-03-20
Publication date: 2017-08-25

Abstract

本发明请求保护一种基于RealSense的手语识别系统及方法，所述方法包括以下步骤：首先通过RealSense获取手部深度图像，并通过该设备获取手部轮廓信息及骨骼各节点相对位置信息；然后根据第一个静态手势动作判断切分方式为主动还是自动，若进行主动手势动作切分则在此手势执行的时间间隔内捕捉手势视频帧序列，并对手势帧图像进行预处理和特征提取；若采用自动手势动作切分则实时地采集视频帧序列并通过分析相邻手势间的运动变化规律自动分析切分点，进行动作切分，再从切分得到的有效元手势序列中提取特征值进行识别。本发明大大减少了冗余信息和识别算法的计算开销，提高了手势识别的准确性和实时性。

Description

一种基于RealSense的手语识别系统及方法

技术领域

本发明涉及数字图像处理和人机交互领域，具体是一种采用RealSense实感摄像头为数据采集设备的手势识别方法和系统。

背景技术

手势识别作为人机交互领域的研究重点和热点，一直是众多国内外学者研究的重点，目前已广泛应用于增强现实，虚拟现实、手势语翻译等场景，对于这些应用场景，操作手势是随机嵌入在连续动作流当中的，而且其手势的主要表现形态有多种多样，目前许多基于视觉图像以及数据手套的手势识别系统都采用比较单一笼统的方法来识别手势，如果将手势形态做进一步的划分，如由拳头，手掌、手指为核心部位组成的手势，针对不同的类别采用不同的识别算法，将提高手势识别系统的时效性及其准确性。

手势语是在聋哑人和听障者群体的日常交流中自然发展出来的语言，是聋哑人间的主要沟通媒介。手势语是一种肢体语言，它主要以手势表达信息，通过手的手形、位置、朝向和运动轨迹即可以传递一个手语词。目前全世界大约有6500-7000万聋哑人，其中仅在中国就有两千多万人存在不同程度的听力障碍，由于手语不是一门大众化的语言，在听觉正常人中只有极少数人会使用或理解手语，即使在聋哑人群体中，标准化手语的普及率也很低，不同聋哑人群体所使用的手语往往有很大区别，存在很严重的方言现象，故手势语识别的研究和系统开发是有必要而且有意义的。

公开号为CN105005769A的中国发明专利公开了一种基于深度信息的手语识别方法，它是通过微软Kinect体感摄像头采集数据，通过该设备获取手部跟踪的运动轨迹，并采用基于SURF算法以获取手形的特征值及采用近邻法提取手势轮廓，然后再利用BP神经及贝叶斯模型对运动轨迹进行建模识别出手势，该方法在存在提取特征的过程较为复杂且识别时间较长的问题，不适用于应用在实时性要求较高的场景。

综上所述，可以通过采用intel新型设备RealSense摄像头，借助其能准确实时地提供手部关节的位置信息，构造一种较简单有效的数据特征，从手掌及手指的角度，开发出更具有时效性、准确性的手语识别系统。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高手势语的识别精度和准确率的方法。本发明的技术方案如下：

一种基于RealSense的手语识别系统，其包括：与数据采集设备相适应的数据接口模块、首个静态手势识别模块、手势动作切分模块、手势特征提取模块及手势识别模块，其中，所述数据接口模块包含了手部轮廓信息接口组件和手部关键骨骼节点相对位置信息接口组件，所述手部轮廓信息接口组件用于从数据采集设备获取手部轮廓信息，所述手部关键骨骼节点相对位置信息接口组件用于从数据采集设备获取手部关键骨骼节点相对位置信息；

所述首个静态手势识别模块用于从数据接口模块获取手势特征并进行特征匹配，并发送给手势动作切分模块进行判断；所述手势动作切分模块包含了主动切分组件和自动切分组件，该模块的主要作用为将从采集设备提取的手势帧序列按照主动或者被动的进行动作切分；手势识别特征提取模块中包含了手掌特征提取组件和手指特征提取组件，分别对手掌特征和手指特征进行提取，并转发给手势识别模块；所述手势识别模块包括了手掌识别模块和手指识别模块以及语义输出模块，所述手掌识别模块对手掌特征进行动作识别，所述手指识别模块对手指特征进行识别，所述语义识别模块用于根据手掌动作的识别结果以及手指动作的识别结果进行语义输出。

进一步的，所述数据采集设备可以是近距离的深度摄像机，也可是远距离的深度摄像机，并且该设备具有可编程的应用程序接口并能够进行稳定和准确的数据采集工作，以便通过统一的数据接口对数据进行集中管理。

进一步的，所述数据接口模块是对来自数据采集设备原始数据流的抽象，采集的信息包括手部轮廓信息及手部骨骼节点信息，该轮廓信息包括手部边缘信息、手掌掌心位置信息，手部骨骼节点信息为22个骨骼节点的位置信息及其相对掌心的距离信息。

进一步的，所述主动切分组件进行手势动作主动切分的方法是采用基于时间的判定方式，以代表第一个手势开始后1s的手势动作姿态作为切分的起始点，之后2s时刻的动作手势姿态作为切分的结束点，所述手势动作自动切分方法采用基于空手势模型的模板匹配方法，根据手势运动变化的速率变化判断不同手势间动作的拐点。

进一步的，所述自动切分组件的相关参数有切分开始点阈值SPOTTING_START，切分结束点阈值SPOTTING_END，手势长度阈值DURATION，当某一时刻t的表征手部运动的速率α(t)＞SPOTTING_START时标记切分起始点，当α(t)＜SPOTTING_END时，标记切分结束点，将切分得到的手势序列长度L(g)与DURATION进行比较，如果切分的手势序列持续时间过短，则丢弃该序列。

进一步的，所述手部运动状态及手部运动速度的变化率和方向角模型进行手势动作切分，其手部运动速度的变化率是通过手掌之心的位置来进行判断，而其方向角为手部向前运动的方向与水平坐标之间的夹角。

一种基于RealSense的手语识别方法，其包括以下步骤：首先通过RealSense实感摄像头获取手部深度图像，并通过该设备获取静态手部轮廓信息及骨骼各节点相对位置信息；然后根据手部轮廓信息发送切分方式信号，若进行主动手势动作切分则在此手势执行的时间间隔内捕捉手势视频帧图像序列，并对手势视频帧图像进行预处理和特征提取；若采用自动手势动作切分则实时采集视频帧序列并通过分析相邻手势间的运动变化规律自动分析切分点，进行动作切分，再由切分得到的有效元手势序列提取相关特征；采用手势语义识别算法进行手势识别。

进一步的，所述自动手势切分的包括以下步骤：将连续数据与抽象模板进行初步匹配，G_t表示一段时长为t的动态手势，模板库(g₁,g2,…,g_n)表示已知的n种抽象手势模板，S(G_t，g_i)度量当前数据流和某种手势模板的相似性；当手部运动停止时，将整串数据与模板进行比较，一旦检测到相似点，则两者的相似性就会逐步增加，直到相似性下降出现拐点时就检测到动作片段的结束点，再取全局相似度量最大的串作为切分的始末点，即可将手势转化为一组动作元序列。

进一步的，所述手掌动态手势识别采用基于HMM(隐马尔科夫模型)算法进行识别，所述手指动态手势识别采用基于SVM/HMM(支持向量机和隐马尔科夫混合模型)的算法进行识别。

本发明的优点及有益效果如下：

本发明使用RealSense实感摄像头作为数据采集设备，能提高数据采集的准确性和时效性。对提取的手势信息做了更进一步的划分即手掌运动和手指运动。该方法能提高手势语的识别精度和准确率。本发明针对每一个手势都会从手掌和手指两个方面进行提取特征，并从两个方面来识别手势语义，即手掌运动语义和手指运动语义，但最终输出中会选择一个最具实际情况的语义输出。其中手掌运动识别过程为首先从数据采集设备获取带标签信息的手势样本序列，然后提取手势轮廓及手掌心等相关数据特征，采用Baum-Welch(鲍姆-韦尔奇)算法，解决HMM模型中的学习问题即得出手掌运动识别时的HMM模型参数；对识别时提取的手掌运动特征序列；采用为Viterbi(维特比)算法模块，即HMM模型中的解码模块，解析出该手掌运动序列的含义。对于手指运动识别过程：首先从数据采集设备获取带标签信息的手势样本序列，然后提取手指关节点的位置距离特征，采用SVM(支持向量机)做初步的分类，将较复杂的特征信息转化为较简单的具有时序性的特征序列，再采用Baum-Welch算法，得出手指运动识别的HMM模型参数；对识别时提取的手指运动特征序列；同样采用SVM算法做初步的分类，然后采用为Viterbi算法模块，即HMM模型中的解码模块，解析出该手指运动序列的含义。本发明的实时应用场景具体可为动态手语识别及手语翻译环境下的连续手势识别，为其提供了准确有效的动作切分方法及手势动作识别和高效可靠的交互系统设计方案，通过采用动作切分的方法可以精确得到需要被识别处理的手势序列，进而依据提取的手势特征值来识别出其手势的具体含义。该方法大大减少了冗余信息和识别算法的计算开销，提高了手势识别的准确性和实时性。

附图说明

图1是本发明提供优选实施例的手势识别系统结构框图；

图2是利用本发明所提出的基于RealSense手势识别系统流程图；

图3为本发明中首个静态手势匹配识别流程图；

图4为本发明动作切分方法中的主动切分方法流程图。

图5为本发明对动作切分方法中的自动切分方法流程图。

图6所示为基于HMM的手掌动态手势识别流程图。

图7所示为基于SVM/HMM的手指动态手势识别流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示一种采用RealSense实感摄像头为采集数据设备的手势识别方法和系统，该系统主要包括：

A1～A15:A1是与数据采集设备相适应的数据接口模块、A2是首个静态手势识别模块、A3是手势动作切分模块、A4是手势特征提取模块，A5是手势识别模块，其中，数据接口模块包含了手部轮廓信息接口组件A6和手部关键骨骼节点相对位置信息接口组件A7，首个手势特征匹配包含了特征计算组件A8，手势动作切分模块包含了主动切分组件A9和自动切分组件A10，手势识别特征提取模块中包含了手掌特征提取组件A11和手指特征提取组件A12，手势识别模块包括了手掌识别模块A13和手指识别模块A14以及语义输出模块A15。

如图2所示为本发明所提出的基于RealSense手势识别系统流程图：

B1～B6:B1是首个手势处理模块，根据首个手势系统将判断出采用主动分割手势或者自动分割手势；B2和B3分别是主动切分手势和被动切分手势模块，B4是特征提取模块，B5是手势识别模块，B6是输出结果模块。

本发明中首个姿势匹配流程如图3所示。

C1～C5：C1为手势轮廓数据，C2为特征提取模块，C3为特征匹配模块，C4为预定义静态图像匹配特征，C5为识别结果输入模块。其提取特征为采用最小凸包计算面积的方法。在手势动作识别过程中，由于其手势动作一般都是连续的一系列动作，本发明从有效性和实时性出发，设计了两种切分方法，主动切分和自动切分。基于时间片的主动切分，其特点是以用户为中心，切分准确度高；自动切分让识别更自动化，更贴切自然，提高交互体验。

如图4所示为主动切分方法的实施流程图：

D1～D3：当从采集设备数据接口获取手部信息后，会根据计时模块的数据来判断是否切分手势。D1为获取手部信息数据流，D2为提取单个手势处理模块，D3为计时数据接口。

如图5所示为自动切分的方法流程图：

E1～E4：连续数据与抽象模板进行初步匹配，G_t表示一段时长为t的动态手势，模板库(g₁,g2,…,g_n)表示已知的n种抽象手势模板，S(G_t,gi)度量当前数据流和某种手势模板的相似性。当手部运动停止时，将整串数据与模板进行比较，一旦检测到相似点，则两者的相似性就会逐步增加，直到相似性下降出现拐点时就检测到动作片段的结束点，再取全局相似度量最大的串作为切分的始末点，即可将手势转化为一组动作元序列。

如图6所示为基于HMM的手掌动态手势识别流程图：

F1～F6：F1为手势样本序列。F2为BaumWelch算法，及解决HMM模型中的学习问题；F3为从F2中得出的手势HMM模型；F5提取的手掌运动特征序列，及HMM模型中的测试序列；F4为Viterbi算法模块，及HMM模型中的解码模块；F6为HMM模型输出的结果。

如图7所示为基于HMM的手指动态手指识别流程图：

G1～G8：G1为手势样本序列。G2为BaumWelch算法，及解决HMM模型中的学习问题；G3为从G2中得出的手势HMM模型；G4为提取的手指运动特征向量，G5为SVM模式识别模块，特征向量序列经过该模块的处理，将生成一组识别结果序列，而该识别结果将作为HMM模型参数的输入；G6即为G5模块的输出结果；G7为Viterbi算法模块，及HMM模型中的解码模块；G8为HMM模型输出的结果。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims

1.一种基于RealSense的手语识别系统，其特征在于，包括：与数据采集设备相适应的数据接口模块、首个静态手势识别模块、手势动作切分模块、手势特征提取模块及手势识别模块，其中，所述数据接口模块包含了手部轮廓信息接口组件和手部关键骨骼节点相对位置信息接口组件，所述手部轮廓信息接口组件用于从数据采集设备获取手部轮廓信息，所述手部关键骨骼节点相对位置信息接口组件用于从数据采集设备获取手部关键骨骼节点相对位置信息；

所述首个静态手势识别模块用于从数据接口模块获取首个手势特征并进行特征匹配，并将匹配结果作为手势动作切分模块的输入；所述手势动作切分模块包含了主动切分组件和自动切分组件，主动切分组件用于当判断为进行主动手势动作切分时，依据时间即系统定时器，将固定时间段内采集到的连续手势视频帧图像划分为一个手势动作；自动切分组件用于当判断为采用自动手势动作切分时，依据手势间的运动变化规律将采集的连续视频帧序列进行动作切分；手势识别特征提取模块中包含了手掌特征提取组件和手指特征提取组件，对上一步输入的切分后的手势动作序列分别提取动作的手掌特征和手指特征，并将提取结果作为下一过程手势识别模块的输入；所述手势识别模块包括了手掌识别模块和手指识别模块以及语义输出模块，所述手掌识别模块对手掌特征进行动作识别，所述手指识别模块对手指特征进行识别，所述语义识别模块用于根据手掌动作识别结果、手指动作识别结果进行语义识别。

2.根据权利要求1所述的基于RealSense的手语识别系统，其特征在于，所述数据采集设备可以是近距离的深度摄像机，也可是远距离的深度摄像机，并且该设备具有可编程的应用程序接口并能够进行稳定和准确的数据采集工作，以便通过统一的数据接口对数据进行集中管理。

3.根据权利要求1或2所述的基于RealSense的手语识别系统，其特征在于，所述数据接口模块是对来自数据采集设备原始数据流的抽象，采集的信息包括手部轮廓信息及手部骨骼节点信息，该轮廓信息包括手部边缘信息、手掌掌心位置信息，手部骨骼节点信息为22个骨骼节点的位置信息及其相对掌心的距离信息。

4.根据权利要求3所述的基于RealSense的手语识别系统，其特征在于，所述主动切分组件进行手势动作主动切分的方法是采用基于时间的判定方式，以代表第一个手势开始后1s的手势动作姿态作为切分的起始点，之后2s时刻的动作手势姿态作为切分的结束点，所述手势动作自动切分方法采用基于空手势模型的模板匹配方法，根据手势运动变化的速率变化判断不同手势间动作的拐点。

5.根据权利要求3或4所述的基于RealSense的手语识别系统，其特征在于，所述自动切分组件的相关参数有切分开始点阈值SPOTTING_START，切分结束点阈值SPOTTING_END，手势长度阈值DURATION，当某一时刻t的表征手部运动的速率α(t)＞SPOTTING_START时标记切分起始点，当α(t)＜SPOTTING_END时，标记切分结束点，将切分得到的手势序列长度L(g)与DURATION进行比较，如果切分的手势序列持续时间过短，则丢弃该序列。

6.根据权利要求5所述的基于RealSense的手语识别系统，其特征在于，所述手部运动状态及手部运动速度的变化率和方向角模型进行手势动作切分，其手部运动速度的变化率是通过手掌之心的位置来进行判断，而其方向角为手部向前运动的方向与水平坐标之间的夹角。

7.一种基于RealSense的手语识别方法，其特征在于，包括以下步骤：首先通过RealSense实感摄像头获取首个静态手势的轮廓信息及骨骼各节点相对位置信息；然后依据该信息发送切分方式信号，若进行主动手势动作切分则在此手势执行的时间间隔内捕捉手势视频帧图像序列，并对手势视频帧图像进行预处理；若采用自动手势动作切分则实时采集视频帧序列并通过分析相邻手势间的运动变化规律自动分析切分点，进行动作切分，并对手势视频帧图像进行预处理。手势动作切分模块的输出结果将作为特征提取模块输入。特征提取模块会从手掌和手指两个角度提取动作的特征值，然后再将此过程提取的特征值采用手势语义识别算法进行手势识别。

8.根据权利要求7所述的基于RealSense的手语识别方法，其特征在于，所述自动手势切分的包括以下步骤：将连续数据与抽象模板进行初步匹配，G_t表示一段时长为t的动态手势，模板库(g₁,g2,…,g_n)表示已知的n种抽象手势模板，S(G_t,g_i)度量当前数据流和某种手势模板的相似性；当手部运动停止时，将整串数据与模板进行比较，一旦检测到相似点，则两者的相似性就会逐步增加，直到相似性下降出现拐点时就检测到动作片段的结束点，再取全局相似度量最大的串作为切分的始末点，即可将手势转化为一组动作元序列。

9.根据权利要求7所述的基于RealSense的手语识别方法，其特征在于，所述手掌动态手势识别采用基于HMM隐马尔科夫模型算法进行识别，所述手指动态手势识别采用基于SVM/HMM支持向量机和隐马尔科夫混合模型的算法进行识别。