CN108564020B - 基于全景3d图像的微手势识别方法 - Google Patents

Abstract

本发明涉及基于全景3D图像的微手势识别方法，利用形态学滤波算法提升HoMG图像中的水平和竖直线条，增强线条与背景的对比度，通过快速模糊C均值聚类算法分割滤波图像，检测线条轮廓，根据形态学细化算法准确定位线条位置，利用线条间隔的最小方差计算基准坐标，构建网格坐标，利用网格坐标重建多张清晰的子图像，把重建后的子图像作为CNN模型的输入数据，从而完成微手势识别。本发明主要解决模糊网格导致HoMG图像识别精度低的问题，能有效提高基于HoMG图像的微手势识别精度，可广泛应用于人机交互领域。

Description

基于全景3D图像的微手势识别方法

技术领域

本发明涉及模式识别技术领域，具体涉及一种基于全景3D图像的微手势识别方法。

背景技术

手势识别是人机交互的关键步骤，在机器视觉和虚拟现实中有着广泛的应用。目前，基于手势识别的算法大致可分为两类：一类是手套采集方法；一类是视觉识别方法；第一类方法利用手套上的多个传感器来记录手势数据，虽然识别准确度高，但由于手套上传感器的限制，导致手势内容相对单一，实用性较差。第二类方法则利用Kinect和RGB-D相机捕捉手势的深度信息，通过挖掘深度信息进行手势识别，由于视觉识别具有直观、方便等特点，所以基于视觉的手势识别算法越来越受到使用者的青睐。

传统的手势识别主要由三个步骤组成，即手势分割、特征提取和分类器选择，其中手势分割是为了确定手势的大致轮廓，减少复杂背景对后续处理的干扰。特征提取是为了去除冗余信息，利用目标特征来表示原始图像。最后选择合适的分类器对特征数据进行分类。特征描述子和分类器类型较多，需凭借经验选择恰当的特征描述子和分类器类型。

由于卷积神经网络(Convolutional Neural Network,CNN)能自动学习图像特征，所以CNN模型已广泛应用于图像分类和目标检测中。近年来，学者们提出了大量改进的CNN模型并将其应用于手势识别。其中，Arenas等人提出了基于区域的CNN手势识别方法，该方法能够实现不同背景下的动态手势识别，但不利于微手势的识别。

等人通过联合CNN模型和长短期记忆网络(Long Short-Term Memory,LSTM)，提出了CNN+LSTM的手势识别算法，虽然该方法能获得更高的手势识别结果，但由于需要两级网络导致该方法的计算复杂度较高。针对Kinect和RGB-D相机不能捕获图像微小变化的问题，Liu等人利用全景3D成像系统创建了全景3D微手势图库(Holoscopic 3D Micro-Gesture,HoMG)，全景3D成像系统是利用尺寸大小为28×28的微镜头阵列来采集信息，虽然每个镜头有效记录了手势的局部偏差，但也造成了HoMG图像中模糊网格的出现，由于模糊网格的干扰，导致传统的特征描述子和CNN模型难以有效提取图像特征，微手势识别精度较低。

发明内容

本发明的目的是提供一种基于全景3D图像的微手势识别方法，解决了现有技术中由于HoMG图库中模糊网格的干扰导致传统特征描述子和CNN模型不能有效提取图像特征的技术缺陷。

本发明所采用的技术方案为：

基于全景3D图像的微手势识别方法，其特征在于：

由以下步骤实现：

首先，利用形态学滤波算法提升HoMG图像中的水平和竖直线条，增强线条与背景的对比度；

其次，通过快速模糊C均值聚类算法分割滤波图像，检测线条轮廓；

然后，根据形态学细化算法准确定位线条位置，利用线条间隔的最小方差计算基准坐标，构建网格坐标；

最后，利用网格坐标重建多张清晰的子图像，把重建后的子图像作为CNN模型的输入数据，从而完成微手势识别。

具体包括以下步骤：

(1)输入HoMG图像f；

(2)对f进行水平和竖直形态学滤波，得到滤波后的图像为ξ_h和ξ_v；

(3)利用快速模糊C均值聚类算法对ξ_h和ξ_v进行分割；

(4)对分割后的图像利用形态学细化算法准确定位线条位置；

(5)根据线条间隔的最小方差，确定基准坐标，构建网格坐标；

(6)利用网格坐标重建子图像；

(7)利用CNN模型对重建的子图像进行分类识别。

步骤(2)具体由以下步骤实现：

(a)利用水平结构元素对HoMG图像f进行形态学滤波，计算公式如下：

其中，B_h表示水平结构元素，B_h＝ones(1,100)，

表示形态学开运算，ξ_h表示形态学水平滤波结果；

(b)利用竖直结构元素对HoMG图像f进行形态学滤波，计算公式如下：

其中，B_v表示竖直结构元素，B_v＝ones(100,1)，

表示形态学开运算，ξ_v表示形态学竖直滤波结果。

步骤(3)具体由以下步骤实现：

(a)初始化：设聚类个数为c，模糊权重因子为m，最大迭代次数为T，迭代截止条件为η，随机化隶属度矩阵为U⁽⁰⁾，初始迭代次数为t＝1；

(b)迭代更新快速模糊C均值聚类算法的聚类中心v_i和模糊隶属度强度u_ij，FFCM算法的目标函数为：

其中，c表示聚类个数，M表示图像ξ的灰度级个数，m表示模糊权重因子，r_j表示图像中灰度值为j的像素数目，所以

n为图像的像素个数，u_ij表示灰度值为j的像素相对于第i个聚类中心v_i的隶属度强度，||ξ_j-v_i||表示图像ξ中灰度值为j的像素与第i个聚类中心v_i的欧氏距离；

利用约束条件

与目标函数构建一个新的函数，公式如下：

计算F函数极值对应的聚类中心v_i，即

可得：

计算F函数极值对应的隶属度强度u_ij，即

可得：

(c)如果{U^(t)-U^(t+1)}＜η或者迭代次数t＞T，算法截止，否则t＝t+1，同时转向步骤(b)；

(d)根据每个灰度值j所对应的最大隶属度类别，获取分割标签C_j，计算公式如下：

C_j＝arg_i{max{u_ij}},i＝1,2,L,c

利用标签C_j所对应的聚类中心v_i，构建分割图像g。

步骤(4)具体由以下步骤实现：

形态学细化公式如下：

其中，THIN表示细化运算，B表示与前景和背景相匹配的结构元素对，

表示击中-击不中变换，通过迭代细化可以将区域细化为最低限度的连通线条，经细化后的图像为l。

步骤(5)具体由以下步骤实现：

(a)首先选取图像l两侧宽度为100像素的区域用于坐标检测，其次根据每个区域内的平均索引值个数计算两侧坐标，然后利用线条间隔的最小方差确定基准坐标；

水平基准坐标的计算公式如下：

其中，l_left表示从图像l左侧区域获取的坐标，l_right表示从图像l右侧区域获取的坐标，diff表示相邻坐标作差，var表示方差运算，通过选择最小方差的坐标，作为水平线条的基准坐标；

(b)竖直基准坐标的计算公式如下：

其中，l_up表示从图像l上侧区域获取的坐标，l_down表示从图像l下侧区域获取的坐标，通过选择最小方差坐标，作为竖直线条的基准坐标。

步骤(6)具体由以下步骤实现：

(a)根据网格坐标，确定网格的中心位置，以每个网格的中心像素重建一幅大小为66×38的子图像；

(b)基于中心像素，以2像素为步长，获取中心像素的8邻域信息，利用该8邻域像素重建8张子图像，从而将1幅高分辨率的HoMG图像转换为9幅低分辨率的子图像。

本发明具有以下优点：

1、针对HoMG图像中模糊网格的问题，利用形态学滤波、FFCM算法以及形态学细化算法可快速重建多张子图像，不仅保留了HoMG图像的局部信息，而且克服了模糊网格对后续手势识别的干扰。

2、针对特征描述子与分类器较难匹配的问题，利用CNN模型避免了人工特征的选取，提高了微手势的识别精度。

附图说明

图1是本发明实现步骤的流程原理框图。

图2是本发明对黑色背景HoMG图像的重建过程。

图3是本发明对白色背景HoMG图像的重建过程。

图4是本发明对不同背景不同手势HoMG图像的重建结果。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明涉及一种基于全景3D图像的微手势识别方法，涉及形态学理论、模糊聚类算法和深度学习模型，可广泛应用于人机交互中的微手势识别。

由于HoMG图库中模糊网格的干扰，导致传统特征描述子和CNN模型不能有效提取图像特征，为了解决该问题，本发明首先利用形态学滤波算法提升HoMG图像中的水平和竖直线条，增强线条与背景的对比度。其次通过快速模糊C均值聚类算法(Fast Fuzzy C-Means,FFCM)分割滤波图像，检测线条轮廓。然后根据形态学细化算法准确定位线条位置，利用线条间隔的最小方差计算基准坐标，构建网格坐标。最后利用网格坐标重建多张清晰的子图像，把重建后的子图像作为CNN模型的输入数据，从而完成微手势识别。

具体实现步骤如下：

(1)输入HoMG图像f；

(2)对f进行水平和竖直形态学滤波，得到滤波后的图像为ξ_h和ξ_v；

(3)利用FFCM算法对ξ_h和ξ_v进行分割；

(4)对分割后的图像利用形态学细化算法准确定位线条位置；

(5)根据线条间隔的最小方差，确定基准坐标，构建网格坐标；

(6)利用网格坐标重建子图像；

(7)利用CNN模型对重建的子图像进行分类识别。

图1是本发明实现步骤的流程原理框图，针对HoMG图像的识别问题，本发明设计了一种基于全景3D图像的微手势识别方法，具体描述如下：

(1)输入HoMG图像f，分辨率为1920×1080；

(2)利用形态学滤波算法提升HoMG图像的水平和竖直线条，增强线条与背景的对比度。

(a)利用水平结构元素对HoMG图像f进行形态学滤波，计算公式如下：

其中，B_h表示水平结构元素，B_h＝ones(1,100)，

表示形态学开运算，ξ_h表示形态学水平滤波结果，滤波结果不仅增强了水平线条与背景的对比度，而且避免了竖直线条对水平线条的干扰。

(b)利用竖直结构元素对HoMG图像f进行形态学滤波，计算公式如下：

其中，B_v表示竖直结构元素，B_v＝ones(100,1)，

表示形态学开运算，ξ_v表示形态学竖直滤波结果，滤波结果不仅增强了竖直线条与背景的对比度，而且避免了水平直线条对竖直线条的干扰。

为简化后续的公式表述，滤波后的图像(ξ_h和ξ_v)均由ξ表示；

(3)利用FFCM算法对滤波后的图像ξ进行线条分割，以检测水平和竖直线条。

(a)初始化：设聚类个数为c，模糊权重因子为m，最大迭代次数为T，迭代截止条件为η，随机化隶属度矩阵为U⁽⁰⁾，初始迭代次数为t＝1；

(b)迭代更新FFCM算法的聚类中心v_i和模糊隶属度强度u_ij，FFCM算法的目标函数为：

其中，c表示聚类个数，M表示图像ξ的灰度级个数，m表示模糊权重因子，r_j表示图像中灰度值为j的像素数目，所以

n为图像的像素个数，u_ij表示灰度值为j的像素相对于第i个聚类中心v_i的隶属度强度，||ξ_j-v_i||表示图像ξ中灰度值为j的像素与第i个聚类中心v_i的欧氏距离；

利用约束条件

与目标函数构建一个新的函数，公式如下：

计算F函数极值对应的聚类中心v_i，即

可得：

计算F函数极值对应的隶属度强度u_ij，即

可得：

(c)如果{U^(t)-U^(t+1)}＜η或者迭代次数t＞T，算法截止，否则t＝t+1，同时转向步骤(b)。

(d)根据每个灰度值j所对应的最大隶属度类别，获取分割标签C_j，计算公式如下：

C_j＝arg_i{max{u_ij}},i＝1,2,L,c

利用标签C_j所对应的聚类中心v_i，构建分割图像g。

(4)对于FFCM分割后的图像g，利用形态学细化算法准确定位水平和竖直线条。

形态学细化就是利用线条结构来表征图像中的连通区域，避免连通面积对坐标位置的干扰，形态学细化公式如下：

其中，THIN表示细化运算，B表示与前景和背景相匹配的结构元素对，

表示击中-击不中变换，通过迭代细化可以将区域细化为最低限度的连通线条，经细化后的图像为l；

(5)利用线条间隔的最小方差确定水平和竖直的基准坐标。

(a)由于图像l为二值图像，所以通过检测线条索引值位置就可确定线条坐标，但由于HoMG图像中手势的干扰，可能导致部分线条缺失，针对该问题，本发明首先选取图像l两侧宽度为100像素的区域用于坐标检测，其次根据每个区域内的平均索引值个数计算两侧坐标，然后利用线条间隔的最小方差确定基准坐标。

水平基准坐标的计算公式如下：

其中，l_left表示从图像l左侧区域获取的坐标，l_right表示从图像l右侧区域获取的坐标，diff表示相邻坐标作差，var表示方差运算，通过选择最小方差的坐标，作为水平线条的基准坐标。

(b)竖直基准坐标的计算公式如下：

其中，l_up表示从图像l上侧区域获取的坐标，l_down表示从图像l下侧区域获取的坐标，通过选择最小方差坐标，作为竖直线条的基准坐标；

(6)根据基准坐标，构建图像网格，通过提取每个网格中对应的中心像素以及其邻域像素重建多张清晰的子图像；

(a)根据网格坐标，确定网格的中心位置，以每个网格的中心像素重建一幅大小为66×38的子图像。

(b)基于中心像素，以2像素为步长，获取中心像素的8邻域信息，利用该8邻域像素重建8张子图像，从而将1幅高分辨率的HoMG图像(1920×1080)转换为9幅低分辨率(66×38)的子图像。

(7)把重建后的子图像作为CNN模型的输入数据，从而完成微手势识别；

本发明的效果可以通过以下实验进一步说明。

为了检测本发明对HoMG图像的优越性，通过两种不同背景的测试图像展示本发明的重建过程，如图2-3所示，其中图像的分辨率为1920×1080，仿真实验及相关测试均在CPU:Intel(R)Core(TM)i7-6700 3.40GHz，内存16GB的硬件环境和MATLAB R2016b的软件环境下完成。从图2-3可以看出，本发明能有效重建不同背景的HoMG图像，重建后的图像较为清晰，利于特征描述子和CNN模型的特征提取。图4则展示了不同背景不同手势的重建效果，利用多张重建图像来反映HoMG图像所蕴含的多角度信息。为了进一步说明本发明重建图像的有效性，利用传统算法对原始图像和重建图像进行识别，对于含有多张重建的子图像，则选用投票的形式来确定其微手势类别，识别精度如表1所示，从表1可得，重建图像的识别精度高于原始图像的识别精度，且随着重建子图像个数的增多，识别精度也在逐渐提升。由于重建子图像之间差异较小，CNN模型可忽略其对训练的影响，所以利用CNN模型对原始图像和单张重建图像进行测试，测试结果如表2所示，从表2可得，重建图像的识别精度明显优于原始图像的识别精度。从表1-2可得，重建图像更有利于微手势识别，为人机交互奠定了基础。

表1传统算法对原始图像和重建图像的识别精度

表2CNN模型对原始图像和重建图像的识别精度

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (5)

1.基于全景3D图像的微手势识别方法，其特征在于：

由以下步骤实现：

首先，利用形态学滤波算法提升HoMG图像中的水平和竖直线条，增强线条与背景的对比度；

其次，通过快速模糊C均值聚类算法分割滤波图像，检测线条轮廓；

然后，根据形态学细化算法准确定位线条位置，利用线条间隔的最小方差计算基准坐标，构建网格坐标；

最后，利用网格坐标重建多张清晰的子图像，把重建后的子图像作为CNN模型的输入数据，从而完成微手势识别；

具体包括以下步骤：

(1)输入HoMG图像f；

(2)对f进行水平和竖直形态学滤波，得到滤波后的图像为ξ_h和ξ_v；

(3)利用快速模糊C均值聚类算法对ξ_h和ξ_v进行分割；

(4)对分割后的图像利用形态学细化算法准确定位线条位置；

(5)根据线条间隔的最小方差，确定基准坐标，构建网格坐标；

(6)利用网格坐标重建子图像；

(7)利用CNN模型对重建的子图像进行分类识别；

步骤(5)具体由以下步骤实现：

(a)首先选取图像l两侧宽度为100像素的区域用于坐标检测，其次根据每个区域内的平均索引值个数计算两侧坐标，然后利用线条间隔的最小方差确定基准坐标；

水平基准坐标的计算公式如下：

其中，l_left表示从图像l左侧区域获取的坐标，l_right表示从图像l右侧区域获取的坐标，diff表示相邻坐标作差，var表示方差运算，通过选择最小方差的坐标，作为水平线条的基准坐标；

(b)竖直基准坐标的计算公式如下：

其中，l_up表示从图像l上侧区域获取的坐标，l_down表示从图像l下侧区域获取的坐标，通过选择最小方差坐标，作为竖直线条的基准坐标。

2.根据权利要求1所述的基于全景3D图像的微手势识别方法，其特征在于：

步骤(2)具体由以下步骤实现：

(a)利用水平结构元素对HoMG图像f进行形态学滤波，计算公式如下：

其中，B_h表示水平结构元素，B_h＝ones(1,100)，

表示形态学开运算，ξ_h表示形态学水平滤波结果；

(b)利用竖直结构元素对HoMG图像f进行形态学滤波，计算公式如下：

其中，B_v表示竖直结构元素，B_v＝ones(100,1)，

表示形态学开运算，ξ_v表示形态学竖直滤波结果。

3.根据权利要求2所述的基于全景3D图像的微手势识别方法，其特征在于：

步骤(3)具体由以下步骤实现：

(a)初始化：设聚类个数为c，模糊权重因子为m，最大迭代次数为T，迭代截止条件为η，随机化隶属度矩阵为U⁽⁰⁾，初始迭代次数为t＝1；

(b)迭代更新快速模糊C均值聚类算法的聚类中心v_i和模糊隶属度强度u_ij，FFCM算法的目标函数为：

其中，c表示聚类个数，M表示图像ξ的灰度级个数，m表示模糊权重因子，r_j表示图像中灰度值为j的像素数目，所以

n为图像的像素个数，u_ij表示灰度值为j的像素相对于第i个聚类中心v_i的隶属度强度，||ξ_j-v_i||表示图像ξ中灰度值为j的像素与第i个聚类中心v_i的欧氏距离；

利用约束条件

与目标函数构建一个新的函数，公式如下：

计算F函数极值对应的聚类中心v_i，即

可得：

计算F函数极值对应的隶属度强度u_ij，即

可得：

(c)如果{U^(t)-U^(t+1)}＜η或者迭代次数t＞T，算法截止，否则t＝t+1，同时转向步骤(b)；

(d)根据每个灰度值j所对应的最大隶属度类别，获取分割标签C_j，计算公式如下：

C_j＝arg_i{max{u_ij}},i＝1,2,L,c

利用标签C_j所对应的聚类中心v_i，构建分割图像g。

4.根据权利要求3所述的基于全景3D图像的微手势识别方法，其特征在于：

步骤(4)具体由以下步骤实现：

形态学细化公式如下：

其中，THIN表示细化运算，B表示与前景和背景相匹配的结构元素对，

表示击中-击不中变换，通过迭代细化可以将区域细化为最低限度的连通线条，经细化后的图像为l。

5.根据权利要求4所述的基于全景3D图像的微手势识别方法，其特征在于：

步骤(6)具体由以下步骤实现：

(a)根据网格坐标，确定网格的中心位置，以每个网格的中心像素重建一幅大小为66×38的子图像；

(b)基于中心像素，以2像素为步长，获取中心像素的8邻域信息，利用该8邻域像素重建8张子图像，从而将1幅高分辨率的HoMG图像转换为9幅低分辨率的子图像。

Images