CN103077381A - 一种基于分数阶傅里叶变换的单目动态手势识别方法 - Google Patents

Abstract

本发明涉及一种在智能电视及职能机顶盒领域应用的人机交互输入技术，特别是涉及一种基于分数阶傅里叶变换的单目动态手势识别方法，首先对人体的肤色图像关键帧进行选取，然后对选取的图像进行预处理，再进行人手区域规范化处理，利用二维分数阶傅里叶变换进行变换，最后经过分类器，对不同的手势进行识别；本发明有效提高和优化人手在运动状态、不同手势操作时的识别效率和识别准确度，提高和优化了智能电视盒和智能机顶盒人机交互的用户体验，使操作起来更方便快捷。

Description

一种基于分数阶傅里叶变换的单目动态手势识别方法

技术领域

本发明涉及一种在智能电视及职能机顶盒领域应用的人机交互输入技术，特别是涉及一种基于分数阶傅里叶变换的单目动态手势识别方法。

背景技术

目前采用高性能嵌入式处理器运行Android嵌入式操作系统实现高速互联网视频点播及网页浏览等功能的智能电视多采用遥控器或无线鼠标作为人机交互手段，但这种人机交互模式存在焦点捕获不准的问题，用户体验不好。

采用单个摄像机采集人手的动态运行轨迹及手势，加以识别后作为Android系统的光标坐标以及确认等输入信息，进而实现电视的控制操作已成为研究热点，现有的手势识别技术主要采用肤色以及边缘检测预处理手段检测到人手区域及轮廓，然后与存储的人手手势模版相关匹配，从而实现手势识别，但这一类技术在静态时检测识别率较高，但在人手处于运动状态，往往出现模版匹配不准确、识别率下降等问题。

发明内容

本发明为了解决上述问题，提供了一种有效提高和优化人手在运动状态、不同手势操作时的识别效率和识别准确度，提高和优化了智能电视盒和智能机顶盒人机交互的用户体验，使操作起来更方便快捷的基于分数阶傅里叶变换的单目动态手势识别方法。

本发明的技术方案是：

一种基于分数阶傅里叶变换的单目动态手势识别方法，包括以下步骤：

步骤1：用色彩聚类算法将原始的肤色图像的集合分组成为由类似对象组成的多个聚类，并对其进行非线性分段变换，得到肤色图像的聚类在YCb′Cr'空间中的分布情况，再将其投影到Cb′-Cr′二维子空间，得到肤色聚类模型；

步骤2：采用迭代法对步骤1中的零散肤色区域进行合并处理，确定人手肤色的区域；

步骤3：据小波包对人手手指特征分解的原理并结合人手的几何特征，确定人手所在的区域，检测到人手后，将此坐标信息作为光标位置的控制消息；

步骤4：对步骤3中所得的人手所在的区域进行规范化处理，包括：

步骤4.1：对人手所在区域的图像统计其直方图，求出P_r(r)，所述Pr(r)为出现这个灰度级的概率P(Rk)，所述直方图的横坐标为灰度级r，纵坐标为具有该灰度级的像素个数或出现这个灰度级的概率P(Rk)，其中P(Rk)=nk／N，式中，N为一幅图像中的像素的总数，nk为图像中第k级灰度的像素数，Rk表示第k个灰度级，P(rk)表示该灰度级出现的概率；

步骤4.2：采用累积分布函数对步骤4.1中所统计出的直方图做变换，即S_k=T(r_k)=∑p_r(r)，以此求出变换后的新灰度，式中rk和Sk分别表示原始图像和变换后的第k阶图像灰度的值，Pr(r)为出现这个灰度级的概率P(Rk)；

步骤5：利用二维分数阶傅里叶变换提取人手图像的幅度和相位特征信息；

首先对人手图像做傅里叶变换，变换公式为：取P1=P2，阶次选择范围在[0，1]之间，间隔为0.1；

其次，对二维分数阶傅里叶变换进行特征提取，取f(x,y)为原人手图像灰度值信息,对f(x,y)做二维分数阶傅里叶变换即为： $F_{\mathrm{\α},\mathrm{\β}}(u,v)=\underset{-\∞}{\overset{+\∞}{\∫}}\underset{-\∞}{\overset{+\∞}{\∫}}f(x,y)K_{p,q}(x,y,u,v)\mathrm{dxdy},$ 经计算相位信息可以表示为：

其中K_p，q(x,y,u,v)为二维分数阶傅里叶变换的核函数，其中

p和q分别为变换阶次，K_p，q(x,y,u,v)为变换核；

步骤6：把步骤5中b）中求出的人手图像的相位幅值采用Fisher分类器判别人手图像的类别。

所述步骤6中的人手图像类别定义为：握手为确认，手势左翻为左，手势右翻为右，手势上翻为上，手势下翻为下。

所述步骤3中小波包对人手手指特征分解的原理为把人手所在区域的图像和一族Gabor小波进行卷积，即Q_u，v(z)=I(z)*ψ_u，v(z)，应用卷积定理得到一个特征向量

特征向量x^(p)中的元素为手势的识别信息。

本发明的有益积极效果是：

本发明针对动态手势识别中模版匹配方法中误识别和不识别等问题，提出了一种基于分数阶傅里叶变换的手势特征识别方法，利用该方法可以有效的提高和优化人手在运动状态，不同手势操作时的识别效率，和准确度，提高和优化了智能电视盒和智能机顶盒人机交互的用户体验，使操作起来更加方便、快捷。

附图说明

图1为发明的原理示意框图。

具体实施方式

参见图1所示，本发明在基于分数阶傅里叶变换的单目动态手势识别方法中，首先对人体的肤色图像关键帧进行选取，然后对选取的图像进行预处理，再进行人手区域规范化处理，利用二维分数阶傅里叶变换进行变换，最后经过分类器，对不同的手势进行识别。

一种基于分数阶傅里叶变换的单目动态手势识别方法，包括以下步骤：

步骤1：用色彩聚类算法将原始的肤色图像的集合分组成为由类似对象组成的多个聚类，并对其进行非线性分段变换，得到肤色图像的聚类在YCb′Cr'空间中的分布情况，再将其投影到Cb′-Cr′二维子空间，得到肤色聚类模型；

步骤2：采用迭代法对步骤1中的零散肤色区域进行合并处理，确定人手肤色的区域；

步骤3：据小波包对人手手指特征分解的原理并结合人手的几何特征，确定人手所在的区域，检测到人手后，将此坐标信息作为光标位置的控制消息；

步骤4：对步骤3中所得的人手所在的区域进行规范化处理，包括：

步骤4.1：对人手所在区域的图像统计其直方图，求出P_r(r)，所述Pr(r)为出现这个灰度级的概率P(Rk)，所述直方图的横坐标为灰度级r，纵坐标为具有该灰度级的像素个数或出现这个灰度级的概率P(Rk)，其中P(Rk)=nk／N，式中，N为一幅图像中的像素的总数，nk为图像中第k级灰度的像素数，Rk表示第k个灰度级，P(rk)表示该灰度级出现的概率；

步骤4.2：采用累积分布函数对步骤4.1中所统计出的直方图做变换，即S_k=T(r_k)=∑p_r(r)，以此求出变换后的新灰度，式中rk和Sk分别表示原始图像和变换后的第k阶图像灰度的值，Pr(r)为出现这个灰度级的概率P(Rk)；

步骤5：利用二维分数阶傅里叶变换提取人手图像的幅度和相位特征信息；

首先对人手图像做傅里叶变换，变换公式为：

取P1=P2，阶次选择范围在[0，1]之间，间隔为0.1；

其次，对二维分数阶傅里叶变换进行特征提取，取f(x,y)为原人手图像灰度值信息,对f(x,y)做二维分数阶傅里叶变换即为： $F_{\mathrm{\α},\mathrm{\β}}(u,v)=\underset{-\∞}{\overset{+\∞}{\∫}}\underset{-\∞}{\overset{+\∞}{\∫}}f(x,y)K_{p,q}(x,y,u,v)\mathrm{dxdy},$ 经计算相位信息可以表示为：

其中K_p，q(x,y，u，v)为二维分数阶傅里叶变换的核函数，其中

p和q分别为变换阶次，K_p，q(x,y,u,v)为变换核；

使p=q，则α=β.

只对公式

$F_{\mathrm{\α},\mathrm{\β}}(u,v)=\underset{-\∞}{\overset{+\∞}{\∫}}\underset{-\∞}{\overset{+\∞}{\∫}}f(x,y)K_{p,q}(x,y,u,v)\mathrm{dxdy}$

做行向量u做研究（列向量后作相同处理），那么：

$F_a^{,}\left(u\right)=\underset{-\∞}{\overset{+\∞}{\∫}}f(x,y)K_P(x,u)\mathrm{du}=\underset{-\∞}{\overset{+\∞}{\∫}}{f}^{,}\left(x\right)K_p(x,u)\mathrm{dx}$

其中，f’(x)是f(x,y)中Y是常数的形式，根据分数阶Fourier变换和

Random-Wigner变换之间的关系：

|X_pu)|²=RW_x(α,u)

可得：

$\left|X_p\left(u\right)\right|=\sqrt{{\mathrm{RW}}_x(\mathrm{\α},u)},$

因为y是常数，故：

$\left|F_{\mathrm{\α}}^{,}\left(u\right)\right|=\sqrt{{\mathrm{RW}}_{f^{,}}(\mathrm{\α},u)}$

所以相位信息表示为：

$P_a\left(u\right)=\frac{{F^{\′}}_a}{\left|F_a^{\′}\right|}=\frac{F_a^{\′}}{\sqrt{{\mathrm{RW}}_{f^{\′}}(a,u)}}$

其中W_f'是f'（x)关于x的Wigner—vile变换。

步骤6：把步骤5中b）中求出的人手图像的相位幅值采用Fisher分类器判别人手图像的类别。

所述步骤6中的人手图像类别定义为：握手为确认，手势左翻为左，手势右翻为右，手势上翻为上，手势下翻为下。

所述步骤3中小波包对人手手指特征分解的原理为把人手所在区域的图像和一族Gabor小波进行卷积，即Q_u，v(z)=I(z)*ψ_u，v(z)，应用卷积定理得到一个特征向量

特征向量x^(p)中的元素为手势的识别信息。

Claims (3)

1.一种基于分数阶傅里叶变换的单目动态手势识别方法，其特征在于包括以下步骤：

步骤1：用色彩聚类算法将原始的肤色图像的集合分组成为由类似对象组成的多个聚类，并对其进行非线性分段变换，得到肤色图像的聚类在YCb′Cr'空间中的分布情况，再将其投影到Cb′-Cr′二维子空间，得到肤色聚类模型；

步骤2：采用迭代法对步骤1中的零散肤色区域进行合并处理，确定人手肤色的区域；

步骤3：据小波包对人手手指特征分解的原理并结合人手的几何特征，确定人手所在的区域，检测到人手后，将此坐标信息作为光标位置的控制消息；

步骤4：对步骤3中所得的人手所在的区域进行规范化处理，包括：

步骤4.1：对人手所在区域的图像统计其直方图，求出P_r(r)，所述Pr(r)为出现这个灰度级的概率P(Rk)，所述直方图的横坐标为灰度级r，纵坐标为具有该灰度级的像素个数或出现这个灰度级的概率P(Rk)，其中P(Rk)=nk／N，式中，N为一幅图像中的像素的总数，nk为图像中第k级灰度的像素数，Rk表示第k个灰度级，P(rk)表示该灰度级出现的概率；

步骤4.2：采用累积分布函数对步骤4.1中所统计出的直方图做变换，即S_k=T(r_k)=∑p_r(r)，以此求出变换后的新灰度，式中r_k和S_k分别表示原始图像和变换后的第k阶图像灰度的值，Pr(r)为出现这个灰度级的概率P(Rk)；

步骤5：利用二维分数阶傅里叶变换提取人手图像的幅度和相位特征信息；

a)首先对人手图像做傅里叶变换，变换公式为：

取P1=P2，阶次选择范围在[0，1]之间，间隔为0.1；

b)其次，对二维分数阶傅里叶变换进行特征提取，取f(x,y)为原人手图像灰度值信息,对f(x,y)做二维分数阶傅里叶变换即为： $F_{\mathrm{\α},\mathrm{\β}}(u,v)=\underset{-\∞}{\overset{+\∞}{\∫}}\underset{-\∞}{\overset{+\∞}{\∫}}f(x,y)K_{p,q}(x,y,u,v)\mathrm{dxdy},$ 经计算相位信息可以表示为：

其中K_p，q(x,y,u,v)为二维分数阶傅里叶变换的核函数，其中

p和q分别为变换阶次，K_p，q(x,y,u,v)为变换核；

步骤6：把步骤5中b）中求出的人手图像的相位幅值采用Fisher分类器判别人手图像的类别。

2.根据权利要求1所述的基于分数阶傅里叶变换的单目动态手势识别方法，其特征在于：所述步骤6中的人手图像类别定义为：握手为确认，手势左翻为左，手势右翻为右，手势上翻为上，手势下翻为下。

3.根据权利要求1所述的基于分数阶傅里叶变换的单目动态手势识别方法，其特征在于：所述步骤3中小波包对人手手指特征分解的原理为把人手所在区域的图像和一族Gabor小波进行卷积，即Q_u,v(z)=I(z)*ψ_u，v(z)，应用卷积定理得到一个特征向量

特征向量x^(p)中的元素为手势的识别信息。

Images