CN104699243B - 一种基于单目视觉的无实体虚拟鼠标方法 - Google Patents

Abstract

本发明涉及一种基于单目视觉的无实体虚拟鼠标方法，由4部分组成：计算机，单目摄像头，手势输入，手势输入的有效区域组成；其中计算机和单目摄像头通过数据传输线进行连接；在计算机和单目摄像头已通过数据传输线进行连接并且能够正常工作的前提下，其能够利用手势准确地对鼠标动作进行模拟，将对非特殊环境下的裸手进行手势识别，从而使在不需要其他的辅助设备的情况下即可应用在一般性的环境之中。

Description

一种基于单目视觉的无实体虚拟鼠标方法

技术领域

本发明涉及一种基于单目视觉的无实体虚拟鼠标方法，属于计算机图像处理和计算机视觉技术的相关领域。

背景技术

所谓虚拟鼠标，在这里指的就是通过使用计算机视觉的方法来识别出人们的手势输入而模拟出真实鼠标的具体动作。而手势识别技术又使得人们能够使用一些简单的手势动作来进行交互式操作，这种无实体虚拟鼠标使得人们只需要使用自己的手势便可以实现鼠标动作的控制。

从手势识别的输入方式来看，手势识别可以分为基于数据手套的手势识别方式和基于计算机视觉的手势识别方式两种。而计算机视觉方式下的手势识别又可以分为基于标记特征的手势识别方式和基于自然特征的手势识别方式两种，本发明将使用基于自然特征的手势识别方式来为虚拟鼠标的模拟提供数据输入。J.Davis和M.Shan将戴上指尖具有高亮标记视觉手套的手势作为系统的输入，可识别7种手势；美国MIT媒体实验室的Starner，通过提取左右手质心的运动轨迹、手的形状等特征参数，结合语法规则识别出40个美国手语，正确率达到97%；Microsoft Korea的Hyeon和Kyu Lee，利用基于HMM的阈值模型从单手的运动轨迹识别出9种手势命令，平均识别率达到98.19%。

基于计算机视觉的手势识别方式根据使用的摄像头数目可以分为单个摄像头和多个摄像头两种类型。如果只使用单个摄像头则无法获取到手势的深度信息，只能获取到手势在二维平面上的投影信息；如果想要获取到手势的深度信息，则需要使用多个摄像头或采用深度摄像头。在现有的手势识别系统或一些实际应用环境中，手势的识别问题在一定程度上依赖着数据手套、特征标记等辅助措施。

发明内容

本发明的目的在于提供一种基于单目视觉的无实体虚拟鼠标方法，其能够利用手势准确地对鼠标动作进行模拟，将对非特殊环境下的裸手进行手势识别，从而使在不需要其他的辅助设备的情况下，仅通过单个摄像头获取的二维平面上的投影信息即可识别手势动作。

本发明的技术方案是这样实现的：一种基于单目视觉的无实体虚拟鼠标方法，由计算机，单目摄像头，手势输入，手势输入的有效区域组成；其中计算机和单目摄像头通过数据传输线进行连接；在计算机和单目摄像头已通过数据传输线进行连接并且能够正常工作的前提下，其特征在于虚拟鼠标的模拟步骤如下：

步骤1、在手势输入的有效区域内，手势输入通过单目摄像头将手势图像传送给计算机，以便对手势输入的手势图像进行识别，本发明可识别五种鼠标手势，每种手势依据指尖点的个数来进行区分和判定；

步骤2、将手势图像中每一个像素点RGB色彩空间的分量值转换到YCrCb色彩空间，RGB色彩空间到YCrCb色彩空间的转换公式为：

Y = 0.299 * R + 0.587 * G + 0.114 * B

Cr = -0.147 * R - 0.289 * G + 0.436 * B

Cb = 0.615 * R - 0.515 * G - 0.100 * B

其中，R、G、B分别表示RGB色彩空间中红色通道、绿色通道和蓝色通道分量的取值，Y、Cr、Cb分别表示YCrCb色彩空间中各通道分量的取值；

步骤3、在YCrCb色彩空间中，设定[(Cr + Cb)/2]参量的取值范围为[a₁, a₂]和(Cr- Cb)参量的取值范围为[b₁, b₂]，然后根据[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围来确定手势图像中各像素点是否为肤色，如果手势图像中某一像素点的[(Cr_p + Cb_p)/2]和(Cr_p - Cb_p)的取值均在[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围内，则该像素点为肤色并将其颜色设置为白色，否则不是肤色并将其颜色设置为黑色，从而得到二值化后的肤色提取图像；

步骤4、通过使用freeman链码搜索算法对二值化肤色提取图像中的所有离散像素点进行轮廓搜寻，在对所有离散像素点进行轮廓搜寻时对每一个像素点进行八邻域的边缘试探识别；设定边缘的跟踪方向为顺时针方向，某一像素点八邻域内的所有像素点均为白色则不是边缘像素点，否则该像素点为边缘像素点并将该轮廓边缘点标记为“未搜寻”，并且每一个边缘像素点的链码判定方向顺序为：左上、上、右上、右、右下、下、左下、左；

步骤5、按照从上到下、从左到右的方向对所有边缘像素点进行轮廓边缘的搜寻，设搜寻到的第一个标记为“未搜寻”的轮廓边缘点o₁为该边缘轮廓的起始点，然后按照链码判定方向的顺序对轮廓边缘点o₁的后继轮廓边缘点进行搜寻，一旦搜寻出轮廓边缘点并且该轮廓边缘点的标记为“未标记”，则将该轮廓边缘点p₁ ¹作为轮廓边缘点o₁的后继轮廓边缘点并将该边缘轮廓点标记为“已搜寻”，依次类推搜寻出p₁ ¹的后继轮廓边缘点p₁ ²、…、p₁ ^n-1的后继轮廓边缘点p₁ ⁿ，直至轮廓边缘点p₁ ⁿ与轮廓边缘点o₁重合为止，并将边缘轮廓点p₁ ⁿ标记为“已搜寻”，从而得到一个完整的边缘轮廓e₁；

步骤6、按照步骤5中的搜寻方式对其他标记为“未搜寻”的轮廓边缘点进行搜寻，最后搜寻得到所有的边缘轮廓e₁、e₂、…、e_m；

步骤7、设定freeman链码长度的取值范围为[c₁, c₂]，在搜寻得到的所有边缘轮廓e₁、e₂、…、e_m中，如果边缘轮廓e_i的链码长度在freeman链码长度的取值范围之内，则认为该边缘轮廓e_i是手势的边缘轮廓f，否则不是手势的边缘轮廓；

步骤8、设边缘轮廓点的步长为[S₁, S₂] 范围内的整数S，对于每一个步长S来说，边缘轮廓f上的某一边缘轮廓点为K，则边缘轮廓点K的前导第S个边缘轮廓点为K₁、边缘轮廓点K的后继第S个边缘轮廓点为K₂，从而得到边缘轮廓点K在步长S下的曲率k_s为向量KK₁与向量KK₂夹角的余弦值，最后得到边缘轮廓点K的曲率为k_cos，k_cos是曲率k_s中的最大值，并记录边缘轮廓点K步长S的大小；

步骤9、设指尖边缘轮廓点的曲率阈值为r，如果边缘轮廓点K的曲率在指尖边缘轮廓点的曲率阈值范围内则将该边缘轮廓点添加到指尖点集合V中，并将K点向后移动D个像素，D取值范围为[30,50]；否则继续执行下一个边缘轮廓点曲率的判定；

步骤10、在指尖点集合V中，从第一个指尖点G开始，可知该边缘轮廓点G的前导第S个边缘轮廓点为G₁、边缘轮廓点G的后继第S个边缘轮廓点为G₂，将边缘轮廓点G₁和边缘轮廓点G₂连接起来形成直线G₁G₂，如果直线G₁G₂上任一像素点在二值化的肤色提取图像中的颜色为白色，则继续进行下一个指尖点的判定；

步骤11、设定手指的最小长度为U，如果直线G₁G₂上任一像素点在二值化的肤色提取图像中的颜色为白色，同时边缘轮廓点G的前一个指尖点与边缘轮廓点G之间的距离大于手指长度U，则将该边缘轮廓点G之前的所有指尖点的横坐标均值和纵坐标均值作为一个指尖点添加到指尖点集合H中，并且将边缘轮廓点G和其之前的所有指尖点从指尖点集合V中去除；

步骤12、根据指尖点集合H，便可得到指尖点的个数Hand_c以及各指尖点的横坐标值、纵坐标值；

步骤13、根据指尖点的个数Hand_c以及各指尖点的横坐标值、纵坐标值便可以对鼠标的动作进行模拟：

(a)如果指尖点的个数Hand_c为1，则模拟鼠标的自由移动动作，鼠标自由移动的水平方向距离和竖直方向距离则根据当前帧指尖点位置与上一帧指尖点位置的差值来确定；

(b)如果指尖点的个数Hand_c为2，则模拟鼠标的左键单击动作；

(c)如果指尖点的个数Hand_c为3，则模拟鼠标的右键单击动作；

(d)如果指尖点的个数Hand_c为4，则模拟鼠标中键滚轮的滚动动作，鼠标中键滚轮的滚动值则根据当前帧第一个指尖点位置与上一帧第一个指尖点位置的差值来确定；

(e)如果指尖点的个数Hand_c为5，则模拟鼠标按住左键进行拖动的动作，按住鼠标左键进行拖动的距离则根据当前帧第一个指尖点位置与上一帧第一个指尖点位置的差值来确定；

步骤14、返回至步骤1，执行下一次的鼠标动作识别。

本发明的积极效果是通过仅使用一个单目摄像头和人手所做出的各种手势便可以实现真实鼠标所有的动作行为，并且无需任何其他辅助设备的支持而使得人们操作计算机时更加便捷。

附图说明

图1是一种基于单目视觉的无实体虚拟鼠标的总体结构及所需设备构成图。此图也是说明书摘要附图。其中：1为计算机，2为单目摄像头，3为手势输入，4为手势输入的有效区域。

图2（a）或图2（b）是模拟鼠标自由移动的手势输入图像。

图3（a）或图3（b）是模拟鼠标左键单击的手势输入图像。

图4（a）或图4（b）是模拟鼠标右键单击的手势输入图像。

图5（a）或图5（b）是模拟鼠标中键滚轮的滚动手势输入图像。

图6（a）或图6（b）是模拟按住鼠标左键进行拖动的手势输入图像。

具体实施方式

下面结合附图对本发明做进一步的描述：如图1所示，一种基于单目视觉的无实体虚拟鼠标方法，由计算机1，单目摄像头2，手势输入3，手势输入的有效区域4组成；其中计算机1和单目摄像头2通过数据传输线进行连接。

在计算机1和单目摄像头2已通过数据传输线进行连接并且能够正常工作的前提下，其特征在于虚拟鼠标的模拟步骤如下：

步骤1、在手势输入的有效区域4内，计算机1通过单目摄像头2获取手势输入3,得到手势图像,以便对手势图像进行识别，其中：手势输入3的手势动作可属于附图说明中任意一个手势动作。

步骤2、将手势图像中每一个像素点RGB色彩空间的分量值转换到YCrCb色彩空间，RGB色彩空间到YCrCb色彩空间的转换公式为：

Y = 0.299 * R + 0.587 * G + 0.114 * B

Cr = -0.147 * R - 0.289 * G + 0.436 * B

Cb = 0.615 * R - 0.515 * G - 0.100 * B

其中，R、G、B分别表示RGB色彩空间中红色通道、绿色通道和蓝色通道分量的取值，Y、Cr、Cb分别表示YCrCb色彩空间中各通道分量的取值。

步骤3、在YCrCb色彩空间中，设定[(Cr + Cb)/2]参量的取值范围为[105, 150]和(Cr - Cb)参量的取值范围为[6, 96]，然后根据[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围来确定手势图像中各像素点是否为肤色。如果手势图像中某一像素点的[(Cr_p + Cb_p)/2]和(Cr_p - Cb_p)的取值均在[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围内，则该像素点为肤色并将其颜色设置为白色，否则不是肤色并将其颜色设置为黑色，从而得到二值化后的肤色提取图像。

步骤4、对步骤3得到的二值化后肤色提取图像进行形态学的腐蚀操作以及中值滤波操作，用以去除二值图上噪点，并使手部轮廓圆滑，使得光标定位更加稳定。

步骤5、通过使用freeman链码搜索算法对二值化肤色提取图像中的所有离散像素点进行轮廓搜寻，在对所有离散像素点进行轮廓搜寻时对每一个像素点进行八邻域的边缘试探识别。设定边缘的跟踪方向为顺时针方向，某一像素点八邻域内的所有像素点均为白色则不是边缘像素点，否则该像素点为边缘像素点并将该轮廓边缘点标记为“未搜寻”，并且每一个边缘像素点的链码判定方向顺序为：左上、上、右上、右、右下、下、左下、左。

步骤6、按照从上到下、从左到右的方向对所有边缘像素点进行轮廓边缘的搜寻，设搜寻到的第一个标记为“未搜寻”的轮廓边缘点o₁为该边缘轮廓的起始点，然后按照链码判定方向的顺序对轮廓边缘点o₁的后继轮廓边缘点进行搜寻，一旦搜寻出轮廓边缘点并且该轮廓边缘点的标记为“未标记”，则将该轮廓边缘点p₁ ¹作为轮廓边缘点o₁的后继轮廓边缘点并将该边缘轮廓点标记为“已搜寻”，依次类推搜寻出p₁ ¹的后继轮廓边缘点p₁ ²、…、p₁ ^n-1的后继轮廓边缘点p₁ ⁿ，直至轮廓边缘点p₁ ⁿ与轮廓边缘点o₁重合为止，并将边缘轮廓点p₁ ⁿ标记为“已搜寻”，从而得到一个完整的边缘轮廓e₁。

步骤7、按照步骤5中的搜寻方式对其他标记为“未搜寻”的轮廓边缘点进行搜寻，最后搜寻得到所有的边缘轮廓e₁、e₂、…、e_m。

步骤8、设定freeman链码长度的取值范围为[500, 1000]，在搜寻得到的所有边缘轮廓e₁、e₂、…、e_m中，如果边缘轮廓e_i的链码长度在freeman链码长度的取值范围之内，则认为该边缘轮廓e_i是手势的边缘轮廓f，否则不是手势的边缘轮廓。

步骤9、设边缘轮廓点的步长为[40, 100] 范围内的整数S，对于每一个步长S来说，边缘轮廓f上的某一边缘轮廓点为K，则边缘轮廓点K的前导第S个边缘轮廓点为K₁、边缘轮廓点K的后继第S个边缘轮廓点为K₂，从而得到边缘轮廓点K在步长S下的曲率k_s为向量KK₁与向量KK₂夹角的余弦值。最后得到边缘轮廓点K的曲率为k_cos，k_cos是曲率k_s中的最大值，并记录边缘轮廓点K步长S的大小。

步骤10、设指尖边缘轮廓点的曲率阈值为[0.70, 0.96],如果边缘轮廓点K的曲率属于指尖边缘轮廓点的曲率阈值则将该边缘轮廓点添加到指尖点集合V中，并将K点向后移动D个像素，D的范围为[30,50]；否则继续执行下一个边缘轮廓点曲率的判定。

步骤11、在指尖点集合V中，从第一个指尖点G开始，可知该边缘轮廓点G的前导第S个边缘轮廓点为G₁、边缘轮廓点G的后继第S个边缘轮廓点为G₂，将边缘轮廓点G₁和边缘轮廓点G₂连接起来形成直线G₁G₂。如果直线G₁G₂上任一像素点在二值化的肤色提取图像中的颜色为白色，则为确定的指尖点。

步骤12、设定手指的最小长度为U，如果直线G₁G₂上任一像素点在二值化的肤色提取图像中的颜色为白色，同时边缘轮廓点G的前一个指尖点与边缘轮廓点G之间的距离大于手指长度U，则将该边缘轮廓点G之前的所有指尖点的横坐标均值和纵坐标均值作为一个指尖点添加到指尖点集合H中，并且将边缘轮廓点G和其之前的所有指尖点从指尖点集合V中去除。

步骤13、根据指尖点集合H，便可得到指尖点的个数Hand_c以及各指尖点在手势图像中的横坐标值、纵坐标值。

步骤14、假设屏幕的分辨率为Sw*Sh，相机的分辨率为Cw*Ch，指尖在手势图像上的坐标为(px,py),则光标在屏幕上的位置(x,y)通过以下公式得出：

x=(px/Cw)*Sw

y=(py/Ch)*Sh

步骤15、根据指尖点的个数Hand_c以及各指尖点在手势图像中的横坐标值、纵坐标值便可以对鼠标的动作进行模拟：

(a)如果指尖点的个数Hand_c为1，则模拟鼠标的自由移动动作，鼠标自由移动的水平方向距离和竖直方向距离则根据当前帧指尖点在手势图像中的位置与上一帧指尖点在手势图像中的位置的差值来确定；

(b)如果指尖点的个数Hand_c为2，则模拟鼠标的左键单击动作；

(c)如果指尖点的个数Hand_c为3，则模拟鼠标的右键单击动作；

(d)如果指尖点的个数Hand_c为4，则模拟鼠标中键滚轮的滚动动作，鼠标中键滚轮的滚动值则根据当前帧第一个指尖点在手势图像中的位置与上一帧第一个指尖点在手势图像中的位置的差值来确定；

(e)如果指尖点的个数Hand_c为5，则模拟鼠标按住左键进行拖动的动作，按住鼠标左键进行拖动的距离则根据当前帧第一个指尖点在手势图像中的位置与上一帧第一个指尖点在手势图像中的位置的差值来确定；

步骤16、返回至步骤1，执行下一次的鼠标动作识别。

Claims (1)

1.一种基于单目视觉的无实体虚拟鼠标方法，由计算机，单目摄像头，手势输入，手势输入的有效区域组成；其中计算机和单目摄像头通过数据传输线进行连接；在计算机和单目摄像头已通过数据传输线进行连接并且能够正常工作的前提下，其特征在于虚拟鼠标的模拟步骤如下：

步骤1、在手势输入的有效区域内，手势输入通过单目摄像头将手势图像传送给计算机，以便对手势输入的手势图像进行识别，本发明可识别五种鼠标手势，每种手势依据指尖点的个数来进行区分和判定；

步骤2、将手势图像中每一个像素点RGB色彩空间的分量值转换到YCrCb色彩空间，RGB色彩空间到YCrCb色彩空间的转换公式为：

Y = 0.299 * R + 0.587 * G + 0.114 * B

Cr = -0.147 * R - 0.289 * G + 0.436 * B

Cb = 0.615 * R - 0.515 * G - 0.100 * B

其中，R、G、B分别表示RGB色彩空间中红色通道、绿色通道和蓝色通道分量的取值，Y、Cr、Cb分别表示YCrCb色彩空间中各通道分量的取值；

步骤3、在YCrCb色彩空间中，设定[(Cr + Cb)/2]参量的取值范围为[a₁, a₂]和(Cr -Cb)参量的取值范围为[b₁, b₂]，然后根据[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围来确定手势图像中各像素点是否为肤色，如果手势图像中某一像素点的[(Cr_p + Cb_p)/2]和(Cr_p- Cb_p)的取值均在[(Cr + Cb)/2]和(Cr - Cb)参量的取值范围内，则该像素点为肤色并将其颜色设置为白色，否则不是肤色并将其颜色设置为黑色，从而得到二值化后的肤色提取图像；

步骤4、通过使用freeman链码搜索算法对二值化肤色提取图像中的所有离散像素点进行轮廓搜寻，在对所有离散像素点进行轮廓搜寻时对每一个像素点进行八邻域的边缘试探识别；设定边缘的跟踪方向为顺时针方向，某一像素点八邻域内的所有像素点均为白色则不是边缘像素点，否则该像素点为边缘像素点并将该轮廓边缘点标记为“未搜寻”，并且每一个边缘像素点的链码判定方向顺序为：左上、上、右上、右、右下、下、左下、左；

步骤5、按照从上到下、从左到右的方向对所有边缘像素点进行轮廓边缘的搜寻，设搜寻到的第一个标记为“未搜寻”的轮廓边缘点o₁为该边缘轮廓的起始点，然后按照链码判定方向的顺序对轮廓边缘点o₁的后继轮廓边缘点进行搜寻，一旦搜寻出轮廓边缘点并且该轮廓边缘点的标记为“未标记”，则将该轮廓边缘点p₁ ¹作为轮廓边缘点o₁的后继轮廓边缘点并将该边缘轮廓点标记为“已搜寻”，依次类推搜寻出p₁ ¹的后继轮廓边缘点p₁ ²、…、p₁ ^n-1的后继轮廓边缘点p₁ ⁿ，直至轮廓边缘点p₁ ⁿ与轮廓边缘点o₁重合为止，并将边缘轮廓点p₁ ⁿ标记为“已搜寻”，从而得到一个完整的边缘轮廓e₁；

步骤6、按照步骤5中的搜寻方式对其他标记为“未搜寻”的轮廓边缘点进行搜寻，最后搜寻得到所有的边缘轮廓e₁、e₂、…、e_m；

步骤7、设定freeman链码长度的取值范围为[c₁, c₂]，在搜寻得到的所有边缘轮廓e₁、e₂、…、e_m中，如果边缘轮廓e_i的链码长度在freeman链码长度的取值范围之内，则认为该边缘轮廓e_i是手势的边缘轮廓f，否则不是手势的边缘轮廓；

步骤8、设边缘轮廓点的步长为[S₁, S₂] 范围内的整数S，对于每一个步长S来说，边缘轮廓f上的某一边缘轮廓点为K，则边缘轮廓点K的前导第S个边缘轮廓点为K₁、边缘轮廓点K的后继第S个边缘轮廓点为K₂，从而得到边缘轮廓点K在步长S下的曲率k_s为向量KK₁与向量KK₂夹角的余弦值，最后得到边缘轮廓点K的曲率为k_cos，k_cos是曲率k_s中的最大值，并记录边缘轮廓点K步长S的大小；

步骤9、设指尖边缘轮廓点的曲率阈值为r，如果边缘轮廓点K的曲率在指尖边缘轮廓点的曲率阈值范围内则将该边缘轮廓点添加到指尖点集合V中，并将K点向后移动D个像素，D取值范围为[30,50]；否则继续执行下一个边缘轮廓点曲率的判定；

步骤10、在指尖点集合V中，从第一个指尖点G开始，可知该边缘轮廓点G的前导第S个边缘轮廓点为G₁、边缘轮廓点G的后继第S个边缘轮廓点为G₂，将边缘轮廓点G₁和边缘轮廓点G₂连接起来形成直线G₁G₂，如果直线G₁G₂上任一像素点在二值化的肤色提取图像中的颜色为白色，则继续进行下一个指尖点的判定；

步骤11、设定手指的最小长度为U，如果直线G₁G₂上任一像素点在二值化的肤色提取图像中的颜色为白色，同时边缘轮廓点G的前一个指尖点与边缘轮廓点G之间的距离大于手指长度U，则将该边缘轮廓点G之前的所有指尖点的横坐标均值和纵坐标均值作为一个指尖点添加到指尖点集合H中，并且将边缘轮廓点G和其之前的所有指尖点从指尖点集合V中去除；

步骤12、根据指尖点集合H，便可得到指尖点的个数Hand_c以及各指尖点的横坐标值、纵坐标值；

步骤13、根据指尖点的个数Hand_c以及各指尖点的横坐标值、纵坐标值便可以对鼠标的动作进行模拟：

(a)如果指尖点的个数Hand_c为1，则模拟鼠标的自由移动动作，鼠标自由移动的水平方向距离和竖直方向距离则根据当前帧指尖点位置与上一帧指尖点位置的差值来确定；

(b)如果指尖点的个数Hand_c为2，则模拟鼠标的左键单击动作；

(c)如果指尖点的个数Hand_c为3，则模拟鼠标的右键单击动作；

(d)如果指尖点的个数Hand_c为4，则模拟鼠标中键滚轮的滚动动作，鼠标中键滚轮的滚动值则根据当前帧第一个指尖点位置与上一帧第一个指尖点位置的差值来确定；

(e)如果指尖点的个数Hand_c为5，则模拟鼠标按住左键进行拖动的动作，按住鼠标左键进行拖动的距离则根据当前帧第一个指尖点位置与上一帧第一个指尖点位置的差值来确定；

步骤14、返回至步骤1，执行下一次的鼠标动作识别。