CN103201706A

CN103201706A - 虚拟鼠标的驱动方法

Info

Publication number: CN103201706A
Application number: CN2011800534963A
Authority: CN
Inventors: 李吉宰
Original assignee: Macron Co Ltd
Current assignee: Macron Co Ltd
Priority date: 2010-11-04
Filing date: 2011-10-31
Publication date: 2013-07-10
Also published as: US20130229348A1; KR20120047556A; WO2012060598A3; WO2012060598A2; KR101169583B1

Abstract

本发明涉及一种新型的虚拟鼠标驱动方法，其运行与个体的肤色无关并能够在具有程度干扰的一般环境中运行。基于改变手形来控制的根据本发明的虚拟鼠标驱动方法包括：接收由摄像机在彼此不同的时间点拍摄的多幅图像；在所述多幅图像中提取区别图像；以及基于所提取的区别图像驱动虚拟所述鼠标。

Description

虚拟鼠标的驱动方法

技术领域

本发明涉及一种虚拟鼠标驱动方法，更具体而言，涉及一种利用从成像摄像机获取的手图像信息的虚拟鼠标驱动方法。

背景技术

根据显示装置到智能系统的技术演变，与显示装置交互正变得更加重要。类似于计算机，智能显示装置需要具有基于显示装置屏幕上的位置的命令输入。作为输入装置，鼠标是具有这种命令输入的最常用的方法。此外，在最新流行的智能手机中，可以利用触摸屏基于屏幕的位置来输入命令。

在利用触摸屏的现有输入方法中，为了实现基于位置的命令，存在很多限制，因为命令是通过与显示装置接触而传送的。就是说，仅在显示装置在手接触距离之内时才有可能。此外，就其物理尺寸和形状而言，鼠标不是一种智能输入装置。

近年来，正在发布一些可以通过非接触方式向显示装置发送命令的输入装置，例如虚拟鼠标。具体而言，在游戏领域中正在开发利用3D摄像机识别手势的命令方法。在使用3D摄像机的方法中，可以在输入图像中容易地将执行手势的对象图像与背景图像分开，但该方法需要价格高昂而复杂的输入装置。此外，由于分辨率低，该方法非常不方便，因为命令输入需要来自用户的大量手势。

在韩国未审专利申请公开No.2007-0030398、韩国专利No.0687737和韩国未审专利申请公开No.2008-0050218中披露了与虚拟鼠标相关的现有技术。在这些专利公开的方法中，从摄像机输入的图像中识别出的一只手或两只手的手势具有虚拟鼠标的功能。在这些识别方法中，由于通常通过手指的停止形状来识别特定命令，所以为了识别手指的停止形状，必须要有将手指与背景图像分开的过程。因此，利用手的色彩信息将手部区域与背景图像分开的过程是重要的。在这种情况下，由于每个人手的颜色差异，在使用手颜色的绝对值时，必须要有复杂的模型配准过程和识别过程。在背景类似于手的颜色时，或背景亮度不恒定时，难以将手区分开。结果，在具有干扰的一般环境中难以实施，这与设计良好的实验室环境相反。

因此，需要开发一种新型虚拟鼠标驱动方法，其与个体的肤色无关并能够在具有干扰的一般环境中实施。

发明内容

技术问题

考虑到上述问题而做出了本发明，本发明的目的是提供一种新型虚拟鼠标驱动方法，其与个体的肤色无关，并能够在具有一定程度干扰的一般环境中实施。

技术方案

为了实现上述目的，通过改变手形来控制驱动虚拟鼠标的方法的根据本发明的虚拟鼠标驱动方法包括：输入步骤，接收由成像摄像机在彼此不同的时间点拍摄的多幅图像；区别图像提取步骤，在多幅图像中提取区别图像；以及基于所提取的区别图像的虚拟鼠标驱动步骤。

根据本发明，优选从区别图像提取关于用户大拇指和食指之间接触和分开的运动信息，并将所述运动信息用作虚拟鼠标的点击信号。

此外，根据本发明，优选从所述多幅图像连续地提取区别图像，并通过分析连续的区别图像中大拇指或食指的位置变化来提取运动信息。

此外，根据本发明，优选将所识别的大拇指和食指之间接触又分开的次数用作特定命令信号。

发明的有益效果

利用这样的配置，可以实现一种虚拟鼠标系统，其与个体的肤色无关，并在具有一定程度干扰的一般环境中被精确地驱动。

附图简要说明

图1是示意图，示出了根据本发明实施例的用于实施虚拟鼠标驱动方法的装置的配置。

图2是示意流程图，用于解释图1中所示的手势识别单元的过程。

图3是用于解释区别图像的示意图。

图4和5是示出了连续的图像及其区别图像的示意图。

具体实施方式

在下文中，将参考附图详细描述根据本发明示范性实施例的虚拟鼠标驱动方法。

图1是示意图，示出了根据本发明实施例用于实施虚拟鼠标驱动方法的装置的配置。图2是示意流程图，用于解释图1中所示的手势识别单元的过程。图3是用于解释区别图像的示意图。图4和5是示出了连续的图像及其对应区别图像的示意图。

参考图1到5，在虚拟鼠标系统中实施根据实施例的虚拟鼠标驱动方法。虚拟鼠标系统100包括摄像机10、图像输入单元20、手势识别单元30和命令发送单元40。

摄像机10通过诸如CCD或CMOS等成像装置拍摄从透镜输入的图像，并输出所述图像。例如，可以由数字摄像机实现摄像机，其拍摄用户手的图像并向图像输入单元发送所述图像。

图像输入单元20实时接收摄像机所拍摄的图像。

手势识别单元30从图像输入单元中所输入的图像提取区别图像。区别图像是图像处理方法之一，用于将对象与2D图像分开，并且是仅显示两幅图像之间变化部分的图像。具体而言，比较图3A和3B，仅食指的位置发生改变，图3A和3B之间的区别图像被表示为图3C。然后，提取用户大拇指和食指之间的接触和分开的运动信息，并将这种运动信息发送到命令发送单元。

在这种情况下，如图3中所示，在仅仅使用从两幅图像获取的一个区别图像时，难以识别大拇指和食指在分开之后是否接触或在接触之后是否分开。因此，图4B中所示的四幅连续的区别图像是从多个屏幕（图像）获得的，例如，在图4A所示的五个时间点所拍摄的手形图像，然后，通过比较这幅区别图像中食指的位置变化，可以识别大拇指和食指是接触还是分开。在图4B中，食指的位置改变到下侧（大拇指一侧）。在这种情况下，判定大拇指和食指在分开之后接触。另一方面，如图5B所示，由于食指的位置变到上侧，所以判定大拇指和食指在接触之后分开。

通过这种方式，利用多个连续的区别图像，可以获取关于大拇指和食指的更精确的运动信息。此外，由于通过多幅区别图像确定手指运动的方向，所以可以排除一些外界干扰，因此可以获取精确的运动信息（可以排除干扰是因为它不像手指那样有方向性，并且可以基于形式分析，例如区别图像的尺寸、角度和形状，进行排除干扰）。

同时，可以获得基于手指手势的不同类型区别图像，但实施例使用大拇指和食指在接触后分开的图像。原因如下。首先，由于在一般情况下几乎不会发生大拇指和食指彼此接触的手势，所以可以容易地与其他一般手势区分，并且识别错误低。此外，由于产生的明显的区别图像，所以适于进行图像处理。另外，由于手势简单，即使当用户长时间连续执行重复操作时，也不会疲劳或费劲。

此外，手势识别单元30持续跟踪整个手或手的一部分的图像以便实施鼠标运动操作。在一般的图像跟踪方法中，将整个或手的一部分的图像设置成跟踪区，设置可移动空间，在发现相似性最高的位置时计算手移动的位置，并且重复这些过程，从而实现用于虚拟鼠标移动操作的移动信号。这种虚拟鼠标移动方法是一种公知的方法，将不再重复对其进行描述。

命令发送单元40输出与信息对应的驱动信号，具体而言，该信息是从手势识别单元输出的手部运动（鼠标位置移动）和手指的运动信息（鼠标点击），由此驱动虚拟鼠标。例如，在手指接触之后再分开的手势数目是一个时，输出用于点击鼠标的点击信号。

在手指接触之后再分开的手势数目是两个时，将其用作表示输入装置的初始启动点的信号。具体而言，难以定义用来实现基于手势识别的输入装置的初始启动点。在现有方法中，为了找到初始启动点，预先在屏幕上设置显示区域，并且当手在这个显示区中匹配时，识别初始启动点。不过，在上述方法中，要将用户的手放在屏幕上显示区中的复杂手势是必要的，这导致启动系统要大量时间。不过，根据实施例，可以基于将大拇指和食指接触并分开的手势执行两次的时间来迅速识别初始启动点。

此外，为了在点击鼠标时移动的拖动手势和无点击的移动手势之间加以区分，识别出大拇指和食指是在接触状态移动还是在未接触状态移动，并相应地输出驱动信号。就是说，可以执行拖动手势，从而将点击虚拟鼠标按钮时的移动状态识别为在手指接触时的移动手势，并将不点击虚拟鼠标按钮的移动状态识别为分开手指时的移动手势。

此外，为了有效地控制显示装置，除了一般鼠标操作之外的手势可能是必要的。例如，音量控制或返回主菜单屏幕可能是必要的。在这种情况下，可以基于点击手势（手指在接触之后分开的手势）的数目来定义不同的命令。例如，在执行点击手势三次时，可以返回主菜单屏幕。

如上所述，根据实施例的虚拟鼠标驱动方法基本根据区别图像来提取关于手的运动信息。由于它不受肤色的影响，所以无需关于用户的模型配准，并且没有因为种族导致的识别错误问题。此外，它不受周围环境颜色或背光亮度的影响。因此，可以在具有一定程度干扰的一般环境中有效地实施虚拟鼠标系统。

利用大拇指和食指的运动，即使当用户连续地执行重复操作时，也不会疲劳或费劲。由于可以容易将所述运动与其他一般手势区分开，所示识别错误的可能性低。

上文已经描述了本发明的示范性实施例，但本发明不限于上述实施例。本领域的技术人员在不脱离本发明的范围和精神的情况下可以对本发明做出各种修改和变化，但所有对应的修改都落在由所附权利要求界定的本发明范围之内。

Claims

1.一种虚拟鼠标的驱动方法，其中通过改变手形来控制所述虚拟鼠标，所述方法包括：

输入由摄像机在彼此不同的时间点拍摄的多幅图像；

在所述多幅图像中提取区别图像；以及

基于所提取的区别图像驱动所述虚拟鼠标。

2.根据权利要求1所述的虚拟鼠标驱动方法，其中，从所述区别图像提取用户的大拇指和另一手指的一部分接触又分开的运动信息，并将所述运动信息用作所述虚拟鼠标的点击信号。

3.根据权利要求2所述的虚拟鼠标驱动方法，其中，所述运动信息是所述大拇指和食指接触又分开的信息。

4.根据权利要求3所述的虚拟鼠标驱动方法，其中，所述区别图像是从所述多幅图像连续地提取的，并且所述运动信息是通过分析连续的区别图像中大拇指或食指的位置变化来提取的。

5.根据权利要求3所述的虚拟鼠标驱动方法，其中，将所识别的大拇指和食指之间接触又分开的次数用作特定命令信号。

6.根据权利要求3所述的虚拟鼠标驱动方法，其中，计算所述用户的手的位置移动，并将所述手的位置移动用作所述虚拟鼠标的移动信号，从而将大拇指和食指接触时的移动用作点击所述虚拟鼠标按钮时的移动信号，并且将大拇指和食指不接触时的移动用作不点击所述虚拟鼠标按钮的移动信号。