CN101609362B

CN101609362B - 以视讯为基础的游标控制装置及其控制方法

Info

Publication number: CN101609362B
Application number: CN2008101289371A
Authority: CN
Inventors: 谢祯冏; 刘东桦; 连明贤; 罗国华; 游详闵
Original assignee: Datong University; Tatung Co Ltd
Current assignee: Datong University; Tatung Co Ltd; Tatung University
Priority date: 2008-06-19
Filing date: 2008-06-19
Publication date: 2011-07-20
Anticipated expiration: 2028-06-19
Also published as: CN101609362A

Abstract

本发明公开了一种以视讯为基础的游标控制装置及其控制方法，本发明利用摄像机获取使用者的手部影像，分析处理之后，可籍以移动游标以及取代鼠标左右键的功能。使用者可用V字型手势来取代鼠标，其中食指影像对应于鼠标左键，中指影像对应鼠标右键，V字型手势的底部则对应于游标的位置。

Description

以视讯为基础的游标控制装置及其控制方法

技术领域

本发明是有关于涉及一种以视讯来取代鼠标的装置，特别是有关于利用手势等视讯来取代鼠标的游标控制装置及其控制方法。

背景技术

近年来，资讯科技突飞猛进，手机、计算机及个人移动助理(PDA)等资讯产品随处可见，籍由它们的帮助，提供了人们在生活上食、衣、住、行、育、乐各方面的需求，也使人们对资讯产品的依赖性与日俱增，资讯产品已与日常生活产生密不可分的关系。

鼠标是计算机必备的外围装置，可用来控制游标的移动与物件的点选，然而在笔记本电脑或移动电子装置，如手机，还要额外携带鼠标便显得相当麻烦。而现有的取代鼠标的方式主要有触控面板和触控笔，然而以手机而言，配置小尺寸的触摸面板不容易操作；而计算机或笔记本计算机用的触控液晶显示器则因为尺寸较大，其价格更为昂贵，目前尚不能普及。

发明内容

本发明所要解决的技术问题在于提供一种以视讯为基础的游标控制装置及其控制方法，利用V字型手势的视讯影像来取代鼠标的左右键以及控制游标的移动，本发明仅需配备摄影机等影像接收元件，即可取代鼠标来控制游标，由此可增加电子装置操作的便利性。

本发明所解决的问题可以采用以下技术方案来实现：

V字型的手势影像包括一第一手指影像与一第二手指影像，并形成一V字型时，本发明提出一种游标控制装置，可根据手部影像移动该游标、判断是否按鼠标左键、鼠标右键、或双击鼠标左键；其中第一手指影像对应于鼠标左键，第二手指影像对应于鼠标右键，第一手指影像与第二手指影像所形成的V字型谷底的位置，则对应于游标的位置。

如上所述，本发明所提供的一种游标控制装置，包括一影像接收单元、一影像处理单元，以及一游标显示与按键控制单元；影像接收单元用以获取使用者的手部影像；影像处理单元耦接于影像接收单元，用以判断是否有V字型的手势出现，若有，则抽取所述V字型手势的三个特征点，并据以该三个特征点对应于所述游标的坐标、鼠标左键以及鼠标右键；游标显示与按键控制单元则根据所设定游标移动的速度，通过在连续影像中抽取连续的对应游标坐标，计算下一个用以显示游标的位置并判断是否送出按键讯号。

在本发明一个实施例中，当使用者弯折对应于第一手指影像的手指时，表示点击鼠标左键；当使用者弯折对应于第二手指影像的手指时，表示点击鼠标右键；所述第一手指与第二手指可分别为食指与中指，或反之亦可。

在本发明一个实施例中，当该使用者一并弯折对应于第一手指影像与第二手指影像的手指时，表示双击鼠标左键。

在本发明一个实施例中，上述影像处理单元根据手部影像的垂直投影判断手部影像是否有做出V字型手势，其中V字型手势的谷底对应于游标的坐标，V字型手势的两个高点分别对应于鼠标左键和鼠标右键。

在本发明一个实施例中，上述游标控制装置进一步可以通过第一手指影像的顶点位置长度是否变化表示点击鼠标左键与否，通过第二手指影像的顶点位置长度是否变化表示点击鼠标右键与否。

本发明所提出一种游标控制方法，包括下列步骤：

首先，获取一使用者的一手部影像；然后

去除手部影像的背景用以抽取该手部影像的运动区域；接着

对该运动区域进行肤色侦测用以抽取该手部影像的区域；判断手部影像是否有做出V字型手势，V字型手势的三顶点分别对应于一游标的坐标、一鼠标左键以及一鼠标右键；若手部影像包括一第一手指影像与一第二手指影像以及所形成的V字型手势的谷底时，则根据这三个特征点控制该游标、鼠标左键以及鼠标右键。其中，第一手指影像对应于鼠标左键，第二手指影像对应于鼠标右键、第一手指影像与第二手指影像所形成的V字型手势的谷底位置变化则对应于游标的位置变化。

在本发明一个实施例中，上述在对运动区域进行肤色侦测以抽取手部影像的运动区域的步骤中，进一步还包括过滤影像噪声、去除毛边与修补小破洞。

在本发明一个实施例中，上述在进行V字型手势侦测以抽取该手部影像的特征的步骤中进一步还包括根据该手部影像的垂直投影，若有两高点，中间夹一相对低点，则表示有出现该手部影像的特征。

在本发明一个实施例中，上述方法进一步还包括当使用者弯折对应于第一手指影像的第一手指时，表示点击鼠标左键；当使用者弯折对应于第二手指影像的第二手指时，表示点击鼠标右键。其中，第一手指与第二手指可分别为食指与中指，或反之亦可。

在本发明一个实施例中，上述方法进一步还包括当使用者移动手部影像时，根据V字型手势的谷底位置变化移动相对应的游标。

本发明通过采用手势的视讯影像来取代鼠标，使用者仅需利用手势即可操作游标、按鼠标左右键等功能，让电子装置的使用更为便利。此外，本发明仅需利用目前电子装置(如手机或笔记型计算机)所普遍具备的摄影功能，即可达到取代鼠标的功效。因此，在多数的消费性电子产品上，不需增加额外硬件成本，即可实施本发明。

附图说明

图1为本发明第一实施例的游标控制装置的功能框图；

图2为本发明第一实施例所述的使用者手势的示意图；

图3为本发明第一实施例的手部影像与操作鼠标左右键的对照示意图；

图4为本发明第一实施例的手机的应用示意图；

图5为本发明第二实施例的游标控制方法的流程图。

图中：100-游标控制装置，110-影像接收单元，120-影像处理单元，130-游标显示与按键控制单元，202-食指，204-中指，206、306-底部，210-网络摄像机，220、450-手部，302-手指影像，302-第一手指影像，304-第二手指影像，410-手机，420-屏幕，415-摄像装置，422-游标，Y、X-长度，S510-S570-步骤。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

第一实施例

请参照图1，图1为本发明第一实施例的游标控制装置的功能框图。游标控制装置100包括影像接收单元110、影像处理单元120、以及游标显示与按键控制单元130。影像处理单元120连接于影像接收单元110以及游标显示与按键控制单元130之间。影像接收单元110可以是网络摄像机(web camera)、手机的摄像装置等影像获取装置，而游标显示与按键控制单元130则依据如是液晶显示器、手机屏幕等显示装置，来计算连续游标移动的距离，和送出按键与否功能。

影像接收单元110用来获取一使用者的手部影像，而影像处理单元120则对该手部影像进行处理和辨识，用以读取手部影像的特征，并判断使用者的手部影像是否为V字型手势，并将V字型手势的三个特征点分别对应于一游标的位置、鼠标左键和鼠标右键。

上述V字型手势的三个特征点分别为一第一手指影像与一第二手指影像，以及所形成的V字型谷底，其中第一手指影像对应于该鼠标左键，第二手指影像对应于鼠标右键，第一手指影像与第二手指影像所形成的V字型的谷底的位置变化则对应于游标的位置。第一手指影像与第二手指影像可由中指与食指形成(反之亦可)，V字型的手部影像如胜利手势。当使用者的手部影像为V字型手势时，游标显示与按键控制单元130则会根据使用者的手势来移动游标以及实现鼠标的左右键功能。

在影像处理方面，其过程包括去除背景、肤色侦测、过滤噪声、垂直投影以及特征点抽取等技术手段。在去除背景方面，可以将第一张影像当成背景，接下来的影像则减去第一张影像，可以得到运动区域；在肤色侦测方面可以色坐标HSV(Hue，Saturation，Value)来对运动区域做肤色侦测，这样做可以避免人脸的出现造成误判，以及加快处理的速度；而在过滤噪声方面则通过扩大(Dilation)和侵蚀(Erosion)来去除毛边与补小洞。V字型手势影像的侦测主要是利用垂直投影量的两高点夹一低点的特征来识别。

接下来，请参照图2，图2为本发明第一实施例所述的使用者手势的示意图。其中网络摄像机210作为影像接收单元，可连接计算机、笔记型计算机或手机等电子装置以获取使用者的手部影像。使用者的手部220则摆出胜利的V字型手势，其中食指202形成第一手指影像，而中指204则形成第二手指影像。食指202则对应于鼠标左键，而中指204则对应于鼠标右键。食指202与中指204的底部206(食指202与中指204的交接处，即V字型手势的谷底)则对应于游标的位置。当使用者移动手部时，影像处理单元120即会根据底部206的移动来移动游标的位置。

手部影像与操作鼠标左右键的对应关系则请参照图3，图3为本发明第一实施例的手部影像与操作鼠标左右键的对照示意图。其中，当使用者仅弯折对应于第一手指影像302的食指202时，表示点击鼠标左键，如图3(a)所示。当使用者仅弯折第二手指影像304的中指204时，表示点击鼠标右键，如图3(b)所示。当使用者一并弯折食指202与中指204时，则表示双击鼠标左键。此时，第一手指影像302与第二手指影像304一并对应弯折，如图3(c)所示。

至于手指是否弯折，则可直接由手指影像的长度变化来判断，当使用者弯折手指时，手指的垂直投影的手指影像长度会变短，例如图3(a)所示，手指影像302长度由Y变为X，其余类推。当使用者移动手部220时，影像处理单元120则根据第一手指影像302与第二手指影像304所形成底部306的移动，来移动所对应的游标。

综合上述，本实施例利用V字型手势的视讯影像来取代鼠标，用以控制游标，以食指与中指的顶点位置长度变化来判断是否点击(click)(按)鼠标的左右键或双击鼠标左键。使用者用手部动作即可取代鼠标来操作游标，以及达到点击鼠标左右键或双击鼠标键的功效。当然，手指与鼠标左右键的对应关系可以进行设定修改，使其适用于不同惯用手(如左手)的人。而在传送鼠标的信号上，使用MSDN函式库中操作鼠标讯息的(mouse_event)提供的鼠标移动与点击按钮功能。

此外，值得注意的是，本实施例可直接应用于大多数的消费性电子产品，例如移动电话。如图4所示，图4为本发明第一实施例的手机应用示意图。手机410包括屏幕420以及摄像装置415，屏幕420中显示着游标422。使用者的手部450摆出V字型的手势时，手机410便会以使用者的手部450的移动与动作取代鼠标来操作游标与鼠标点选的功能。影像处理单元120所负责的影像处理动作可以直接由手机410内建的微处理器来取代。关于图4的其余操作细节则请参照上述图1至图3的说明，在此不加累述。

第二实施例

综合上述，本发明可归纳出一种游标控制方法，请参照图5，图5为本发明第二实施例的游标控制方法的流程图。

首先，获取使用者的一手部影像(步骤S510)，然后进行背景去除(步骤S520)，以获得运动区域；接着进行肤色侦测以抽取手部影像(步骤S530)，在此步骤中还包括过滤噪声以及补小洞等处理。接下来将既是运动区域又是肤色区域的连通区域进行垂直投影(步骤S540)，然后侦测是否有V字型手势出现(步骤S550)；若有形成两高点夹一低点的投影形状，则抽取出此V字型手势的三个特征点(步骤S560)；这些特征点分别是第一手指影像与第二手指影像，与所形成的V字型谷底，分别对应于游标的坐标、鼠标左键以及鼠标右键。然后，根据所抽取的特征点进行游标显示与按键控制，包括移动游标、控制鼠标左键以及鼠标右键等(步骤S570)。

其中，V字型手势中的第一手指影像对应于鼠标左键，第二手指影像对应于鼠标右键、第一手指影像与第二手指影像所形成之V字型谷底的位置变化则对应游标的位置(坐标)。关于本方法的其余细节请参照上述第一实施例中的说明。

综上所述，本发明利用影像处理的技术，以使用者的手势来取代鼠标，让使用者可直接用V字型手势来移动游标、进行鼠标左右键的点击等动作。在操作计算机或是玩游戏的时候，可以直接利用手来玩，就像Wii一样，可以达到更多的娱乐效果。因此，本发明可增加电子装置的使用便利性，同时也可以省下购买鼠标或触控装置等费用。此外，本发明可直接应用于具有摄像装置的电子装置上，例如手机、计算机等，不需增加额外的硬件，同时可直接利用电子装置本身的运算功能来达到影像辨识与鼠标驱动的效果，并具有很好的商业价值。

限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明之精神和范围内，当可作些更改与润饰，因此本发明的保护范围以权利要求书所界定者为准。

Claims

1.一种游标控制装置，其特征在于包括：

一影像接收单元，用以获取一使用者的一手部影像；以及

一影像处理单元，耦接于该影像接收单元，用以抽取该手部影像的特征，并判断该手部影像是否有做出一V字型手势，若有，则将此V字型手势的三个特征点分别对应于一游标的坐标、一鼠标左键以及一鼠标右键；

其中，该V字型手势的三个特征点包括一第一手指影像与一第二手指影像，以及所形成的一V字型谷底，该影像处理单元根据所抽取的该V字型手势的三个特征点控制该游标、该鼠标左键以及该鼠标右键，其中该第一手指影像对应于该鼠标左键，该第二手指影像对应该鼠标右键，该第一手指影像与该第二手指影像所形成的该V字型谷底的位置变化则对应于该游标的位置变化，

其中，以所述第一手指影像的顶点位置长度是否变化表示点击该鼠标左键与否，以所述第二手指影像的顶点位置长度是否变化表示点击该鼠标右键与否，当该使用者弯曲对应于所述第一手指影像的第一手指时，表示点击该鼠标左键，当该使用者弯曲对应于所述第二手指影像的第二手指时，表示点击该鼠标右键，当该使用者一并弯曲对应于所述第一手指影像与所述第二手指影像的第一手指与第二手指时，表示双击该鼠标左键。

2.根据权利要求1所述的游标控制装置，其特征在于，其中所述第一手指影像对应于该使用者的食指，所述第二手指影像对应于该使用者的中指。

3.根据权利要求1所述的游标控制装置，其特征在于，其中所述第一手指影像对应于该使用者的中指，所述第二手指影像对应于该使用者的食指。

4.根据权利要求1所述的游标控制装置，其特征在于，其中所述影像处理单元还根据该手部影像的垂直投影判断该手部影像是否做出所述V字型手势，其三特征点分别对应于该游标的坐标、该鼠标左键以及该鼠标右键。

5.根据权利要求1所述的游标控制装置，其特征在于，还包括一游标显示与按键控制单元，用以显示该游标及送出按键信号与否。

6.一种游标控制方法，其特征在于，包括：

获取一使用者的一手部影像；

进行背景去除以抽取运动区域；

对一运动区域进行肤色侦测以抽取该手部影像的区域，并加以过滤噪声；

进行垂直投影，判断该手部影像是否做出一V字型手势；以及

若该手部影像包括所述V字型手势，则抽取所述V字型手势的三个特征点，并根据所述V字型手势的三个特征点控制一游标、一鼠标左键以及一鼠标右键；

其中，所述V字型手势的三个特征点包括一第一手指影像与一第二手指影像，以及所形成一V字型谷底，所述第一手指影像对应于该鼠标左键，所述第二手指影像对应该鼠标右键、所述第一手指影像与所述第二手指影像所形成的所述V字型谷底的位置变化则对应该游标的位置变化，

其中，以所述第一手指影像的顶点位置长度是否变化表示点击该鼠标左键与否，以所述第二手指影像的顶点位置长度是否变化表示点击该鼠标右键与否，当该使用者弯折对应于该第一手指影像的第一手指时，表示点击该鼠标左键，当该使用者弯折对应于所述第二手指影像的第二手指时，表示点击该鼠标右键，当该使用者弯折对应于所述第一手指影像与第二手指影像的第一手指与第二手指时，表示双击该鼠标左键。

7.根据权利要求6所述的游标控制方法，其特征在于，其中在进行肤色侦测以抽取该手部影像的区域的步骤中还包括背景去除、过滤噪声、影像修补。

8.根据权利要求6所述的游标控制方法，其特征在于，其中在判断该手部影像是否做出一V字型手势的步骤，还包括根据所述手部影像的垂直投影，判断是否含有两高点夹一低点的特征。

9.根据权利要求6所述的游标控制方法，其特征在于，还包括：

当该使用者移动所述手部影像时，则根据所述V字型谷底的位置变化对应移动该游标。

10.根据权利要求6所述的游标控制方法，其特征在于，其中所述第一手指影像对应于该使用者的食指，所述第二手指影像对应于该使用者的中指。

11.根据权利要求6所述的游标控制方法，其特征在于，其中所述第一手指影像对应于该使用者的中指，所述第二手指影像对应于该使用者的食指。