CN102081494A - 视窗手语游标控制的识别方法 - Google Patents

Abstract

本发明提供了一种视窗手语游标控制的识别方法，该识别方法是利用视窗上的多重指向感测系统检测空间中的手语运作模式，当多重指向感测系统检测到空间的手语动作时，将手语的动作比对已设定的3D模式，利用手语的动作来执行操作视窗的运作。

Description

视窗手语游标控制的识别方法

【所属技术领域】

本发明提供一种视窗手语游标控制的识别方法，尤指一种利用视窗上的多重指向感测系统检测空间中的单手或是双手的运作模式的手语的识别方法。

【背景技术】

在电子设备发展过程中，键盘、滑鼠与触控板的出现，解决了输入控制问题。不过，对初学者而言，学会使用这些输入介面门槛相当高，而且所占空间不小，例如，笔记型电脑或手机一半体积都被键盘占据。若能省下键盘空间，自然能提升产品可携性，最可行的方式，就是直接用面板以触控方式进行操作。因此，对于指向性装置(Pointing Stick)与触控板(Touch Pad)技术有日益广泛的应用需求，希望能用以取代传统的滑鼠、键盘的操作功能，由于手势语言的形态简单且不易识别错误，一些研究机构开始着手研发可识别手势语言的技术，让触控面板操作更人性化且将可让多只手指、手掌及多位使用者同时使用，达到手触的最高境界。触控技术发展，其实已行之有年，然而，自iPhone推出，为触控市场投下了1枚震撼弹，电子产业了解到，触控屏幕并非只是小众市场，其实足以成为主流输入介面。iPhone证明好的触控介面，确实能取代大多数键盘功能，并赋与使用者更直觉、便利的操作体验；以更大的面板替代键盘，还能设计出更轻薄、时尚造型；加上完全采用固态面板技术，不需担心键盘、滑轮等机械零件故障问题。

IT产品将步入多点触控(Multi-touch)新时代，虽可运用电阻/电容的方式建置多点触控屏幕电脑，但是此种方式的触控点数不够多，较不适合多位使用者同时使用。而较新颖的技术则是用电荷耦合元件(CCD)取像电脑视觉的方式建置，除了触控点数可以非常多外，亦不限于单一使用者，可让多只手指、其他笔控方式及多位使用者同时使用，达到多点触控(Multi-touch)的最高境界，其应用空间将无限宽广。

目前，在电脑操作系统中，已经开发出触控的相容模式，所以各家业者无不竞相投入手势识别的研发，欲定义出不同的操作手势。触控屏幕的应用越来越多，促使各项技术发展也相当快速。iPhone改采投射电容式技术实现多点触控功能，让大家将注意力转移到新的触控技术，激发触控屏幕朝向多点触控互动技术激烈竞争，有多种不同技术正在发展，包括电容式、表面音波式及光电式等。由于近年来影像感测元件及影像处理速度提高，使得影像光电式触控互动屏幕受到重视，有许多厂商提出新的实验系统或产品。

目前比较有代表性的是NYU Jefferson Y.Han所成立Perspective Pixel之产品及微软所发表的Computing Surface。两者皆采用红外线光源照亮与屏幕接触之手指或接触物，再以红外线摄影机(IR Camera)取像进行识别，达到同时多点触控互动之目的。图1为Perspective Pixel之技术原理，其技术采用受抑内全反射(Frustrated Total Internal Reflection，FTIR)原理，发光二极体(LED)在侧边接触板(图为压克力材质)中进行全反射，当折射率高于接触板之手指接触到时，接触区破坏内部全反射，照射入手指接触处产生散射光，位于下方之红外线影像摄影机(Video Camera)取得接触板上所有接触点影像，计算出动态接触位置，以兹进行与投影内容互动。

US 7,411,575发明专利案中所揭示的技术为一种2D触控的感应模式，多个指向接触触摸表面或在触摸表面上移动，该触摸表面被探测到且产生并传递命令，以增强感测系统的功能应用。

其中直觉的鼠标右键手势：当使用者的手指接触触摸表面以结束一个显示在触摸表面的应用程序，驱动器识别该接触为一个鼠标左键事件，并注入鼠标左键事件到应用程序中。如果使用者随后触摸该触摸表面用另一个手指同时保持第一个手指的触摸状态，而且随后的触摸是在先前触摸的右边且接近于先前触摸的地方，驱动器识别该随后的表面接触为一鼠标右键事件，并且注入鼠标右键事件到应用程序中。作为对鼠标右键事件的响应，应用程序打开并显示一下拉菜单。使用户使用与通过鼠标来调用鼠标右键事件所完成动作相似的手语调用一鼠标右键动作，作为增加功能该右击手语能被不同手的单个手指执行。

上下及左右卷动手势：如果使用者用一对手指同时触摸显示的应用程序视窗上方的触摸表面，手指接近地且大致水平地隔开，驱动器识别该同时的手指触摸为一卷动手语且注入一卷动事件到应用程序中。作为对手指的随后的垂直方向的移动的响应，触摸地点数据通过驱动器被传送到应用程序，被应用程序识别为向上或向下卷动的命令。

向上向下翻页手势：使用者用三个手指同时地碰触触摸表面，作为对向上或向下翻页的响应，应用程序以合适的方向更换屏幕上的显示资讯。

旋转手势：使用者以单根手指滑动触摸该触摸表面，随后以另一手指触摸该面板并以拱形滑动触摸该面板同时保持第一根手指的接触状态。

缩放手势：使用者以一对接近的手指同时触摸表面，然后在大致水平的方向上扩大手指间的距离，驱动器识别该手指动作为一缩小手语，相反的动作识别为一放大手势。

展开手势：使用者以一对接近的手指同时触摸表面，然后在大致倾斜的方向上扩大手指间的距离，驱动器识别该手指动作为一扩大应用程序视窗的手语，相反的动作识别为一缩小手势。

图标选择及打开手势：使用者以一对接近的手指同时触摸图标，驱动器识别该手指动作为一双击手势。

目标及窗口移动手势：如果用户在接触表面上方或者目标上方移动一对接近的手指，驱动器识别该手语为移动该目标的手势。

由此可见，视窗控制的手势是各家触控系统所力争之地；日后具有越简单操作手势的感测系统将越易为使用者所接受。然而触控仍受限于有限的面积才可以实施，并不利于手势的动作。有鉴于此，本发明创作人针对上述缺陷与不足，经过长期研究，并配合学理的运用，终于创设出一种能够解决上述不足和缺陷的发明设计方案。

【发明内容】

本发明之主要目的是在于提供一种视窗手语游标控制的识别方法，该识别方法是利用视窗上一个以上照相机捕捉位于空间的手指位置之图项数据，使感测系统能够侦测到空间中的手指的动作，进而识别手指所代表的动作，以进行视窗的指令操控动作。

本发明之另一目的是在于提供一种视窗手语游标控制的识别方法，该识别方法是将手指的动作予以简化，以中指做为游标感应点。

为达到本发明的上述目的，可以通过以下的技术方案加以实现：本发明提供一视窗手语游标控制的识别方法，该识别方法利用视窗上若干个照相机捕捉位于空间的手指位置之图项数据，使感测系统能够侦测到空间中的手指的动作；手指的动作则包含有单手与双手动作的操作模式；其中，单手的操作模式包括有启动模式、滑鼠移动、滑鼠左键、滑鼠右键与游标相对移动速度控制等事件；而双手的操作模式包括有移动比例、缩放模式与旋转模式等事件。

其中，以单手的操作模式中的启动模式则是利用设定的特定记号加上数字以形成通关密码作为启动讯号。

滑鼠移动的模式则是利用食指与中指并拢作为感测启动讯号，感测系统锁定中指指尖位置所做的移动做为游标的移动距离，当感测系统感应到食指与中指分开或是消失时，则设定为移动结束，游标将停止于最后感应点，不再移动。

滑鼠右键的模式则是利用无名指与小指下弯的动作作为感测讯号，此时游标则停留于原先的位置，做出启动滑鼠左键的指令。

滑鼠左键的模式则是利用拇指向食指靠拢或下弯的动作作为感测讯号，此时游标则停留于原先的位置，做出启动滑鼠右键的指令。

游标相对移动速度控制的模式则是利用拇指与食指间的角度做为识别讯号，当拇指与食指间的角度越近时，相对移动的比例就越小，适合于精准控制；若是拇指与食指间的角度变大，则表示相对移动比例越大，适合于游标的快速移动；藉由拇指与食指间角度的变化，即可使游标的相对移动速度有不同的变化。

而双手的操作模式中的移动比例模式则是利用双手的拇指、食指、中指做为感测启动源，拇指与食指间的角度代表相对移动比例；食指与中指的位置则代表游标讯号，当食指与中指并拢时为带动游标位移的讯号，当食指与中指分开时则显示游标位移终止的讯号；当拇指向食指靠拢或是下弯动作则代表滑鼠右键点选。

缩放模式则是利用双手的拇指与(食指及中指)间的虎口做为感测特征，当双手的虎口向外扩张时，代表视窗镜头放大；当双手的虎口向内收缩时，代表视窗镜头缩小。

旋转模式则是利用双手的拇指与(食指及中指)间的虎口做为感测特征，当双手的虎口相对旋转方向时则表示视窗进行3D的旋转。当感测到双手虎口特征后，双手虎口的旋转角度即带动视窗相对旋转动作：当双手虎口特征消失后，旋转动作即停止于最后角度。

由上述说明可知，在视窗感测这块领域中，手语的动作是相当重要的，除了必须要使侦测的时间缩短且具有高正确识别率，还要具有易操作的特性。本发明视窗手语的识别方法是将手语予以简化，以方便在最短的时间被侦测到，缩短视窗的运作时间；然后藉由简化的手语操作，始使用者得以熟练视窗的操作。

【附图说明】

图1为Perspective Pixel之技术原理；

图2为本发明启动方式之手势示意图；

图3为本发明滑鼠移动之手势示意图；

图4为本发明滑鼠右键之手势示意图；

图5为本发明滑鼠左键之手势示意图；

图6为本发明游标相对移动速度控制之手势示意图；

图7为本发明双手移动比例模式之手势示意图；

图8为本发明双手缩放模式之手势示意图；

图9为本发明双手旋转模式之手势示意图。

【具体实施方式】

为便于详细说明本发明的实施结构，现配合附图结合本发明具体实施例，对本发明详加说明如下：

本发明视窗手语游标控制的识别方法是利用一感测系统捕获位于空间的图像，处理捕获的图像以探查感测点，检查此指向感测点，以识别不同的连续的指向动作，描绘一以指向感测点的相对位置为基础的手语表达；当描绘一个手语的不同的连续的指向动作发生时，显示装置上会更新为与所述手语对应的图像，是以一照相机作为捕捉图像的感测源，该感测系统可适用于各式的携带式通讯设备。本发明着重的是研发特点在于：提供包含有单手与双手操作模式的手语的操作识别方法。

单手操作模式包括有启动模式、滑鼠移动、滑鼠左键、滑鼠右键与游标相对移动速度控制等事件。

请参见图2所示，为本发明视窗手语游标控制的识别方法之一具体实施态样，其中，启动模式则是利用设定的特定记号，如剪刀、石头、布等特定的手语图案，加上数字以形成通关密码作为启动讯号；当启动讯号作用后，即以中指做为感应起侦点，进入感测系统的运作模式。

请参见图3所示，滑鼠移动的模式则是利用食指与中指并拢作为感测启动讯号，感测系统锁定中指指尖位置所做的移动做为游标的移动距离，当感测系统感应到食指与中指分开或是手指消失时，则设定为移动结束讯号，游标将停止于最后感应点，不再移动。

请参见图4所示，滑鼠右键的模式则是利用无名指与小指下弯的动作作为感测讯号，当感测系统感测到讯号时，此时游标则停留于原先的位置，做出启动滑鼠左键的指令。

请参见图5所示，滑鼠左键的模式则是利用拇指向食指靠拢或下弯的动作作为感测讯号，当感测系统感测到讯号时，此时游标则停留于原先的位置，做出启动滑鼠右键的指令。

请参见图6所示，游标相对移动速度控制的模式则是利用拇指与食指间的角度做为识别讯号，当拇指与食指间的角度越近时，相对移动的比例就越小，适合于精准控制；若是拇指与食指间的角度变大，则表示相对移动比例越大，适合于游标的快速移动；藉由拇指与食指间角度的变化，即可使游标的相对移动速度有不同的变化。

双手操作模式则是可作为绘图制作讲稿与电子书的触控电脑的使用功能，包括有移动比例、缩放模式与旋转模式等事件。

请参见图7所示，其中，移动比例模式则是利用双手的拇指、食指、中指做为感测启动源，拇指与食指间的角度代表相对移动比例；食指与中指的位置则代表游标讯号，当食指与中指并拢时为带动游标位移的讯号，当食指与中指分开时则显示游标位移终止的讯号；当拇指向食指靠拢或是下弯动作则代表滑鼠右键点选；此作用方式与单手操作模式相近。

请参见图8所示，缩放模式则是利用双手的拇指与(食指及中指)间的虎口做为感测讯号，当双手的虎口向外扩张时，代表视窗镜头放大；当双手的虎口向内收缩时，代表视窗镜头缩小。

请参见图9所示，旋转模式则是利用双手的拇指与(食指及中指)间的虎口做为感测讯号，当双手的虎口相对旋转方向时则表示视窗进行3D的旋转。当感测到双手虎口特征后，双手虎口的旋转角度即带动视窗相对旋转动作：当双手虎口特征消失后，旋转动作即停止于最后角度。

视窗控制电脑是未来的主流，其诞生是为了基于消费者对于直觉式使用的需求，而本发明视窗手语的识别方法的研发目的就是为使触控电脑的应用更为便捷。

为使熟悉该项技术者如实了解本发明精神之实施发明目的与功效，所举之实施例及附图仅是对本发明加以说明，并不对本发明加以任何限制，本发明还可尚有其他的变化实施方式，所以凡熟悉此项技术者在不脱离本案发明精神下进行其他样式实施，均应视为本案申请专利范围的等效实施。

Claims (13)

1.一种视窗手语游标控制的识别方法，该识别方法是利用一感测系统捕获位于空间的图像，处理捕获的图像以探查感测点，检查此指向感测点，以识别不同的连续的指向动作，描绘一以指向感测点的相对位置为基础的手语表达；当描绘一个手语的不同的连续的指向动作发生时，显示装置上会更新为与所述手语对应的图像。

2.如申请专利范围第1项所述之视窗手语游标控制的识别方法，其中，是以一照相机作为捕捉图像的感测源。

3.如申请专利范围第1项所述之视窗手语游标控制的识别方法，其中，该识别方法包含有单手与双手操作模式的手语的识别方法。

4.如申请专利范围第3项所述之视窗手语游标控制的识别方法，其中，该单手操作模式包括有启动模式、滑鼠移动、滑鼠左键、滑鼠右键与游标相对移动速度控制等事件。

5.如申请专利范围第3项所述之视窗手语游标控制的识别方法，其中，该双手操作模式包括有移动比例、缩放模式与旋转模式等事件。

6.如申请专利范围第4项所述之视窗手语游标控制的识别方法，其中，该启动模式则是利用设定的特定记号，如剪刀、石头、布等特定的手语图桉，加上数字以形成通关密码作为启动讯号。

7.如申请专利范围第4项所述之视窗手语游标控制的识别方法，其中，该滑鼠移动的模式则是利用食指与中指併拢作为感测启动讯号，感测系统锁定中指指尖位置所做的移动做为游标的移动距离，当感测系统感应到食指与中指分开或是手指消失时，则设定为移动结束讯号，游标将停止于最后感应点，不再移动。

8.如申请专利范围第4项所述之视窗手语游标控制的识别方法，其中，该滑鼠右键的模式则是利用无名指与小指下弯的动作作为感测讯号，当感测系统感测到讯号时，此时游标则停留于原先的位置，做出启动滑鼠左键的指令。

9.如申请专利范围第4项所述之视窗手语游标控制的识别方法，其中，该滑鼠左键的模式则是利用拇指向食指靠拢或下弯的动作作为感测讯号，当感测系统感测到讯号时，此时游标则停留于原先的位置，做出启动滑鼠右键的指令。

10.如申请专利范围第4项所述之视窗手语游标控制的识别方法，其中，该游标相对移动速度控制的模式则是利用拇指与食指间的相对距离做为识别讯号，当拇指与食指间的相对距离越近时，相对移动的比例就越小，适合于精准控制；若是拇指与食指间的相对距离变大，则表示相对移动比例越大，适合于游标的快速移动；藉由拇指与食指间角度的变化，即可使游标的相对移动速度有不同的变化。

11.如申请专利范围第5项所述之视窗手语游标控制的识别方法，其中，该移动比例模式则是利用双手的拇指、食指、中指做为感测启动源，拇指与食指间的相对距离代表相对移动比例；食指与中指的位置则代表游标讯号，当食指与中指併拢时为带动游标位移的讯号，当食指与中指分开时则显示游标位移终止的讯号；当拇指向食指靠拢或是下弯动作则代表滑鼠右键点选；此作用方式与单手操作模式相近。

12.如申请专利范围第5项所述之视窗手语游标控制的识别方法，其中，该缩放模式则是利用双手的拇指与(食指及中指)间的虎口做为感测讯号，当双手的虎口向外扩张时，代表视窗镜头放大；当双手的虎口向内收缩时，代表视窗镜头缩小。

13.如申请专利范围第5项所述之视窗手语游标控制的识别方法，其中，该旋转模式则是利用双手的拇指与(食指及中指)间的虎口做为感测讯号，当双手的虎口相对旋转方向时则表示视窗进行3D的旋转。

Images