CN103543824A

CN103543824A - 手势输入系统及方法

Info

Publication number: CN103543824A
Application number: CN201210272879.6A
Authority: CN
Inventors: 黄智皓; 曹训志; 廖志彬; 刘品宏
Original assignee: Wistron Corp
Current assignee: Wistron Corp
Priority date: 2012-07-17
Filing date: 2012-08-02
Publication date: 2014-01-29
Anticipated expiration: 2032-08-02
Also published as: TW201405443A; US20140022172A1; US9335827B2; CN103543824B

Abstract

一种手势输入系统及方法。该手势输入系统由平面影像感测器与处理模块所组成。平面影像感测器用以撷取使用者的影像。处理模块用以分析使用者的影像以决定对应至使用者的物件位置与脸部位置，根据物件位置与脸部位置决定使用者的工作区域，以及根据使用者在工作区域中的影像产生控制指令。

Description

手势输入系统及方法

技术领域

本发明涉及使用者接口设计，特别是涉及一种手势输入系统及方法，能够提供使用者在可变的工作区域内运用手势达到远端操作的效果。

背景技术

在使用者接口（User Interface，UI）这个领域，相关设计主要是衍生自计算机或其它电子消费性产品，例如：智能型手机、平板计算机、笔记型计算机、多媒体播放器等等。目前常见的使用者接口多数是在显示屏幕上提供图形使用者接口（Graphic User Interface，GUI），配合游标（Mouse cursor）的移动与按键（Click）的组合达到选取、点选执行等功能。

然而，随着科技的快速演进，人们渴望更多的操控自由，想要摆脱鼠标与键盘的限制，于是发展出触碰（Touch）、手势（Gesture）等感知型（perceptual）的使用者接口。一般而言，尽管这些新设计在先天上就与原本鼠标与键盘的操作模式不同，但人们除了期待新设计能够提供更大的操控便利性之外，同时还期待能保有原本鼠标与键盘的操作模式。

在感知型的使用者接口中，现有的平面（2D）手势识别技术虽然在成本及便利性上具有明显的优势，但因为没有Z轴深度信息，仅能提供像鼠标一般操作模式的游标显示，而无法让使用者作出敲击按键（Clicking）的动作，此外，更无法执行拖曳等复杂的操作。立体的（3D）手势识别技术（例如：Kinect by

）虽无此问题，但是由于其具有高成本、机构结构厚重/复杂等缺点，所以适用范围仍相当有限。

因此，亟需有一种手势输入方法，通过使用者的平面影像提供可变的工作区域，让使用者在该区域内运用手势即可达到远端操作的效果。

发明内容

本发明的一实施例提供了一种手势输入系统，包括一平面影像感测器、以及一处理模块。上述平面影像感测器用以撷取一使用者的影像。上述处理模块用以分析上述使用者的影像以决定对应至上述使用者的一物件位置与一脸部位置，根据上述物件位置与上述脸部位置决定上述使用者的一工作区域，以及根据上述使用者在上述工作区域中的影像产生控制指令。

本发明的另一实施例提供了一种手势输入方法，包括以下步骤：通过一平面影像感测器撷取一使用者的影像；分析上述使用者的影像以决定对应至上述使用者的一物件位置与一脸部位置；根据上述物件位置与上述脸部位置决定上述使用者的一工作区域；以及根据上述使用者在上述工作区域中的影像产生控制指令。

关于本发明其他附加的特征与优点，本领域的技术人员，在不脱离本发明的精神和范围的前提下，可根据本发明实施方法中所揭示的手势输入系统及方法做若干的更动与润饰而得到。

附图说明

图1是根据本发明一实施例所述的手势输入系统的示意图。

图2是根据本发明一实施例所述的多媒体电子装置的架构示意图。

图3A~3D是根据本发明一实施例所述的手势输入系统的运作示意图。

图4是根据本发明一实施例所述的工作区域与使用者接口的映射示意图。

图5是根据本发明一实施例所述的手势输入方法的流程图。

图6是根据本发明另一实施例所述的手势输入方法的流程图。

附图符号说明

100～手势输入系统；

110～影像感测器；

120～多媒体电子装置；

10～对外接口；

20～显示装置；

30～输入输出模块；

40～储存模块；

50～处理模块；

R～工作区域；

d1~d3～触发区域；

M～图形使用者接口；

m～映射区域。

具体实施方式

本章节所叙述的是实施本发明的最佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明的保护范围是以本发明的权利要求为准。

图1是根据本发明一实施例所述的手势输入系统的示意图。在手势输入系统100中，影像感测器110为一平面（2D）摄影机，用以撷取使用者的平面影像，并将撷取的影像传送至多媒体电子装置120，由多媒体电子装置120分析该影像以决定使用者所输入的手势。多媒体电子装置120可为一体成型（All In One，AIO）计算机、平板计算机、笔记型计算机、桌上型计算机、或智能型电视（smart TV）等。影像感测器110可置于多媒体电子装置120附近，例如：置于多媒体电子装置120的上方或下方、或置于多媒体电子装置120旁。在其它实施例，影像感测器110与多媒体电子装置120可整合在同一装置内，例如：影像感测器110可为内建于多媒体电子装置120内的一元件，且本发明不在此限。

图2是根据本发明一实施例所述的多媒体电子装置的架构示意图。多媒体电子装置120可包括对外接口10、显示装置20、输入输出模块30、储存模块40、以及处理模块50。对外接口10用以提供有线或无线的方式连接至影像感测器110，以接收使用者影像。显示装置20可为电子灯号装置、映像管（Cathode Ray Tube，CRT）屏幕/面板、液晶（Liquid Crystal Display，LCD）屏幕/面板、或等离子体（Plasma）屏幕/面板等具备显示功能的装置。输入输出模块30可包括麦克风、喇叭、键盘、鼠标、触控板等内建或外接的周边元件。储存模块40可为易失性存储器，例如：随机存取存储器（RandomAccess Memory，RAM），或非易失性存储器，例如：快闪存储器（FlashMemory），或硬盘、光盘，或上述媒体的任意组合。处理模块50可为通用处理器或微控制单元（Micro-Control Unit，MCU），用以执行计算机可执行的指令，以控制对外接口10、显示装置20、输入输出模块30、以及储存模块40的运作，并执行本发明的手势输入方法。举例来说，本发明的手势输入方法可实作为一软件产品，该软件程序码可储存于储存模块40，之后再由处理模块50载入并执行。

值得注意的是，在另一实施例中，多媒体电子装置120可进一步通过对外接口10连接至其它电子装置，例如：冷气机、冰箱、电扇、计算机、电视等等，多媒体电子装置120将使用者手势转换为控制命令之后，可再把控制指令传送至其它电子装置以执行远端操作。因此，本发明不限于图1所示的架构。

图3A~3D是根据本发明一实施例所述的手势输入系统的运作示意图。图中所示为影像感测器110所撷取到的影像，也就是呈现在影像感测器110前方的真实景象的镜像（mirror image）。首先，如图3A所示，在影像感测器110前方有多位使用者，其中，当使用者A欲输入手势时，则举起其左手。同时，多媒体电子装置120针对影像进行手掌检测（palm detection）以找出使用者A的手掌位置。进一步说明，为了增加手掌检测的速度，使用者A可晃动其手掌，而多媒体电子装置120则针对影像进行全域的运动检测（motion detection）以找出影像中有物件在移动的区块，再针对该区块进行手掌检测。在此实施例，多媒体电子装置120先以影像分析的方式框出使用者A的手掌，再以该区域中心点为使用者A的手掌位置，但本发明不在此限，例如：可将该区域中的任一点当作使用者A的手掌位置。

在其它实施例，使用者A可使用其它物件（例如：指挥棒）或其它手势（例如：胜利手势、握拳）取代其手掌进行操作，意即多媒体电子装置120可藉由检测该物件或手势的特定形状找出该物件或手势的位置。

如图3B所示，多媒体电子装置120针对影像进行脸部检测（facedetection）以找出手掌位置附近的人脸，并将该脸部与手掌进行配对，从而取得影像中使用者A的脸部位置。在此实施例，多媒体电子装置120先以影像分析的方式框出使用者A的脸部，再以该区域中心点为使用者A的脸部位置，但本发明不在此限，例如：可将该区域中的任一点当作使用者A的脸部位置。

需注意的是，在另一实施例，可先进行图3B所示的脸部检测之后再接着进行图3A所示的手掌检测，两者的执行可不具特定先后顺序。也就是说，先决定使用者A的脸部位置后，再找出脸部位置附近的手掌，将该手掌与脸部进行配对。

如图3C所示，根据分析取得的使用者A的手掌位置与脸部位置，多媒体电子装置120决定使用者A的工作区域R。在此实施例，是以使用者A的手掌位置与脸部位置之间的距离为参数而决定出工作区域R的长与宽。或者，在另一实施例，可以将使用者A的手势位置与脸部位置当作边界而决定出工作区域R。

另外，多媒体电子装置120还可周期性地重复执行如图3A、图3B所示的手掌位置与脸部位置的决定步骤，并进一步更新工作区域R。或者，可统计手掌位置在工作区域R中的一平均移动范围，并根据平均移动范围周期性地更新工作区域R。

需注意的是，虽然图3C所示的工作区域R为一矩形区域，但在其它实施例亦可使用矩形以外的其它形状（例如：圆形、菱形）来界定工作区域R。

如图3D所示，多媒体电子装置120接着决定工作区域R中的触发区域d1~d3。在一实施例，多媒体电子装置120可直接决定要把工作区域R中的哪些子区域当作触发区域d1~d3。在另一实施例，多媒体电子装置120可将工作区域R映射（mapping）至一使用者界面，以决定触发区域d1~d3。该使用者界面可为显示于显示装置20的图形使用者界面或电子灯号界面。

图4是根据本发明一实施例所述的工作区域与使用者界面的映射示意图。工作区域R是以脸部位置（意即脸部的中心位置）为左上角端点、以手掌位置与脸部位置之间的距离为参数，往右下方框出长宽分别为180、120像素（pixel）的矩形区域。欲映射的使用者接口为一矩形的图形使用者接口M，其长宽分别为1280、1080像素。多媒体电子装置120可先根据图形使用者接口M的长宽比，在工作区域R中决定一映射区域m，其长宽分别为128、120像素。另外，在工作区域R中除了映射区域m之外的部份则可作为缓冲区域。最后再将映射区域m内的座标映射至图形使用者接口M。而在映射完成后，触发区域d1~d3则分别对应至图形使用者接口M中的应用程序的捷径图式。

在决定出工作区域R与触发区域d1~d3之后，多媒体电子装置120便可根据使用者A的手掌位置与触发区域d1~d3之间的接触（contact）关系产生控制指令。

举例来说，触发区域d1~d3可分别对应至上述图形使用者界面的应用程序APP1~APP3的捷径图式。当使用者A的手掌位置与触发区域d1发生接触关系时，则产生控制指令1-「执行应用程序APP1」；当使用者A的手掌位置与触发区域d2发生接触关系时，则产生控制指令2-「执行应用程序APP2」；当使用者A的手掌位置与触发区域d3发生接触关系时，则产生控制指令3-「执行应用程序APP3」。

或者，在另一实施例，多媒体电子装置120可在工作区域R中决定单一触发区域，然后进一步将接触关系进行分类，并以接触关系的类型产生不同的控制指令。举例来说，当使用者A的手掌位置由单一触发区域之外移入单一触发区域之内时，则产生控制指令1’-「频道向上」；当使用者A的手掌位置由单一触发区域之内移出单一触发区域之外时，则产生控制指令2’-「频道向下」；当使用者A的手掌位置由单一触发区域之外进出（含各进出一次多或次）单一触发区域的任一边框时，则产生控制指令3’-「音量加大」；当使用者A的手掌位置由单一触发区域之内出入（含各出入一次多或次）单一触发区域的任一边框时，则产生控制指令4’-「音量减小」。

在其它实施例，还可进一步结合上述多重触发区以及接触关系类型的概念，以产生其它更多或高阶的控制指令，且本发明不在此限。

图5是根据本发明一实施例所述的手势输入方法的流程图。首先，通过平面影像感测器撷取使用者的影像（步骤S510），然后分析使用者的影像以决定对应至使用者的一物件位置与一脸部位置，明确来说，可先针对影像进行物件检测以取得使用者的物件位置（步骤S520），再针对影像进行脸部检测以取得使用者的脸部位置（步骤S530）。特别是，上述物件可为使用者的手掌、或使用者手中所握持的物品。接着，分析使用者的物件与脸部之间的相对关系（步骤S540），明确来说，所述相对关系可指使用者的物件与脸部之间的大小相对关系、或指物件位置与脸部位置之间的相对距离。之后，根据使用者的物件与脸部之间的相对关系，可决定使用者的工作区域及工作区域中的触发区域（步骤S550），然后根据使用者的物件位置与触发区域之间的接触关系产生控制指令（步骤S560）。

图6是根据本发明另一实施例所述的手势输入方法的流程图。首先，通过平面影像感测器撷取使用者的影像（步骤S601），然后决定工作区域是否已存在（步骤S602），若否，则针对影像进行全域的运动检测以找出影像中有物件在移动的区块（步骤S603），再针对该区块进行手掌检测以取得使用者的手掌位置（步骤S604）。接着，设定脸部搜寻范围在使用者的手掌位置附近（步骤S605），并于针对脸部搜寻范围内的影像进行脸部检测以找出使用者的脸部位置（步骤S606）。举例来说，若使用者惯用左手输入手势，则脸部搜寻范围可设定在影像中使用者的手掌位置左侧，反之，若使用者惯用右手输入手势，则脸部搜寻范围可设定在影像中使用者的手掌位置右侧。之后，根据影像中使用者的手掌位置与脸部位置，决定使用者的工作区域（步骤S607），并决定工作区域中的触发区域（步骤S608），然后根据使用者的手掌位置与触发区域之间的接触关系产生控制指令（步骤S609）。

在步骤S602，若是，意即工作区域已存在，则可载入已存在的工作区域（步骤S610），仅针对此区域进行影像分析以减少计算量。类似于步骤S603、S604，先针对在载入的工作区域内的影像进行运动检测以找出有物件在移动的区块（步骤S611），再针对该区块进行手掌检测以取得使用者的手掌位置（步骤S612）。接着，决定手掌检测是否成功（步骤S613），若是，则执行步骤S609以产生控制指令，若否，代表在载入的工作区域内已经有一段时间检测不到手掌，于是执行步骤S603~S607以更新工作区域。在一实施例，针对步骤S604，可记录检测到的手掌位置，而后，于步骤S613发现检测不到手掌时，可根据所记录的手掌位置设定手掌检测的范围，以重新执行步骤S603~S607。

本发明虽以各种实施例揭示如上，然而其仅为范例参考而非用以限定本发明的范围，本领域技术人员在不脱离本发明的精神和范围的前提下，可做若干的更动与润饰。因此上述实施例并非用以限定本发明的范围，本发明的保护范围是以本发明的权利要求为准。

Claims

1.一种手势输入系统，包括：

一平面（2D）影像感测器，用以撷取一使用者的影像；以及

一处理模块，用以分析上述使用者的影像以决定对应至上述使用者的一物件位置与一脸部位置，根据上述物件位置与上述脸部位置决定上述使用者的一工作区域，以及根据上述使用者在上述工作区域中的影像产生控制指令。

2.如权利要求1所述的手势输入系统，其中上述处理模块更用以决定上述工作区域中的一触发区域，以及决定上述物件位置与上述触发区域之间的接触关系，以产生控制指令。

3.如权利要求2所述的手势输入系统，其中上述处理模块还用以将上述工作区域映射至一使用者接口，以决定上述触发区域。

4.如权利要求2所述的手势输入系统，其中上述接触关系为下列的一者：

上述物件位置由上述触发区域之外移入上述触发区域之内；

上述物件位置由上述触发区域之内移出上述触发区域之外；

上述物件位置由上述触发区域之外进出上述触发区域的任一边框；以及

上述物件位置由上述触发区域之内出入上述触发区域的任一边框。

5.如权利要求1所述的手势输入系统，其中上述工作区域是由上述物件位置与上述脸部位置为边界而决定，或由上述物件位置与上述脸部位置之间的距离为参数而决定。

6.如权利要求1所述的手势输入系统，其中上述处理模块更用以周期性地重复执行上述物件位置与上述脸部位置，以更新上述工作区域。

7.如权利要求1所述的手势输入系统，其中上述处理模块还用以统计上述物件位置在上述工作区域中的一平均移动范围，以及根据上述平均移动范围周期性地更新上述工作区域。

8.如权利要求1所述的手势输入系统，其中上述处理模块还用以通过上述平面影像感测器检测上述物件的晃动，以决定上述物件位置；以及通过上述平面影像感测器检测上述物件附近的人脸，以决定上述脸部位置。

9.一种手势输入方法，包括：

通过一平面（2D）影像感测器撷取一使用者的影像；

分析上述使用者的影像以决定对应至上述使用者的一物件位置与一脸部位置；

根据上述物件位置与上述脸部位置决定上述使用者的一工作区域；以及

根据上述使用者在上述工作区域中的影像产生控制指令。

10.如权利要求9所述的手势输入方法，其中上述产生控制指令的步骤还包括：

决定上述工作区域中的一触发区域；以及

根据上述物件位置与上述触发区域之间的接触关系产生控制指令。

11.如权利要求10所述的手势输入方法，其中上述触发区域的决定步骤还包括：将上述工作区域映射至一使用者界面，以决定上述触发区域。

12.如权利要求10所述的手势输入方法，其中上述接触关系为下列的一者：

上述物件位置由上述触发区域之外移入上述触发区域之内；

上述物件位置由上述触发区域之内移出上述触发区域之外；

13.如权利要求9所述的手势输入方法，其中上述工作区域是由上述物件位置与上述脸部位置为边界而决定，或由上述物件位置与上述脸部位置之间的距离为参数而决定。

14.如权利要求9所述的手势输入方法，还包括：周期性地重复执行上述物件位置与上述脸部位置的决定步骤，以更新上述工作区域。

15.如权利要求9所述的手势输入方法，还包括：

统计上述物件位置在上述工作区域中的一平均移动范围；以及

根据上述平均移动范围周期性地更新上述工作区域。

16.如权利要求9所述的手势输入方法，其中上述物件位置与上述脸部位置的决定步骤还包括：

通过上述平面影像感测器检测上述物件的晃动，以决定上述物件位置；以及

通过上述平面影像感测器检测上述物件附近的人脸，以决定上述脸部位置。