CN109558007B - 手势控制装置及其方法 - Google Patents

Abstract

本发明提供一种手势控制装置及其方法，该装置包括接触式输入接口以及处理器。接触式输入接口用于根据一触碰事件而产生至少一感测区块，其中该至少一感测区块包括多个第一区块以及多个第二区块。处理器耦接于接触式输入接口；处理器用以根据其中一个第一区块与其中一个第二区块来计算在接触式输入接口的相关线。根据其中一个第二区块与所找到的相关线来计算在接触式输入接口的基准线。决定此基准线与此相关线的垂直交点。设定此垂直交点为执行在接触式输入接口上的操作点，以执行在显示画面上的操作控制。

Description

手势控制装置及其方法

技术领域

本发明有关于控制方法，且特别是有关于一种手势的控制方法。

背景技术

为提供用户更直观的操作模式，大多数电子装置提供图形用户界面，让用户凭借眼睛所视而即可对应地操作。在实际操作上，电子装置需搭配输入输出接口(例如键盘或鼠标)以作为用户进行电子装置的相关具体操作的媒介。

换句话说，若用户欲携带移动电子装置，就必须一同携带键盘或鼠标才能使用。然而，随着电子装置的改良，其体积越来越小，但使用者却需要额外携带具备一定体积的键盘或鼠标，实为相当的不便利，因此有必要对于不便利的情况提出解决方案。

发明内容

根据本发明的一实施例，公开一种手势控制装置，包括接触式输入接口以及处理器。接触式输入接口用于根据一触碰事件而产生至少一感测区块，其中该至少一感测区块包括多个第一区块以及多个第二区块。处理器耦接于接触式输入接口。处理器用以其中一个第一区块与其中一个第二区块来计算在接触式输入接口的相关线。根据其中一个第二区块与所找到的相关线来计算在接触式输入接口的基准线。决定此基准线与此相关线的垂直交点。设定此垂直交点为执行在接触式输入接口上的操作点，以执行在显示画面上的操作控制。

根据另一实施例，公开一种手势控制方法，该方法包括执行以下步骤。首先，取得在接触式输入接口根据一触碰事件所产生的至少一感测区块，其中，该至少一感测区块包括多个第一区块以及多个第二区块。接着，根据其中一个第一区块与其中一个第二区块来计算在接触式输入接口的相关线。以及，根据其中一个第二区块与所找到的相关线来计算在接触式输入接口的基准线。接着，决定此基准线与此相关线的垂直交点，以及，设定此垂直交点为执行在接触式输入接口上的操作点，以执行在显示画面上的操作控制。

附图说明

以下详细描述结合附图阅读时，将有利于较佳地理解本发明的实施例。应注意，根据说明上的需求，图中各特征并不一定按比例绘制。实际上，出于论述清晰的目的，可能任意增加或减小各特征的尺寸。

图1是根据本发明一些实施例中一种手势控制装置的示意图。

图2是根据本发明一些实施例中一种手势控制装置的感测状态示意图。

图3是根据本发明一些实施例中一种手势控制方法的步骤流程图。

图4是根据本发明另一些实施例中一种手势控制方法的步骤流程图。

图5是根据本发明又另一些实施例中一种手势控制方法的步骤流程图。

为让本发明内容的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图标记说明如下：

100 手势控制装置

110 接触式输入界面

120 处理器

500 手掌

210a～201e 第一区块

213 相关线

220a～220c 第二区块

223 基准线

225 重叠部

230 操作点

300、400、500 手势控制方法

L1～L5 距离

S310～S350、S321～326、S351、S510～S531 步骤

具体实施方式

以下发明内容提供许多不同实施例或实例，以便实施本发明的不同特征。下文描述组件及排列的特定实例以简化本发明。当然，所述实例仅为示例性且并是限制性的。举例而言，以下描述中在第二特征上方或第二特征上形成第一特征可包括以直接接触形成第一特征及第二特征的实施例，且也可包括可在第一特征与第二特征之间形成额外特征使得第一特征及特征可不处于直接接触的实施例。另外，本发明可在各实例中重复组件符号及/或字母。此重复是出于简明性及清晰的目的，且本身并不指示所论述的各实施例及/或配置之间的关系。

请参见图1，它给出根据本发明一些实施例中一种手势控制装置100的示意图。如图1所示，手势控制装置100包括接触式输入接口110以及处理器120。接触式输入接口110耦接处理器120。接触式输入接口110用以在有物体接触或接近时，会对应地产生关于该物体的感测信号，而进一步地计算出至少一个触碰区块。接触式输入接口110产生对应触碰事件的至少一个触碰区块，并计算出多个手指或手掌部分的感测区块。接触式输入接口110可以为电阻式触碰接口、电容式触碰接口、波动式触碰接口或者影像传感器等。在一些实施例中，使用者可以将其手掌轻碰于接触式输入接口110，而与接触式输入接口110部分地接触，例如一些手指的指尖部分以及手掌的下半部分(或者三分之一部分)。换言之，本发明的手势控制装置100不限制用户将手掌仅部份地接触或者整体贴合于接触式输入接口110。在部分实施例，接触式输入接口110为影像传感器时，可由影像传感器来撷取关于手掌500的手势动作的感测信号，以供后续操作之用。

请参见图2，它给出根据本发明一些实施例中一种手势控制装置的感测状态示意图。在图1中，使用者的手掌500接触在接触式输入接口110时，接触式输入接口110会根据触碰事件相应地感测出如图2所示的至少一个感测区块。所述至少一个感测区块例如是在接触式输入接口110因为物体接触或相关电子组件感测后所产生的具有一定面积范围的接触位置的区块。在本范例中，至少一个感测区块包括多个第一区块210a～210e以及多个第二区块220a～220c。其中，第一区块210a～210e可以为手指接触到接触式输入接口110的指尖部份，而第二区块220a～220c可以为手掌心接触到接触式输入接口110的部份。例如，第一区块210a可以为大拇指、第一区块210b可以为食指、第一区块210c可以为中指、第一区块210d可以为无名指，以及第一区块210e可以为小指。本发明的图2以接触式输入接口110感测到五个第一区块210a～210e作为说明，在另一些情况下，也可能仅感测到两个至四个不等数量的区块，并不影响本发明的手势操作技术。

请参见图3，它给出根据本发明一些实施例中一种手势控制方法300的步骤流程图。请一并参见图1、图2以及图3，以下将说明手势控制方法300的步骤流程。

在步骤S310中，于触碰事件发生后，处理器120接收到感测信号，并根据感测信号以计算出至少一触碰区块，例如计算出多个第一区块210a～210e以及多个第二区块220a～220c，并根据第一区块210a～210e其中之一与第二区块220a～220c其中之一来计算与接触式输入接口110对应的相关线213。其中，第一区块210a～210e为彼此之间互相不重叠的区块。举例来说，处理器120判断第一区块210a～210e的位置，例如在接触式输入接口110上的感测坐标或者相对于显示画面上的像素坐标。进一步地，处理器120会从第一区块210a～210e的这些位置中找出中间区块，例如从第一区块210a～210e当中找出属于中间区块者为第一区块210b～210d，再继续从第一区块210b～210d当中找出属于中间区块者为第一区块210c。也就是说，于此范例中，处理器120判断出中间区块为第一区块210c。因此，处理器120将中间区块，即第一区块210c，作为欲找出的相关线213的第一端。

另一方面，第二区块220a～220c为彼此部分重叠的区块。举例来说，处理器120分析感测信号中的信息，以感测到的肌肉线条或者按压程度大小来分别撷取出第二区块220a、第二区块220b以及第二区块220c，其中第二区块220a与第二区块220b可以为两个相同或近似于椭圆形的区块，第二区块220c可以为相同或近似于矩形的区块。接着，根据椭圆形以及矩形的形状，来决定出第二区块220a、第二区块220b以及第二区块220c的重叠部225。重叠部225可以为第二区块220a、第二区块220b以及第二区块220c三者共同交迭到的区块。于是，处理器120可以将重叠部225作为欲找出的相关线213的第二端。

在此，基于前述所找到的第一端以及第二端，处理器120根据第一端与第二端产生一条联机，并将此联机的长直线设定为相关线213。

接着，在步骤S320中，处理器120会根据多个第二区块220a～220c以及所计算出来的相关线213来进一步计算基准线223。举例来说，处理器120根据多个第二区块220a～220c来找到重叠部225，重叠部225的产生方式已如前述。重叠部225可以为一个点或一个小区块(例如30像素的近似椭圆形的区块)，因此在重叠部225上可以有一或多个点(例如30个点)。本实施例中，处理器120先行计算出相关线213的斜率，再找出与此斜率垂直的垂直向量，而进一步地以此垂直向量以及重叠部225上的其中一个点(或点集合)来计算出基准线223(或基准线集合)。接着，在步骤S330中，处理器120以所获得的相关线213以及基准线223，决定出两者的垂直交点。在步骤S340中，处理器120将此垂直交点设定为关于接触式输入接口110的操作点230。

接着，在步骤S350，处理器120使用操作点230来执行在显示画面上的操作控制。在部分实施例中，也可以将所取得的垂直交点当作中心后并进一步延展为一小块区域，例如直径为20像素的圆形区域来作为操作点230。如此，可以提升在手势控制时的容错程度(例如圆形区域的某一点失去追踪感测像是手掌稍微离开接触式输入接口110，但还可以使用其他的邻近的点来作为光标控制点)。

据此，本发明的手势控制方法300通过指尖与抵靠在接触式输入接口110的手掌部份来产生鼠标光标，可以让用户直观地使用手掌来操作显示画面上的控制，例如手掌的移动即代表光标的移动。

请参见图4，给出根据本发明另一些实施例中一种手势控制方法400的步骤流程图。请一并参见图1、图2以及图4，以下将说明手势控制方法400的步骤流程。手势控制方法400为接续在手势控制方法300的步骤S320之后的设定手势操作功能的流程方法。

如图4所示，在步骤S320的处理器120获得基准线223之后，其中基准线223的计算方式已如前述，在步骤S321中，处理器120分别计算第一区块210a～210e至基准线223的距离，并判断出最短的距离为何者。举例来说，如图2所示，第一区块210a至基准线223的距离L1，第二区块210b至基准线223的距离L2，第三区块210c至基准线223的距离L3，第四区块210d至基准线223的距离L4，以及第五区块210e至基准线223的距离L5。处理器120判断出距离L1～L5当中最短者为距离L1。接着，在步骤S322，以最短的距离所对应的第一区块210a设定为锚点，其中，锚点为代表第一区块210a～210e当中的最左侧或者最右侧的区块。举例来说，被设定为锚点的第一区块210a可以为对应手掌的大拇指的感测区块，当锚点代表最左侧的区块，则第一区块210a可以为对应右手的大拇指的感测区块，当锚点代表最右侧的区块，则第一区块210a可以为对应左手的大拇指的感测区块。

在另一些实施例中，手势控制方法400可通过判断第一区块210a～210e的各个感测区域的形状，来决定锚点。举例来说，手指的指尖在接触式输入接口110上的感测区域的形状一般会是呈现近似于月相(月亮的阴晴圆缺)的形状。感测大拇指的区块所对应的月相形状会呈现与其他指头对应的月相形状相反，例如大拇指的感测区域的形状是接近于上弦月时，则其他手指的感测区域的形状则会是接近于下弦月，反之亦然。因此，手势控制方法400通过判断第一区块210a～210e的感测区域的形状，将感测区域的形状与其他不同者指定为锚点，借此来判断第一区块210a～210e中的哪一个为大拇指。

接着，在步骤S323中，会判断锚点是否位于第一区块210a～210e最左边区块，若是，则执行步骤S324，将第一区块210a～210e由左向右分别标识对应的按键类型。另一方面，若在步骤S323的判断为否，则执行步骤S325，判断锚点是否位于第一区块210a～210e最右边区块？若锚点位于最右边区块，则执行步骤S326，将第一区块210a～210e由右向左分别标识对应的按键类型。若步骤S325的判断中，锚点也不是代表最右边的区块，则可能前述的判断有误，则回到步骤S321。其中，按键类型可以为鼠标的左键、鼠标的右键以及鼠标的滚轮键等。举例来说，若锚点为代表第一区块210a～210e当中最左边的区块，此时处理器120可以判断使用者以其右手来进行虚拟鼠标的初始化设定，而锚点为代表使用者的右手大拇指。

在部分实施例中，处理器120将第一区块210b设定为鼠标左键、将第一区块210c设定为鼠标滚轮键，以及将第一区块210d设定为鼠标右键，第一区块210a与第一区块210e可以不作任何按键类型的设定。

在部分实施例中，处理器120也可仅设定一个按键类型，例如第一区块210b设定为鼠标左键。此阶段中，处理器120设定好接触式输入接口110的感测区块所对应的操作点以及至少一个按键类型，因此可视为完成手势控制的初始化设定。在又另一些实施例中，接触式输入接口110可以仅感测到第一区块210a、210b、210d，而处理器120对第一区块210b设定为鼠标左键，对第一区块210d设定为鼠标右键。也即，本发明并不限制用户接触接触式输入接口110的手指头个数，可视实际上需要使用的鼠标按键类型个数来作调配。

值得一提的是，本发明的手势控制方法400提供先判断锚点是否位于第一区块210a～210e当中的最左侧，若不是的话则判断是否为第一区块210a～210e当中的最右侧。另一些实施例中，也可为先判断锚点是否位于第一区块210a～210e当中的最右侧，再判断是否位于第一区块210a～210e当中的最左侧，本发明不限制前述的判断顺序。

在对至少其中之一的第一区块210a～210e设定完对应的按键类型之后，执行步骤S351，处理器120取得操作点230的初始位置及其位移，并在操作点230所指示的显示画面的位置进行对应按键类型的操作控制。举例来说，处理器120取得操作点230的初始位置，并且将第一区块210b设定为鼠标左键，当用户移动其手掌时，操作点230因此随着移动至另一位置，此时显示画面上的光标会对应地移动后停止。若用户以其食指对接触式输入接口110连续的点两下，则处理器120会在操作点230的位置执行鼠标左键的相关功能。关于鼠标按键类型的相关功能将于后说明。

请参见图5，它给出根据本发明又另一些实施例中一种手势控制方法500的步骤流程图。请一并参见图1、图2以及图5，手势控制方法500是处理器120设定好按键类型之后，如何使用操作点230的具体控制。以下将说明手势控制方法500执行鼠标光标操作的流程。

在步骤S510中，处理器120判断至少一个第一区块210a～210e的面积变化，在一些范例中，仅被设定有按键类型的第一区块210a的面积变化会被检测。处理器120会针对面积变化的程度来判断第一区块210a～210e所对应的按键类型的功能操作，其中，功能操作包括点击操作以及拖曳操作等。

接着，在步骤S520，第一区块210a～210e的面积若是在一定时间内由小变大再由大变小，例如仅第一区块210b的面积有前述大小变化，则执行步骤S521，处理器120根据第一区块210b的面积变化来产生点击操作的指令。因此在操作点230的对应位置上(例如在显示画面的光标所指示的坐标位置)进行鼠标左键的点击操作。在另一些实施例中，若第一区块210d是被设定为鼠标右键，且处理器120根据第一区块210d在短时间内有前述的面积变化而产生点击操作的指令，则在操作点230的位置上进行鼠标右键的点击操作。

在步骤S530中，当处理器120判断在至少一个第一区块210a～210e的面积从零开始变大后在一段时间内(例如2秒)其面积不小于阈值(例如1平方厘米)，则在步骤S531中，处理器120产生拖曳操作的指令，将操作点230所指示位置所在的对象，移动至操作点230移动一段距离之后的位置。举例来说，使用者以其食指(对应第一区块210b)接触在接触式输入接口110上，第一区块210b的位置的面积从零增加至1平方厘米，并且此接触面积维持了2秒，而可以判断出第一区块210b是对应至拖曳操作，因此操作点230所在的位置所对应的对象(例如显示画面上的某个数据文件)会被关联至操作点230。用户接着将其手掌500在接触式输入接口110上进行接触移动，使操作点230位移一段距离后(即手掌500在接触式输入接口110移动一段距离)，从接触式输入接口110上放开食指，使得对应第一区块210a的接触面积变小至零，显示画面上的对象则被放置到光标对应的最后位置，而完成操作点230的拖曳操作。

综上所述，本发明的手势控制装置以及手势控制方法提供对鼠标光标或任何通过触碰装置所产生的指针的操作与功能设定，并且通过手掌的掌心与手指的部分同时实现光标的移动与控制。如此一来，用户可以不用随身携带鼠标，并且可直观地使用手掌来达成鼠标光标控制，而不影响使用者的操作习惯。此外，本发明也可提供肢体残缺人士使用，例如因为意外伤害而缺少食指，使用者仍可通过食指的第二节或接近手掌的指节根部来达成鼠标光标的控制，而不会受限于手指头的状态，提供更多人道与关怀。

上文概述若干实施例的特征，使得本领域技术人员可更好地理解本发明的实施例。本领域技术人员应了解，可容易使用本发明作为设计或修改其他制程及结构的基础，以便实施本文所介绍的实施例的相同目的及/或实现相同优势。本领域技术人员也应认识到，此类等效结构并未脱离本发明的精神及范畴，且可在不脱离本发明的精神及范畴的情况下产生本发明的各种变化、替代及更改。

Claims (10)

1.一种手势控制装置，其特征在于，包括：

一接触式输入接口，用以根据一触碰事件而产生至少一感测区块，其中该至少一感测区块包括多个第一区块以及多个第二区块；

一处理器，耦接该接触式输入接口，其中该处理器用以：

根据所述第一区块之一与所述第二区块之一，以计算对应于该接触式输入接口的一相关线；

根据所述第二区块之一以及该相关线，以计算对应于该接触式输入接口之一基准线；

决定该基准线与该相关线的一垂直交点；以及

设定该垂直交点为对应于该接触式输入接口的一操作点，以执行在一显示画面上的操作控制。

2.如权利要求1所述的手势控制装置，其特征在于，其中该处理器还用以：

判断所述第一区块的位置，其中各该第一区块彼此不重叠；

根据各该第一区块的位置，决定一中间区块；以及

以该中间区块作为一联机的一第一端。

3.如权利要求2所述的手势控制装置，其特征在于，其中该处理器还用以：

判断所述第二区块的一重叠部；

以该重叠部作为该联机的一第二端；以及

设定该第一端与该第二端的该联机作为该相关线。

4.如权利要求3所述的手势控制装置，其特征在于，其中该处理器还用以：

以该重叠部上的任一点以及该相关线的垂直线设定为该基准线；

设定该基准线与该相关线的交点作为该操作点；以及

将各该第一区块至该基准线的最短距离所对应的该第一区块，设定为一锚点，其中该锚点为所述第一区块的最左侧区块或最右侧区块。

5.如权利要求1所述的手势控制装置，其特征在于，其中该处理器还用以：

侦测该操作点在该接触式输入接口的一位移量，以该位移量控制在该显示画面上的该操作点的移动距离；

对各所述第一区块的至少其中的一设定一按键类型，其中该按键类型包括一左键、一右键以及一滚轮键；以及

根据各所述第一区块中的至少其中之一的面积变化，判断该按键类型的一功能操作，以在该操作点的位置执行该功能操作，其中该功能操作包括一点击操作或一拖曳操作。

6.一种手势控制方法，其特征在于，包括：

根据一触碰事件而取得一接触式输入接口所产生的至少一感测区块，其中该至少一感测区块包括多个第一区块以及多个第二区块；

根据所述第一区块之一与所述第二区块之一，以计算对应于该接触式输入接口的一相关线；

根据所述第二区块之一以及该相关线，以计算对应于该接触式输入接口的一基准线；

决定该基准线与该相关线的一垂直交点；以及

设定该垂直交点为在该接触式输入接口的一操作点，以执行在一显示画面上的操作控制。

7.如权利要求6所述的手势控制方法，其特征在于，其中该方法还包括：

判断所述第一区块的位置，其中各该第一区块彼此不重叠；

根据各该第一区块的位置，决定一中间区块；以及

以该中间区块作为一联机的一第一端。

8.如权利要求7所述的手势控制方法，其特征在于，其中该方法还包括：

判断所述第二区块的一重叠部；

以该重叠部作为该联机的一第二端；以及

设定该第一端与该第二端的联机作为该相关线。

9.如权利要求8所述的手势控制方法，其特征在于，其中该方法还包括：

以该重叠部上的任一点以及该相关线的垂直线设定为该基准线；

设定该基准线与该相关线的交点作为该操作点；以及

将各该第一区块至该基准线的最短距离所对应的该第一区块，设定为一锚点，其中该锚点为所述第一区块的最左侧区块或最右侧区块。

10.如权利要求6所述的手势控制方法，其特征在于，其中该方法还包括：

侦测该操作点在该接触式输入接口的一位移量，以该位移量控制在该显示画面上的该操作点的移动距离；

对各所述第一区块中的至少其中之一设定一按键类型，其中该按键类型包括一左键、一右键以及一滚轮键；以及

根据各所述第一区块中的至少其中之一的面积变化，判断该按键类型的一功能操作，以在该操作点的位置执行该功能操作，其中该功能操作包括一点击操作或一拖曳操作。

Images