CN105320265B - 电子装置的控制方法 - Google Patents

电子装置的控制方法 Download PDF

Info

Publication number
CN105320265B
CN105320265B CN201510282195.8A CN201510282195A CN105320265B CN 105320265 B CN105320265 B CN 105320265B CN 201510282195 A CN201510282195 A CN 201510282195A CN 105320265 B CN105320265 B CN 105320265B
Authority
CN
China
Prior art keywords
contact
gesture
electronic device
type
initial position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510282195.8A
Other languages
English (en)
Other versions
CN105320265A (zh
Inventor
张鸿德
吴高彬
方智仁
罗展鹏
庄政达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eminent Electronic Technology Corp
Original Assignee
Eminent Electronic Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW104114376A external-priority patent/TWI524262B/zh
Application filed by Eminent Electronic Technology Corp filed Critical Eminent Electronic Technology Corp
Publication of CN105320265A publication Critical patent/CN105320265A/zh
Application granted granted Critical
Publication of CN105320265B publication Critical patent/CN105320265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)

Abstract

本发明公开了一种电子装置的控制方法。该电子装置具有非接触式手势操作区域。该控制方法包含：辨识位于该非接触式手势操作区域中的至少一个非接触物件在多个不同物件种类中所属的物件种类；判断该至少一个非接触物件所属的物件种类中各物件种类所具有的非接触物件个数；检测该至少一个非接触物件在该非接触式手势操作区域之中的轨迹信息；依据该至少一个非接触物件所属的物件种类、该至少一个非接触物件所属的各物件种类所具有的非接触物件个数以及该轨迹信息，辨识该至少一个非接触物件所对应的非接触手势；以及依据该非接触手势致使该电子装置对应执行特定功能。

Description

电子装置的控制方法
技术领域
本发明涉及非接触式手势控制，尤其涉及一种依据至少一个非接触物件在电子装置的非接触式手势操作区域内的轨迹信息来控制电子装置的方法。
背景技术
触控式电子装置提供给使用者便利的操控方式，然而，当使用者手持其他物品(例如，文件或饮料)而无法直接触摸电子装置，或手上沾粘污垢而不方便触碰电子装置时，透过触碰的方式来操控电子装置反而会增加使用者的不便。举例来说，当使用者一边吃薯条一边观看平板电脑所显示的电子书时，使用者不会希望以油腻的手指来翻阅电子书。
因此，如何提供使用者一种直觉而无需直接碰触电子装置的控制方法，为现今亟需解决的问题。
发明内容
有鉴于此，本发明的目的之一在于提供一种依据至少一个非接触物件在电子装置的非接触式手势操作区域内的轨迹信息来控制电子装置的方法。
依据本发明的一实施例，其公开了一种电子装置的控制方法。该电子装置具有非接触式手势操作区域，该控制方法包含以下步骤：辨识位于该非接触式手势操作区域之中的至少一个非接触物件在多个不同物件种类之中所属的物件种类；判断该至少一个非接触物件所属的物件种类之中各物件种类所具有的非接触物件个数；检测该至少一个非接触物件在该非接触式手势操作区域之中的轨迹信息；依据该至少一个非接触物件所属的物件种类、该至少一个非接触物件所属的物件种类之中各物件种类所具有的非接触物件个数以及该至少一个非接触物件的该轨迹信息，来辨识该至少一个非接触物件所对应的非接触手势；以及依据该非接触手势致使该电子装置对应执行特定功能。
依据本发明的另一实施例，其公开了一种电子装置的控制方法。该电子装置具有非接触式手势操作区域，该控制方法包含以下步骤：辨识位于该非接触式手势操作区域之中的至少一个非接触物件所具有的非接触物件个数；检测该至少一个非接触物件在该非接触式手势操作区域之中的轨迹信息；依据该至少一个非接触物件所具有的非接触物件个数以及该至少一个非接触物件的该轨迹信息，来辨识该至少一个非接触物件所对应的非接触手势；以及依据该非接触手势致使该电子装置对应执行特定功能。
综上所述，本发明所提供的电子装置的控制方法不仅可提供非接触式的人机互动方式，并可满足使用者执行多元且直觉的非接触手势的需求。因此，本发明所提供的非接触式控制方法可结合(或取代)既有接触式控制方法(例如，以鼠标或触控面板操控电子装置)，应用于多种作业系统(例如，Windows作业系统或Android作业系统)之中。
附图说明
图1为本发明电子装置的一实施例的示意图。
图2示出了图1所示的电子装置的影像处理系统的一实作范例的功能方块示意图。
图3示出了本发明控制图1所示的电子装置的一实施例的示意图。
图4为本发明电子装置的控制方法的一实施例的流程图。
图5为本发明控制电子装置的另一实施例的示意图。
图6为本发明控制电子装置的另一实施例的示意图。
图7为本发明控制电子装置的另一实施例的示意图。
图8为本发明控制电子装置的另一实施例的示意图。
图9为本发明控制电子装置的另一实施例的示意图。
图10为本发明控制电子装置的另一实施例的示意图。
图11为图10所示的手指尖与手掌之间的相对距离的一实作范例的示意图。
图12为本发明控制电子装置的另一实施例的示意图。
图13为图12所示的多个手指尖的位置示意图。
图14为本发明控制电子装置的另一实施例的示意图。
图15为图14所示的多个手指尖的位置示意图。
图16为本发明电子装置的控制方法的另一实施例的流程图。
主要部件附图标记：
100 电子装置
102 显示面
110 光学感测模组
112 透镜
114 感测装置
130 影像处理系统
132 数位影像处理器
134 影像压缩器
136 传输界面
138 储存装置
400、410、420、430、440、450、 步骤
1600、1620、1630、1640、1650
WR 非接触式手势操作区域
P11、P12、P20～P23、P31～P35、P41～P44 初始位置
ΔP1 相对距离
ΔPA、ΔPB、ΔPC 物件距离
LA、LB、L2 连线
L1 水平线
θ1、θ2 夹角
具体实施方式
为了提供直觉且友善的非接触式人机互动机制，本发明所提供的非接触式控制方法不仅可判断非接触物件在电子装置的非接触式手势操作区域内的轨迹信息(例如，具有物件位置与时间的信息)，并可辨识非接触物件所属的物件种类以及所辨识出的各物件种类所具有的物件个数，进而依据上述非接触物件的相关信息来定义相对应的非接触手势(即，未与该电子装置接触的悬浮手势)，以致使该电子装置执行相对应的功能。为了方便说明，以下是以具有可检测非接触手势的多媒体播放装置来作为范例说明，然而，本发明所提供的非接触式操控机制也可应用于其他可检测非接触手势的电子装置。
请参照图1，其为本发明电子装置的一实施例的示意图。电子装置100由多媒体播放装置(例如，影像播放器)来实作，其中电子装置100具有非接触式手势操作区域WR以检测位于电子装置100周遭的非接触物件。在此实施例中，电子装置100的周遭定义了空间座标系统，并可包含显示面102以及光学感测模组110，其中光学感测模组110可设置在显示面102的外围(或电子装置100的边框)，以在显示面102的前方(面向使用者之处)提供非接触式手势操作区域WR。光学感测模组110可通过来自反射物(位于非接触式手势操作区域WR内)的反射信号来得知该反射物在该空间座标系统中的位置信息，进而辨识出该反射物的深度信息及轨迹信息，其中不同类型的反射物(例如，手指尖和手掌)可具有不同的深度信息图(影像轮廓)。另外，为了方便说明，在此将显示面102的法向量方向定义为Z轴方向。本领域技术人员应可了解这并非用来作为本发明的限制。
光学感测模组110另外可具有其他感测功能。举例来说，光学感测模组110可实作为整合式感测模组，以将影像感测、环境光感测(包含环境色彩感测、环境色温感测)、近接感测、温度感测、物件位置检测、深度信息及/或手势辨识等功能整合于其中。因此，光学感测模组110便可检测位于电子装置100周遭的非接触物件(例如，使用者的手)的三维影像信息，并可将非接触物件的三维影像信息输出至后端的影像处理系统(图1中未示出)以供进一步的处理。
请参照图2，其示出了图1所示的电子装置100的影像处理系统的一实作范例的功能方块示意图。在此实作范例中，光学感测模组110可包含(但不限于)透镜112以及感测装置114(可具有整合式感测功能)。影像处理系统130耦接于光学感测模组110，并可包含数位影像处理器132、影像压缩器134、传输界面136(例如，并列传输界面(parallel interface)或串列传输界面(serial interface))以及储存装置138(例如，储存完整的影像帧(imageframe))。以撷取使用者的手的影像为例，透镜112可将手所反射的光汇集并传送至感测装置114，而感测装置114可根据所接收的光信号产生三维影像信息给影像处理系统130。由于本领域技术人员应可了解感测装置210所产生的影像信息经由数位影像处理器132、影像压缩器134、传输界面136以及储存装置138处理的操作细节，所以关于影像处理系统130的进一步说明在此便不再赘述。
由于本发明所提供的光学感测模组可检测位于电子装置周遭的非接触物件的深度信息及轨迹信息，所以可依据非接触物件的种类、个数及运动轨迹来辨识相对应的非接触手势，进而致使电子装置执行对应的功能。举例来说，请一并参照图1与图3。图3示出了本发明控制图1所示的电子装置100的一实施例的示意图。在此实施例中，使用者的单一指尖在预定时间(例如，0.5秒)内，先朝显示面102(或光学感测模组110)移动超过预定距离，接着再远离显示面102(或光学感测模组110)。对于光学感测模组110来说，光学感测模组110可辨识出位于非接触式手势操作区域WR内的反射物为该单一指尖(单一非接触物件)，并可依据该反射物的反射能量的变化来检测出该单一指尖在该预定时间内完成上述靠近、远离显示面102的动作(例如，检测该单一指尖的在Z轴方向的座标变化)。此外，光学感测模组110可依据反射物的物件种类(手指尖)、物件个数(1个)及上述轨迹信息(在预定时间内完成往返动作)来辨识出单击手势，并依据该单击手势来致使电子装置100开启或选取在显示面102上的特定项目。由此可知，图3所示的非接触单击手势的操作方式如同单击鼠标左键以选取/开启特定项目，所以可提供使用者直觉而便利的操控体验。
以上控制电子装置100执行特定功能的方法可归纳为图4，其为本发明电子装置的控制方法的一实施例的流程图。如果可达到大致相同的结果，则步骤并不一定要依照图4所示的顺序来进行。举例来说，图4所示的步骤不一定要连续进行，即可将其他步骤安插于其中。为了方便说明，请连同图3来参照图4。图4所示的控制方法可简单归纳如下。
步骤400：开始。
步骤410：辨识位于电子装置100所具有的非接触式手势操作区域WR之中的至少一个非接触物件在多个不同物件种类(例如，手指尖与手掌)之中所属的物件种类。在图3所示的实施例中，可辨识出该至少一个非接触物件所属的物件种类为手指尖。
步骤420：判断该至少一个非接触物件所属的物件种类之中各物件种类所具有的非接触物件个数(例如，手指尖的个数为1个)。
步骤430：检测该至少一个非接触物件在非接触式手势操作区域WR之中的轨迹信息。举例来说，在图3所示的实施例中，可检测出该至少一个非接触物件在预定时间内，先朝显示面102(或光学感测模组110)移动超过预定距离，接着再远离显示面102(或光学感测模组110)。
步骤440：依据该至少一个非接触物件所属的物件种类、该至少一个非接触物件所属的物件种类之中各物件种类所具有的非接触物件个数以及该至少一个非接触物件的该轨迹信息，来辨识该至少一个非接触物件所对应的非接触手势(例如，单击手势)。
步骤450：依据该非接触手势致使电子装置100对应执行特定功能(例如，项目选取或项目开启功能)。
由于本发明所提供的控制方法可辨识/区分出位于非接触式手势操作区域WR之中的该至少一个非接触物件是属于该多个不同物件种类之中的哪一种或哪几种物件种类(步骤410)，进而依据所检测的非接触物件的种类、个数及轨迹信息来辨识非接触物件相对应的非接触手势，因此，可允许使用者以直觉且多样化的非接触手势来操控电子装置。为了进一步了解本发明的技术特征，以下列举了以非接触手势控制电子装置的多个实施方式来作为范例说明，然而，这并非用来作为本发明的限制。只要是基于非接触物件的种类、个数及轨迹信息来辨识出非接触手势，设计上相关的变化均遵循本发明的精神而落入本发明的范畴。
请连同图1来参照图5。图5为本发明控制电子装置的另一实施例的示意图。在此实施例中，光学感测模组110辨识出非接触式手势操作区域WR之中的至少一个非接触物件仅有一个特定物件属于特定物件种类。更具体地说，光学感测模组110仅检测到单一手指尖(图4所示的步骤410及步骤420)，其中位于初始位置的该单一指尖停留在该初始位置超过预定时间(例如，1秒)(图4所示的步骤430)。举例来说，在该预定时间内，若该单一指尖在电子装置100所定义的空间座标系统中的座标位置与该初始位置之间的差距均小于预定距离，则可将该单一指尖视为停留在该初始位置。接下来，光学感测模组110便可依据上述信息(该单一指尖停留在该初始位置超过该预定时间)来辨识出停留手势(图4所示的步骤440)，并依据该停留手势来致使电子装置100开启特定项目的详细信息或开启特定的功能表(图4所示的步骤450)，如同鼠标右键的单击操作。
请连同图1来参照图6。图6为本发明控制电子装置的另一实施例的示意图。在此实施例中，光学感测模组110在非接触式手势操作区域WR之中仅辨识出单一指尖。当该单一指尖靠近非接触式手势操作区域WR的边缘时，便可触发相对应的滚动事件。举例来说，当光学感测模组110检测出该单一指尖移动至非接触式手势操作区域WR的右侧区域RA或左侧区域LA时，电子装置100会执行画面滚动功能(如同以滚动鼠标滚轮以滚动显示画面)以便使用者能查看目前画面的右方或左方内容。
请连同图1来参照图7。图7为本发明控制电子装置的另一实施例的示意图。在此实施例中，光学感测模组110辨识出非接触式手势操作区域WR之中的至少一个非接触物件仅有两个特定物件属于特定物件种类。更具体地说，光学感测模组110仅检测到两个手指尖(分别位于初始位置P11与初始位置P12)。光学感测模组110还可检测该两个手指尖是否分别停留在初始位置P11与初始位置P12超过预定时间(例如，1秒)。当该两个手指尖分别停留在初始位置P11与初始位置P12超过该预定时间时，光学感测模组110接着可检测该两个手指尖之间的相对距离ΔP1。在一实作范例中，当该两个手指尖彼此远离(相对距离ΔP1增加)时，光学感测模组110可辨识出放大手势，并据以致使电子装置100对应执行画面放大功能；在另一实作范例中，当该两个手指尖互相靠近(相对距离ΔP1减少)时，光学感测模组110可辨识出缩小手势，并据以致使电子装置100对应执行画面缩小功能。
由于本发明所提供的控制方法可基于非接触物件的种类、个数及轨迹信息来辨识非接触手势，因此，相同类型的非接触手势(例如，缩放手势)也可由不同的物件种类、物件个数与轨迹信息的组合来定义。请连同图1来参照图8。图8为本发明控制电子装置的另一实施例的示意图。在此实施例中，光学感测模组110辨识出非接触式手势操作区域WR之中的至少一个非接触物件包含至少三个第一类型物件以及一个第二类型物件。更具体地说，光学感测模组110辨识出非接触式手势操作区域WR之中包含至少三个以上的手指尖以及一个手掌。光学感测模组110还可检测位于初始位置的该手掌是否停留在初始位置超过预定时间(例如，1秒)。当该手掌停留在初始位置超过该预定时间时(即，电子装置100进入缩放模式)，光学感测模组110接着可检测该手掌与显示面102之间的相对距离(例如，检测该手掌的Z轴座标变化)。在一实作范例中，当该手掌远离显示面102(该相对距离增加)时，光学感测模组110可辨识出缩小手势，并据以致使电子装置100对应执行画面缩小功能；在另一实作范例中，当该手掌往显示面102靠近(该相对距离减少)时，光学感测模组110可辨识出放大手势，并据以致使电子装置100对应执行画面放大功能。
本发明所提供的控制方法另可基于不同的操作模式下定义出相应的非接触手势。请连同图1来参照图9。图9为本发明控制电子装置的另一实施例的示意图。在此实施例中，在电子装置100执行项目选取指令的情形下，光学感测模组110辨识出非接触式手势操作区域WR之中的至少一个非接触物件仅有两个特定物件属于特定物件种类。更具体地说，光学感测模组110仅检测到两个手指尖。光学感测模组110还可检测该两个手指尖平行于显示面102的移动轨迹。当该两个手指尖平行于显示面102的移动轨迹彼此相同时，光学感测模组110可辨识出拖曳手势，并据以致使电子装置100对应执行项目拖曳功能。举例来说，当该两个手指尖同时往上、下、左或右移动时，所选取的项目也可依照该两个手指尖的移动轨迹来移动(如同使用鼠标来拖曳所选取的项目)。
请连同图1来参照图10。图10为本发明控制电子装置的另一实施例的示意图。在此实施例中，光学感测模组110辨识出非接触式手势操作区域WR之中的至少一个非接触物件包含至少三个第一类型物件以及一个第二类型物件。更具体地说，光学感测模组110辨识出非接触式手势操作区域WR之中包含至少三个以上的手指尖以及一个手掌。光学感测模组110还可通过检测该至少三个以上的手指尖是否往该掌心靠近，而据以辨识出抓取手势。举例来说，光学感测模组110可检测该至少三个以上的手指尖与该手掌之间的相对距离是否在预定时间(例如，0.5秒)内减少超过预定距离，其中当该至少三个以上的手指尖与该手掌之间的该相对距离在该预定时间内减少超过该预定距离时，光学感测模组110可辨识出抓取手势。关于上述相对距离的判断方式可参照以下说明。
请一并参照图10与图11。图11为图10所示的手指尖与手掌之间的相对距离的一实作范例的示意图。在此实作范例中，光学感测模组110可辨识出分别位于多个初始位置P21～P23的多个手指尖以及位于初始位置P20的手掌。对于各个手指尖来说，光学感测模组110可检测各该手指尖与该手掌之间的物件距离ΔPA/ΔPB/ΔPC，并判断物件距离ΔPA/ΔPB/ΔPC是否在预定时间(例如，0.5秒)内减少超过预定距离。当多个物件距离ΔPA～ΔPC之中的每一物件距离均在该预定时间内减少超过该预定距离时，光学感测模组110便可判断该多个手指尖与该手掌之间的该相对距离在该预定时间内减少超过该预定距离。换言之，当多个物件距离ΔPA～ΔPC之中的每一物件距离均在该预定时间内减少超过该预定距离时，光学感测模组110才会判断出使用者所操作的非接触手势为抓取手势。
在一设计变化中，光学感测模组110也可依据多个物件距离ΔPA～ΔPC在该预定时间内总共减少的距离，来判断使用者所操作的非接触手势是否为该抓取手势。举例来说，光学感测模组110可将多个物件距离ΔPA～ΔPC相加，以作为该多个手指尖与该手掌之间的该相对距离。简言之，只要能够判断至少三个以上的手指尖均往掌心靠近，设计上相关的变化均落入本发明的范畴。
另外，当光学感测模组110辨识出抓取手势时，光学感测模组110便可依据该抓取手势来致使电子装置100对应执行呼叫快捷选单功能，如同以手指于触控屏幕的边缘往触控屏幕的中央拨动。
当检测出非接触手势操作区域之中至少有两个非接触物件属于特定物种类时，本发明所提供的控制方法还可依据该至少有两个非接触物件之间的连线来致使电子装置执行旋转功能。请连同图1来参照图12与图13。图12为本发明控制电子装置的另一实施例的示意图，而图13为图12所示的多个手指尖的位置示意图。在此实施例中，光学感测模组110辨识出非接触式手势操作区域WR之中有多个非接触物件属于特定物件种类。更具体地说，光学感测模组110辨识出非接触式手势操作区域WR之中包含五个手指尖，其分别位于多个初始位置P31～P35。光学感测模组110可利用该五个手指尖之中彼此间距最远的两个手指尖分别对应的初始位置P31与P35来形成连线LA，并可检测连线LA与参考线(即，水平线L1)之间的夹角θ1，其中当夹角θ1大于特定角度(例如，10度)时，光学感测模组110便可辨识出旋转手势(即，使用者触发旋转事件)。
当光学感测模组110辨识出旋转手势时，光学感测模组110便可依据该旋转手势来致使电子装置100对应执行项目旋转功能或画面旋转功能，其中旋转的方向可由手指尖旋转的方向来决定，及/或旋转的角度可由手指尖的连线与参考线之间的夹角(例如，夹角θ1)来决定。
请注意，以上仅是用于说明，并非用来作为本发明的限制。在一实作范例中，光学感测模组110也可以仅依据初始位置P31与P35在显示面102的投影点来形成连线LA，换言之，在以显示面102的法向量方向定义为Z轴方向，以显示面102(或平行于显示面102的参考面)定义为XY平面的情形下，光学感测模组110可依据初始位置P31与P35在XY平面上的连线与XY平面上的参考线之间的夹角，来判断使用者是否触发旋转事件。
在另一实作范例中，只要辨识出非接触式手势操作区域WR之中有至少两个非接触物件属于特定物件种类(例如，手指尖)，光学感测模组110仍可将该至少两个非接触物件之中彼此间距最远的两个非接触物件分别对应的位置形成连线，进而依据该连线与参考线之间的夹角来判断是否有旋转触发事件发生。
另外，上述参考线并不限于水平线L1，而可依实际需求来设计。请连同图1来参照图14与图15。图14为本发明控制电子装置的另一实施例的示意图，而图15为图14所示的多个手指尖的位置示意图。在此实施例中，光学感测模组110辨识出非接触式手势操作区域WR之中的至少一个非接触物件仅有两个特定物件属于特定物件种类。更具体地说，光学感测模组110仅检测到两个手指尖(分别位于初始位置P41与初始位置P42)。光学感测模组110接着可检测分别位于该两个手指尖是否分别停留在初始位置P41与初始位置P42超过预定时间。当该两个手指尖分别停留在初始位置P41与初始位置P42超过该预定时间时，光学感测模组110可将初始位置P41与初始位置P42两者之间所形成的连线L2(例如，投影在XY平面的连线)作为参考线。当使用者的手转动时(即，该两个手指尖分别移动至初始位置P43与初始位置P44；如虚线手部所示)，光学感测模组110便可检测连线LB(例如，投影在XY平面的连线)与连线L2(参考线)之间的夹角θ2是否大于特定角度(例如，10度)，来判断是否有旋转触发事件发生。值得注意的是，图15所示的参考线的定义方式也可应用于至少三个手指尖的实施例(例如，图12所示的实施例)。
值得注意的是，虽然图3～图15所示的实施例是以手指尖与手掌来作为物件种类的实作范例，然而本发明并不以此为限。只要是基于非接触物件的种类、个数及轨迹信息来辨识出非接触手势，设计上相关的变化均遵循本发明的内容而落入本发明的范畴。
另外，本发明所提供的电子装置的控制方法也可以无需辨识非接触物件所属的物件种类，而直接基于非接触物件的个数及轨迹信息来辨识出非接触手势，并据以致使电子装置执行对应的功能。以图7为例，光学感测模组110可以无需辨识位于非接触式手势操作区域WR之中的至少一个非接触物件所属的物件种类，而直接检测辨识该至少一个非接触物件所具有的非接触物件个数。更具体地说，光学感测模组110可检测出非接触式手势操作区域WR之中仅包含该两个手指尖(分别位于初始位置P11与初始位置P12的两个非接触物件)，并于该两个手指尖分别停留在初始位置P11与初始位置P12超过预定时间时，检测该两个手指尖之间的相对距离，进而判断使用者是否执行缩放手势。相似地，图3、图5、图6、图9、图12、图14所示的电子装置的控制手段也可以无需辨识非接触物件所属的物件种类。
简言之，在无需辨识非接触物件所属的物件种类的情形下(或将非接触物件均视为同一物件种类)，本发明所提供的电子装置的控制方法可简单归纳为图16。图16为本发明电子装置的控制方法的另一实施例的流程图。如果可达到大致相同的结果，则步骤并不一定要依照图16所示的顺序来进行。举例来说，图4所示的步骤不一定要连续进行，即可将其他步骤安插于其中。图16所示的控制方法可简单归纳如下。
步骤1600：开始。
步骤1620：辨识位于非接触式手势操作区域之中的至少一个非接触物件所具有的非接触物件个数(例如，手指尖的个数)。
步骤1630：检测该至少一个非接触物件在该非接触式手势操作区域之中的轨迹信息。
步骤1640：依据该至少一个非接触物件所具有的非接触物件个数以及该至少一个非接触物件的该轨迹信息，来辨识该至少一个非接触物件所对应的非接触手势。
步骤1650：依据该非接触手势致使该电子装置对应执行特定功能。
由于本领域技术人员经由阅读图1～15的相关说明之后，应可了解图16所示的每一步骤的细节，所以进一步的说明在此便不再赘述。
综上所述，本发明所提供的电子装置的控制方法不仅可提供非接触式的人机互动方式，并可满足使用者执行多元且直觉的非接触手势的需求。因此，本发明所提供的非接触式控制方法可结合(或取代)既有接触式控制方法(例如，以鼠标或触控面板操控电子装置)，应用于多种作业系统(例如，Windows作业系统或Android作业系统)之中。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求书限定的内容所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (14)

1.一种电子装置的控制方法，该电子装置具有非接触式手势操作区域，该控制方法包含：
辨识位于该非接触式手势操作区域之中的至少一个非接触物件在多个不同物件种类之中所属的物件种类；
判断该至少一个非接触物件所属的物件种类之中各物件种类所具有的非接触物件个数；
检测该至少一个非接触物件在该非接触式手势操作区域之中的轨迹信息；
依据该至少一个非接触物件所属的物件种类、该至少一个非接触物件所属的物件种类之中各物件种类所具有的非接触物件个数以及该至少一个非接触物件的该轨迹信息，来辨识该至少一个非接触物件所对应的非接触手势；以及
依据该非接触手势致使该电子装置对应执行特定功能；其中
当判断出该至少一个非接触物件包含至少三个第一类型物件以及一个第二类型物件时，检测该至少一个非接触物件在该非接触式手势操作区域之中的该轨迹信息的步骤包含：
检测该至少三个第一类型物件与该第二类型物件之间的相对距离是否在预定时间内减少超过预定距离；
其中当该至少三个第一类型物件与该第二类型物件之间的该相对距离在该预定时间内减少超过该预定距离时，该非接触手势为抓取手势。
2.如权利要求1所述的控制方法，其中当该至少一个非接触物件之中仅有两个特定物件属于特定物件种类时，检测该至少一个非接触物件在该非接触式手势操作区域之中的该轨迹信息的步骤包含：
检测分别位于第一初始位置与第二初始位置的该两个特定物件是否分别停留在该第一初始位置与该第二初始位置超过预定时间；以及
当该两个特定物件分别停留在该第一初始位置与该第二初始位置超过该预定时间时，检测该两个特定物件之间的相对距离；
其中当该相对距离增加时，该非接触手势为放大手势；以及当该相对距离减少时，该非接触手势为缩小手势。
3.如权利要求1所述的控制方法，其中该电子装置具有显示面；以及当该至少一个非接触物件包含至少三个第一类型物件以及一个第二类型物件时，检测该至少一个非接触物件在该非接触式手势操作区域之中的该轨迹信息的步骤包含：
检测位于初始位置的该第二类型物件是否停留在该初始位置超过预定时间；以及
当该第二类型物件停留在该初始位置超过该预定时间时，检测该第二类型物件与该显示面之间的相对距离；
其中当该相对距离增加时，该非接触手势为缩小手势；以及当该相对距离减少时，该非接触手势为放大手势。
4.如权利要求1所述的控制方法，其中该电子装置具有显示面；当该电子装置执行项目选取指令，以及该至少一个非接触物件之中仅有两个特定物件属于特定物件种类时，检测该至少一个非接触物件在该非接触式手势操作区域之中的该轨迹信息的步骤包含：
检测该两个特定物件平行于该显示面的移动轨迹；
其中当该两个特定物件平行于该显示面的移动轨迹彼此相同时，该非接触手势为拖曳手势。
5.如权利要求1所述的控制方法，其中检测该至少三个第一类型物件与该第二类型物件之间的该相对距离是否在该预定时间内减少超过该预定距离的步骤包含：
针对各第一类型物件：
检测各第一类型物件与该第二类型物件之间的物件距离；以及
判断该物件距离是否在该预定时间内减少超过该预定距离；
其中当各第一类型物件与该第二类型物件之间的各物件距离均在该预定时间内减少超过该预定距离时，判断该至少三个第一类型物件与该第二类型物件之间的该相对距离在该预定时间内减少超过该预定距离。
6.如权利要求1所述的控制方法，其中检测该至少三个第一类型物件与该第二类型物件之间的该相对距离是否在该预定时间内减少超过该预定距离的步骤包含：
检测各第一类型物件与该第二类型物件之间的物件距离；以及
将各第一类型物件与该第二类型物件之间的各物件距离相加，以作为该至少三个第一类型物件与该第二类型物件之间的该相对距离。
7.如权利要求1所述的控制方法，其中依据该非接触手势致使该电子装置对应执行该特定功能的步骤包含：
依据该抓取手势来致使该电子装置对应执行呼叫快捷选单功能。
8.如权利要求1所述的控制方法，其中当该至少一个非接触物件之中有至少两个特定物件属于特定物件种类时，检测该至少一个非接触物件在该非接触式手势操作区域之中的该轨迹信息的步骤包含：
利用该至少两个特定物件之中彼此间距最远的两个特定物件分别对应的位置来形成第一连线；以及
检测该第一连线与参考线之间的夹角；
其中当该夹角大于特定角度时，该非接触手势为旋转手势。
9.如权利要求8所述的控制方法，其中当该至少一个非接触物件之中仅有两个特定物件属于该特定物件种类时，检测该至少一个非接触物件在该非接触式手势操作区域之中的该轨迹信息的步骤包含：
检测分别位于第一初始位置与第二初始位置的该两个特定物件是否分别停留在该第一初始位置与该第二初始位置超过预定时间；以及
当该两个特定物件分别停留在该第一初始位置与该第二初始位置超过该预定时间时，以该第一初始位置与该第二初始位置两者之间所形成的第二连线作为该参考线。
10.如权利要求2、4或8所述的控制方法，其中各特定物件均为手指尖。
11.如权利要求1或3所述的控制方法，其中各第一类型物件均为手指尖，而该第二类型物件为手掌。
12.如权利要求2或3所述的控制方法，其中依据该非接触手势致使该电子装置对应执行该特定功能的步骤包含：
依据该缩小手势或该放大手势来致使该电子装置对应执行画面缩小功能或画面放大功能。
13.如权利要求4所述的控制方法，其中依据该非接触手势致使该电子装置对应执行该特定功能的步骤包含：
依据该拖曳手势来致使该电子装置对应执行项目拖曳功能。
14.如权利要求8所述的控制方法，其中依据该非接触手势致使该电子装置对应执行该特定功能的步骤包含：
依据该旋转手势来致使该电子装置对应执行项目旋转功能或画面旋转功能。
CN201510282195.8A 2014-05-30 2015-05-28 电子装置的控制方法 Active CN105320265B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462004912P 2014-05-30 2014-05-30
US62/004,912 2014-05-30
TW104114376 2015-05-06
TW104114376A TWI524262B (zh) 2014-05-30 2015-05-06 電子裝置的控制方法

Publications (2)

Publication Number Publication Date
CN105320265A CN105320265A (zh) 2016-02-10
CN105320265B true CN105320265B (zh) 2019-01-04

Family

ID=54701685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510282195.8A Active CN105320265B (zh) 2014-05-30 2015-05-28 电子装置的控制方法

Country Status (2)

Country Link
US (1) US9639167B2 (zh)
CN (1) CN105320265B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063153B (zh) * 2014-05-04 2018-12-11 南京中兴软件有限责任公司 一种实现人机交互的方法和装置
JP6528774B2 (ja) * 2014-07-30 2019-06-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN106909256A (zh) * 2017-02-27 2017-06-30 北京小米移动软件有限公司 屏幕控制方法及装置
CN108052202B (zh) * 2017-12-11 2021-06-11 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
CN108650457A (zh) * 2018-05-03 2018-10-12 Oppo广东移动通信有限公司 自动拍照方法、装置、存储介质及移动终端
CN110448898A (zh) * 2018-11-13 2019-11-15 网易（杭州）网络有限公司 游戏中虚拟角色的控制方法及装置、电子设备
US11150800B1 (en) * 2019-09-16 2021-10-19 Facebook Technologies, Llc Pinch-based input systems and methods
CN114506754B (zh) * 2020-11-17 2023-12-05 上海三菱电梯有限公司 非接触按钮操作识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040140984A1 (en) * 2001-08-29 2004-07-22 Microsoft Corporation Automatic scrolling
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
US20110291988A1 (en) * 2009-09-22 2011-12-01 Canesta, Inc. Method and system for recognition of user gesture interaction with passive surface video displays
CN102279670A (zh) * 2010-06-09 2011-12-14 波音公司 基于手势的人机界面
CN102354345A (zh) * 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473869B2 (en) 2004-11-16 2013-06-25 Koninklijke Philips Electronics N.V. Touchless manipulation of images for regional enhancement
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
TW200928865A (en) 2007-12-20 2009-07-01 Inventec Corp Portable electronic device and non-touch-controlled method thereof
CN101776948B (zh) 2009-01-08 2012-09-19 深圳富泰宏精密工业有限公司 实现非接触式界面控制的方法及电子装置
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
JP5617581B2 (ja) 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
TW201314495A (zh) 2011-09-16 2013-04-01 Gi Yi Electromic Co Ltd ３ｄ手勢控制系統與控制方法
TWI455007B (zh) 2011-09-29 2014-10-01 Wistron Corp 用於具有攝影機之電子裝置之非接觸指令輸入方法
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
TWI476706B (zh) 2012-04-30 2015-03-11 Pixart Imaging Inc 偵測物件移動輸出命令的方法及其系統
US9395852B2 (en) 2012-05-07 2016-07-19 Cirque Corporation Method for distinguishing between edge swipe gestures that enter a touch sensor from an edge and other similar but non-edge swipe actions
US20150160819A1 (en) * 2013-12-06 2015-06-11 Microsoft Corporation Crane Gesture
US9223955B2 (en) * 2014-01-30 2015-12-29 Microsoft Corporation User-authentication gestures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040140984A1 (en) * 2001-08-29 2004-07-22 Microsoft Corporation Automatic scrolling
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
US20110291988A1 (en) * 2009-09-22 2011-12-01 Canesta, Inc. Method and system for recognition of user gesture interaction with passive surface video displays
CN102279670A (zh) * 2010-06-09 2011-12-14 波音公司 基于手势的人机界面
CN102354345A (zh) * 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备

Also Published As

Publication number Publication date
US9639167B2 (en) 2017-05-02
CN105320265A (zh) 2016-02-10
US20150346829A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN105320265B (zh) 电子装置的控制方法
US7411575B2 (en) Gesture recognition method and touch system incorporating the same
US8446376B2 (en) Visual response to touch inputs
US9575562B2 (en) User interface systems and methods for managing multiple regions
GB2498299B (en) Evaluating an input relative to a display
CN102341814A (zh) 姿势识别方法和采用姿势识别方法的交互式输入系统
CN101458586B (zh) 以多根手指在触控屏幕上操作对象的方法
US20130241832A1 (en) Method and device for controlling the behavior of virtual objects on a display
CN108431729A (zh) 用以增大显示区域的三维对象跟踪
TWI526916B (zh) Multi-touch screen device and multi-touch screen adjacent junction detection method
CN102955568A (zh) 输入装置
TWI518580B (zh) 可攜式裝置與其操作方法
CN103403661A (zh) 手势基输入的缩放
US9395838B2 (en) Input device, input control method, and input control program
CN103164160A (zh) 一种左右手交互装置及方法
CN106886345B (zh) 电容式感测装置及其上的导电异物的侦测方法
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
CN104978018B (zh) 触控系统及触控方法
US10521108B2 (en) Electronic apparatus for detecting touch, method of controlling the same, and display apparatus including touch controller
TWI524262B (zh) 電子裝置的控制方法
CN110007748A (zh) 终端的控制方法、处理装置、存储介质及终端
CN102479002A (zh) 光学触控系统及其感测方法
CN105528059A (zh) 一种三维空间手势操作方法及系统
Jang et al. U-Sketchbook: Mobile augmented reality system using IR camera
IL222043A (en) Two-hand control of computer-based content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant