CN105308538A - 基于所检测到的示意动作执行装置动作的系统和方法 - Google Patents

基于所检测到的示意动作执行装置动作的系统和方法 Download PDF

Info

Publication number
CN105308538A
CN105308538A CN201480033125.2A CN201480033125A CN105308538A CN 105308538 A CN105308538 A CN 105308538A CN 201480033125 A CN201480033125 A CN 201480033125A CN 105308538 A CN105308538 A CN 105308538A
Authority
CN
China
Prior art keywords
dumb show
contactless
dumb
control object
show
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480033125.2A
Other languages
English (en)
Other versions
CN105308538B (zh
Inventor
S·K·古普塔
V·W·基廷
E·R·希尔德雷思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105308538A publication Critical patent/CN105308538A/zh
Application granted granted Critical
Publication of CN105308538B publication Critical patent/CN105308538B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Abstract

本发明提供用于基于所检测到的示意动作执行动作的系统和方法。本文中所提供的所述系统和方法可检测初始无接触示意动作的方向且基于所述初始无接触示意动作的所述方向处理后续无接触示意动作。所述系统和方法可基于所述所检测到的方向转换与用户装置相关的坐标系和示意动作库以使得可基于所述所检测到的方向处理后续无接触示意动作。所述系统和方法可允许用户不依赖于装置的定向而在所述装置上方作出无接触示意动作以与所述装置互动，这是因为所述初始示意动作的所述方向可针对后续示意动作检测设定所述坐标系或情境。

Description

基于所检测到的示意动作执行装置动作的系统和方法
技术领域
本文中所揭示的实施例大体上涉及用于基于所检测到的示意动作执行装置动作的系统和方法。具体来说，本文中所揭示的实施例可允许用户使用不依赖于装置的定向的示意动作执行动作。
背景技术
电子装置变得愈来愈先进。许多装置现在包含不仅可用于检测关于装置的信息还可用于指示装置执行功能的各种摄像机或其它传感器。举例来说，一些装置现在能够检测和处理示意动作以执行命令。对于基于所检测到的示意动作执行装置动作的经改进的系统和方法，存在需求。
发明内容
根据一些实施例，提供用于执行动作的装置。所述装置包含示意动作检测传感器，所述示意动作检测传感器经配置以检测在装置上方移动的控制对象的移动以及捕获与所检测到的移动相关的信息，并且检测在装置上方执行的无接触示意动作以及捕获与所述无接触示意动作相关的信息。所述装置还包含一或多个处理器，所述一或多个处理器经配置以根据与所检测到的移动相关的所捕获的信息来确定控制对象的运动方向，且基于与无接触示意动作相关的信息所相关的所捕获的信息和经确定的运动方向执行动作。
根据一些实施例，还提供用于执行动作的方法。所述方法包含：检测在装置上方移动的控制对象的运动；确定控制对象的移动方向；检测在装置上方执行的无接触示意动作；和基于所检测到的无接触示意动作和经确定的运动方向执行动作。所提供的方法也可实施为计算机可读媒体上的指令。
根据一些实施例，还提供用于基于所检测到的无接触示意动作执行动作的方法。所述方法包含：检测在装置上方经过的第一个示意动作；确定所检测到的第一个示意动作是否匹配示意动作库中的已知示意动作或所期望的示意动作；当所检测到的第一个示意动作不匹配示意动作库中的已知示意动作或所期望的示意动作时基于所检测到的第一个示意动作的经确定的方向转换与装置相关联的坐标系；以及当确定第二个所检测到的示意动作匹配示意动作库中的已知示意动作或已基于经转换的坐标系转换的所期望的示意动作时基于第二个所检测到的示意动作执行动作。
根据一些实施例，还提供用于执行动作的系统。所述系统包含：用于检测在装置上方移动的控制对象的移动的装置；用于确定控制对象的移动方向的装置；用于检测在装置上方执行的无接触示意动作的装置；用于基于所检测到的无接触示意动作和经确定的移动方向执行动作的装置。
根据一些实施例，进一步提供包含以下各者的方法：检测在装置附近执行的第一个无接触示意动作；基于第一个无接触示意动作确定用于示意动作解译的坐标系；检测在第一个无接触示意动作之后执行的第二个无接触示意动作；以及基于第二个无接触示意动作和经确定的坐标系在装置上执行命令。在一些实施例中，确定坐标系可包含确定坐标系的对准和定向中的至少一者。检测第一个无接触示意动作可包含检测在装置上方的滑动，且其中确定坐标系可包含设定坐标系以便与滑动的方向对准。检测第一个无接触示意动作可包含检测在装置上方的手姿势，且其中确定坐标系可包含设定坐标系以便与所检测到的手姿势的定向对准。相较于在检测第一个无接触示意动作之前定向坐标系，可以不同方式定向经确定的坐标系。检测第一个无接触示意动作可包含检测实质上呈圆形形状或其部分的移动。
所述方法还可包含：检测第三个无接触示意动作，所述第三个无接触示意动作为用于复位坐标系的示意动作；检测第四个无接触示意动作；和基于第四个无接触示意动作确定用于示意动作解译的坐标系。检测第四个无接触示意动作可包含检测在装置上方的滑动和在装置上方的手姿势中的至少一者，且其中确定坐标系可包含设定坐标系以便与滑动的方向和手姿势的定向中的至少一者对准。检测第三个无接触示意动作可包含在检测第一个无接触示意动作之前检测第三个无接触示意动作。
附图说明
图1为根据一些实施例的说明处理装置100的图式。
图2为根据一些实施例的说明使用无接触示意动作与计算装置互动的实例的图式。
图3A和3B为根据一些实施例的说明转换与装置相关联的坐标系的图式。
图4A和4B为根据一些实施例的说明基于经转换的坐标系处理所检测到的示意动作的实例的图式。
图5为根据一些实施例的说明呈许多定向的相同示意动作的图式。
图6A和6B为根据一些实施例的说明执行一示意动作以复位坐标系的实例的图式。
图7A和7B为根据一些实施例的说明基于经转换的坐标系显示文本的实例的图式。
图8为根据一些实施例的说明用于基于经确定的方向执行动作的过程的流程图。
图9为根据一些实施例的说明用于基于经确定的坐标系执行动作的过程的流程图。
图10为根据一些实施例的说明用于基于所检测到的无接触示意动作执行动作的过程的流程图。
在图示中，具有相同名称的元件具有相同的或相似的功能。
具体实施方式
在以下描述中，阐述描述某些实施例的具体细节。然而，对于所属领域的技术人员将显而易见的是，所揭示的实施例可以在没有这些具体细节中的一些或全部的情况下实践。所呈现的具体实施例意图为说明性的而非限制性的。所属领域的技术人员可以认识到其它材料尽管未具体描述于本文中，但其处于本发明范围和精神内。
示意动作可在(例如)免提或无需眼睛的情形下适用。在此类情形下，用户可以不直接注视装置或甚至手拿装置，且使用示意动作代替实际上注视装置或拿起装置。此外，由于用户可能不在注视装置或手拿装置，因此用户可能不知道装置所处的定向，并且，如果示意动作为方向依赖性的，例如，从左到右的滑动，那么如果不知道定向就可能难以完成所述示意动作，这是因为装置可能识别不出用户认为是从左到右走向但归因于装置的定向实际上为自上而下走向的示意动作。因此，对于能够基于不依赖于装置的定向的示意动作执行装置动作的系统和方法，存在需求。
图1为根据一些实施例的说明处理装置100的图式。处理装置100可为：移动装置，例如智能手机(例如iPhoneTM)；或运行iOSTM操作系统、AndroidTM操作系统、BlackBerryTM操作系统、Phone操作系统、SymbianTMOS或webOSTM的其它移动装置；或不实施操作系统的移动装置。处理装置100还可为例如iPadTM的平板计算机或运行前述操作系统中的一者的其它平板计算机。处理装置100也可以是PC或膝上型计算机或上网本、机顶盒(STB)(例如由电缆或卫星内容提供商提供)，或视频游戏系统控制台(例如WiiTM、Xbox360TM或PlayStationTM3)或其它视频游戏系统控制台。处理装置100可为头戴式显示器(HMD)或其它可穿戴式计算装置。在一些实施例中，处理装置100在汽车中实施，例如在汽车的娱乐中心或控制台中，或包含或实施于医疗装置中。根据一些实施例，处理装置100可使用经配置以用于检测示意动作和部分地基于所检测到的示意动作执行动作的硬件和/或软件的任何适当的组合来实施。具体来说，处理装置100可包含硬件和/或软件的任何适当的组合，所述硬件和/或软件的任何适当的组合具有一或多个处理器，且能够读取储存在非暂时性机器可读媒体上的以由一或多个处理器执行的指令以检测示意动作和部分地基于所检测到的示意动作执行动作。机器可读媒体的一些常见形式包含(例如)软盘(floppydisk)、软磁盘(flexibledisk)、硬盘、磁带、任何其它磁性媒体、CD-ROM、任何其它光学媒体、穿孔卡片、纸带、具有孔洞图案的任何其它物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒带，和/或一或多个处理器或计算机被调适成从其读取的任何其它媒体。
处理装置100可包含经配置以用于与网络通信的网络接口组件102。根据一些实施例，网络接口组件102可经配置以与同轴电缆、光纤电缆、数字用户线(DSL)调制解调器、公共电话交换网(PSTN)调制解调器、以太网装置，和/或各种其它类型的有线网络通信装置连接。网络接口组件102还可包含一或多个无线收发器，其中每一个无线收发器可包含天线，所述天线为可分离的或一体的并且能够根据不同的无线联网协议(例如Wi-FiTM、3G、4G、HSDPA、LTE、RF、NFC)传递和接收信息。根据一些实施例，处理装置100包含用于互连处理装置100内的各种组件并且在所述各种组件之间传达信息的系统总线104。在一些实施例中，总线104在片上系统(SoC)中实施并且连接一或多个处理器的芯片和/或核心上的各种元件或组件。组件可包含处理组件106，处理组件106可为一或多个处理器、中央处理单元(CPU)、图像信号处理器(ISP)、微控制器、或数字信号处理器(DSP)、图形处理单元(GPU)，以及音频信号处理器，所述音频信号处理器可包含模拟和/或数字音频信号处理器。组件还可以包含：系统存储器组件108，其可以对应于随机存取存储器(RAM)；内部存储器组件110，其可以对应于只读存储器(ROM)；和外部或静态存储器112，其可以对应于光学、磁性或固态存储器。根据一些实施例，处理装置100还可以包含用于向用户显示信息的显示组件114。显示组件114可为液晶显示(LCD)屏幕、有机发光二极管(OLED)屏幕(包含有源矩阵AMOLED屏幕)、LED屏幕、等离子显示器，或阴极射线管(CRT)显示器。显示组件114可与处理装置100整合，或可与处理装置100分离并且耦合到处理装置100。处理装置100还可包含允许用户输入信息并且顺着显示组件114导航的输入及导航控制组件116。输入以及导航控制组件116可包含(例如)键盘或小键盘(不管是物理还是虚拟)、鼠标、跟踪球、或其它此类装置、或触摸感测屏幕(例如基于电容式传感器的触摸屏、具有贯穿其边缘或沿着其边缘分散以检测附近对象的光电检测器的屏幕，和/或具有超声波感测能力的屏幕)。
根据一些实施例，处理装置100可包含比图1中所展示的组件更多或更少的组件。举例来说，处理装置100可包含系统存储器组件108、内部存储器组件110和外部存储器组件112中的任何一个或两个。此外，图1中展示的组件可直接耦合到图1中的一或多个其它组件，从而消除对于系统总线104的需求。一般来说，图1中所展示的组件作为能够执行本文中所揭示实施例的处理装置100中的组件的实例展示。然而，处理装置100可具有更多或更少的组件并且仍然能够执行本文中所揭示的一些实施例。
处理装置100还可包含捕获与装置100和/或其环境相关联的数据的其它传感器118。传感器118可包含(但不限于)麦克风或音频传感器、摄像机、光传感器、近程传感器、压力传感器、磁力计，等等。传感器118可个别地或以组合(例如传感器阵列或任何其它组合)使用。传感器118可能够相互依赖地或彼此独立地操作。
传感器118还可包含惯性传感器，例如加速计和/或陀螺仪。加速计可检测处理装置100的加速度，且陀螺仪可检测装置100的定向。根据一些实施例，由加速计检测到的加速度可指示处理装置100的移动或运动和/或处理装置100的定向的改变。举例来说，检测到的加速度可指示用户拿起或移动处理装置100。相似地，由陀螺仪检测到的装置100的定向的改变也可指示用户拿起或移动处理装置100。在一些实施例中，传感器118可检测关于装置100的信息且将所述信息发送到处理组件106以根据存储于存储器108-112中的任一者中的指令处理信息。基于所提供的信息，处理组件106可确定装置是否在或已在运动中，是否已被移动，或是否处于不同定向。
处理装置100还可包含示意动作检测传感器122。示意动作检测传感器122可以是能够检测由用户作出的示意动作的任何传感器。根据一些实施例，示意动作检测传感器122可以是摄像机、超声波换能器、导光柱阴影检测器、微机电系统(MEMS)装置、红外传感器、一或多个光学近场传感器和/或经配置以用于计算成像的传感器、和/或环境光传感器，或经配置以检测示意动作的其它传感器。在一些实施例中，示意动作可以是可以通过示意动作检测传感器122检测到的无接触示意动作或互动，其中由用户作出的示意动作可以在用户不必触摸示意动作检测传感器122的情况下被检测到。无接触示意动作的实例可包含：手覆盖示意动作，其中用户的手覆盖示意动作检测传感器122；或“滑动”示意动作，其中手接近示意动作检测传感器122经过示意动作检测传感器122上方。在一些实施例中，“在示意动作检测传感器122上方”可以指在示意动作检测传感器122的检测范围内经过的手或控制对象或其它对象。也就是说，手或其它对象如果在可由示意动作检测传感器122检测到的区域中移动(例如，在一些实施例中，不管示意动作是如装置的屏幕一样在装置的相同一侧还是相对于地球表面在装置上方垂直地隔开)，那么其可被视为经过示意动作检测传感器122上方。
也可由控制对象代替用户的手作出无接触示意动作。在一些实施例中，示意动作检测传感器122可包含对超声波频率敏感的麦克风。示意动作检测传感器122还可包含发出用于追踪控制对象位置的超声波的超声波换能器，其中可以通过监测控制对象随时间推移的位置而确定无接触示意动作。对于使用摄像机以检测示意动作的实施例，摄像机可以是可见光摄像机或深度感测摄像机，例如XboxTMKinectTM摄像机。摄像机还可经配置以检测红外(IR)光或紫外(UV)光。示意动作检测传感器122也可以是立体摄像机、飞行时间(ToF)摄像机或能够检测由用户作出的示意动作的其它摄像机。在一些实施例中，示意动作检测传感器122还可以是WiiTMWiiMoteTM或PlayStationTMMoveTM。在一些实施例中，示意动作检测传感器122可包含一或多个示意动作检测传感器(例如上文所描述)，其组合地工作以检测由用户作出的示意动作。
在一些实施例中，示意动作检测过程可由处理组件106基于存储于存储器108-112中的指令与示意动作检测传感器122组合地工作来实施。示意动作检测过程可通过处理由示意动作检测传感器122所捕获的一系列图像或其它信息以检测图像统计的突然改变来检测示意动作。尽管本文中所揭示的实施例被描述为由处理组件106基于包含于存储器108-122中的任一者中的指令来执行，但在一些实施例中，示意动作检测传感器122可包含存储器和可能够处理通过示意动作检测传感器122捕获的图像的一或多个处理器。
在操作中，处理组件106可针对每一所捕获的图像计算图像统计。图像统计可为直方图、平均亮度、亮度差异，等等。处理组件106可接着将目前图像统计与先前图像统计比较，其中先前图像统计可被计算为紧接在目前所捕获图像前获得的一组一或多个捕获的图像的图像统计的组合。在一些实施例中，处理组件106可通过计算绝对差值、一组统计中的每一者的绝对差异的总和，或直方图每一区间的绝对差异的总和来比较图像统计，以上结果可与临限值进行比较以排除由环境光或装置运动引起的差值。大于临限值的差值可归类为图像统计中的突然变化，其指示遮挡示意动作检测传感器122的示意动作。这只是单使用示意动作检测传感器122一个或与处理组件106组合来检测示意动作的一种方法。在一些实施例中，示意动作检测传感器122可以是超声波示意动作检测传感器，其中超声波从处理装置100发出以追踪控制对象的位置，且可监测控制对象随时间推移的位置以检测示意动作。
处理装置100还可包含近程传感器124。近程传感器124可经配置以在对象与装置100接近时检测。根据一些实施例，对象可以是可对应于用户的手的控制对象、由用户握着的触笔，或用户可使其在装置100上方经过(例如)以使得其可由示意动作检测传感器122检测到的其它装置。此外，近程传感器124可经配置以在对象距装置100约20至50cm时检测。根据一些实施例，近程传感器124可为一或多个超声波近程传感器。近程传感器124还可包含一或多个热传感器，例如在对象与装置接近时检测由对象所产生的热的红外热传感器。近程传感器124还可包含一或多个电场近程传感器，所述一或多个电场近程传感器在对象进入由传感器上的或与传感器以其它方式相关联的电极产生的电场时可检测传导或部分传导对象的存在。近程传感器124还可包含环境光传感器，所述环境光传感器可通过对象遮挡光而引起环境光减少来检测所述对象的存在。
近程传感器124和示意动作检测传感器122在图1中作为处理装置100的独立组件展示。然而，单个组件可能够检测近程和示意动作。在一些实施例中，近程传感器124可作为示意动作检测传感器122的组件整合在示意动作检测传感器122中。也就是说，能够检测示意动作的相同装置也可能够检测近程。相似地，示意动作检测传感器122可作为近程传感器124的组件整合在近程传感器124中以使得能够检测近程的相同装置也可能够检测示意动作。
根据一些实施例，示意动作检测传感器122可处于不作用中直到处理组件106产生提示或警示为止，响应于所述提示或警示可使用一示意动作执行动作。或者，示意动作检测传感器122可处于不作用中直到近程传感器124检测到与装置100接近的对象为止。在一些实施例中，对象可以是控制对象，例如用户的手。此外，示意动作检测传感器122可经配置以捕获数据(包含图像数据)帧，所述数据帧可由处理组件106分析以得出示意动作的存在、不存在以及方向。在一些实施例中，示意动作检测传感器122可经配置以每秒捕获预定数目的帧，所述每秒预定数目的帧可以基于例如所需的检测准确性和电力节约的因素而增加或减少。举例来说，每秒捕获较多帧可以提供较大的准确性，同时较快速地消耗电力；而每秒捕获较少帧可以提供较少的准确性，但将较慢地消耗电力。此外，处理组件106可经配置而以可变速率分析帧，所述可变速率可增加以便以电力为代价提高准确性，但也可降低以便以准确性为代价提高电力节约。在一些实施例中，处理组件106可经配置以在每八帧中的一帧中寻找示意动作以节约电力，但此速率可以增加或降低以提高准确性或电力节约。此外，帧可以存储于示意动作检测传感器122中的缓冲器中或存储器108-112中的任一者中，并且可以出于示意动作检测的较大准确性而视需要存取。也就是说，如果处理组件106经配置以分析仅每八帧中的一帧，那么其它七帧可以存储于缓冲器或存储器中且由处理组件106出于确定示意动作的存在和方向的较大准确性或出于分辨可能的或部分所检测到的示意动作而存取。
根据一些实施例，示意动作检测传感器122可经配置以检测由用户作出的示意动作以执行动作或执行与示意动作相关联的命令。举例来说，用户可执行无接触示意动作，所述无接触示意动作由示意动作检测传感器122检测到且由处理组件106将其与示意动作表中的已知无接触示意动作或所期望的无接触示意动作比较以将动作或命令与所检测到的无接触示意动作匹配。在一些实施例中，示意动作表可包含已知示意动作和与示意动作对应的命令或动作。示意动作表中已知示意动作可以由应用开发者、装置制造商、用户定义，或其可以由操作系统定义。在一些实施例中，所期望的示意动作为处理组件106期望检测到的示意动作。举例来说，如果处理组件106产生需要用户输入以执行动作的提示，那么处理组件106可定义在经识别出时将引起动作被执行的某一示意动作。一个实例可为需要用户在装置100上方作出从一侧到另一侧的无接触示意动作的警示。处理组件106可期望执行所述示意动作以便执行动作，并且如果不执行所述示意动作，那么处理组件106可不采取任何动作。
图2为根据一些实施例的说明使用无接触示意动作与计算装置互动的实例的图式。如图2中所展示，示意动作检测传感器122可经配置以检测由在装置100和/或示意动作检测传感器122上方经过的控制对象202作出的无接触示意动作。如上文所描述，在一些实施例中，在装置100和示意动作检测传感器122上方可以指在示意动作检测传感器122的检测范围内而不论装置、传感器和/或控制对象的定向如何。举例来说，在一些实施例中，在装置100上方可为相对于地球表面在装置100相反侧面上而无论装置定向如何。在一些此类实施例中，如果装置可(例如)使用超声波或后向摄像机检测此无接触示意动作，那么用户可在装置上方执行无接触示意动作，即使装置的屏幕面向下也可以(例如，当屏幕在桌子或台子上向下时，这样使得示意动作距装置的背面比屏幕更接近)。在一些实施例中，在装置100上方可以是大致地平行于装置100的一平面。在一些实施例中，由控制对象202作出的示意动作可为响应于由处理组件106产生的显示在显示组件114上的警示或提示204而作出的移动或示意动作。此外，在一些实施例中，警示或提示204可提供所期望的示意动作的方向206，所述方向可用于执行与警示或提示204相关联的动作。举例来说，如图2中所展示，期望用户在方向206上滑动滑条205以解除警示或提示204。此外，处理组件可经配置以将在方向206上的从左到右的滑动无接触示意动作识别为实际上在方向206上滑动滑条205以解除警示或提示204。
计算装置100可定义对应于装置100的长度和宽度的笛卡尔(Cartesian)坐标系208。在一些实施例中，处理组件106可经配置以将由示意动作检测传感器122所检测到的无接触示意动作与存储于存储器108-112中的示意动作表中的多个预定义的已知无接触示意动作或所期望的无接触示意动作比较以试图找出匹配所检测到的无接触示意动作的已知无接触示意动作以便促进识别所检测到的无接触示意动作。在一些实施例中，示意动作表中的预定义的已知无接触示意动作和所期望的无接触示意动作相对于坐标系208定义。在一些实施例中，示意动作表中的预定义的已知无接触示意动作和/或所期望的无接触示意动作为二维示意动作，以使得示意动作检测传感器捕获关于控制对象在平行于装置100的平面中的二维移动的信息。
如图2中所展示，由处理组件106产生的警示或提示204可提示或请求用户的某一操作或行为，例如在方向206上滑动滑条205以解除提示。在一些实施例中，示意动作检测传感器122可经配置以检测无接触示意动作，并且处理组件106可经配置以将所检测到的无接触示意动作与可用于与警示或提示204互动的已知的或所期望的无接触示意动作比较。举例来说，由示意动作检测传感器122所检测到的并由处理组件106确定为大致地对应于与警示或提示204互动所要求的移动的无接触示意动作可用于与警示或提示204互动。如果示意动作检测传感器122检测到控制对象202在方向210上的无接触示意动作，那么处理组件106可确定在方向210上的无接触示意动作大致地对应于用于与警示或提示204互动的已知的或所期望的无接触示意动作，以使得可解除警示或提示204。
然而，在一些情形中，计算装置100可以用户未知的和/或可能相对于用户歪斜的定向放置在表面(例如桌子或台子)上。由于计算装置100的定向可定义坐标系208，针对此处理组件106尝试将经执行的无接触示意动作匹配示意动作表中的已知无接触示意动作或(例如)所期望的无接触示意动作，因此(例如)归因于装置的定向或未检查装置100以首先确定定向且接着执行无接触示意动作以匹配由定向经确定的坐标系208，用户可能难以成功地执行无接触示意动作。
举例来说，如图3A中所展示，控制对象202可按方向302在计算装置100上方经过。示意动作检测传感器122可感测在方向302上的移动，且处理组件106可确定控制对象202的方向302并且确定所述移动或示意动作是否对应于示意动作表中的已知无接触示意动作或所期望的无接触示意动作。在一些实施例中，处理组件106可基于从初始示意动作点(xi，yi)到最终示意动作点(xf，yf)的路径确定由控制对象202作出的无接触示意动作的方向。在一些实施例中，可通过检测由示意动作检测传感器122所捕获的一系列连续图像中的运动以(例如)确定指示示意动作方向的从初始示意动作点(xi，yi)到最终示意动作点(xf，yf)的路径来确定由控制对象202作出的无接触示意动作的方向302。处理组件106可将每一所捕获的图像划分成一组子区域，且针对每一子区域计算区域统计以形成一组区域统计。在一些实施例中，子区域可包含图像列、图像排，或图像网格片段。区域统计可为类似于图像统计的直方图、平均亮度、亮度差异，等等。在一些实施例中，处理组件106确定引起统计中的最小差值的位移。对于一组位移中的每一位移，绝对差值的总和可在目前图像区域的图像统计与先前图像经位移区域的对应的统计之间计算，且选择绝对差值最小的位移。接着可基于选定的位移计算方向和速度。在一些实施例中，处理组件106可检测区域统计中的突然改变，且将每一区域的突然改变的时间进行比较以确定方向和速度。这只是单使用示意动作检测传感器122一个或与处理组件106组合来检测示意动作的方向的一个方法。在一些实施例中，示意动作检测传感器122可为超声波示意动作检测传感器，其中超声波从处理装置100发出以追踪控制对象的位置，且可监测控制对象随时间推移的位置以检测示意动作的方向。
除上文所描述的过程以外，可通过其它方法确定由控制对象202作出的无接触示意动作的方向302。举例来说，处理组件106可预期在某一方向上的示意动作(例如正确的滑动)以解除警示或提示204，并且可假定所检测到的无接触示意动作的方向大体上在所期望的方向上执行。因此，无论检测到无接触示意动作在哪一方向上，装置可假定所检测到的示意动作作为相对于用户的正确滑动来执行。可以任何数量的方式设定或配置所假定的方向。举例来说，可预设所述所假定的方向，用户设定，或可取决于作用中的应用程序。在一些实施例中，所检测到的滑动可用于在(例如)水平输入与垂直输入之间进行区别，且可能确定不了滑动是向左滑动还是向右滑动。在一些实施例中，控制对象202的特征可由处理组件106处理以确定控制对象202的定向并且所述定向可用于确定方向302。举例来说，图像或超声波数据可用于确定控制对象是否是手或可用于确定手的定向(例如，通过将手与模型匹配，确定手的骨架，和/或检测与手掌相关的手指)。
返回到图3A，经确定的方向302可能不匹配用于解除警示或提示204所要求的方向206，并且处理组件106因此可能不会将由控制对象202在方向302上作出的移动识别为对应于用于解除警示或提示204的所期望的无接触示意动作的无接触示意动作或示意动作表中对应于解除的已知无接触示意动作。在一些实施例中，由控制对象202在方向302上作出的移动可由处理组件106识别为对应于示意动作表中的不同的已知无接触示意动作，并且可根据匹配的已知无接触示意动作执行动作。然而，如果已执行的动作未解除警示或提示204，那么用户必须作出另一示意动作以试图解除警示或提示204，并且可能甚至必须在一些系统中取消已执行的动作。
然而，根据本文中的一些实施例，处理组件106可基于从初始示意动作点(xi，yi)到最终示意动作点(xf，yf)的路径确定由控制对象202作出的移动的方向302，并且可基于方向302将坐标系208转换到x'、y'的新的笛卡尔坐标系。如图3B中所展示，x'、y'的新的笛卡尔坐标系304已按和坐标系208的x轴呈一方位角φ基于方向302从坐标系208转换。依据本文中的实施例，在一些实施例中可执行直线式、旋转式，和/或其它转换。处理组件106可接着转换示意动作表中的预定义的已知无接触示意动作或待相对于新坐标系304定义的所期望的无接触示意动作。
在一些实施例中，处理组件106可经配置以基于应用程序的设定或装置100的操作系统中的设定将坐标系208转换到坐标系304。举例来说，执行时引起处理组件产生警示或提示204的应用程序或软件可具有基于首先所检测到的示意动作或不匹配所期望的示意动作或存储于示意动作查找表中的示意动作的所检测到的示意动作而将坐标系208转换到坐标系304的设定或特征。在一些实施例中，警示或提示204可允许坐标系转换，而其它警示、提示或显示在显示组件114上的其它内容不允许坐标系转换。在一些实施例中，可能是在不同方向上的手姿势或控制对象202的移动的初始示意动作可以是解释为起动或允许坐标系转换的示意动作。此外，如果控制对象202是手，那么当检测到控制对象202的移动时，可检测到某一手姿势，并且手姿势可关联为用于基于移动的方向302起动坐标系转换的命令。
在坐标系208已转换到坐标系304之后，由用户作出的一或多个后续无接触示意动作可接着由处理组件106将其与已知无接触示意动作或根据新坐标系304定义的所期望的无接触示意动作匹配。处理组件106可经配置以产生处理组件正在于新坐标系304中处理示意动作的指示或表示以由显示组件114显示。在一些实施例中，处理组件106可通过与示意动作库中已知无接触示意动作或转换到新坐标系304的所期望的无接触示意动作匹配而继续处理后续无接触示意动作，直到符合复位条件为止。转换坐标系和/或所检测到的后续示意动作可包括对坐标系执行上文所描述的转换中的任一者，对随后所检测到的示意动作执行任何此类转换，使用已知大致地具有此旋转或定向的一组示意动作，和/或转换一组模型。举例来说，可如上文所描述转换坐标系。作为另一实例，同样可使用方向302将所检测到的示意动作转换到原始或默认坐标系。此外，在一些实施例中，可存在基于方向302匹配的示意动作的不同集合。在一些实施例中，查找表可用于基于方向302选择不同示意动作在不同角度/方向将看起来如何。在一些实施例中，可旋转或以其它方式调节用于识别示意动作的模型或可基于方向302使用不同模型。在使用如本文中所描述的直方图的实施例中，可基于方向302辨识不同图案或可转换所述图案。“转换”坐标系和/或根据经转换的坐标系检测示意动作的本文中所描述的途径不是穷尽性的，且可使用或实践其它途径。
复位条件可以是当符合其时通过将新坐标系304转化回到原始坐标系208而将经转换的坐标系复位回到原始坐标系的条件。复位条件可包含示意动作检测传感器122不在预定时间t内检测第二或后续示意动作和/或在时间t或另一预定时间内检测移动或不对应于经识别的或所期望的示意动作的示意动作。复位条件可包含传感器118检测到可指示装置100的定向改变或用户拿起装置100的装置100的移动。复位条件可包含用户通过按压装置100上的按钮或改变装置100中的设定而手动地将新坐标系304转换到原始坐标系208。在一些实施例中，复位条件包含具体的示意动作或一组示意动作，例如进一步在图6A和6B中所描述。在一些实施例中，复位条件或复位示意动作可将新坐标系304转换到不同的坐标系。举例来说，坐标系208可以不是装置100的“普通”坐标系，并且复位条件或示意动作可将新的坐标系304转换到装置100的“普通”坐标系。在一些实施例中，某些条件或示意动作可用于设定不同的坐标系，这类似于检测由控制对象202作出的初始示意动作如何将坐标系208设定到坐标系304。
尽管图3A和3B已描述为基于经转换的坐标系解释示意动作，但在一些实施例中无需必然转换坐标系以便通过作出可能不匹配所期望的示意动作的方向的示意动作而执行动作。举例来说，存储于存储器108-112中的任一者中的示意动作查找表可具有对应于以许多定向作出的示意动作的示意动作，其中相同示意动作的每一定向可与相同动作或命令相关。下文在图5中进一步描述。或者，处理组件106可使用一或多个模型以匹配或检测示意动作并且将所检测到的示意动作与命令或动作相关联。接着可基于经确定的方向转换这些一或多个模型。
图4A和4B为根据一些实施例的说明基于经转换的坐标系处理所检测到的示意动作的实例的图式。如图4A中所展示，处理组件106可产生提示或警示204，其中用户可通过在方向206上滑动滑条205来解除提示或警示204。此外，用户可通过在对应于坐标系208的方向206上作出滑动的无接触示意动作而解除提示或警示204。用户可能不知道装置100的定向，或可相对于装置100定位以使得其难以在方向206上作出无接触示意动作。因此，用户可在方向404上将控制对象402经过装置100上方。在一些实施例中，控制对象402可对应于用户的手，在运动中的触笔、笔或其它对象可由示意动作检测传感器122检测到且可由处理组件106识别为示意动作。示意动作检测传感器122可检测到装置100上方的在方向404上的控制对象402的移动，并且处理组件106接着可确定装置上方的在方向404上的控制对象402的移动是否对应于已知无接触示意动作或所期望的无接触示意动作。
在一些实施例中，处理组件106可期望在方向206上的无接触示意动作解除提示或警示204。在一些实施例中，在方向206上的无接触滑动示意动作可以是对应于执行解除命令的已知无接触示意动作。然而，装置100上方在方向404上的控制对象402的移动可由示意动作检测传感器122检测到并且可与在方向206上的所期望的无接触示意动作或示意动作表中在方向206上的已知无接触滑动示意动作比较。由于所检测到的装置100上方的在方向404上的控制对象402的移动可能不匹配在方向206上的所期望的无接触示意动作或示意动作表中在方向206上的已知无接触滑动示意动作，因此处理组件106可能检测不到匹配，并且用户可能不会成功地解除警示或提示204。
然而，如图4B中所展示，处理组件106可基于所检测到的方向404将坐标系208转换到经转换的坐标系406。控制对象402在方向404上的后续移动接着可由示意动作检测传感器122检测，并且由处理组件106将其与在方向206上的所期望的无接触示意动作或示意动作表中在方向206上的已知无接触滑动示意动作比较，所述示意动作表已基于方向404被转换到新的坐标系406。因此，可由处理组件106将控制对象402在方向404上的移动与在方向206上的所期望的无接触示意动作或经转换的示意动作表中的在方向206上的已知无接触滑动示意动作匹配以执行动作，例如解除提示或警示204。此在图4B中说明，其中处理组件106将由示意动作检测传感器122所检测到的控制对象402的移动与在方向206上的所期望的无接触示意动作或经转换的示意动作表中的在方向206上的已知无接触滑动示意动作匹配以滑动滑条205，并且警示提示提示204其后可被解除。
尽管图4A和4B说明一实例，其中未由处理组件106将控制对象402在方向404上的初始移动与在方向206上的所期望的无接触示意动作或示意动作表中在方向206上的已知无接触滑动示意动作匹配，并且处理组件106随后将坐标系208转换到坐标系406以供后续示意动作检测，但在一些实施例中，用户可有意地在装置100上方按特定方向移动控制对象以设定坐标系以供后续后续检测。举例来说，如果用户不了解装置100的定向，那么用户可在方向404上作出首次有意的移动以基于方向404将用于一或多个后续示意动作的坐标系208转换到坐标系406。如果用户正在驾驶并且想要在无须确定装置的定向情况下对装置100执行动作，那么此操作可为适用的。或者，如果用户的装置100处于紧挨着其床的床头柜上，并且用户试图解除由装置100产生的告警或呼叫应答并且启动扬声器模式。用户可使用控制对象作出首次运动以设定坐标系，并且接着可根据用户通过首次运动设定的坐标系处理一或多个后续示意动作。
在一些实施例中，方向404可通过控制对象402的姿势确定。举例来说，如果控制对象402是手(例如图4A和4B中所展示)，那么用户可在示意动作检测传感器122上方摆出手402的姿势以使得示意动作检测传感器122能够检测手402的定向。由于手是在预定布置中具有显著特征的对象，例如手指、拇指和手掌，因此处理组件106可能够基于所检测到的姿势确定手402的定向。处理组件106接着可能够基于经确定的手402的定向将坐标系208转换到坐标系406。尽管已经出于说明的目的描述了手402，但可针对具有可辩别的特征的任何控制对象402来确定控制对象402的定向，所述可辩别的特征可允许基于所检测到的姿势来确定控制对象402的定向。
图5为根据一些实施例的说明呈许多定向的相同示意动作的图式。如图5中所展示，装置100的示意动作检测传感器122可能够检测用户的手502的示意动作或姿势并且将所检测到的示意动作或姿势与命令或动作关联。在一些实施例中，存储于存储器108-112中的任一者中的示意动作查找表可能够将呈许多定向的相同示意动作与相同命令或动作关联。举例来说，如图5中所展示，手502正在作出一示意动作，例如指向示意动作。同样如图5中所展示，手502可按(a)-(g)中所展示的多个定向来定向。根据一些实施例，处理组件106可经配置以将指向示意动作解释为相同命令或动作而不管所述指向示意动作定向如何。举例来说，指向示意动作可与用于执行从左到右滑动以解除警示或提示204的命令或动作关联。因此，装置的用户可能够通过作出指向示意动作而解除警示或提示204。
在一些实施例中，如果用户不知道装置100的定向，那么处理组件106可能够将呈多个定向(例如定向(a)-(g))的相同示意动作与用于执行从左到右滑动以解除警示或提示204的命令或动作关联。在一些实施例中，存储于存储器108-112中的任一者中的示意动作查找表可具有其中呈不同定向(例如定向(a)-(g))的相同示意动作均解释为相同动作或命令(例如执行从左到右的滑动以解除警示或提示204)的表。在其它实施例中，处理组件106可能够基于由示意动作检测传感器122所检测到的手502的特征(例如伸展的食指)确定手502的姿势，并且可以将所检测到的姿势关联为执行从左到右的滑动以解除警示或提示204的动作或命令而不依赖于所述所检测到的姿势的定向。在其它实施例中，处理组件106可能够基于根据所检测到的手502的特征确定的手502的定向来执行转换，并且对示意动作查找表执行转换，例如先前所描述。此外，在一些实施例中，处理组件106可能够基于根据所检测到的手的特征确定的手502的定向来确定运动方向。在一些实施例中，处理组件可将初始或所检测到的示意动作与示意动作5(a)-5(g)中的每一者进行比较，并且基于示意动作5(a)-5(g)中的哪些示意动作(如果存在的话)匹配初始的或所检测到的示意动作来设定或转换用于后续示意动作的坐标系。
图6A和6B为根据一些实施例的说明执行一示意动作以复位坐标系的实例的图式。如上文所描述，可检测复位条件以将经转换的坐标系复位为原始坐标系，所述原始坐标系可以是与装置100的尺寸对准的坐标系。在一些实施例中，存储器108-112可包含示意动作查找表，所述示意动作查找表包含用于将坐标系复位为与装置100的尺寸对准的原始坐标系或“普通”坐标系的示意动作或姿势。在一些实施例中，示意动作可为实质上圆形示意动作或其部分，例如图6A中所展示，其中控制对象402(其可以是手)在实质上圆形的方向或其部分上移动。然而，可指派任何示意动作或姿势以复位示意动作查找表中的坐标系。如图6B中所展示，已将用于检测示意动作和/或姿势的坐标系复位为原始坐标系208。在一些实施例中，此圆形示意动作或其部分可用于将坐标系“转弯”到另一定向。在一些实施例中，此“转弯”可在检测到圆形示意动作或其部分的任何时间发生。在其它实施例中，此“转弯”可仅在已检测到复位示意动作后检测到圆形示意动作或其部分时出现。
用户也可能够出于其它目的通过所检测到的示意动作的方向设定坐标系。举例来说，用户可作出首次移动以设定坐标系以供显示文本。图7A和7B为根据一些实施例的说明基于经转换的坐标系显示文本的实例的图式。如图7A中所展示，装置100可在显示组件114上按坐标系208确定的方向显示通知、警示或消息，例如电子邮件消息702。如果装置100与用户所呈的定向使得用户难以识别或阅读消息702，那么用户可使用控制对象704在方向706上作出运动。示意动作检测传感器122可检测运动，并且处理组件106可确定运动的方向且基于方向706转换坐标系208。如图7B中所展示，处理组件106已基于方向706将坐标系208转换到新的坐标系708。用户接着可使用控制对象704在方向706上作出运动以在显示组件114上按新坐标系708经确定的方向显示内容，所述运动可由示意动作检测传感器122检测到且可匹配已知无接触示意动作。消息702可接着在显示组件114上按新坐标系708经确定的方向显示。尽管图7A和7B说明基于所检测到的在装置100上方的控制对象704的运动方向在经转换的坐标系中显示消息文本，但视频、图形和其它特征也可在经转换的坐标系中显示。此外，可呈现三维内容或全息内容以便基于方向706相对于装置100的用户适当地定向。
在一些实施例中，装置可首先提供已接收消息的视觉、触觉或音频指示。所述指示可以是旋律、哔哔声、振动、闪烁的光或屏幕，及其类似者。在一些实施例中，消息702可仅在示意动作检测传感器122检测到手704的运动之后显示。所检测到的运动的方向可接着将坐标系208转换到708，并且后续示意动作可由处理组件关联为将对消息702执行的命令或动作。可在各种实施例中进行的一些命令的实例包含滑动以前往下一个或先前的消息，滑动或移动控制对象以滚动或平移，和/或移动控制对象以将经显示的消息放置到文件夹中或保存或删除所述消息。
图8为根据一些实施例的说明用于基于经确定的方向执行动作的过程的流程图。出于说明的目的，将参考图1、2、3A-3B、4A-4B、5、6A-6B，和7A-7B中的任一者描述图8。图8中展示的过程800可体现在用于由装置100的处理组件106中的一或多个处理器执行的计算机可读指令中。在一些实施例中，过程800可由存储于存储器108-112中的任一者中的装置100的操作系统来实施，并且可由处理组件106执行。在一些实施例中，过程800可实施为操作系统中的后台服务。如图8中所展示，当检测到控制对象在装置上方移动时(802)过程800开始。在一些实施例中，示意动作检测传感器122可检测到控制对象(例如控制对象202或402)在装置100上方按例如方向302或404的方向移动。在一些实施例中，控制对象可对应于用户的手、用户所操纵的触笔，或可能够在一方向上移动的其它对象。如上文所描述，当控制对象沿着一路径移动时，示意动作检测传感器122可捕获表示所述控制对象的数据帧以由处理组件106处理。处理组件106可接着确定控制对象的运动方向(804)。在一些实施例中，处理组件106可分析所捕获的数据帧以基于从初始示意动作点(xi，yi)到最终示意动作点(xf，yf)的路径确定控制对象的方向。在一些实施例中，802和804不能分离，但可包含于单个步骤中，其中根据所检测到的示意动作得知方向。举例来说，使用例如图5中所展示的示意动作检测表，处理组件106可能够基于手502的定向确定坐标系，并且因此可基于所检测到的手姿势确定坐标系。或者，如果直方图用于示意动作检测，那么分析所述直方图能得出已执行示意动作并得出示意动作的方向。
过程800可接着检测在装置上方执行的示意动作(806)。在一些实施例中，可由在装置上方移动的相同控制对象作出示意动作。在一些实施例中，控制对象可对应于用户的手、用户所操纵的触笔，或用户可能够移动以作出示意动作的其它对象。可由示意动作检测传感器122检测示意动作以由处理组件106处理。在一些实施例中，可由不同于检测在装置100上方移动的控制对象的传感器的传感器检测示意动作。举例来说，示意动作检测传感器122可包含可各自独立地检测运动和/或方向的一或多个传感器。此外，近程传感器124可能够检测在装置上方移动的控制对象，并且示意动作检测传感器122可检测在装置上方执行的示意动作。此外，在装置上方的运动和/或所检测到的示意动作中的每一者可由传感器的组合执行。处理组件106可接着基于所检测到的示意动作和经确定的方向执行动作(808)。在一些实施例中，处理组件106可基于经确定的方向将装置100的坐标系208转换到经转换的坐标系，例如坐标系304或408，以使得示意动作库中的已知无接触示意动作或所期望的无接触示意动作转换到经转换的坐标系。处理组件106接着可将所检测到的无接触示意动作与经转换的示意动作库中的经转换的已知无接触示意动作或所期望的经转换的无接触示意动作匹配，并且可基于匹配的经转换的无接触示意动作执行动作。在一些实施例中，处理组件106可基于经转换的坐标系在预定时间段中处理后续无接触示意动作，之后，处理组件106可根据原始坐标系208处理所检测到的示意动作。
在一些实施例中，所检测到的无接触示意动作可以是手姿势，其中所述手姿势对应于在示意动作查找表中定义的具体动作，例如图5中所描述，并且确定坐标系和检测第二个示意动作对于执行动作不必要；可不依赖于手姿势的定向而检测到对应于所检测到的手姿势示意动作的动作。在一些实施例中，处理组件106可基于经转换的坐标系在预定时间段中处理后续无接触示意动作，之后，处理组件106可根据原始坐标系208处理所检测到的示意动作。或者，处理组件106可基于用户的行为或可指示装置100的定向改变的由118的加速计所检测到的装置移动或在最后一个所检测到的示意动作后的超时期满之后返回到在原始坐标系208中处理后续示意动作。
过程800可用于解除提示或警示204，如图2A、2B、3A、3B、4A和4B中所展示且如其中所论述。在一些实施例中，过程800也可用于执行其它动作。举例来说，用户可在装置100上方(802)以特定方向(804)移动控制对象，从而可启动显示页面的应用程序，例如读取器应用程序。接着可检测到与翻转读取器应用程序(808)内的页面的动作相关联的后续所检测到的示意动作(806)。或者，如果用户正在使用音乐应用程序，那么用户可在装置100上方以特定方向(804)移动控制对象(802)以显示专辑、专辑封面或歌曲列表。也可按具体方向显示这些特征。此外，可检测到由用户作出的后续示意动作(806)，所述示意动作可与翻阅专辑，在歌曲之间移动等动作相关联。
图9为根据一些实施例的说明用于基于经确定的坐标系执行动作的过程的流程图。出于说明的目的，将参考图1、2、3A-3B、4A-4B、5、6A-6B，和7A-7B中的任一者描述图9。图9中展示的过程900可体现在用于由装置100的处理组件106中的一或多个处理器执行的计算机可读指令中。在一些实施例中，过程900可由存储于存储器108至112中的任一者中的装置100的操作系统来实施，并且可由处理组件106执行。在一些实施例中，过程900可实施为操作系统中的后台服务。如图9中所展示，当在装置附近检测到第一个无接触示意动作(902)时过程900开始。在一些实施例中，示意动作检测传感器122可检测到控制对象(例如控制对象202或402)在装置100附近以例如方向302或404的方向执行示意动作。在一些实施例中，控制对象可对应于用户的手、用户所操纵的触笔，或可能够在一方向上作出示意动作的其它对象。示意动作可以是手姿势，并且方向可对应于手502的姿势的定向。如上文所描述，示意动作检测传感器122可捕获表示控制对象作出示意动作的数据帧以由处理组件106处理。处理组件106接着可基于所检测到的第一个无接触示意动作确定用于示意动作解译的坐标系(904)。在一些实施例中，可通过根据控制对象的方向确定坐标系的对准和/或定向来确定坐标系。在一些实施例中，处理组件106可分析所捕获的数据帧以基于从初始示意动作点(xi，yi)到最终示意动作点(xf，yf)的路径确定控制对象的方向。在一些实施例中，902和904不能分离，但可包含于单个步骤中，其中根据所检测到的示意动作得知方向。举例来说，使用例如图5中所展示的示意动作检测表，处理组件可能够基于手502的定向确定坐标系，并且因此可基于所检测到的手姿势确定坐标系。或者，如果直方图用于示意动作检测，那么分析所述直方图能得出已执行示意动作并得出示意动作的方向。在902处所检测到的示意动作在不同的实施例中可以是(例如)滑动、手姿势、“L”形状，和箭头或角括号，或其它示意动作。在一些实施例中，可在902处检测到和/或期望具体的示意动作或示意动作的集合。
返回到图9，过程900接着可检测到在装置100附近执行的第二个无接触示意动作(906)。在一些实施例中，可由在装置附近移动的相同控制对象作出示意动作。在一些实施例中，控制对象可对应于用户的手、用户所操纵的触笔，或用户可能够移动以作出示意动作的其它对象。可由示意动作检测传感器122检测示意动作以由处理组件106处理。在一些实施例中，可由不同于在902处检测示意动作的传感器的传感器检测到示意动作。举例来说，示意动作检测传感器122可包含可各自独立地检测运动和/或方向的一或多个传感器。此外，近程传感器124可能够在902处检测示意动作。处理组件106接着可基于所检测到的第二个示意动作和经确定的坐标系执行动作(908)。在一些实施例中，处理组件106可基于经确定的方向将装置100的坐标系208转换到经转换的坐标系，例如坐标系304或408，以使得示意动作库中的已知无接触示意动作或所期望的无接触示意动作转换到经转换的坐标系。处理组件106接着可将所检测到的无接触示意动作与经转换的示意动作库中的经转换的已知无接触示意动作或所期望的经转换的无接触示意动作匹配，并且可基于匹配的经转换的无接触示意动作执行动作。
在一些实施例中，所检测到的无接触示意动作可以是手姿势，其中所述手姿势对应于在示意动作查找表中定义的具体动作，例如图5中所描述，并且确定坐标系和检测第二个示意动作对于执行动作不必要；可不依赖于手姿势的定向而检测到对应于所检测到的手姿势示意动作的动作。在一些实施例中，处理组件106可基于经转换的坐标系在预定时间段中处理后续无接触示意动作，之后，处理组件106可根据原始坐标系208处理所检测到的示意动作。或者，处理组件106可基于用户的行为或可指示装置100的定向改变的由118的加速计所检测到的装置移动或(例如)在最后一个所检测到的示意动作后的超时期满之后返回到在原始坐标系208中处理后续示意动作。
图10为根据一些实施例的说明用于基于所检测到的无接触示意动作执行动作的过程的流程图。出于说明的目的，将参考图1、2、3A-3B、4A-4B、5、6A-6B和7A-7B中的任一者描述图10。图10中展示的过程1000可体现在用于由装置100的处理组件106中的一或多个处理器执行的计算机可读指令中。在一些实施例中，过程1000可由存储于存储器108至112中的任一者中的装置100的操作系统来实施，并且可由处理组件106执行。在一些实施例中，过程1000可实施为操作系统中的后台服务。如图10中所展示，当由示意动作检测传感器122检测到经过装置100上方的第一个示意动作(1002)时过程1000开始。在一些实施例中，可通过用户使用控制对象作出示意动作，所述控制对象可对应于用户的手、用户所操纵的触笔，或用户可能够移动的其它对象。如上文所描述，当控制对象沿着一路径移动时，示意动作检测传感器122可捕获表示所述控制对象的数据帧以由处理组件106处理。处理组件106接着可确定第一个示意动作的方向(1004)。在一些实施例中，处理组件106可分析所捕获的数据帧以基于从初始示意动作点(xi，yi)到最终示意动作点(xf，yf)的路径确定示意动作的方向。
处理组件106接着可试图将所检测到的示意动作与已知无接触示意动作或所期望的无接触示意动作匹配(1006)。在一些实施例中，处理组件可分析由示意动作检测传感器122所捕获的数据帧以确定由用户作出的无接触示意动作，并且接着可试图将所检测到的无接触示意动作与存储于存储器108-112中的任一者中的示意动作库中的已知无接触示意动作或所期望的无接触示意动作匹配。如果处理组件106将所检测到的无接触示意动作与已知的或所期望的无接触示意动作匹配，那么处理组件106可基于匹配的无接触示意动作执行动作(1008)。如果未作出匹配，那么处理组件106接着可基于第一个无接触示意动作的所检测到的方向将装置100的坐标系和示意动作库中的已知无接触示意动作或所期望的示意动作转换到新的坐标系(1010)。
处理组件106接着可作出是否已符合复位条件的判定(1012)。在一些实施例中，复位条件可以是当符合其时通过将坐标系转化回到原始坐标系208而将经转换的坐标系复位回到原始坐标系的条件。复位条件可包含示意动作检测传感器122在预定时间t之后未检测到第二个或后续示意动作。复位条件可包含118的加速计检测到可指示装置100的定向改变或用户拿起装置100的装置100的移动。复位条件可包含用户通过按压装置上的按钮或改变装置100中的设定而手动地将坐标系转换到原始坐标系。如果符合复位条件，那么处理组件106可将坐标系转换回到原始坐标系208(1014)，从而可保持坐标系处理所检测到的示意动作直到另一所检测到的无接触示意动作不匹配已知的或所期望的示意动作为止。如果不符合复位条件，那么处理组件106可根据经转换的坐标系处理后续无接触示意动作。
示意动作检测传感器122可检测到在装置上方经过的第二个无接触示意动作(1016)。处理组件106接着可确定第二个无接触示意动作的方向(1018)。在一些实施例中，处理组件106可分析所捕获的数据帧以基于从初始示意动作点到最终示意动作点的路径确定第二个无接触示意动作的方向。处理组件106接着可试图基于经转换的坐标系将所检测到的无接触示意动作与已知无接触示意动作或所期望的无接触示意动作匹配(1006)并且可根据经转换的坐标系基于匹配的无接触示意动作执行动作(1008)。处理组件106可进一步执行1008-1018直到基于匹配的示意动作执行动作或未检测到其它示意动作为止。
根据本发明，软件(例如程序代码和/或数据)可存储在一或多个机器可读取媒体(包含非暂时性机器可读媒体)上。还预期本文所标识的软件可以使用一或多个联网和/或未联网的通用或专用计算机和/或计算机系统来实施。在适用的情况下，本文中所描述的各种步骤的排序可改变、组合为复合步骤，和/或分成子步骤以提供本文中所描述的特征。
因此，如本文中所描述的实施例可提供用于基于所检测到的示意动作而不依赖于装置的定向执行装置动作的系统和方法。具体来说，如本文中所描述的实施例可基于第一个无接触示意动作或移动转换与装置相关的坐标系，并且接着根据经转换的坐标系处理一或多个后续无接触示意动作。因此，用户可能够不依赖于装置定向通过使用第一个无接触示意动作设定新的定向而执行操作或移动或无接触命令。上文所提供的实例仅是示例性的，而并不意图是限制性的。所属领域的技术人员可以根据所揭示的实施例容易地设计意图在本发明的范围内的其它系统。因此，本申请案仅受以下权利要求书的限制。

Claims (39)

1.一种用于执行动作的方法，其包括：
通过耦合到装置或整合在装置中的第一示意动作检测传感器检测在所述装置上方移动的控制对象的运动；
通过所述装置的一或多个处理器确定所述控制对象的移动方向；
通过第二示意动作检测传感器检测在所述装置上方执行的无接触示意动作；以及
通过一或多个处理器基于所述所检测到的无接触示意动作和所述经确定的移动方向执行动作。
2.根据权利要求1所述的方法，其进一步包括基于所述经确定的移动方向转换与所述装置相关的坐标系。
3.根据权利要求2所述的方法，其中转换坐标系包括基于所述经确定的移动方向转换示意动作库。
4.根据权利要求3所述的方法，其中执行动作包括：
将所述无接触示意动作与所述经转换的示意动作库中的经转换的示意动作匹配；以及
执行对应于所述匹配的经转换的示意动作的动作。
5.根据权利要求2所述的方法，其进一步包括：
将所期望的示意动作转换到所述经转换的坐标系；
将所述所检测到的无接触示意动作与所述经转换的所期望的示意动作匹配；以及
执行对应于所述所期望的示意动作的动作。
6.根据权利要求1所述的方法，其中检测在所述装置上方移动的控制对象的移动包括：当所述控制对象在所述装置上方移动时使用所述第一示意动作检测传感器捕获所述控制对象的图像。
7.根据权利要求6所述的方法，其中确定所述控制对象的移动方向包括：
将每个所捕获的图像划分成一组子区域，
针对每个子区域计算区域统计；
确定目前图像的区域统计与一或多个先前图像的区域统计之间的位移；以及
基于所述经确定的位移确定所述控制对象的所述移动方向。
8.根据权利要求1所述的方法，其中所述控制对象执行所述无接触示意动作。
9.根据权利要求8所述的方法，其中所述控制对象包括用户的手。
10.根据权利要求1所述的方法，其中所述第一示意动作检测传感器或所述第二示意动作检测传感器包括摄像机、超声波传感器、红外传感器和阴影检测器中的至少一者。
11.根据权利要求1所述的方法，其中所述第一示意动作检测传感器包括所述第二示意动作检测传感器。
12.根据权利要求1所述的方法，其中执行动作包括将实质上与所述经确定的方向对准的内容显示在所述装置上。
13.一种基于所检测到的无接触示意动作执行动作的方法，其包括：
通过耦合到装置或与装置整合的示意动作检测传感器检测在所述装置上方经过的第一个示意动作；
通过一或多个处理器确定所述所检测到的第一个示意动作是否匹配示意动作库中的已知示意动作或所期望的示意动作；
当所述所检测到的第一个示意动作不匹配示意动作库中的已知示意动作或所期望的示意动作时通过一或多个处理器基于所述所检测到的第一个示意动作的方向转换与所述装置相关联的坐标系；以及
当确定第二个所检测到的示意动作在所述经转换的坐标系中匹配示意动作库中的已知示意动作或所期望的示意动作时通过一或多个处理器基于所述第二个所检测到的示意动作执行动作。
14.根据权利要求13所述的方法，其中转换坐标系包括基于所述方向转换所述坐标系直到符合复位条件为止。
15.根据权利要求14所述的方法，其中复位条件包括检测到所述第二个示意动作之前的预定时间和所检测到的所述装置的运动中的至少一者。
16.根据权利要求14所述的方法，其进一步包括当符合复位条件时将所述经转换的坐标系转换到与所述装置相关联的所述坐标系。
17.一种用于执行动作的装置，其包括：
示意动作检测传感器，其经配置以：
检测在所述装置上方移动的控制对象的移动且捕获与所述所检测到的移动相关的信息；以及
检测在所述装置上方执行的无接触示意动作且捕获与所述无接触示意动作相关的信息；
一或多个处理器，其经配置以：
根据与所述所检测到的移动相关的所述所捕获的信息确定所述控制对象的运动方向；以及
基于与所述无接触示意动作相关的所述信息所相关的所述所捕获的信息和所述经确定的运动方向执行动作。
18.根据权利要求17所述的装置，其中所述一或多个处理器经进一步配置以基于所述经确定的运动方向转换与用于所述装置的示意动作解译相关的坐标系。
19.根据权利要求18所述的装置，其中所述一或多个处理器经进一步配置以将示意动作库转换到所述经转换的坐标系。
20.根据权利要求19所述的装置，其中所述一或多个处理器经进一步配置以将与所述无接触示意动作相关的所述所捕获的信息与所述经转换的示意动作库中的经转换的示意动作匹配并且执行对应于所述匹配的经转换的示意动作的动作。
21.根据权利要求18所述的装置，其中所述一或多个处理器经进一步配置以将所期望的示意动作转换到所述经转换的坐标系且将与所述无接触示意动作相关的所述所捕获的信息与所述经转换的所期望的示意动作匹配并且执行对应于所述所期望的示意动作的动作。
22.根据权利要求17所述的装置，其中所述示意动作检测传感器经配置以捕获图像，其中所述一或多个处理器经配置以通过确定在来自所述示意动作检测传感器的目前图像的区域与来自所述示意动作检测传感器的一或多个先前图像的区域之间的区域统计的位移来确定所述控制对象的所述运动方向。
23.根据权利要求17所述的装置，其中所述控制对象执行所述无接触示意动作。
24.根据权利要求23所述的装置，其中所述控制对象包括用户的手。
25.根据权利要求17所述的装置，其中所述示意动作检测传感器包括摄像机、超声波传感器、红外传感器和阴影检测器中的至少一者。
26.根据权利要求17所述的装置，其中所述经执行的动作包括在所述装置上显示内容，所述内容实质上与所述经确定的方向对准。
27.一种用于执行动作的系统，其包括：
用于检测在装置上方移动的控制对象的移动的装置；
用于确定所述控制对象的移动方向的装置；
用于检测在所述装置上方执行的无接触示意动作的装置；以及
用于基于所述所检测到的无接触示意动作和所述经确定的移动方向执行动作的装置。
28.根据权利要求27所述的系统，其进一步包括用于基于所述经确定的移动方向转换与所述装置相关的坐标系的装置。
29.根据权利要求28所述的系统，其中所述用于转换坐标系的装置经配置以基于所述经确定的移动方向转换示意动作库。
30.根据权利要求29所述的系统，其进一步包括：
用于将所述无接触示意动作与所述经转换的示意动作库中的经转换的示意动作匹配的装置，其中所述用于执行动作的装置经配置以执行对应于匹配的经转换的示意动作的动作。
31.根据权利要求28所述的系统，其进一步包括：
用于基于所述经转换的坐标系转换所述无接触示意动作的装置；
用于将所述经转换的无接触示意动作与所期望的示意动作匹配的装置，其中所述用于执行动作的装置经配置以执行对应于所述所期望的示意动作的动作。
32.根据权利要求28所述的系统，其中相较于在检测到所述控制对象的所述移动之前定向所述坐标系，所述经转换的坐标系以不同方式定向。
33.根据权利要求27所述的系统，其中所述控制对象执行所述无接触示意动作，且其中所述控制对象包括用户的手。
34.根据权利要求33所述的系统，其中所述用于确定所述控制对象的所述移动方向的装置经配置以检测所述手上的一或多个特征并且基于所述所检测到的一或多个特征确定所述方向。
35.根据权利要求27所述的系统，其中：
所述用于检测在所述装置上方移动的控制对象的移动的装置经配置以在所述控制对象在所述装置上方移动时捕获所述控制对象的图像；且
所述用于确定所述控制对象的移动方向的装置包括：
用于将每个所捕获的图像划分成一组子区域的装置，
用于针对每个子区域计算区域统计的装置；
用于确定目前图像的区域统计与一或多个先前图像的区域统计之间的位移的装置；以及
用于基于所述经确定的位移确定所述控制对象的所述移动方向的装置。
36.根据权利要求27所述的系统，其中所述用于检测在所述装置上方移动的控制对象的移动的装置和所述用于检测在所述装置上方执行的无接触示意动作的装置包括摄像机、超声波传感器、红外传感器和阴影检测器中的至少一者。
37.根据权利要求27所述的系统，其进一步包括用于响应于所述控制对象的所述所检测到的移动而引起内容被显示的装置，其中所述用于执行所述动作的装置包括用于操纵所述经显示的内容的装置。
38.根据权利要求27所述的系统，其中所述用于执行动作的装置经配置以在所述装置上显示内容以使得所述内容实质上与所述经确定的方向对准。
39.一种计算机可读媒体，其包含当由装置的一或多个处理器执行时引起所述装置执行用于执行动作的方法的指令，所述方法包括：
检测在所述装置上方移动的控制对象的运动；
检测在所述装置上方执行的无接触示意动作；以及
基于所述所检测到的无接触示意动作和所述运动的方向执行动作。
CN201480033125.2A 2013-06-14 2014-06-13 基于所检测到的示意动作执行装置动作的系统和方法 Expired - Fee Related CN105308538B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/918,078 2013-06-14
US13/918,078 US9020194B2 (en) 2013-06-14 2013-06-14 Systems and methods for performing a device action based on a detected gesture
PCT/US2014/042419 WO2014201427A1 (en) 2013-06-14 2014-06-13 Systems and methods for performing a device action based on a detected gesture

Publications (2)

Publication Number Publication Date
CN105308538A true CN105308538A (zh) 2016-02-03
CN105308538B CN105308538B (zh) 2018-02-06

Family

ID=51168421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480033125.2A Expired - Fee Related CN105308538B (zh) 2013-06-14 2014-06-13 基于所检测到的示意动作执行装置动作的系统和方法

Country Status (5)

Country Link
US (1) US9020194B2 (zh)
EP (1) EP3008551A1 (zh)
JP (1) JP6370893B2 (zh)
CN (1) CN105308538B (zh)
WO (1) WO2014201427A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9645721B2 (en) * 2013-07-19 2017-05-09 Apple Inc. Device input modes with corresponding cover configurations
ITTO20130659A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
ITTO20130657A1 (it) 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
US9405375B2 (en) * 2013-09-13 2016-08-02 Qualcomm Incorporated Translation and scale invariant features for gesture recognition
EP3050260A2 (en) * 2013-09-24 2016-08-03 Fibar Group S.A. Touch-less swipe control
US9836184B2 (en) * 2013-10-02 2017-12-05 Samsung Electronics Co., Ltd. Adaptive determination of information display
RU2013148582A (ru) * 2013-10-30 2015-05-10 ЭлЭсАй Корпорейшн Процессор обработки изображений, содержащий систему распознавания жестов с вычислительно-эффективным распознаванием неподвижной позы руки
US10218660B2 (en) * 2013-12-17 2019-02-26 Google Llc Detecting user gestures for dismissing electronic notifications
US10747416B2 (en) 2014-02-13 2020-08-18 Samsung Electronics Co., Ltd. User terminal device and method for displaying thereof
US10866714B2 (en) * 2014-02-13 2020-12-15 Samsung Electronics Co., Ltd. User terminal device and method for displaying thereof
US10712918B2 (en) * 2014-02-13 2020-07-14 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
US9652044B2 (en) * 2014-03-04 2017-05-16 Microsoft Technology Licensing, Llc Proximity sensor-based interactions
DE202014103215U1 (de) * 2014-07-11 2014-09-30 Christian Stroetmann Elektronisches, visuelles Gerät, das eine flexible beziehungsweise biegbare Vorrichtung zur optischen Signalisierung von veränderlichen Informationen, ein flexibles beziehungsweise biegbares Gehäuse mit mindestens einem Gelenk/Scharnier und ein Regel-/Steuerungssystem besitzt
KR102347248B1 (ko) * 2014-11-26 2022-01-04 삼성전자주식회사 터치 제스쳐 인식 방법 및 장치
US20170329409A9 (en) * 2015-06-12 2017-11-16 Insignal Co., Ltd. Smart glasses, and system and method for processing hand gesture command therefor
WO2017089910A1 (en) * 2015-11-27 2017-06-01 Nz Technologies Inc. Method and system for interacting with medical information
FR3050891A1 (fr) * 2016-05-02 2017-11-03 Orange Procede et dispositif de gestion simultanee d'une pluralite de messages
US10127425B2 (en) * 2017-01-12 2018-11-13 Qualcomm Incorporated Dual-mode capacitive and ultrasonic fingerprint and touch sensor
EP3678385B1 (en) 2017-08-30 2023-01-04 Panasonic Intellectual Property Management Co., Ltd. Sound pickup device, sound pickup method, and program
US10564420B2 (en) * 2017-10-02 2020-02-18 International Business Machines Corporation Midair interaction with electronic pen projection computing system
CN109935228B (zh) * 2017-12-15 2021-06-22 富泰华工业（深圳）有限公司 身份信息关联系统与方法、计算机存储介质及用户设备
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
KR102155378B1 (ko) 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11422692B2 (en) * 2018-09-28 2022-08-23 Apple Inc. System and method of controlling devices using motion gestures
US11009908B1 (en) * 2018-10-16 2021-05-18 Mcube, Inc. Portable computing device and methods
US20200142495A1 (en) * 2018-11-05 2020-05-07 Eyesight Mobile Technologies Ltd. Gesture recognition control device
US11023033B2 (en) * 2019-01-09 2021-06-01 International Business Machines Corporation Adapting a display of interface elements on a touch-based device to improve visibility
US11556175B2 (en) 2021-04-19 2023-01-17 Toyota Motor Engineering & Manufacturing North America, Inc. Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0587138A2 (en) * 1992-09-08 1994-03-16 Kabushiki Kaisha Toshiba 3D Human interface apparatus using motion recognition based on dynamic image processing
US20050232467A1 (en) * 2002-11-07 2005-10-20 Olympus Corporation Motion detection apparatus
US7129927B2 (en) * 2000-03-13 2006-10-31 Hans Arvid Mattson Gesture recognition system
US20080192005A1 (en) * 2004-10-20 2008-08-14 Jocelyn Elgoyhen Automated Gesture Recognition

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3657463B2 (ja) * 1999-06-29 2005-06-08 シャープ株式会社 動作認識システムおよび動作認識プログラムを記録した記録媒体
JP4203736B2 (ja) * 2002-09-09 2009-01-07 日本ビクター株式会社 画像の動き検出装置及びコンピュータプログラム
US7176888B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
JP4853507B2 (ja) * 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5381569B2 (ja) * 2009-09-29 2014-01-08 富士通株式会社 ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
US20120254809A1 (en) 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for motion gesture recognition
WO2012141352A1 (en) 2011-04-13 2012-10-18 Lg Electronics Inc. Gesture recognition agnostic to device orientation
US8873841B2 (en) 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
JP5780823B2 (ja) * 2011-04-28 2015-09-16 株式会社Ｎｔｔドコモ 表示装置、表示装置の制御方法及びプログラム
US20130159939A1 (en) * 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
JP5762250B2 (ja) * 2011-11-07 2015-08-12 三菱電機株式会社 画像信号処理装置および画像信号処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0587138A2 (en) * 1992-09-08 1994-03-16 Kabushiki Kaisha Toshiba 3D Human interface apparatus using motion recognition based on dynamic image processing
US7129927B2 (en) * 2000-03-13 2006-10-31 Hans Arvid Mattson Gesture recognition system
US20050232467A1 (en) * 2002-11-07 2005-10-20 Olympus Corporation Motion detection apparatus
US20080192005A1 (en) * 2004-10-20 2008-08-14 Jocelyn Elgoyhen Automated Gesture Recognition

Also Published As

Publication number Publication date
JP6370893B2 (ja) 2018-08-08
US20140368422A1 (en) 2014-12-18
CN105308538B (zh) 2018-02-06
EP3008551A1 (en) 2016-04-20
WO2014201427A1 (en) 2014-12-18
JP2016521894A (ja) 2016-07-25
US9020194B2 (en) 2015-04-28

Similar Documents

Publication Publication Date Title
CN105308538A (zh) 基于所检测到的示意动作执行装置动作的系统和方法
US8954896B2 (en) Proximity interface apparatuses, systems, and methods
KR102185166B1 (ko) 생체 정보를 인식하기 위한 전자 장치 및 방법
US20130234957A1 (en) Information processing apparatus and information processing method
US20140168062A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
CN104902066A (zh) 移动终端及其控制方法
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
JP6349800B2 (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
EP2816456A1 (en) Information processing device, information processing method, and computer program
US20130285904A1 (en) Computer vision based control of an icon on a display
JP6483556B2 (ja) 操作認識装置、操作認識方法及びプログラム
CN108351731B (zh) 包括事件以及检测到的运动的用户输入
KR20140046557A (ko) 다점 입력 인식 방법 및 그 단말
WO2017111811A1 (en) Interfacing with a computing device
US9347762B2 (en) Near-surface object sensing device and sensing method
US9525906B2 (en) Display device and method of controlling the display device
CN105278751A (zh) 一种实现人机交互的方法、装置及保护壳
EP2784652B1 (en) Information processing apparatus, information processing method, and information processing program
JP2015060518A (ja) 入力装置、動作特定方法
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
EP3088991B1 (en) Wearable device and method for enabling user interaction
KR101337429B1 (ko) 입력 장치
CN105528059B (zh) 一种三维空间手势操作方法及系统
KR20220032343A (ko) 전자 장치 및 전자 장치에서 인 에어 제스처를 처리하는 방법
KR20140077417A (ko) 휴대기기에서의 손인식을 위한 3ｄ 인터랙션 처리장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180206

Termination date: 20190613