CN104285197A - 非接触式用户界面 - Google Patents

非接触式用户界面 Download PDF

Info

Publication number
CN104285197A
CN104285197A CN201380023636.1A CN201380023636A CN104285197A CN 104285197 A CN104285197 A CN 104285197A CN 201380023636 A CN201380023636 A CN 201380023636A CN 104285197 A CN104285197 A CN 104285197A
Authority
CN
China
Prior art keywords
input
signal
equipment
user
drawing object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380023636.1A
Other languages
English (en)
Other versions
CN104285197B (zh
Inventor
汉斯·约尔延·邦
托比亚斯·古尔登·达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elliptic Laboratories ASA
Original Assignee
Elliptic Laboratories ASA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elliptic Laboratories ASA filed Critical Elliptic Laboratories ASA
Publication of CN104285197A publication Critical patent/CN104285197A/zh
Application granted granted Critical
Publication of CN104285197B publication Critical patent/CN104285197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/10—Technologies improving the efficiency by using switched-mode power supplies [SMPS], i.e. efficient power electronics conversion e.g. power factor correction or reduction of losses in power supplies or efficient standby modes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种包括非接触式用户界面的电子设备，包括：发射器件(7)，用于发射信号；接收器件(9a-9f)，用于在所述信号从输入对象被反射之后接收反射的信号；处理器件，用于从反射的信号确定关于输入对象的位置和/或移动的信息以将用户输入提供至设备；以及屏幕(2)，用于显示具有一个或多个相关联交互作用的图形对象(4，6)，用户利用相关联的交互作用通过所述用户输入能够与所述图形对象(4，6)进行交互。设备被布置为使得通过图形对象(4，6)在屏幕2上的位置和/或通过一个或多个交互作用来确定通过发射器件(7)发射的信号和/或通过处理器件所处理的反射信号。

Description

非接触式用户界面
技术领域
本发明涉及一种包括非接触式用户界面的电子设备，即，在用户界面中，装置的一个或多个的特征可通过对输入对象-通常为用户的身体的一部分(诸如手)的适当定位或移动来进行控制。
背景技术
在之前的提议中，对这种用户界面所采取的方法是将它当作类似于其他更传统的用户输入装置，诸如键盘、鼠标、触控板等。这意味着来自输入对象的信号被发射并反射，并且分析反射以确定输入对象所在位置和/或输入对象是如何移动的并且在适当的情况下将其转化给特定用户输入以传递至恰巧正要运行的无论哪个软件应用。
然而，申请人已认识到在一些情况下可以对这种装置进行改进。
发明内容
当从第一方面看时，本发明提供了一种包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号；
接收器件，在所述信号从输入对象反射之后接收反射信号；
处理器件，用于根据所述反射信号以确定关于所述输入对象的位置和/或移动的信息，从而向装置提供用户输入；以及
屏幕，用于显示具有一个或多个相关联交互作用(interaction)的图形对象，用户利用其通过所述用户输入与所述图形对象交互(interact)，
其中，布置设备使得处理器件根据需要通过所述图形对象在所述屏幕上的位置和/或通过所述一个或多个交互作用仅处理反射信号的子集。
因此，本领域技术人员应看出根据本发明仅需要根据用户可用的交互作用分析可从接收到的信号获得的数据的子集而不是分析所有接收到的信号。这源于这样一种理解，即，交互作用的类型和/或屏幕上图形对象的位置可用于将作为不需要的一些接收信号“排除(rule out)”，甚至没有对它们进行处理。
如将能够理解的是，使高层次图形用户界面向低层次输入处理模块反馈来确定要处理哪个接收信号有点不合常规并与常规方法形成对比，即，为所有可能的输入分析输入媒介介质并将所接收的那些传递至应用程序。然而，这在很多应用程序中是有利的，因为其能够产生显著节省处理器的使用的结果。这明显对于移动设备是有益的，尤其在延长电池寿命上。如果设备被布置成使得即使在不同的时期时刻可能使用所有的部分，其从不需要立即分析整个感测空间同样可以提供较低的最大处理器需求。
在一组实施方式中，通过仅处理接收器的子集接收到的信号实现用户界面的图形对象确定的反射信号的较小的子集(其中提供多个接收器)。在一组重叠的实施方式中，设备被布置为仅处理在时间约束内接收到的信号。
对用户来说可用的与图形对象相关联的交互作用的性质可以至少部分地确定要处理的反射信号的子集。例如，申请人已认识到根据用户界面提供的交互作用的性质，存在针对所需空间和/或时间分辨率的不同的需求以便确定相应的输入。例如，菜单GUI元素可能需要高分辨率以允许非接触式界面确定用户希望选择哪几个菜单选项，同时，音量控制可能仅需要确定是否做出明显向左或明显向右移动以便分别调低或调高音量。如果与图形对象相关联的交互作用仅需要相对原始的分辨率，如果其余接收器的所接收的信号足够确定输入也许可以忽视某些接收器接收到的反射信号。例如，接收器可在屏幕周围间隔开但是对于某些交互作用仅处理交替接收器的信号。虽然这可能降低空间分辨率，但在对特定交互作用不重要的情况下能够取得如上所阐述减少处理的好处。
将时间约束应用于确定要处理的反射信号的子集的实例将会仅处理某些发射信号(或声脉冲(pings))的反射。例如，对于一些交互作用，其可能足以处理在穿插声脉冲之后反射的信号。虽然这可能降低时间分辨率，但在对特定交互作用不重要的情况下能够取得如上所阐述的减少处理方面的好处。
在一组实施方式中，交互作用的性质也用于确定应用于所接收的信号的处理的类型。这可能在使用较少的处理器密集型算法能够成功检测到一些交互作用以及一些算法提供了比其他算法更好的对某些交互作用的检测的情况下具有性能优势。
其中一个因素可能是用户进行移动的速度；一些算法适于检测快速、广泛的手势，然而其他算法适于检测慢速、更复杂的移动。例如，对于具有需要(或接受)非常快速的移动的交互作用的图形对象，设备能够被配置为识别在不同的信道(发射器-接收器配对)中接收的信号中的相似图案并根据信道中图案之间时差推断移动。在WO 2011/036486中更详细地描述这样的方法，通过引用将其内容结合于此。例如，这样的方法可能用于这样的情况中，即，图形对象允许左或右扫动手势在电子书上上翻页或者沿一系列照片、音乐文件等进行导航。
相比之下，如在WO 2009/115799中更详细地描述，通过将线路滤波器直接应用到脉冲响应图像能够更成功地检测慢移动。该方法允许挖掘接收的信号中的相位信息因此能够分辨非常细微的动作。因此，例如，其能够用于来处理许多不同的输入可以对应于不同的手势的更复杂的应用程序(如，照片编辑应用程序)中可用的交互作用。
如在WO 2009/115799中也描述到，在适于在介质上快速执行的交互作用的中间实例中，线路滤波器可能被应用于脉冲响应图像的绝对值。例如，这能够用于控制滑动或旋转控制对象。
如同手势的速度，影响特定处理算法的适合性的另一个因素是手势指示的用户的手的形状。例如，对于广泛的手扫动，手的形状对于响应于如在上述WO 2011/036486中描述的大的运动来推荐算法可能不会太重要，而对于精确跟踪(例如，如可能在绘图应用程序中使用的或者用于在邮件应用程序中选择文本)简单的椭圆交叉可被用于假设用户的手指将会延伸并且因此提供能够容易地与剩余的手分离的强大的点状反射器。
基于可获得的交互作用是新颖的并且其自身具有创造性将应用于输入的处理类型调整合适，从而当从第二方面看时，本发明提供一种包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号，
接收器件，在所述信号从输入对象反射之后接收反射信号，
处理器件，用于根据所述反射的信号确定关于所述输入对象的位置和/或移动的信息，从而向设备提供用户输入；以及
屏幕，用于显示具有一个或多个相关联交互作用的图形对象，用户利用其通过所述用户输入与所述图形对象交互，
其中，布置设备使得处理器件根据所述图形对象在所述屏幕上的位置和/或通过所述交互作用而使用不同的算法来处理反射的信号。
如同可用的交互作用的性质，图形对象在屏幕上的位置也可以被用于减小反射的信号的处理量。在一组实施方式中，这可再次通过仅处理接收器的子集(其中，提供多个接收器)接收的反射信号来实现，例如，物理地定位成最靠近屏幕上的图形对象的那些接收器。在一组重叠的实施方式中，设备被布置成基于图形对象的位置仅处理时间约束内接收的信号。
在一组优选的这种实施方式中，设备被布置为仅处理当输入对象处于与图形对象相关联的预定感测空间中时从输入对象反射的接收信号。在这种情况下，处理的信号将是那些对应于符合感测空间中输入对象的反射的飞行(flight)的时间的信号。以及减小需要处理的量，本发明的这种实施方式也可以提供更可靠的输入识别，因为较小的感测空间也会减小局部噪声或背景回声的影响。
预定感测空间可方便地对应于屏幕上图形对象上方的空间。感测空间的尺寸和/或形状可取决于图形对象的尺寸和/或性质。例如，虚拟按键可具有相对小的、圆的感测空间，然而，虚拟滑块可具有与其相关联的更大的、伸长的感测空间。
可根据在屏幕上显示的图形对象定义单个感测空间或定义多个感测空间。对于每个独立的图形对象可能存在一个感测空间或者感测空间可与多个图像对象相关联，例如，进入数量可能与单个感测空间相关联同时切块与另一独立感测空间相关联的键板。
这里所讨论的图形对象不限于任何特定类型，其可以为图形用户界面对象，如，虚拟按键、小键盘、图标、滑块、轮等。然而，同样地，其可包括具有与其相关联的交互作用的实际的内容，如，窗口、图片、视频、页等以便翻页、缩放、直接跳到下一个图像、快进等。
申请人已认识到根据图形对象的位置和/或与它们相关联的可用交互作用的性质限制处理哪个接收反射信号来减小需要处理量可能是有利的。然而，已进一步认识到也可考虑发射侧上的这些因素以改善性能和/或减少电力消耗。例如，某些交互作用可能需要较低的更新速率以便不那么频繁地发射(声脉冲)。类似地，一些交互作用可能不需要使用所有的发射器(如果提供了一个以上的发射器)，例如，取决于屏幕上图形对象的位置或所需空间分辨率。
除了通过进行较少和/或较低电力发射能够实现改善性能和电池寿命，在设备的发射对附近区域的其他设备的影响上还具有优势。随着对基于超声波的非接触式界面的采用的增加，通过减轻它们必须处理干扰的程度发射中任何总体减小对所有设备都都是有益的。
因而，在一组实施方式中，设备被布置为根据屏幕上图形对象的位置和/或通过与所述图形对象相关联的可用交互作用控制发射器件改变所述信号的发射。
这是新颖的并且其自身具有创造性，因而当从第三方面看时，本发明提供包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号，
接收器件，在所述信号从输入对象的反射之后接收反射信号，
处理器件，用于根据所述反射的信号确定关于所述输入对象的位置和/或移动的信息，从而将用户输入提供至设备；以及
屏幕，用于显示具有一个或多个相关联交互作用的图形对象，用户利用其通过所述用户输入与所述图形对象交互，
其中，所述设备被布置为使得通过所述图形对象在所述屏幕上的位置和/或通过所述交互作用确定发射器件发射的信号。
在一组实施方式中，发射器件被控制以改变进行发射的速率。在一组重叠的实施方式中，发射器件被控制以改变多个发射器中的哪一个被用于发射。
本领域中的技术人员应当理解即使没有采用本发明的第一方面，发射器数量的减少将对处理要求的接收的反射信号量有以及在被附近设备经历的干扰的层面上来看有利的影响。然而，当然能够想到可结合本发明的这个方面采用本发明的第一方面及其任意或所有的任选特征。
本发明的之前的方面事实上反应了相同的总体的发明构思，即，通过图形对象使用对用户可用的交互作用的了解来限制非接触式界面必须做什么来识别匹配的输入。
因而，当从第四方面看时，本发明提供了一种包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号，
接收器件，在所述信号从输入对象反射之后接收反射信号，
处理器件，用于根据所述反射信号确定关于所述输入对象的位置和/或移动的信息以将用户输入提供至设备；以及
屏幕，用于显示具有一个或多个相关联交互作用的图形对象，用户利用其通过所述用户输入与所述图形对象交互，
其中，设备被布置成通过所述图形对象在所述屏幕上的位置和/或通过所述交互作用确定发射器件发射的发射信号和/或处理器件处理的反射信号。
申请人进一步理解也可利用对图形对象在屏幕上的位置的了解来更有效地使用用户输入间提供的资源。更具体地，在一组实施方式中，设备被布置为根据确定所述输入对象是否在所述图形对象的预定附近区域内改变信号的发射和/或接收信号的处理。这通过改变反射信号处理的数量能够实现，但在一组优选的这种实施方式中，设备被布置为根据确定输入对象是否在所述图形对象的预定附近区域内改变其发射信号的速率。这允许使用低背景声脉冲速率(例如，仅足以确定靠近)但是如果检测到输入对象在图形对象附近则使用高速率。正如前面提到的那样，这能够明显节约电力并且附近设备经历的干扰减小。
当从第五方面看时，本发明提供了一种包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号，
接收器件，在所述信号从输入对象反射之后接收反射信号，
处理器件，用于根据所述反射信号确定关于所述输入对象的位置和/或移动的信息以将用户输入提供至设备；以及
屏幕，用于显示具有一个或多个相关联交互作用的图形对象，用户利用其通过所述用户输入与所述图形对象交互，
其中，布置设备使得如果确定所述输入对象在所述屏幕或所述屏幕上的图形对象的预定附近区域内，则提高发射器件发射信号的速率。
预定附近区域仅是能够限定距屏幕或图形对象的部分或任一者、或更复杂的附近区域的预定距离。
设备可被布置为当检测到输入对象在预定附近区域内时仅发射信号，即，当检测到输入对象时从零增大发射速率。在这种实施方式中，将需要确定输入对象是否在预定附近区域内的独立器件。这通过任意合适的系统能够实现，如，电容性、红外线、光学或另一个单独的超声波波系统。
然而在一组优选实施方式中，设备被布置为在确定输入对象不在预定附近区域内时具有第一发射速率并在确定输入对象在预定附件区域范围内时具有第二、较高的发射速率。这使得在没有另外复杂的情况下省电。
在一组优选的实施方式中，设备被布置为在其证实了输入对象在预定附近区域中之后将仅分析接收的信号来确定是否进行了用户输入。通过不仅在发射侧上进行较少的发射而且在接收侧上执行较少的处理能够省电。
设备优选地被布置为一旦输入对象不再在预定附近区域中，则再次降低发射速率。能够对此应用时间阈值以容纳从预定附近区域的短的偏离。
本发明不限于提供单个的预定附近区域：可对多个中的每个提供相关联的发射速率以便分辨率的增大是分级的。甚至能够将发射速率布置为随着距离持续增大。
在本发明该方面的一些实施方式中，预定附近区域是相对于其屏幕至其预定部分定义的。在其他实施方式中，相对于用户用其能够交互的屏幕上图形对象或其部分定义。这具有之前所描述的允许用户界面控制在此讨论的动态分辨率特征的优势，这意味着当输入对象在允许手势的右方位置时仅使用额外电力。
本发明全面地延伸至操作电子设备的相应方法及具有适配为使得电子设备具有在此陈述的特征的逻辑或指令的计算机软件或者实施执行软件时在此陈述的方法。
附图说明
现在将参照附图仅以实施例的方式描述本发明的某些优选实施方式，附图中：
图1是根据本发明的用户界面与现有技术的用户界面的示意性比较；
图2是本发明的另一实施方式的示意图；
图3是本发明的另外的实施方式的示意图；以及
图4是描述图2中所示的实施方式的可能的操作的流程图。
具体实施方式
图1示意性地示出了具有屏幕2的设备，在该屏幕上用户可通过其非接触地交互来显示图形用户对象4、6。图形对象包括由三个按钮组成的菜单4以及可以用于通过大量的项来控制音量、导航等的虚拟轮6。
在各种情况下，设备具有非接触式用户界面，该设备包括在屏幕2的边缘周围的超声波发射器7和多个超声波接收器9。发射器7发送一系列的脉冲或线性调频脉冲(chirp)，它们在任意对象附近被反射回来并被接收器9接收，并且通过应用脉冲压缩和脉冲响应分析技术的内部处理器进行处理。可在例如WO 2009/147398、WO 2009/115799以及WO2011/036486中找到这种界面如何实现的更多细节。此外，如下面进一步解释的，所应用的这种类型的处理算法可取决于图形对象及它们的可用交互作用。
在在图1左侧的现有技术的布置中，非接触式界面限定覆盖整个屏幕2的感测空间8，需要处理由所有的接收器9接收到的信号。这允许针对任何图形对象4、6的用户输入被接收。一旦通过非接触式界面模块检测到用户输入，其被传递到正如键击或鼠标点击将运行的软件应用程序，并且然后软件应用程序根据针对那些输入已经编程的无论何种行动而采取适当的行动。在该布置中，具有相关联的用户交互作用的图形对象可被放置到屏幕上的任何地方并且如果检测到适当的输入，则底层软件应用程序将采用适当的行动。
然而根据本发明，分别限定对应于菜单图形对象4和轮图形对象6的两个单独的、分立的感测空间10、12而不是对应于整个屏幕2的感测空间。通过仅使用离它们最近的接收器能够限定这些较小的感测空间10、12，即，不处理从其他接收器接收的反射信号。例如，接收器9a、9b、9e和9f可被用于最左边的感测空间10并且接收器9b、9c、9d和9e被用于最右边的感测空间。这意味着如果软件应用程序以特定模式提供菜单4而不是轮6，完全不必处理接收器9c和9d收到的信号。相反地，如果轮6而不是菜单4可供应用程序使用，则可去激活(de-activated)接收器9a和9f。
在这个变形中，可能菜单4仅需要相对地原始的空间分辨率，使得仅使用两个接收器，例如，9a和9f，然而，轮6可能需要更高的分辨率，使得使用三个或四个接收器9b-9e。当然，如果应用激活了对象4、6两者，可使用所有的接收器9a-9f。
另外地或可替换地以及将不同的感测空间10、12与不同的接收器相关联。它们也可通过仅处理特定接收器接收的某部分的信号来限定，例如，仅处理与相应感测空间中输入对象反射的信号的飞行的时间一致的部分信号。这些可以组合使用。同样地，如果设备上有多个发射器可用，可不需要它们中的某些来执行示出的感测空间10、12。通过减小必须处理的量，降低了所使用电量。同样可以有助于提高手势识别的准确度。通过减少发射器的使用次数，发射到环境中的超声波波能量变少。这有益于其他采用超声波波的设备，因为其减少了处理干扰信号的问题。
另外地或可替换地，可以以处理信号的一部分的方式以外的方式来定制其中处理反射的信号的方式。例如，通过将线路滤波器应用到脉冲响应图像的绝对值可分析来自菜单4上方的感测空间10的信号，然而，通过将线路滤波器直接应用到脉冲响应图像则可分析从轮6上方感测区域12接收的信号。在WO 2009/115799中能够找到这些方法的更多细节。
由于较小的感测空间10、12与特定图形对象以及与它们连接的可用交互相作用关联，感测空间将会随着图形对象的改变(在屏幕周围移动、移去等)而改变。这说明了操作背后的原理，即，图形用户界面向非接触式界面提供反馈以影响其操作方式：更具体地，其是如何并从哪寻找输入以及其如何处理它接收的信号。
图2示出了其可以单独使用或与本文所描述的另一特征一起使用的另一个发明原理。在该图中，示出了用户逐渐移动他/她的手14接近非接触式启动的设备16的屏幕的时间顺序。如最左边的示图所示，当手相对远离设备16时，非接触式界面以相对低的速率发射线性调频脉冲或声脉冲18。该速率可能太低而不能有效地以手势的形式解释用户输入但却适用于确定手14离设备有多远。
如中间的图片所示，当用户将他/她的手14移动靠近设备16时，从而与预定阀值交叉，设备确定用户的手在屏幕的预定的附近区域并且因此发射器增加其发送线性调频脉冲或声脉冲18的频率，从而允许较大的移动分辨率。这同样可以引发所接收的信号的处理去寻找用户输入手势。
最右边的图片示出了如果用户的手被放置为非常靠近于屏幕能够进一步提高发射速率。这可用于向用户输入解释给出更高的分辨率或者可用于执行不同形式的用户输入。
当用户的手收回时该顺序是相反的。
图3是描述参考图2描述像上述那样的实施方式的可能的用法的简单流程图。在第一个步骤20中，设备确定输入对象是否存在于屏幕的预定的附近区域。如果检测到对象，设备移动至下一个步骤22。在步骤22，如果对象仍存在于附近区域，设备开始包括增大声脉冲发射速率的手势识别事件。在步骤24，如果识别出手势，则确定用户界面已接收到输入。如果未识别出，其返回到之前的步骤22以查看输入对象是否还在附近区域。如果还在，仍能够识别用户输入。如果用户的手已经移开，然而，装置返回到待机状态20并且声脉冲发射速率再次减少。
应当理解的是具有如参考图2和3描述的布置，在用户真正执行手势时只需要高声脉冲速率和相应的重量级的处理。这能够使输入界面“一直打开”的设备明显是省电的。也减少了对如上所述其他设备的干扰。
虽然在上述提及的描述是针对参考屏幕的预定的附近区域，这同样可以以与相对于屏幕或者显示于屏幕上的图形对象(或者一部分)的固定部分限定的预定的附近区域实施，其位置可以是可变的。
图4示出可单独使用或与本文中公开的其他特征一起使用的另一潜在特征。在这个实施方式中，可以看出具有与它们相关联的用户交互作用的两个图形对象具有不同的输入分辨力要求因此使用不同的发射速率。在图的左手部分示出的三个按钮需要相对低的时间分辨率以便确定用户输入(加亮或按压)，从而使用较低的发射速率，然而在右手侧的轮需要较大分辨率从而使用较高发射速率。这再次说明图形用户界面的性质如何被用于控制非接触式输入识别系统的操作以在可能的情况下保存电力和/或提高性能。这当然可与一般将具有不同的固有分辨率的不同的处理算法结合。

Claims (39)

1.一种包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号；
接收器件，用于接收所述信号从输入对象反射之后的反射信号，
处理器件，用于从所述反射信号确定关于所述输入对象的位置和/或移动的信息，以将用户输入提供至所述设备；以及
屏幕，用于显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，所述设备被布置为使得通过所述图形对象在所述屏幕上的位置和/或通过所述一个或多个交互作用来确定由所述发射器件发射的信号和/或由所述处理器件处理的反射信号。
2.根据权利要求1所述的设备，其中，所述接收器件包括多个接收器并且被布置为仅处理通过所述接收器的子集接收的信号。
3.根据权利要求1或2所述的设备，被布置为仅处理一些而非所有的所发射的信号的反射。
4.根据前述权利要求中任一项所述的设备，被布置为仅处理在时间约束内接收的信号。
5.根据权利要求4所述的设备，其中，所述时间约束是基于所述图形对象在所述屏幕上的位置。
6.根据前述权利要求中任一项所述的设备，被布置为仅处理当所述输入对象处于与所述图形对象相关联的预定感测空间内时从所述输入对象反射的接收信号。
7.根据前述权利要求中任一项所述的设备，被布置为根据可用的所述一个或多个交互作用的类型对接收的信号应用不同的处理。
8.根据前述权利要求中任一项所述的设备，被布置为根据图形对象在所述屏幕上的位置和/或通过与所述图形对象相关联的可用的一个或多个交互作用来控制所述发射器件改变所述信号的发射。
9.根据权利要求8所述的设备，其中，控制所述发射器件以改变进行发射的速率。
10.根据权利要求8或9所述的设备，其中，控制所述发射器件以改变多个发射器中的哪个被用于发射。
11.根据前述权利要求中任一项所述的设备，被布置为根据确定所述输入对象是否在所述图形对象的预定附近区域内来改变信号的发射和/或接收信号的处理。
12.根据权利要求11所述的设备，被布置为根据确定输入对象是否在所述图形对象的预定附近区域内来改变发射信号的速率。
13.根据权利要求12所述的设备，被布置为当确定在所述预定附近区域内没有输入对象时具有第一发射速率以及当确定所述输入对象在所述预定附近区域内时具有更高的第二发射速率。
14.根据权利要求12或13所述的设备，被布置为使得在已证实输入对象处于所述预定附近区域内之后，所述设备将仅分析接收信号来确定是否进行了用户输入。
15.根据权利要求12、13或14所述的设备，被布置为一旦所述输入对象不再处于所述预定附近区域内，则再次降低发射速率。
16.根据权利要求12至15中任一项所述的设备，其中，相对于所述屏幕上的所述用户能够与其交互的图形对象，或其一部分，限定所述预定附近区域。
17.一种包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号；
接收器件，用于接收所述信号从输入对象反射之后的反射信号；
处理器件，用于从所述反射信号确定关于所述输入对象的位置和/或移动的信息，以将用户输入提供至所述设备；以及
屏幕，用于显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，所述设备被布置为如果确定所述输入对象在所述屏幕或在所述屏幕上的图形对象的预定附近区域内，则增加所述发射器件发射所述信号的速率。
18.根据权利要求17所述的设备，被布置为当确定在所述预定附近区域内没有输入对象时具有第一发射速率以及当确定所述输入对象在所述预定附近区域内时具有更高的第二发射速率。
19.根据权利要求17或18所述的设备，被布置为使得在已证实输入对象处于所述预定附近区域内之后，所述设备将仅分析接收信号以确定是否进行了用户输入。
20.根据权利要求17、18或19所述的设备，被布置为一旦所述输入对象不再处于所述预定附近区域内，则再次降低发射速率。
21.根据权利要求17至20中任一项所述的设备，其中，相对于在所述屏幕上的所述用户能够与其交互的图形对象，或其一部分，限定所述预定附近区域。
22.根据权利要求17至21中任一项所述的设备，其中，所述接收器件包括多个接收器并且被布置为仅处理由所述接收器的子集接收的信号。
23.根据权利要求17至22中任一项所述的设备，被布置为仅处理一些而非所有的所发射的信号的反射。
24.根据权利要求17至23中任一项所述的设备，被布置为仅处理在时间约束内接收的信号。
25.根据权利要求24所述的设备，其中，所述时间约束是基于所述图形对象在所述屏幕上的位置。
26.如根据权利要求17至25中任一项所述的设备中的设备，被布置为仅处理当所述输入对象处于与所述图形对象相关联的预定感测空间中时从所述输入对象反射的接收信号。
27.根据权利要求17至26中任一项所述的设备，被布置为根据可用的所述一个或多个交互作用的类型而对接收的信号应用不同的处理。
28.根据权利要求17至27中任一项所述的设备，被布置为根据所述图形对象在所述屏幕上的位置和/或通过与所述图形对象相关联的可用的所述一个或多个交互作用来控制所述发射器件改变所述信号的发射。
29.根据权利要求28所述的设备，其中，控制所述发射器件以改变进行发射的速率。
30.根据权利要求28或29所述的设备，其中，控制所述发射器件以改变多个发射器中的哪一个被用于发射。
31.根据权利要求17至30中任一项所述的设备，被布置为根据确定所述输入对象是否在所述图形对象的预定附近区域内来改变信号的发射和/或接收信号的处理。
32.根据前述权利要求中任一项所述的设备，其中，所述信号是超声波。
33.一种包括非接触式用户界面的电子设备，包括：
发射器件，用于发射信号；
接收器件，用于接收在所述信号从输入对象反射之后的反射信号；
处理器件，用于从所述反射信号确定关于所述输入对象的位置和/或移动的信息，以将用户输入提供至所述设备；以及
屏幕，用于显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，所述设备被布置为使得所述处理器件根据所述图形对象在所述屏幕上的位置和/或通过所述一个或多个交互作用来用不同的算法处理所述反射信号。
34.一种操作包括非接触式用户界面的电子设备的方法，包括：
发射信号；
接收所述信号从输入对象反射之后的反射信号；
处理所述反射信号以确定关于所述输入对象的位置和/或移动的信息，从而将用户输入提供至所述设备；以及
在屏幕上显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，通过所述图形对象在所述屏幕上的位置和/或通过所述一个或多个交互作用来确定发射的信号和/或处理的反射信号。
35.一种具有逻辑或指令的计算机软件，当所述逻辑或所述指令被执行时操作电子设备以：
发射信号；
接收所述信号从输入对象反射之后的反射信号；
处理所述反射信号以确定关于所述输入对象的位置和/或移动的信息，从而将用户输入提供至所述设备；以及
在屏幕上显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，通过所述图形对象在所述屏幕上的位置和/或通过所述一个或多个交互作用来确定通过所述发射器件发射的信号和/或通过所述处理器件处理的反射信号。
36.一种操作包括非接触式用户界面的电子设备的方法，包括：
发射信号；
接收所述信号从输入对象反射之后的反射信号；
处理所述反射信号以确定关于所述输入对象的位置和/或移动的信息，从而将用户输入提供至所述设备；以及
在屏幕上显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，如果确定所述输入对象在所述屏幕或所述屏幕上的图形对象的预定附近区域内，则增加发射所述信号的速率。
37.一种具有逻辑或指令的计算机软件，当所述逻辑或所述指令被执行时，操作电子设备以：
发射信号；
接收所述信号从输入对象反射之后的反射信号；
处理所述反射信号以确定关于所述输入对象的位置和/或移动的信息，从而将用户输入提供至所述设备；以及
在屏幕上显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，如果确定所述输入对象在所述屏幕或所述屏幕上的图形对象的预定附近区域内，则增加发射所述信号的速率。
38.一种操作包括非接触式用户界面的电子设备的方法，包括：
发射信号；
接收所述信号从输入对象反射之后的反射信号；
处理所述反射信号以确定关于所述输入对象的位置和/或移动的信息，从而将用户输入提供至所述设备；以及
在屏幕上显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，根据所述图形对象在所述屏幕上的位置和/或通过所述一个或多个交互作用来用不同的算法处理所述反射信号。
39.一种具有逻辑或指令的计算机软件，当所述逻辑或所述指令被执行时，操作电子设备以：
发射信号；
接收所述信号从输入对象反射之后的反射信号；
处理所述反射信号以确定关于所述输入对象的位置和/或移动的信息，从而将用户输入提供至所述设备；以及
在屏幕上显示具有一个或多个相关联的交互作用的图形对象，用户能够通过所述用户输入利用所述一个或多个相关联的交互作用与所述图形对象进行交互，
其中，根据所述图形对象在所述屏幕上的位置和/或通过所述一个或多个交互作用来用不同的算法处理所述反射信号。
CN201380023636.1A 2012-03-05 2013-03-05 非接触式用户界面 Active CN104285197B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1203830.3 2012-03-05
GBGB1203830.3A GB201203830D0 (en) 2012-03-05 2012-03-05 Touchless user interfaces
PCT/GB2013/050533 WO2013132241A2 (en) 2012-03-05 2013-03-05 Touchless user interfaces

Publications (2)

Publication Number Publication Date
CN104285197A true CN104285197A (zh) 2015-01-14
CN104285197B CN104285197B (zh) 2018-02-09

Family

ID=46003128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380023636.1A Active CN104285197B (zh) 2012-03-05 2013-03-05 非接触式用户界面

Country Status (5)

Country Link
US (1) US9886139B2 (zh)
EP (1) EP2828729A2 (zh)
CN (1) CN104285197B (zh)
GB (1) GB201203830D0 (zh)
WO (1) WO2013132241A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897691A (zh) * 2017-02-22 2017-06-27 北京小米移动软件有限公司 显示模组和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090683B (zh) * 2014-07-30 2017-09-01 山东胜开电子科技有限公司 基于显示内容的触摸屏扫描方法、装置及触摸屏
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
GB201421427D0 (en) 2014-12-02 2015-01-14 Elliptic Laboratories As Ultrasonic proximity and movement detection
GB201602319D0 (en) 2016-02-09 2016-03-23 Elliptic Laboratories As Proximity detection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5023756B2 (ja) * 2006-04-27 2012-09-12 ソニー株式会社 領域別表示画質制御装置、自発光表示装置及びコンピュータプログラム
WO2009071123A1 (en) * 2007-12-06 2009-06-11 Nokia Corporation Power reduction for touch screens
JP4775386B2 (ja) * 2008-02-18 2011-09-21 ソニー株式会社 センシング装置、表示装置、電子機器およびセンシング方法
KR20090089254A (ko) * 2008-02-18 2009-08-21 세이코 엡슨 가부시키가이샤 센싱 장치, 표시 장치, 전자 기기 및, 센싱 방법
CN102027440A (zh) 2008-03-18 2011-04-20 艾利普提克实验室股份有限公司 对象与运动检测
GB0810179D0 (en) 2008-06-04 2008-07-09 Elliptic Laboratories As Object location
US20100245289A1 (en) * 2009-03-31 2010-09-30 Miroslav Svajda Apparatus and method for optical proximity sensing and touch input control
KR101620465B1 (ko) * 2009-08-14 2016-05-12 엘지전자 주식회사 휴대용 전자기기 및 그 조명 제어 방법
GB0916707D0 (en) * 2009-09-23 2009-11-04 Elliptic Laboratories As Acoustic motion determination
EP2486474B1 (en) * 2009-10-07 2020-03-04 Elliptic Laboratories AS User interfaces
KR20110125358A (ko) * 2010-05-13 2011-11-21 삼성전자주식회사 휴대 단말기의 표시부 제어 방법 및 장치
US8766936B2 (en) * 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897691A (zh) * 2017-02-22 2017-06-27 北京小米移动软件有限公司 显示模组和电子设备

Also Published As

Publication number Publication date
US9886139B2 (en) 2018-02-06
CN104285197B (zh) 2018-02-09
WO2013132241A2 (en) 2013-09-12
US20140368472A1 (en) 2014-12-18
EP2828729A2 (en) 2015-01-28
GB201203830D0 (en) 2012-04-18
WO2013132241A3 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
US10768712B2 (en) Gesture component with gesture library
CN111880650B (zh) 基于宽场雷达的手势识别
Lien et al. Soli: Ubiquitous gesture sensing with millimeter wave radar
EP2901251B1 (en) Display device and control method thereof
EP3470963B1 (en) Control using movements
CN104285197A (zh) 非接触式用户界面
WO2015022498A1 (en) Touchless user interfaces
US20150123929A1 (en) Control of electronic devices
KR20190014839A (ko) 비접촉 제스처 인식 시스템 및 그 방법
US10606386B2 (en) Mixer circuit
EP3350677B1 (en) Coordinate measuring apparatus and method of controlling the same
CN107037874B (zh) 重压和移动手势
CN105260065A (zh) 信息处理的方法及装置
CN111078056B (zh) 电子设备和信号处理方法
EP3317754B1 (en) Position-filtering for land-lift events
KR20200087882A (ko) 단계적 정보 제공 시스템
KR20110002404A (ko) 리모트 컨트롤러, 리모트 컨트롤 시스템 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant