CN103797440A - 具有用户反馈的基于姿势的用户界面 - Google Patents

具有用户反馈的基于姿势的用户界面 Download PDF

Info

Publication number
CN103797440A
CN103797440A CN201280045123.6A CN201280045123A CN103797440A CN 103797440 A CN103797440 A CN 103797440A CN 201280045123 A CN201280045123 A CN 201280045123A CN 103797440 A CN103797440 A CN 103797440A
Authority
CN
China
Prior art keywords
user
control
user interface
contactless
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280045123.6A
Other languages
English (en)
Other versions
CN103797440B (zh
Inventor
L.J.F.格尤特斯
J.P.德贾贾丁格拉特
J.德邦特
P-Y.曹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tcl Yunchuang Technology Co ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46852334&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN103797440(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN103797440A publication Critical patent/CN103797440A/zh
Application granted granted Critical
Publication of CN103797440B publication Critical patent/CN103797440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种具有无接触用户界面的系统,用户通过该界面控制系统的功能性。无接触用户界面具有检测器子系统和用户反馈子系统。无接触用户界面具有警报模式和控制模式。在警报模式下,用户反馈子系统具有显示监视器,以便响应于检测器子系统已经检测到用户在警报范围内存在向用户提供可视确认。响应于检测器子系统检测到用户的初始化姿势,无接触用户界面从警报模式转换到控制模式。在控制模式下,无接触用户界面响应于检测器子系统检测到用户的控制姿势,控制功能性。作出可视确认,以便对用户的移动进行镜像。

Description

具有用户反馈的基于姿势的用户界面
技术领域
本发明涉及一种具有无接触用户界面的系统,其被配置为用于用户通过与无接触用户界面的无接触交互来控制系统的功能性。本发明还涉及用于这样的系统的用户界面、被配置为用于这样的系统的计算机可读介质上的控制软件以及使得用户能够通过与系统的无接触交互来控制这种系统的功能性的方法。
背景技术
用户界面在人机交互领域广受欢迎。系统(例如器械、机械系统、计算系统、电子系统等)的用户界面被设计为使得人类能够操作或控制投入使用的系统,或配置系统以以用于运营使用。贯穿本文所用的术语“系统”意味着涵盖用于工业或专业应用的设备、用于办公室或商业应用的设备、医疗设备、用于家庭应用的设备、消费品电子设备等等。
一种特定类型的用户界面是无接触用户界面,其操作基于对不与无接触用户界面触觉接触的用户的运动或移动的检测。现有技术中已知的这样的无接触用户界面的实例为基于姿势的用户界面和运动追踪用户界面。
基于姿势的用户界面解释来自于任何身体运动的人类姿势,典型地来自于用户的脸或用户的手。参见例如美国专利申请公开20030095154“Method and Apparatus for a Gesture-based User-interface”、美国专利申请公开20070124694“Gesture to Define Location, Size, and/or Content of Content Window on a Display”、美国专利申请公开20080253519“Automatic Control of a Medical Device”、美国专利申请公开20100162177“Interactive Entertainment System and Method of Operation thereof”,其全部转让给Koninklijke Philips Electronics N.V,并且通过引用并入此处。
运动追踪用户界面追踪物体的运动,例如用户的头或用户手持的触控笔(stylus)。运动追踪用户界面将物体的移动翻译为在显示监视器的屏幕上显示的指针的移动,并将指针在屏幕特定区域内的存在解释为特定的命令。参见例如美国专利申请公开20090153474“Motion Tracking User Interface”,其转让给Apple Inc,并且通过引用并入此处。
无接触用户界面(其操作基于用户运动或移动的检测)的操作典型地基于通过例如一个或多个视频摄像机、一个或多个光学传感器或一个或多个超声传感器捕获的用户输入的模式识别。
无接触用户界面不需要用户与无接触用户界面的表面之间的物理接触。结果,与需要用户与表面之间的物理接触的用户界面相比,无接触用户界面较为不易磨损、不易物理损坏或在表面上积累污垢。从操作者的观点来看,由于不需要物理接触,无接触用户界面也较为卫生。
发明内容
发明人已经认识到,无接触用户界面的典型的已知的实现方式具有几个缺点。一个缺点与和无接触用户界面的用户交互可带来误报、漏报以及输入错误有关。误报在用户的无意移动被解释为向系统提供特定用户输入的特定姿势时发生。漏报在用户的有意移动没有被解释为向系统提供特定用户输入的特定姿势时发生。解释错误在用户的有意移动被错误地解释并被映射为到系统的错误的用户输入时发生。另一个缺点与如果系统看起来没有响应姿势,用户可能暂时处于不确定的状态有关。用户可能甚至可能怀疑电源是否故障或系统是否崩溃等等。
根据发明人,研究显示,如果系统给出误报响应、漏报响应、错误响应或根本无响应,具有这样的无接触用户界面的系统的用户典型地寻求系统当前状态的确认,以理解什么出错了。
用户输入基于姿势识别的已知系统典型地在显示监视器的屏幕上给出用户界面实际上正在检测或捕捉什么的表征,其同时也正在用于追踪系统的当前操作或状态。相应地,显示监视器正在用于双模操作:在第一窗口给出系统的当前操作,并在第二窗口给出正在检测或捕捉的用户输入。这样的双模配置具有多种缺点。第一个缺点在于双模配置需要屏幕空间。也就是说,双模配置对屏幕最小尺寸施加限制,使其足够大,以便在第一窗口和第二窗口的每一个中向用户提供有意义的视觉反馈。第二个缺点与双模配置的人体工学方面有关,因为用户必须同时注意两个信息源:同时在显示监视器的同一屏幕上给出的第一个窗口和第二个窗口。人们相信,这是令人迷惑的,因为用户不得不在精神上在控制系统的当前操作和核实对系统的当前用户输入之间反复切换。专业人员可被训练为在与例如战斗机的专业设备交互时凭直觉做到这一点,但这种方法对日常消费品产品的用户来说缺少吸引力。
发明人提出了一种具有基于姿势的无接触用户界面的系统,其中,无接触用户界面以更为符合人体工学的方式对用户与系统之间的对话进行视觉化。更具体而言,发明人提出了一种具有无接触用户界面的系统。无接触用户界面被配置为用于用户通过与无接触用户界面的无接触交互来控制系统的功能性。无接触用户界面具有检测器子系统和用户反馈子系统。无接触用户界面被配置为以警报模式或控制模式运行。在警报模式下,无接触用户界面被配置为控制用户反馈子系统,以便响应于检测器子系统已检测到用户存在于预定警报范围内,向用户提供确认。无接触用户界面被配置为,响应于检测器子系统检测到由在预定警报范围内的用户做出预定初始化姿势,从警报模式转换到控制模式。在控制模式下,无接触用户界面被配置为,响应于检测器子系统检测到在预定警报范围内进行的用户的预定控制姿势,控制功能性。
本发明的系统可实现为地理分布集中的实体,例如设备或装置。或者,本发明的系统为地理分布分散的系统,具有空间上离散且经由例如局域网(LAN)或互联网的数据网络通信的实体。
本文所用的术语“功能性”指代描述投入使用的系统的功能的一个或多个属性。所述一个或多个属性可通过预定的控制姿势控制。例如,系统包括具有下列属性中的一个或多个的音频功能:正在再现的声音的强度(音量),音频功能的立体声实现中正在再现的声音的方向特征,正在再现的声音中的高音或低音的层级,正在播放以及已从多个音频项的列表选中的音频项,当前调谐的无线电频道,等等。作为另一实例,系统包括具有以下属性中的一个或多个的视频功能:正在显示监视器上播放的图像的亮度,正在显示监视器上播放的图像的对比度,正在播放的图像的颜色调整,正在显示监视器的屏幕的一部分上播放的图像的分辨率,正在播放并且已从多个视频项的列表选中的视频项,正在显示以及已从预先存储的图像的集合选中的图像,当前调谐的TV频道,等等。作为另一实例,系统包括灯,例如起床灯,或餐桌照明灯,或安装在应急服务车上的搜索灯,等等。灯具有以下属性中的一个或多个:开启状态和关闭状态;发光亮度,发光方向,发光色温,发光焦点等等。作为又一实例,系统包括例如厨灶或微波炉等的家用电器。家用电器的运行具有以下属性中的一个或多个:发热强度,预先设置的发热时间段长度,选中发热的多个燃烧器或多个线圈中的特定一个,等等。上面的实例仅仅示出了无接触用户界面的应用领域,不应解释为应用的穷举性列表,无论在系统类型方面,还是在可通过无接触用户界面控制的属性方面。
当无接触用户界面在警报模式下运行时,响应于检测器子系统已检测到用户在预定警报范围内存在,用户反馈子系统向用户提供确认。也就是说,当用户或其身体的一部分已经进入检测器子系统的警报范围时,用户反馈子系统向用户确认已经检测到其存在。确认用作对用户的反馈,并使得用户觉察到这样的事实:检测器子系统已经注意到用户,且用户现在处于警报范围内。当用户或用户身体的一部分处于警报范围时,无接触用户界面响应用户的预定初始化姿势并转换到控制模式。在控制模式下,用户被授予经由与无接触用户界面的用户交互对系统功能性的控制。在控制模式下,通过根据预定控制姿势控制系统功能性,无接触用户界面响应于预定控制姿势。
如上面所说明的,响应于检测器子系统检测到预定的初始化姿势,无接触用户界面的操作从警报模式转换到控制模式。预定的初始化姿势包括例如用户相对于无接触用户界面保持其手静止达预定长度的时间,例如几秒钟。作为另一实例,预定的初始化姿势包括用户以高于预定阈值的频率在无接触用户界面前挥手。作为又一实例,预定的初始化姿势为用户的手沿着三维空间中的路径(轨迹)移动,该路径具有一个或多个预定空间特性。
姿势为用户的手或胳膊或头或身体的位置的有意移动。例如用户的手的实际移动包括手的位置相对于某基准位置的改变,手的方位相对于基准方位的改变,以及手的形状相对于基准形状的改变。因此,实践中,实际移动不能以比如说描述移动特征的各个维度上几毫米的准确度确切地重复。本文所用的表述“预定的初始化姿势”因此指代特定的一类这样的多个姿势:其全部由检测器子系统解释为代表预定的初始化姿势。例如,考虑用户的手的重心并考虑以用户的手的重心在三维空间中穿过的有向路径为特征的姿势。检测器子系统于是可被配置为确定有向路径的主空间向量分量。有向路径可用连接路径起始位置与路径当前位置的三维向量代表。在用户正在执行姿势时,三维向量变化。主空间向量分量于是为三个空间分量中的特定一个,其具有最大的量值。如果主空间分量的量值位于预定的量值范围内,姿势被解释为预定的初始化姿势。可实现替代性的过程以确定检测到的实际姿势是否应当解释为预定的初始化姿势。类似的考虑适用于特征“预定的控制姿势”。基于姿势的用户界面是现有技术中公知的,并用于在采用不同姿势的形式的不同用户输入之间进行区分。姿势之间的区分是现有技术中已知的,因此本文中不再进一步详细论述。
在本系统的一实施例中,用户反馈子系统被配置为响应于预定的控制姿势,向用户提供关于功能性状态改变的控制反馈。
相应地,用户将在无接触用户界面的警报模式下接收作为反馈的确认,以便通知用户他/她已被检测到。姿势控制在警报模式下禁用。根据预定初始化姿势,无接触用户界面转换到控制模式,其中,姿势控制启用。在控制模式下,用户接收由预定的控制姿势带来的关于功能性状态变化的控制反馈。控制反馈包括例如代表滑动器、拨号盘、操纵杆或其他常用物理控制装置的图形对象,或可选择选项的菜单。图形表示被显示在显示监视器上,并与用户执行预定的控制姿势同步地变化。图形对象的变化因此镜像出正在执行的预定控制姿势的时间特性。也就是说,用户反馈子系统被配置为,受在警报范围内追踪用户的检测器子系统的控制,动态调节控制反馈。用户反馈子系统因此向用户提供反馈,以便例如在视觉上或在听觉上确认对用户预定控制姿势的追踪。同时,系统的功能性与预定控制姿势同步地受到控制。反馈镜像用户的预定控制姿势,因此增强了系统与用户接触的用户印象。
在本系统一实施例中,用户反馈子系统被配置为,受在警报范围内追踪用户的检测器子系统的控制,动态调节确认。
如上面所说明的,当无接触用户界面在警报模式下运行时,响应于检测器子系统已检测到用户在预定警报范围内存在,用户反馈子系统向用户提供确认。也就是说,当用户或其身体的一部分已经进入检测器子系统的警报范围时,用户反馈子系统向用户确认已经检测到其存在。
对于用户的确认反馈可以以多种方式实现。例如,用户反馈系统包括小灯(例如有色LED),其在检测器子系统已经检测到用户存在于警报范围时开始闪烁或点亮。作为另一实例,用户反馈系统包括小灯阵列(例如多个LED的布置),其有选择地反复开关,以产生波纹效应。
可根据用户移动动态地调整采用LED的重复开关形式的确认。检测器子系统于是在警报范围内追踪用户并调节LED的行为,以反映检测到的用户移动。上面提到的波纹效应于是可具有反映已经检测到用户移入警报范围和/或在警报范围内移动的方向的主要分量的方向特性。多个LED的布置受到控制,以便使得LED与用户移动同步地开或者关,从而镜像用户的移动。
作为另一实例,用户反馈系统包括显示监视器。显示监视器用于向用户提供关于例如投入使用的系统的运行的可视信息。如果系统包括家用集中供暖系统或气候控制系统,显示监视器用于向用户传送例如关于当前环境温度、当前环境空气相对湿度、供暖系统或气候控制系统空闲还是正在耗电的图形格式的信息。如果系统包括时钟,在系统投入使用时,使用显示监视器以借助具有钟面和移动表针的模拟时钟的图形表示或具有小时和分钟的数字表示的数字时钟的图形表示,向用户传达一天当中的当前时间。相应地,在系统投入使用时,显示监视器向用户传达具有语义内容的信息。当检测器子系统检测到用户存在时,无接触用户界面控制系统,使得在系统投入使用时显示在显示监视器上的信息被专门用于向用户确认已经检测到其存在的专用指示代替。这种代替可用多种方式进行。例如,系统投入使用时显示的信息渐隐,同时,专用指示渐现。作为另一实例,系统投入使用时显示的信息变形为该指示。交叉隐现或变形操作平滑地即非猝然地转移用户的注意力从无接触用户界面的一种状态到另一种状态。这种注意力的平滑转移使得用户在直觉上接受新的状态,如同从前一状态自然出现一样。因此,交叉隐现或变形有助于改进本发明的无接触用户界面的与人体工学、用户友好有关的方面。
系统投入使用时显示在显示监视器上的信息于是渐隐或变形为与用户移动同步移动的图形粒子集合。用户移动的镜像用于增强用户已经在警报范围内被检测到的用户印象。
镜像可对用户具有其通常不会察觉的进一步的心理学效应。心理学领域使用的术语“镜像”指代个体之间的社会交互,其中,个体复制另一个体的姿势、身体语言、面部表情或自然语言。镜像典型地在伴侣或亲密朋友之间观察到。通常,用户容易接受其镜像图像,且因此对正在交谈的人进行镜像使其感觉到与他人更加放松且自在。如果设备或系统正在镜像用户移动,用户更可能感到对于设备或系统的同理心。相应地,显示监视器上的图形对象对用户移动的镜像倾向于使用户认为系统是用户友好的,并倾向于使用户感到对系统更加重视。警报模式下以及控制模式下无接触用户界面的镜像特征因此可认为是容易加速用户对系统的接受度的人体工学特征。
相应地,当本发明的无接触用户界面处于警报模式时,无接触用户界面响应于检测器子系统检测到用户或例如用户的手或腿在预定的警报范围内。无接触用户界面控制用户反馈子系统中的显示监视器,以向用户显示已经注意到其存在的确认。确认可以是抽象的或象征性的。例如,假设在检测到用户存在之前显示监视器已经空白或关闭。在检测到用户在预定范围内时,启动显示监视器,以显示作为图形对象的确认,例如人手的图形表示,或粒子的无定形集合的图形表示,或单词“你好”的字母的图形表示,等等。用户反馈子系统于是控制图形对象与用户一致地移动。作为另一实例,假设显示监视器在检测到用户存在之前已经在显示指示符。例如,指示符包括时间计的图形表示,以指示一天中的当前时间,或指示当前环境温度的温度计的图形表示,或当前正在提供的音频片段的图形表示。在检测到用户在预定范围内时,用户反馈子系统控制显示监视器将指示符的图形表示变形为采用另一对象的图形表示形式的确认,例如人手的图形表示,或粒子的无定形集合的图形表示,或单词“你好”的字母的图形表示,等等。无接触用户界面于是控制此另一图形对象,以便以连续的方式且与用户同步地移动。
在本发明的系统的另一实施例中,系统具有附加的用户界面。附加用户界面被配置为用于用户通过与附加用户界面的物理接触控制系统的附加的功能性。检测器子系统用于在检测到用户以预定的方式趋近附加用户界面时解除致动(inactivate)用户经由无接触用户界面控制该功能性。
在此另一实施例中,系统被配置为由用户经由无接触用户界面以及经由附加用户界面进行控制。附加用户界面要求用户物理接触附加用户界面。附加用户界面包括例如一个或多个按钮和/或一个或多个拨号盘和/或一个或多个滑动器和/或一个或多个操纵杆和/或触摸屏。首先提到的系统功能性可经由无接触用户界面受用户控制,系统的附加功能性可经由附加用户界面受用户控制。首先提到的功能性可与附加功能性不同。作为替代地,首先提到的功能性可与附加功能性相同。
如果用户在趋近附加用户界面之前尚未在警报范围内执行预定的初始化姿势,用户在预定警报范围内的姿势或其他移动不会导致功能性的无意控制,因为无接触用户界面尚未转换到控制模式。如果用户在趋近附加用户界面之前使得无接触用户界面转换到控制模式,无接触用户界面可能正在追踪用户在预定警报范围内的姿势和移动。结果,无接触用户界面于是可将用户到达附加用户界面的移动解释为预定的控制姿势并开始控制功能性,这与用户的意图相反。相应地,如果检测器子系统检测到用户在无接触用户界面处于控制模式的同时到达附加用户界面的控制选项,检测器子系统解除致动控制模式,以便防止经由无接触用户界面的对功能性的无意控制。
检测器子系统可以配置为以多种方式检测用户到达附加用户界面的控制选项。例如,考虑如较早时提到的作为预定警报范围内的有向路径的用户移动或姿势。如果代表有向路径的向量的主向量分量位于从用户到附加用户界面的方向,并且如果此主向量分量的变化率在特定时刻超过预定阈值量值,检测器子系统将该移动或姿势解释为用户正在到达附加用户界面。
假设无接触用户界面已经响应于用户到达附加用户界面中的控制选项的移动而被启动为对功能性进行控制。优选地,在用户实际接触或实际与附加用户交互时,无接触用户界面被配置为在开始控制该功能之前将该功能性重新设置到该功能性之前具有的状态。
考虑具有可由用户经由无接触用户界面控制的一个或多个功能性的系统。预定控制姿势中任何相应一个的有向路径优选为不具有从用户向附加用户界面的方向的向量分量。如果预定控制姿势中的特定一个的有向路径具有沿着此方向的主向量分量,无接触用户界面优选为以这样的方式配置:与此特定预定控制姿势相关联的功能性不是关键功能性。这里使用的表述“关键功能性”指代其无意控制不会导致损坏系统或者吓坏或激怒用户的功能性。例如,考虑包括系统播放声音的音量调节的功能性。于是,优选为,预定“音量增大”姿势的有向路径不包括从用户到附加控制的方向的向量分量。
上面介绍的本发明涉及作为可商业开发的实体的系统。本发明还可被商业开发为在数据处理系统(例如服务器、个人电脑、移动电话等)上运行的控制软件。控制软件可被提供为存储在计算机可读介质(例如固态存储器、磁盘、光盘等)上。也可使控制软件作为经由数据网络(例如互联网)下载的文件买到。
因此,本发明还涉及被配置为用于具有无接触用户界面的系统的计算机可读介质上的控制软件。无接触用户界面被配置为用于用户通过与无接触用户界面的无接触交互来控制系统的功能性。无接触用户界面具有检测器子系统和用户反馈子系统。控制软件具有用于在警报模式下实现无接触用户界面的操作的第一指令,以及用于在控制模式下实现无接触用户界面的操作的第二指令。第一指令包括第三指令,其用于响应于检测器子系统已检测到用户在预定警报范围内存在,控制用户反馈子系统以便向用户提供确认。第一指令包括第四指令,其用于响应于在预定警报范围内检测器子系统检测到由用户做出的预定初始化姿势,使得无接触用户界面从警报模式转换到控制模式。第二指令包括第五指令,其用于响应于检测器子系统检测到在预定警报范围内进行的用户的预定控制姿势,控制功能性。
在控制软件的实施例中,第二指令包括第六指令,其用于控制用户反馈子系统,以便向用户提供关于响应于预定控制姿势的功能性状态变化的控制反馈。
在控制软件的进一步的实施例中,第一指令包括第七指令,其用于在警报范围内追踪用户的检测器子系统的控制下,控制用户反馈子系统,以便对确认进行动态调节。
在控制软件的进一步的实施例中,第二指令包括第九指令,其用于在在警报范围追踪用户的检测器子系统的控制下,控制用户反馈子系统,以便对控制反馈进行动态调节。
在控制软件的进一步的实施例中,系统具有附加用户界面。附加用户界面被配置为用于由用户通过与附加用户界面的物理接触控制系统的附加功能性。第二指令包括第十指令,其用于在检测器子系统检测到用户以预定的方式趋近附加用户界面时,解除致动用户经由无接触用户界面控制功能性。
本发明还可商业开发为服务或方法。因此,本发明还涉及使得用户能够通过与系统的无接触交互来控制系统功能性的方法。该方法具有警报模式过程和控制模式过程。在警报模式过程中,该方法包括响应于检测到用户在预定的警报范围存在,向用户提供确认。该方法进一步包括:响应于在预定警报范围内检测到由用户做出的预定初始化姿势,从警报模式过程转换到控制模式过程。该方法还包括:在控制模式过程中,响应于检测到在预定警报范围内进行的用户的预定控制姿势,控制功能性。
在方法的一实施例中,控制模式过程包括,向用户提供关于响应于预定控制姿势的功能性状态变化的控制反馈。
在方法的进一步的实施例中,警报模式过程包括,在警报范围内追踪用户的控制下,对确认进行动态调节。
在方法的进一步的实施例中,控制模式过程包括在警报范围内追踪用户的控制下,对控制反馈进行动态调节。
在方法的进一步的实施例中,系统具有附加用户界面。附加用户界面被配置为用于由用户通过与附加用户界面的物理接触控制系统的附加功能性。该方法包括,在检测到用户以预定的方式趋近附加用户界面时,解除致动通过无接触交互对功能性的控制。
本发明还可商业开发为用于具有可控制功能性的系统的部件。因此,本发明还涉及在系统中使用的用户界面,该用户界面包括无接触用户界面,其被配置为用于用户通过与无接触用户界面的无接触交互来控制系统的功能性。无接触用户界面具有检测器子系统和用户反馈子系统。无接触用户界面被配置为以警报模式和控制模式中的一种运行。在警报模式下,无接触用户界面被配置为,响应于检测器子系统已检测到用户在预定警报范围内存在,控制用户反馈子系统以便向用户提供确认。无接触用户界面被配置为,响应于在预定警报范围内检测器子系统检测到由用户做出的预定初始化姿势,从警报模式转换到控制模式。在控制模式下,无接触用户界面被配置为,响应于检测器子系统检测到在预定警报范围内进行的用户的预定控制姿势,控制功能性。
在用户界面的一实施例中,用户反馈子系统被配置为,响应于预定控制姿势向用户提供关于功能性状态变化的控制反馈。
在用户界面的进一步的实施例中,用户反馈子系统被配置为,在警报范围内追踪用户的检测器子系统的控制下,对确认进行动态调节。
在用户界面的进一步的实施例中,用户反馈子系统被配置为,在警报范围追踪用户的检测器子系统的控制下,对控制反馈进行动态调节。
在用户界面的进一步的实施例中,用户界面具有附加用户界面。附加用户界面被配置为用于由用户通过与附加用户界面的物理接触控制系统的附加功能性。检测器子系统适用于,在检测到用户以预定的方式趋近附加用户界面时,解除致动用户经由无接触用户界面对功能性的控制。
附图说明
参照附图以举例的方式对本发明进行详细阐释,在附图中:
图1为本发明的系统的框图;
图2、3和4为示出本发明的系统中的检测器子系统的操作的图示;
图5为示出本发明的方法的过程图;
图6、7、8和9示出了来自用户反馈子系统的确认的图形表示;
图10和11示出了来自用户反馈子系统的控制反馈的图形表示;
贯穿附图,相同或对应的特征用同样的参考标号表示。
具体实施方式
图1为本发明的系统100的图示。这样的系统100的实例为:消费品电子系统,例如家庭娱乐系统、闹钟、TV接收器、个人电脑等;手持式装置,例如移动电话或遥控装置;电器,例如微波炉、厨灶或洗衣机等;饮料、糖果或其他食品项的自动售卖机;售票机等。
系统100具有这样的功能性:其能由用户控制以对该功能性进行调节;选择该功能性以致动或解除致动;等等。这样的功能性的实例已经在上面讨论。
系统100具有无接触用户界面102和控制子系统104。
无接触用户界面102使得系统100的用户能够与系统100交互,以便借助例如调节或选择系统100的功能性对投入使用的系统100进行配置。用户通过姿势与无接触用户界面102交互。用户的姿势被无接触用户界面102捕获,并形成到系统100的用户输入。无接触用户界面102处理输入,以产生供到控制子系统104的控制输出。控制子系统104接收来自无接触用户界面102的控制输出,并相应地控制功能性。
无接触用户界面102包括检测器子系统106、数据处理子系统108和用户反馈子系统110。
检测器子系统106被配置为检测在检测器的警报范围内用户或用户身体部分(例如其手或其头)的存在。检测器子系统106也被配置为在检测器警报范围内存在时追踪用户或其手或头等。
用户接近的检测可通过使用在警报范围内检测用户或另一物体的接近的多种技术中的任何一种或通过使用这些技术的组合来实现。例如,第一已知接近检测技术基于检测经由红外传感器接收的体热。作为另一实例,第二已知接近检测技术基于发送超声波脉冲并测量警报范围内用户或另一物体的反射的检测器。作为又一实例,第三已知接近检测技术基于用户或物体中断一个或多个光束或激光束。作为再一实例,第四接近检测技术基于检测由在检测器与附近用户或附近物体之间的电容性耦合导致的电容变化。作为再一实例,第五接近检测技术基于对通过勘测预定空间的视频摄像机捕获的图像的分析。
警报范围内对用户或用户身体部分的移动的检测可通过使用在警报范围内检测用户或另一物体移动的多种技术中的任意一种或这些移动检测技术的组合来实现。移动可以是用户或物体作为一个整体相对于检测器子系统106的位置变化,和/或用户或物体相对于检测器子系统的方位变化。运动检测基于例如对用任何前面所说的接近检测技术检测的接近变化速率的分析。检测到的接近变化速率可指示远离或向着检测器子系统106的移动,和/或相对于检测器子系统106从左向右或反之的移动,和/或相对于检测器子系统106的向上或向下移动,等等。
接近检测器和运动检测器是现有技术中公知的。因此,这里将不再进一步详细讨论制作或使用这些检测器的实现技术。
检测器子系统106产生代表在警报范围内捕获到的用户移动的检测器输出。检测器子系统106将检测器输出供到数据处理子系统108。数据处理子系统108处理接收到的检测器输出,并且,将反馈输出供到用户反馈子系统110,并将控制输出供到控制子系统104,如上面所提到的。
用户反馈子系统110接收来自数据处理子系统108的反馈输出。所接收的反馈输出代表检测器子系统106捕获到的用户移动。用户反馈子系统110用于向用户提供指示反馈输出,并且因此指示由检测器子系统106捕获到的用户与无接触用户界面102的用户交互的反馈。到用户的反馈典型地包括视觉反馈和/或可听反馈。
控制子系统104接收来自无接触用户界面102的控制输出。控制输出指示与无接触用户界面102的用户交互。控制子系统104根据所接收的控制输出对功能性进行控制。
无接触用户界面102具有警报模式和控制模式。在警报模式下,如果检测器子系统106已检测到用户在预定警报范围内的存在,用户反馈子系统向用户提供确认。在警报模式下,检测器子系统106所捕获的用户姿势不会导致控制子系统104接收控制输出。相应地,系统100的功能性不能通过用户在警报范围内做出姿势来控制。
如果检测器子系统106检测到在无接触用户界面102处于警报模式的同时且在警报范围内进行的用户的预定初始化姿势,无接触用户界面102从警报模式转换到控制模式。在控制模式下,响应于检测器子系统106检测到在预定警报范围内进行的用户的预定的控制姿势,无接触用户界面102经由控制子系统104控制功能性。
系统100还具有附加用户界面112。附加用户界面112使得用户能够通过与附加用户界面112的物理接触来控制系统100的附加功能性。例如,附加用户界面112具有一个或多个物理按钮、物理滑动器或拨号盘,或者,附加用户界面112包括触摸屏。附加功能性和首先提到的功能性可以是相同功能性,但不需要是相同功能性。在检测到用户以预定的方式趋近附加用户界面112时,检测器子系统106解除致动或是无效(override)无接触用户界面102的控制模式。如较早时所阐释的,在这些情况下无效控制模式防止功能性响应于无接触用户界面102将用户到达附加用户界面112解释为预定控制姿势而被无意控制。
图2、3和4为示出系统100中的检测器子系统106的操作的图示。
图2的图示示出了位于用户环境中并面对用户的检测器子系统106的第一实施例。检测器子系统106的第一实施只有在用户进入环境的部分202或者在其内存在时响应用户的移动。这一部分在本文中已经称为“警报范围”。无接触用户界面102在用户完全或部分地存在于警报范围202内时向用户提供确认,以便向用户通知他/她被注意到。如果用户接下来在警报范围202内进行预定的初始化姿势,无接触用户界面102从警报模式转换到控制模式。在控制模式下,无接触用户界面102借助调节或以其他方式控制系统100的功能性来响应于用户的预定的控制姿势,如果其在警报范围内进行的话。警报范围202仅示意性地画出。除其他的以外,警报范围202的实际空间形状和维度依赖于用于实现检测器子系统106的技术。图2的图示示出了当面对投入使用的检测器子系统106时,以从检测器子系统106投射的轴204为中心、大约在用户的方向上的警报范围202。
图2的图示示出了检测器子系统106的第二实施例。在第二实施例中,警报范围202具有远控制扇区302和近控制扇区304。形容词“远”和“近”对距检测器子系统106测量的距离进行修饰。近控制扇区304位于远控制扇区302和检测器子系统106之间。假设无接触用户界面102处于控制模式。如果用户在远控制扇区302内做出第一预定控制姿势,无接触用户界面102通过根据检测器子系统106捕获的第一预定控制姿势控制系统100的第一功能性来响应。如果用户在远程控制扇区302内做出与第一预定控制姿势不同的第二预定控制姿势,无接触用户界面102不响应。如果用户在近控制扇区304内做出第二预定控制姿势,无接触用户界面102通过根据由检测器子系统106捕获的第二预定控制姿势控制系统100的第二功能性来响应。
更一般地,无接触用户界面102被配置为不同地响应于在警报范围202内的不同控制扇区(例如第一控制扇区302和第二控制扇区304)内进行的不同的预定控制姿势。作为替代地,无接触用户界面102被配置为不同地响应于在警报范围202内的不同控制扇区内进行的同样的预定控制姿势。图4的图示示出了这种更为一般的配置。
在图4的图示中,警报范围202(这里没有单独示出)包括用户和检测器子系统106之间的多个控制扇区。所述多个控制扇区具有在下面参照笛卡尔坐标系402阐释的空间布置。笛卡尔坐标系402具有X轴、Y轴和Z轴。检测器子系统106面对与正X轴平行的方向。
如果用户沿着X轴趋近检测器子系统106,用户首先进入第一控制扇区404。第一控制扇区402沿着X轴到检测器子系统106的投影完全与检测器子系统106重叠。也就是说,检测器子系统106不区分在第一控制扇区404的上半部分(Z是正的)进行的第一预定控制姿势、在第一控制扇区404的下半部分(Z是负的)进行的同样的第一预定控制姿势、在第一控制扇区404的左半部分(Y是负的)进行的同样的第一预定控制姿势、在第一控制扇区404的右半部分(Y是正的)进行的同样的第一预定控制姿势。
如果用户继续沿着X轴趋近检测器子系统106,用户推出第一控制扇区404并进入第二控制扇区406(Y是负的)或第三控制扇区408(Y是正的)。第二控制扇区406沿着X轴在检测器子系统106上的投影仅仅与检测器子系统106的左手侧重叠。第三控制扇区408沿着X轴在检测器子系统106上的投影仅仅与检测器子系统106的右手侧重叠。也就是说,在第二控制扇区406中进行的预定的控制姿势导致与对在第三控制扇区408中进行的同样的预定控制姿势的响应不同的无接触用户界面102的响应,反之亦然。
如果用户继续沿着X轴趋近检测器子系统106,用户退出第二控制扇区406或第三控制扇区408。
如果用户退出第二控制扇区406,用户进入第四控制扇区410或第五控制扇区412。第四控制扇区410的特征在于Z是正的且Y是负的。第五控制扇区412的特征在于Z是负的且Y是负的。
如果用户退出第三控制扇区408,用户进入第六控制扇区414或第七控制扇区416。第六控制扇区414的特征在于Z是正的且Y是正的。第七控制扇区416的特征在于Z是负的且Y是正的。
相应地,在第四控制扇区410、第五控制扇区412、第六控制扇区414和第七控制扇区416特定的一个中进行的预定的控制姿势导致与对当在第四控制扇区410、第五控制扇区412、第六控制扇区414和第七控制扇区416的另一个中进行的相同的预定控制姿势的响应不同的无接触用户界面102的响应。
用户距离检测器子系统106越近,检测器子系统106捕获预定控制姿势的路径的准确度越高,且预定控制姿势的两个或更多不同路径之间的区分越好。因此,可使距离检测器子系统106较近的控制扇区小于距离检测器子系统106较远的控制扇区。
图5为示出了本发明的方法的过程500的图示。假设用户反馈子系统110具有显示监视器(图1中未示出)。在用户进入警报范围202时,用户反馈子系统110以图形格式经由显示监视器提供确认。用户反馈子系统110也响应于预定控制姿势向用户提供关于功能性状态上的变化的控制反馈。
在第一步骤502中,系统100的电源打开。无接触用户界面102于是准备好投入使用。
在第二步骤504中,检测器子系统106检查用户是否在警报范围202内。如果用户不在警报范围202内,检测器子系统106继续检查用户是否已进入警报范围202。如果用户已经进入警报范围202,过程以第三步骤506继续。
在第三步骤506中,用户反馈子系统110控制显示监视器来以图形对象的形式显示确认,从而通知用户他/她已经在警报范围202内被检测到。检测器子系统106保持跟踪用户的移动。用户反馈子系统110根据用户在警报范围202内的移动地在显示监视器上动态控制图形对象。
在第四步骤508中,无接触用户界面102检查用户是否移出了警报范围202。如果在第四步骤508中判断为用户已经移出警报范围202,过程500进行到第五步骤510。
在第五步骤510中,无接触用户界面102终止追踪用户并终止在显示监视器上显示图形对象。在第五步骤510后,过程500返回第二步骤504。
警报范围202为检测器子系统106的空间环境,其中,用户的存在和姿势影响无接触用户界面102的运行。在警报模式下,确认经由用户反馈子系统110被给予用户。在控制模式下,相关功能性响应于预定的控制姿势受到控制,且用户反馈子系统向用户提供关于所捕获的姿势的反馈。警报范围202可刚好在检测器子系统106的物理边界处开始,并从检测器子系统106向远处延伸。检测器子系统106的物理边界包括,例如在检测器子系统106处容纳的诸如移动传感器或位置传感器等硬件部件的物理表面。作为替代地,在系统100包括附加用户界面112的情况下,可在警报区域202和检测器子系统106的物理边界之间有意实现死区。如果检测器子系统106检测到用户或用户身体部分(例如用户的手)在死区内的存在,这种存在被解释为用户想要与附加用户界面112交互。无接触用户界面102于是将把用户或用户身体部分在死区内的存在解释为用户已经离开警报范围202。过程500于是将根据第五步骤510结束跟踪用户以及在显示监视器上显示图形对象。
如果在第四步骤508中判断为用户尚未离开警报范围202,过程500进行到第六步骤512。
在第六步骤512中,判断用户是否已经进行预定的初始化姿势。如果在第六步骤512中判断为用户尚未进行预定的初始化姿势,过程500返回第三步骤506。如果在第六步骤512中判断为用户已经进行预定的初始化姿势,过程500以第七步骤514继续。
在第七步骤514中,检测器子系统106判断警报范围内多个控制扇区中的适用的一个。具有多个控制扇区的警报范围的实例在上面讨论的图3和4的图示中给出。如果警报范围202内仅有一个控制扇区,过程500中不存在第七步骤514。在第七步骤514后,过程继续到第八步骤516。
在第八步骤516中,用户反馈子系统110控制显示监视器以显示控制表示,即与适用的控制扇区相关联的功能性的可控制性的表示。例如,如果功能性包括音量或灯光亮度的调节,控制表示包括指示音量或亮度能呈现的量值范围的线性标度。音量或亮度的当前量值在线性标度上图形指示。相关联的预定控制姿势于是用于调节音量或亮度以及调节在线性标度上图形指示的当前量值。作为另一实例,功能性包括多个信息内容项目中的特定一个的选择。项目可以在播放列表或电子节目指南(EPG)中表示。控制表示包括播放列表或EPG或其部分,具有指示项目当前选择的高亮。相关联的预定控制姿势于是用于选择新的项目并调节高亮在控制表示中的位置,以便与新选择的项目对应。在第八步骤516之后,过程以第九步骤518继续。
在第九步骤518中,无接触用户界面102判断用户移动是否被解释为适用于在第七步骤514中确定的当前控制扇区的预定的控制姿势。如果在第九步骤518中判断为用户移动不能解释为适用的预定控制姿势,过程500进行第十步骤520。
在第十步骤520中,判断用户是否已经移出警报范围202,如果在第十步骤520中判断为用户已经移出警报范围202,过程500返回到第五步骤510。如果在第十步骤520中判断为用户尚未离开警报范围202,过程500返回到第七步骤514。
如果在第九步骤518中判断为用户移动被解释为适用的预定控制姿势,过程500进行第十一步骤522。
在第十一步骤522中,功能性根据用户移动的时间和空间特性受到控制。检测器子系统106所捕获的实际移动被映射到适用的预定控制姿势上。如较早时所提到的,姿势是例如用户的手的位置的有意移动。用户的手的实际移动以改变手相对于某个基准位置的位置、改变手相对于基准方位的方位以及改变手相对于基准形状的形状为特征。实际上,在对移动进行特征化的各个维度上,实际移动不能以比如说几毫米的准确度重复。因此,将检测器子系统106所捕获的实际姿势与适用于适用控制扇区的一个或多个预定控制姿势比较。如果与特定的适用预定控制姿势的比较揭示出量值在预定界限内的差异,将实际姿势作为等效于该特定的适用预定控制姿势来处理。
记住在第八步骤516中,用户反馈子系统110在显示监视器上以图形对象的形式产生控制表示。在第十一步骤522中,用户反馈子系统110也根据用户移动的时间和空间特性来控制所显示的控制表示,因此向用户提供关于用户姿势在当前被控制的功能性上的效果的视觉反馈。
功能性的控制和所显示的控制表示的控制一直继续,直到在第十二步骤524中判断为对功能性的调节或控制可终止。例如,如果用户从适用控制扇区退回或者如果用户从适用控制扇区撤回他/她的手,确定终止。作为替代的是,用户可借助被无接触用户界面102解释为将停止控制的预定停止姿势来终止当前控制。如果在第十二步骤524中判断为用户已经停止控制,过程返回到第十步骤520。
图6、7、8和9示出了在无接触用户界面102的警报模式下来自用户反馈子系统110的确认的图形表示的实例。用户反馈子系统110包括显示监视器602。考虑系统100投入使用,即系统的运行状态,其中,电力开启,且其中,用户超出警报范围202。在这种运行状态下,显示监视器602受到控制以便向用户显示内容信息,即如果用户观看显示监视器602对用户在语义上有意义的信息。在图6-9的实例中,内容信息采用代表模拟时钟的图形对象604的形式。图形对象604中的时钟的表针受到控制以指示一天中的当前时间。
在图6中,用户用手606代表。手606在检测器子系统106的警报范围202外。显示监视器602正在显示模拟时钟604。
在图7中,手606正在进入警报范围202。检测器子系统106检测手606,且无接触用户界面102进入警报模式。在警报模式下,用户反馈子系统110控制显示监视器602,以便在检测到手606时将模拟时钟604的图形对象变形为粒子集合702。
在考虑粒子集合702时:如计算机生成图形领域已知的,粒子动画典型地适用于从相对简单的抽象描述创建相当复杂的图形结构。可使用适度的计算能力使这种相当复杂的图形结构以可察觉的可信的方式动态变化。更多的背景参见Karl Sims的“Partical Animation and rendering Using Data Parallel Computing”(Computer Graphics,Vol.24(4),1990年8月,pp. 405-413)或Richard Szeliski等人的“Modeling Surfaces of Arbitrary Topology with Dynamic Particles”(1993 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Proceedings CVPR’93,pp. 82-87)。
粒子动画用在图6-9的实例中,以便在显示监视器602上创建代表用户的手606的图形对象。图形对象在这里是粒子集合702。粒子受到单独控制以动态改变其位置,从而对检测子系统106所捕获的手606的实际移动进行镜像。如上面所讨论的,图形对象对用户移动的镜像有助于系统100的用户友好。借助粒子动画实现这种图形对象具有这样的优点:能以可信的方式模仿检测器子系统106在警报范围202内捕获的任何真实对象的形状和移动,即使是用户的手、用户的腿,或是圣诞老人的胡须,如果他想要经由无接触用户界面102“波戈”式地(即借助他的胡须)控制系统的话。
在图8中,手604已经进入警报范围202,且检测子系统106正在追踪手606的移动。用户反馈子系统110控制显示监视器602,以便使粒子集合702对手606的移动进行镜像。
在图9中,手604已经距离检测器子系统106更近,且粒子集合702正在占据显示监视器602的屏幕空间中比图8中更大的部分,并对手604的当前移动进行镜像。
如果用户在到达图7、8和9所示的任何状态时将他/她的手606从警报范围202移走,用户反馈子系统110将粒子集合702重新变形到图6中的模拟时钟604。
图10和11为示出当无接触用户界面102处于控制模式时用户反馈子系统110的运行的图示。用户反馈子系统110适用于向用户提供控制反馈。
假设用户的手606已经进入这样的控制扇区:其中,系统100的第一功能性由第一预定控制姿势控制,且其中,系统100的第二功能性由第二预定控制姿势控制。如果实际移动具有大体上沿着图4的笛卡尔坐标系402的Y轴的主向量分量,无接触用户界面102将手606的实际移动解释为第一预定控制姿势。如果实际移动具有沿着图4的笛卡尔坐标系402的Z轴的主向量分量,无接触用户界面102将手606的实际移动解释为第二预定控制姿势。
如图10所示,第一功能性的控制表示是包括多个框的水平阵列的第一图形对象1002。框中各个相应的一个代表在无接触用户界面102的控制模式下第一功能性能被设置的相应的量值、水平或状态。假设手606已经在时刻t=T1进入相关控制扇区。直到时刻t=T1,第一功能性具有与阵列的第三个框对应的状态。水平阵列的第三个框高亮。在他/她的手606位于相关控制扇区时,用户开始在正Y轴的方向上移动其手606。检测器子系统106跟踪移动。检测器输出经由控制子系统104导致第一功能性的状态根据手606沿着Y轴在正方向上的移动而改变。检测器输出也使得用户反馈子系统110根据被跟踪的手606的移动改变第一图形对象1002。在时刻t=T1+ΔT,高亮已离开第三框,且水平阵列的第四框高亮。在时刻t=T1+3ΔT,高亮已离开第四框,且水平阵列的第七框高亮。显然,用户已经认识到他/她已经超过想要的最终状态,且用户将他/她的手606在沿着Y轴的负方向上移回。在时刻t=T1+7ΔT,高亮已离开第七框,且水平阵列的第六框高亮。
如图11所示,第二功能性的控制表示为包括竖直滑动器1104的第二图形对象1102。滑动器1104的各个相应的竖直位置对应于在无接触用户界面102的控制模式下第二功能性能被设置的相应的水平。假设手606已经在时刻t=T1进入相关控制扇区。一直到时刻t=T1,第二功能性具有与t=T1时所指示的滑动器1104的位置对应的水平。在他/她的手606在相关控制扇区内时,用户开始在正Z轴的方向上移动其手606。检测器子系统106跟踪移动。检测器输出经由控制子系统104导致第二功能性的状态根据沿着Z轴在正方向上手606的移动而变化。检测器输出还使得用户反馈子系统110根据被跟踪的手606的移动改变第二图形对象1102。在时刻t=T1+ΔT时,滑动器1104已经移动到较高的竖直水平。时刻t=T1+ΔT时的较高水平对应于时刻t=T1+ΔT时手606所呈现的竖直位置。在时刻t=T1+5ΔT时,滑动器1104已经移动到更高的竖直水平。时刻t=T1+5ΔT时更高的水平对应于时刻t=T1+5ΔT时手606所呈现的竖直位置。
从无接触用户界面102的警报模式到控制模式的转换与显示对用户移动进行镜像的确认(在上面的实例中:粒子集合702)到显示对用户姿势进行镜像的控制反馈(在上面的实例中:第一图形对象1002或第二图形对象1102)的转换一起进行。再一次地,显示确认与显示控制反馈之间以及显示控制反馈与显示确认之间的转换能使用交叉隐现的技术或变形技术实现。
注意,第一图形对象1002和第二图形对象1102能同时显示在显示监视器602上。在此实例中,基于其主向量分量,无接触用户界面102在用户的实际姿势之间进行区分,使得如果第一功能性和第二功能性的图形表示(即第一图形对象1002和第二图形对象1102)同时均显示,则要么第一功能性、要么第二功能性受到控制。这避免了用户意图控制第一功能性状态的实际姿势影响第二功能性的状态,反之亦然。

Claims (20)

1. 一种具有无接触用户界面(102)的系统(100),其被配置为用于由用户通过与无接触用户界面的无接触交互来控制系统的功能性,其中:
无接触用户界面具有检测器子系统(106)和用户反馈子系统(110);
无接触用户界面被配置为用于以警报模式和控制模式中的一种运行;
在警报模式下,无接触用户界面被配置为用于控制用户反馈子系统,以便响应于检测器子系统已经检测到用户在预定的警报范围(202)内的存在,向用户提供(506)确认(702);
无接触用户界面被配置为响应于在预定的警报范围内检测器子系统检测到(512)由用户做出的预定的初始化姿势,从警报模式转换到控制模式;以及
在控制模式下,无接触用户界面被配置为,响应于检测器子系统检测到在预定的警报范围内进行的用户的预定控制姿势,控制(522)功能性。
2. 权利要求1的系统,其中,用户反馈子系统被配置为响应于预定控制姿势向用户提供(522)关于功能性状态中的变化的控制反馈(1002;1102)。
3. 权利要求1的系统,其中,用户反馈子系统被配置为,受在警报范围内跟踪用户的检测器子系统的控制,动态调节(506)确认。
4. 权利要求2的系统,其中,用户反馈子系统被配置为,受在警报范围内跟踪用户的检测器子系统的控制,动态调节(522)控制反馈。
5. 权利要求1的系统,其中:
系统具有附加用户界面(112),
附加用户界面被配置为用于用户通过与附加用户界面的物理接触来控制系统的附加功能性;
检测器子系统适用于在检测到用户以预定的方式趋近附加用户界面时,解除致动用户经由无接触用户界面对功能性的控制。
6. 一种被配置为用于具有无接触用户界面(102)的系统(100)的计算机可读介质上的控制软件,其中:
无接触用户界面被配置为用于用户通过与无接触用户界面的无接触交互来控制系统的功能性;
无接触用户界面具有检测器子系统(106)和用户反馈子系统(110);
控制软件具有用于在警报模式下实现无接触用户界面的操作的第一指令;
控制软件具有用于在控制模式下实现无接触用户界面的操作的第二指令;
第一指令包括第三指令,其用于响应于检测器子系统已检测到用户在预定警报范围(202)内存在,控制用户反馈子系统以便向用户提供(506)确认(702);
第一指令包括第四指令,其用于响应于在预定警报范围内检测器子系统检测到(512)由用户做出的预定初始化姿势,使得无接触用户界面从警报模式转换到控制模式;且
第二指令包括第五指令,其用于响应于检测器子系统检测到在预定警报范围内进行的用户的预定控制姿势,控制(522)功能性。
7. 权利要求6的控制软件,其中,第二指令包括第六指令,其用于控制用户反馈子系统,以便响应于预定控制姿势向用户提供(522)关于功能性状态变化的控制反馈(1002;1102)。
8. 权利要求6的控制软件,其中,第一指令包括第七指令,其用于在警报范围内追踪用户的检测器子系统的控制下,控制用户反馈子系统,以便对确认进行动态调节(506)。
9. 权利要求7的控制软件,其中,第二指令包括第九指令,其用于在警报范围追踪用户的检测器子系统的控制下,控制用户反馈子系统,以便对控制反馈进行动态调节(522)。
10. 权利要求6的控制软件,其中:
系统具有附加用户界面(112),
附加用户界面被配置为用于由用户通过与附加用户界面的物理接触来控制系统的附加功能性;
第二指令包括第十指令,其用于在检测器子系统检测到用户以预定的方式趋近附加用户界面时,解除致动用户经由无接触用户界面对功能性的控制。
11. 一种使得用户能够通过与系统(100)的无接触交互来控制系统功能性的方法,其中:
该方法具有警报模式过程和控制模式过程,
该方法包括:
     在警报模式过程中,响应于检测到用户在预定的警报范围(202)中存在,向用户提供(506)确认(702);
     响应于在预定警报范围内检测到(512)由用户做出的预定初始化姿势,从警报模式过程转换到控制模式过程;以及
     在控制模式过程中,响应于检测到在预定警报范围内进行的用户的预定控制姿势,控制(522)功能性。
12. 权利要求11的方法,其中,控制模式过程包括,响应于预定控制姿势向用户提供(522)关于功能性状态变化的控制反馈(1002;1102)。
13. 权利要求11的方法,其中,警报模式过程包括,在警报范围内追踪用户的控制下,对确认进行动态调节(506)。
14. 权利要求12的方法,其中,控制模式过程包括在警报范围追踪用户的控制下,对控制反馈进行动态调节(522)。
15. 权利要求11的方法,其中:
系统具有附加用户界面(112);
附加用户界面被配置为用于由用户通过与附加用户界面的物理接触控制系统的附加功能性;
该方法包括,在检测到用户以预定的方式趋近附加用户界面时,解除致动通过无接触交互对功能性的控制。
16. 一种在系统(100)中使用的用户界面(102,112),其中,用户界面包括无接触用户界面(102),其被配置为用于用户通过与无接触用户界面的无接触交互来控制系统的功能性,其中:
无接触用户界面具有检测器子系统(106)和用户反馈子系统(110);
无接触用户界面被配置为以警报模式和控制模式中的一种运行;
在警报模式下,无接触用户界面被配置为,响应于检测器子系统已检测到用户在预定警报范围(202)内存在,控制用户反馈子系统以便向用户提供(506)确认(702);
无接触用户界面被配置为,响应于在预定警报范围检测器子系统检测到(512)由用户做出的预定初始化姿势,从警报模式转换到控制模式;且
在控制模式下,无接触用户界面被配置为,响应于检测器子系统检测到在预定警报范围内进行的用户的预定控制姿势,控制(522)功能性。
17. 权利要求16的用户界面,其中,用户反馈子系统被配置为,响应于预定控制姿势向用户提供(522)关于功能性状态变化的控制反馈(1002;1102)。
18. 权利要求16的用户界面,其中,用户反馈子系统被配置为,在警报范围内追踪用户的检测器子系统的控制下,对确认进行动态调节(506)。
19. 权利要求17的用户界面,其中,用户反馈子系统被配置为,在警报范围追踪用户的检测器子系统的控制下,对控制反馈进行动态调节(522)。
20. 权利要求16的用户界面,其中:
用户界面具有附加用户界面(112);
附加用户界面被配置为用于由用户通过与附加用户界面的物理接触控制系统的附加功能性;
检测器子系统适用于,在检测到用户以预定的方式趋近附加用户界面时,解除致动用户经由无接触用户界面对功能性的控制。
CN201280045123.6A 2011-09-15 2012-09-03 具有用户反馈的基于姿势的用户界面 Active CN103797440B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161534935P 2011-09-15 2011-09-15
US61/534935 2011-09-15
US61/534,935 2011-09-15
PCT/IB2012/054530 WO2013038293A1 (en) 2011-09-15 2012-09-03 Gesture-based user-interface with user-feedback

Publications (2)

Publication Number Publication Date
CN103797440A true CN103797440A (zh) 2014-05-14
CN103797440B CN103797440B (zh) 2016-12-21

Family

ID=46852334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280045123.6A Active CN103797440B (zh) 2011-09-15 2012-09-03 具有用户反馈的基于姿势的用户界面

Country Status (7)

Country Link
US (1) US9910502B2 (zh)
EP (2) EP3043238B1 (zh)
JP (1) JP6110857B2 (zh)
CN (1) CN103797440B (zh)
BR (1) BR112014005656A2 (zh)
RU (1) RU2014114830A (zh)
WO (1) WO2013038293A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107427142A (zh) * 2015-02-10 2017-12-01 康富公司 饮料分配机的手势界面
CN108135397A (zh) * 2015-10-23 2018-06-08 雀巢产品技术援助有限公司 饮料制备机器的用户界面
CN113614676A (zh) * 2019-05-20 2021-11-05 谷歌有限责任公司 用于提供多模式界面的基于移动设备的雷达系统及其方法

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8976158B2 (en) 2009-02-15 2015-03-10 Neonode Inc. User interface for white goods and associated multi-channel proximity sensors
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) * 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
EP2979036A4 (en) * 2013-03-29 2016-09-21 Neonode Inc USER INTERFACE FOR WHITE PRODUCTS AND ASSOCIATED MULTIPLE CHANNEL PROXIMITY SENSORS
US10048760B2 (en) * 2013-05-24 2018-08-14 Atheer, Inc. Method and apparatus for immersive system interfacing
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9367137B2 (en) * 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US10079970B2 (en) * 2013-07-16 2018-09-18 Texas Instruments Incorporated Controlling image focus in real-time using gestures and depth sensor data
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
KR102166330B1 (ko) * 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
JP6255954B2 (ja) * 2013-12-03 2018-01-10 富士通株式会社 動作入力装置、動作入力プログラム及び動作入力方法
PL2921936T3 (pl) * 2014-03-22 2019-09-30 Monster & Devices Home sp. z o.o. Metoda i aparatura do sterowania urządzeniem za pomocą gestów
USD738882S1 (en) * 2014-03-31 2015-09-15 Essex Electronics, Inc. Touchless microwave switch
US11977998B2 (en) 2014-05-15 2024-05-07 Storz Endoskop Produktions Gmbh Surgical workflow support system
US9958946B2 (en) * 2014-06-06 2018-05-01 Microsoft Technology Licensing, Llc Switching input rails without a release command in a natural user interface
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US9846522B2 (en) 2014-07-23 2017-12-19 Microsoft Technology Licensing, Llc Alignable user interface
US9753546B2 (en) 2014-08-29 2017-09-05 General Electric Company System and method for selective gesture interaction
JP6359935B2 (ja) * 2014-09-30 2018-07-18 株式会社Nttドコモ 対話装置および対話方法
JP6464681B2 (ja) * 2014-11-05 2019-02-06 三菱自動車工業株式会社 操作入力装置
US9352687B1 (en) 2014-11-07 2016-05-31 General Motors Llc Methods and system for vehicle setting control
CN104391301B (zh) * 2014-12-09 2017-02-01 姚世明 一种媒体设备用肢体语言开/关机方法
CN104639966A (zh) * 2015-01-29 2015-05-20 小米科技有限责任公司 遥控方法及装置
JP6603024B2 (ja) 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
US10600015B2 (en) 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
US9866070B2 (en) 2015-08-31 2018-01-09 International Business Machines Corporation Secure wireless power access protocol suited for implementing levels of service in public and private environments
US20170083759A1 (en) * 2015-09-21 2017-03-23 Monster & Devices Home Sp. Zo. O. Method and apparatus for gesture control of a device
US10877559B2 (en) * 2016-03-29 2020-12-29 Intel Corporation System to provide tactile feedback during non-contact interaction
DE102016108885A1 (de) * 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Verfahren zum berührungslosen Verschieben von visuellen Informationen
WO2018052894A1 (en) * 2016-09-14 2018-03-22 Sears Brands, Llc Refrigeration device with gesture-controlled dispenser
WO2018084082A1 (ja) * 2016-11-02 2018-05-11 パナソニックIpマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
DE112018000770T5 (de) 2017-02-10 2019-11-14 Panasonic Intellectual Property Management Co., Ltd. Fahrzeugeingabevorrichtung
US10845477B2 (en) 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar
US10782390B2 (en) 2017-05-31 2020-09-22 Google Llc Full-duplex operation for radar sensing using wireless communication chipset
US10754005B2 (en) 2017-05-31 2020-08-25 Google Llc Radar modulation for radar sensing using a wireless communication chipset
EP3783461A1 (en) 2017-08-22 2021-02-24 ameria AG User readiness for touchless gesture-controlled display systems
WO2020131020A1 (en) * 2018-12-17 2020-06-25 Emerge Now Inc. Systems for interfacing with immersive computing environments
WO2020256692A1 (en) 2019-06-17 2020-12-24 Google Llc Mobile device-based radar system for applying different power modes to a multi-mode interface
US11943299B2 (en) 2020-03-26 2024-03-26 Bunn-O-Matic Corporation Brewer communication system and method
WO2022170105A1 (en) * 2021-02-05 2022-08-11 Pepsico, Inc. Devices, systems, and methods for contactless interfacing
DE102022107274B4 (de) 2022-03-28 2024-02-15 BEAMOTIONS Rüddenklau Hänel GbR (vertretungsberechtigte Gesellschafter: Rene Rüddenklau, 80687 München und Christian Hänel, 85586 Poing) System und Verfahren für die Gestenerkennung und/oder Gestensteuerung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0385384A2 (de) * 1989-03-01 1990-09-05 Siemens Aktiengesellschaft Verfahren zur Detektion und Verfolgung bewegter Objekte in digitaler Bildfolge mit bewegtem Hintergrund
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US20100281436A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Binding users to a gesture based system and providing feedback to the users

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US7116763B2 (en) * 1998-06-10 2006-10-03 Henry Sifuentes Voice and motion activated telephone
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
WO2005031552A2 (en) 2003-09-30 2005-04-07 Koninklijke Philips Electronics, N.V. Gesture to define location, size, and/or content of content window on a display
US7835498B2 (en) 2005-02-18 2010-11-16 Koninklijke Philips Electronics N. V. Automatic control of a medical device
JP2006338328A (ja) * 2005-06-02 2006-12-14 Fuji Xerox Co Ltd 操作システム、処理装置、指示装置、操作方法およびプログラム
TWI412392B (zh) 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
JP5324440B2 (ja) 2006-07-12 2013-10-23 エヌ−トリグ リミテッド デジタイザのためのホバリングおよびタッチ検出
US8933892B2 (en) 2007-11-19 2015-01-13 Cirque Corporation Touchpad combined with a display and having proximity and touch sensing capabilities to enable different functions or interfaces to be displayed
US8159458B2 (en) 2007-12-13 2012-04-17 Apple Inc. Motion tracking user interface
US8933876B2 (en) * 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
JP5053962B2 (ja) * 2008-09-10 2012-10-24 Necパーソナルコンピュータ株式会社 情報処理装置
WO2010033086A1 (en) 2008-09-19 2010-03-25 National University Of Singapore Haptic chair sound enhancing system with audiovisual display
JP5129076B2 (ja) * 2008-09-26 2013-01-23 Necパーソナルコンピュータ株式会社 入力装置、情報処理装置、及びプログラム
US8907894B2 (en) 2009-10-20 2014-12-09 Northridge Associates Llc Touchless pointing device
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
WO2011098281A2 (en) 2010-02-10 2011-08-18 Ident Technology Ag System and method for the generation of a signal correlated with a manual input operation
JP5565679B2 (ja) 2010-03-30 2014-08-06 清水建設株式会社 免震構造物
US20110310050A1 (en) * 2010-06-16 2011-12-22 Holy Stone Enterprise Co., Ltd. Dual-view display operating method
US20150227208A1 (en) * 2012-12-18 2015-08-13 Google Inc. Gesture Based Rating System and Method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0385384A2 (de) * 1989-03-01 1990-09-05 Siemens Aktiengesellschaft Verfahren zur Detektion und Verfolgung bewegter Objekte in digitaler Bildfolge mit bewegtem Hintergrund
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US20100281436A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Binding users to a gesture based system and providing feedback to the users

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107427142A (zh) * 2015-02-10 2017-12-01 康富公司 饮料分配机的手势界面
CN108135397A (zh) * 2015-10-23 2018-06-08 雀巢产品技术援助有限公司 饮料制备机器的用户界面
CN113614676A (zh) * 2019-05-20 2021-11-05 谷歌有限责任公司 用于提供多模式界面的基于移动设备的雷达系统及其方法
CN113614676B (zh) * 2019-05-20 2024-03-26 谷歌有限责任公司 用于提供多模式界面的基于移动设备的雷达系统及其方法

Also Published As

Publication number Publication date
WO2013038293A1 (en) 2013-03-21
JP2014527245A (ja) 2014-10-09
US20140237432A1 (en) 2014-08-21
US9910502B2 (en) 2018-03-06
JP6110857B2 (ja) 2017-04-05
EP3043238A1 (en) 2016-07-13
EP2745186A1 (en) 2014-06-25
BR112014005656A2 (pt) 2017-03-28
RU2014114830A (ru) 2015-10-20
CN103797440B (zh) 2016-12-21
EP3043238B1 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
CN103797440A (zh) 具有用户反馈的基于姿势的用户界面
US8933876B2 (en) Three dimensional user interface session control
US10321104B2 (en) Multi-modal projection display
US9829988B2 (en) Three dimensional user interface session control using depth sensors
US9454225B2 (en) Gaze-based display control
JP6390277B2 (ja) 情報処理装置、制御方法、およびプログラム
CN103348305B (zh) 姿态可控系统使用本体感受创建绝对参考系
CN106346487A (zh) 交互式vr沙盘展示机器人
Seifried et al. CRISTAL: a collaborative home media and device controller based on a multi-touch display
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
WO2014190886A1 (zh) 智能交互系统及其软件系统
CN107003750A (zh) 多表面控制器
CN107969150A (zh) 用于辅助家庭中用户的设备
US20210081029A1 (en) Gesture control systems
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
CN108762661A (zh) 车辆内饰交互方法与系统以及包括该系统的车辆
Garzotto et al. Touchless gestural interaction with small displays: a case study
CN106200900B (zh) 基于识别区域在视频中触发虚拟现实交互的方法及系统
KR101515178B1 (ko) 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법
CN109445568A (zh) 投影对象控制方法、装置及主机
JP7444060B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019235263A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Ruser et al. Evaluating the accuracy and user experience of a gesture-based infrared remote control in smart homes
James SimSense-Gestural Interaction Design for Information Exchange between Large Public Displays and Personal Mobile Devices
Zambon Mixed Reality-based Interaction for the Web of Things

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211013

Address after: 7 / F, TCL communication technology building, F4, phase III, TCL International e city, No. 1001, Zhongshan Park Road, Xili street, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen TCL Yunchuang Technology Co.,Ltd.

Address before: Eindhoven, Netherlands

Patentee before: KONINKLIJKE PHILIPS N.V.