CN105190481A - 响应于操作人员位置和手势的用户接口 - Google Patents

响应于操作人员位置和手势的用户接口 Download PDF

Info

Publication number
CN105190481A
CN105190481A CN201480008997.3A CN201480008997A CN105190481A CN 105190481 A CN105190481 A CN 105190481A CN 201480008997 A CN201480008997 A CN 201480008997A CN 105190481 A CN105190481 A CN 105190481A
Authority
CN
China
Prior art keywords
user interface
component
control device
visual
operating personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480008997.3A
Other languages
English (en)
Other versions
CN105190481B (zh
Inventor
卢香君
G.舍马克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105190481A publication Critical patent/CN105190481A/zh
Application granted granted Critical
Publication of CN105190481B publication Critical patent/CN105190481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

各种实施例一般地涉及用户接口响应于其操作人员的位置和手势而被自动地选择的多个模式的提供。一种设备包括:图像传感器,用于捕捉操作人员的至少一个图像;和位置部件,以可通信方式耦合到图像传感器以确定操作人员与可手动操作控制装置的接近距离,并且将该距离的确定提供给用户接口部件以便能够实现用户接口的视觉部分的多个视图之一的动态选择。描述并且要求保护其它实施例。

Description

响应于操作人员位置和手势的用户接口
技术领域
这里描述的实施例一般地涉及一种根据操作人员相对于计算装置的位置和由操作人员做出的手势采用与操作人员的不同交互模式的用户接口。
背景技术
典型计算装置被以物理方式配置并且具有仅支持一种操作方式的用户接口,包括以单个特定方式配置的仅一组用户接口部件。这是由于假设计算装置的操作人员选择适合于其预期操作方式的计算装置(例如,在桌子上操作的桌上型计算机、在房间中操作的机顶盒、在手中携带的同时操作的手持便携式装置等)并且不太可能试图改变它而出现的。
作为结果,计算装置的图形用户接口常常被设计为仅支持一种交互配置。虽然计算装置的操作人员经常可“定制”它的用户接口的各方面,但这些定制变为仅用作单个交互方式的用户接口的一部分。在用于创建或改变多个交互配置中的配置的典型“设置”或“配置”菜单中,未提供机会。
有效结果是:需要操作人员采用计算装置已被构造为支持的无论哪种单个交互方式。更具体地讲,在计算装置被配置为作为桌上型计算装置支持操作的情况下,预期它的操作人员通过总是坐在桌子旁来适应所述一种交互方式以如此使用它。在该计算装置的物理配置方面或在它的针对想要在不同时间(例如,有时在坐在桌子附近的同时并且有时在以物理方式远离该计算装置和该桌子的同时)以不同方式与它交互的用户的用户接口方面,未进行适应。
附图说明
图1图解计算装置的实施例的各方面。
图2图解计算装置的替代实施例的各方面。
图3A-D图解实施例的操作人员的不同位置和手势的各方面。
图4A-F图解根据实施例的用户接口的不同的自动选择的模式的各方面。
图5和6图解图1的实施例的各方面。
图7图解根据实施例的第一逻辑流程。
图8图解根据实施例的第二逻辑流程。
图9图解根据实施例的第三逻辑流程。
图10图解根据实施例的处理架构。
具体实施方式
各种实施例一般地涉及响应于计算装置的操作人员的位置和手势而被自动地选择的计算装置的用户接口的多个模式的提供。更具体地讲,反复地监视诸如相对于计算装置的用户接口部件的操作人员的手的移动和操作人员的身体的一个或多个部分的位置的因素。当操作人员操作计算装置以便能够实现这些多个模式中的不同模式的动态选择时,由于操作人员可能在这种操作期间改变位置,因此这种反复监视持续进行。
响应于检测到操作人员的位置相对比较接近计算装置的可手动操作控制装置(例如,鼠标、键盘、触摸垫、触摸屏等中的一个或多个等)从而可实现这些控制装置的操作,并且响应于检测到操作人员的至少一只手位于如此操作这些控制装置的位置,自动地选择模式之一。响应于检测到操作人员的位置相对比较接近这些控制装置,还响应于检测到操作人员的至少一只手位于使手的手指指向计算装置的显示器的一部分的位置,自动地选择另一模式。响应于检测到操作人员的位置未相对比较接近这些控制装置,自动地选择又一模式。
这些模式中的每个模式的自动选择是用户接口的视觉部分的视图的自动选择,在该视图中在计算装置的显示器上以不同方式以视觉方式至少提供可选择菜单项。视觉部分的视图之一被具体地配置为通过使用可手动操作控制装置支持操作人员交互。另一视图被具体地配置为通过在相对比较接近这些控制装置的同时利用操作人员的一只手的手指指向在显示器上以视觉方式呈现的可选择菜单项来支持操作人员交互。又一视图被具体地配置为通过在定位得足够远离控制装置以预先排除与该用户接口部件的交互的同时利用至少一只手做出手势来支持操作人员交互。再一次,当动态地选择这些模式中的不同模式时,由于操作人员可能在计算装置的操作期间改变位置,因此也动态地发生这些视图中的不同对应视图的自动选择。
另外,这些模式中的每个模式的自动选择是对由计算装置可能采用的用于验证操作人员的身份的机制的自动选择。所述多个模式之一的自动选择基于由一个或多个传感器提供的操作人员相对于用户接口部件的位置和操作人员的至少一只手的至少一个位置的指示的接收。多个模式之一的这种自动选择能够使操作人员在不同时间以不同方式与计算装置交互。
一般地参照这里使用的符号和术语,可根据在计算机或计算机的网络上执行的程序过程呈现下面的详细描述的一部分。这些过程描述和表示由本领域技术人员使用以最有效地将他们的工作的实质传达给其它本领域技术人员。过程在这里通常被设想为导致预期结果的前后一致的一系列操作。这些操作是需要物理量的物理操纵的操作。通常,但并非必然,这些量采取能够被存储、传送、组合、比较和以其它方式操纵的电、磁或光学信号的形式。有时,主要由于常用的原因,已证明将这些信号称为位、值、元素、码元、字符、项、数字等是比较方便的。然而,应该注意的是,所有这些和类似术语应该与合适的物理量关联并且仅是应用于这些量的方便的标签。
另外,经常在通常与由人类操作人员执行的精神操作关联的术语(诸如,相加或比较)中提及这些操纵。然而,在这里描述的形成一个或多个实施例的一部分的任何操作中,并不需要或在多数情况下不想要人类操作人员的这种能力。相反地,这些操作是机器操作。用于执行各种实施例的操作的有用的机器包括由存储在通用数字计算机内的根据这里的教导编写的计算机程序选择性地激活或配置的通用数字计算机,和/或包括为了需要的目的具体地构造的设备。各种实施例还涉及用于执行这些操作的设备或系统。这些设备可被具体地构造用于需要的目的,或者可包括通用计算机。从给定的描述,将会出现针对各种这些机器的需要的结构。
现在参照附图,其中相似的附图标记始终被用于表示相似的元件。在下面的描述中,为了解释的目的,阐述许多特定细节以便提供对它的彻底的理解。然而,可能清楚的是,能够在没有这些特定细节的情况下实施新颖的实施例。在其它实例中,以方框图形式示出公知结构和装置以便方便其描述。本发明应该包括落在权利要求的范围内的所有修改、等同物和替代物。
图1是根据这里描述的实施例的交互系统1000的方框图,交互系统1000包括用于检测操作人员位置和手势并且对操作人员位置和手势做出响应的交互装置100的实施例。图1还可选地描述维护与操作人员关联的账号的服务器500,交互装置100和服务器500经它们之间的网络999通信以确定是否允许操作人员访问该账号。这些计算装置100和500中的每一个可以是各种类型的计算装置(非限制性地包括,桌上型计算机系统、数据输入终端、膝上型计算机、笔记本计算机、超级本计算机、平板计算机、手持式个人数据助手、智能电话、数字照相机、移动装置、包括在衣服中的体佩计算装置、集成在车辆中的计算装置、服务器、服务器群、服务器农场等)中的任何计算装置。
如图中所绘,这些计算装置100和500可交换关于操作人员的身份是否被验证的信号,从而可允许访问与他们关联的账号。然而,这些计算装置中的一个或多个可交换与感兴趣的图像或区域完全无关的其它数据。在各种实施例中,网络999可以是可能局限于在单个建筑物或其它相对有限的区域内延伸的单个网络、可能延伸很大距离的连接的网络的组合。换而言之,网络999可包括互联网、一个或多个专用内联网或二者。因此,网络999可基于可交换信号的各种通信技术(或通信技术的组合)(非限制性地包括,采用以电气方式和/或以光学方式传导的线缆的有线技术以及采用红外、射频或其它形式的无线传输的无线技术)中的任何通信技术。还应该注意的是,可替代地在针对每个计算装置的不同时间经可移动存储器(例如,基于FLASH内存技术的固态存储器、光盘介质等)的直接耦合至少在这些计算装置之间交换这种数据。
在各种实施例中,交互装置100合并了处理器元件150、存储器160、控制装置120、显示器180、接近传感器111、麦克风112、图像传感器115、眼睛跟踪器116和用于将交互装置100耦合到网络999的接口190中的一个或多个。存储器160存储控制例程140和标识数据132中的一个或多个。图像传感器115可基于用于捕捉操作人员的至少脸和/或手的图像的各种技术中的任何技术,包括并且不限于电荷耦合器件(CCD)半导体技术。将要详细地解释,图像传感器115可被用于确定操作人员与控制装置120的距离,验证操作人员的身份和/或验证操作人员的手势被朝着交互装置100引导。替代地或者另外,接近传感器111、麦克风112和眼睛跟踪器116中的一个或多个可被用于实现这一点。
如果存在接近传感器111,则接近传感器111可基于确定交互装置100的一部分与操作人员的距离的各种技术中的任何技术。在一些实施例中,可使用超声输出和接收的组合,其中朝着预期操作人员操作交互装置100的位置投射超声波,并且确定在由操作人员的身体反射之后这些声波返回所需的时间量。在其它实施例中,可类似地使用红外光输出和接收的组合。
如果存在麦克风112,则麦克风112可基于用于检测操作人员的语音的各种技术中的任何技术。麦克风112可按照声学方式耦合到周围空气以检测周围空气中的声音,或者可按照机械方式耦合到交互装置100的一部分以通过交互装置100的壳体的一部分检测传导至交互装置100的该部分的声频中的振动。
如果存在眼睛跟踪器116,则眼睛跟踪器116可基于用于检测操作人员的眼睛的注视方向的各种技术中的任何技术。在一些实施例中,可使用红外光输出和接收的组合,其中分析从操作人员眼睛反射的红外光以确定操作人员看着的方向。
在执行控制例程140的一系列指令时,处理器元件150反复地监视至少图像传感器115,因为图像传感器115反复地捕捉交互装置100的操作人员的图像。作为至少监视和解释由操作人员做出的手势的一部分,处理器元件150实现这一点。处理器元件150根据操作人员与控制装置120的距离的确定调整手势的解释。例如,如果操作人员相对于控制装置120位于相对较短距离从而操作人员能够利用手操作控制装置120(例如,操作人员的手接近控制装置120),则处理器元件150可将手势的解释限制于第一组可能的手势(诸如,手抬起以指向显示器180的一部分的手势)。而如果操作人员相对于控制装置120位于相对较长距离从而操作人员不能利用手到达控制装置120以操作控制装置120(例如,操作人员的身体的各部分都未接近控制装置120),则处理器元件150可将手势的解释限制于第二组可能的手势,诸如在空中抬起的手的手指的数量或者手或手指的其它姿势,特别地,手指和/或手移动的模式和/或手语(诸如,ASL(美国手语))的手势。在确定操作人员与控制装置120的距离时,处理器元件150可主要依赖于图像传感器115。处理器元件150可采用控制装置120和/或图像传感器115的视场中的其它物体的典型版本的已知维度以利用比例比较确定与操作人员的距离。替代地或者另外,处理器元件150可依赖于接近传感器111,从接近传感器111接收指示交互装置100的一部分(例如,控制装置120)与操作人员的距离的信号。
图2图解包括交互装置100的替代实施例的交互系统1000的方框图。图4中描绘的交互装置100的这个实施例在许多方面类似于图1中描绘的实施例,并且因此,相似的附图标记始终被用于表示相似的元件。然而,与图1的交互装置100不同,图4的交互装置100另外合并了控制器200,控制器200包括处理器元件250和存储器260。此外,与图1的交互装置100不同,包括授权操作人员的标识特性的指示的标识数据132与控制例程240一起被存储在该控制器的存储器260内,而非存储在存储器160内。
设想:具有完全与处理器150和存储器160分开的处理器元件200和存储器260的控制器200的这种合并可被视为希望提供用于操作人员验证的第二完全分开的操作环境。换而言之,处理器元件250和存储器260定义基本上与由至少处理器元件150和存储器160定义的操作环境分开的操作环境的一部分。控制器200内的这个分开的操作环境能够使得在大大减小的受到可由处理器元件150执行的其它不那么可靠的软件损害的风险的情况下执行用于脸、手/手势和/或语音识别的算法。标识数据132在存储器260内的存储帮助进一步确保标识数据132不会通过下述方式受到损害:被改变以便能够接受未授权人员作为授权操作交互装置100的人员。
图3A-D描绘操作人员10的头11和/或手15的至少一个手指14可如何相对于交互装置100的一部分(诸如,控制装置120和/或显示器180)定位的至少一些可能的场景。图4A-F描绘可响应于图2A-D的一个或多个场景被自动地选择并且在显示器180上以视觉方式呈现的用户接口的视觉部分880的可能的视图。
如图3A-D的所有附图中所绘,显示器180和控制装置120是交互装置100的在物理上不同的部分,并且位于一件家具的平坦部分90上面。接近传感器111、麦克风112、图像传感器115和眼睛跟踪器116中的一个或多个以物理方式耦合到显示器180的一部分。应该注意的是,交互装置100的这些部件的这个物理配置的这个描绘仅呈现物理配置的一个可能的例子。在其它配置中,控制装置120和显示器180可被以各种方式中的任何方式集成在公共壳体中。此外,虽然接近传感器111、麦克风112、图像传感器115和眼睛跟踪器116被描绘为被装入在以物理方式耦合到显示器180的壳体的一部分的不同壳体中,但可替代地在该件家具的平坦部分90上面或以各种其它方式单独地以物理方式支撑该不同壳体。此外,可实现完全不同的物理配置,其中这些部件111、112、115和116中的一个或多个可被合并在与显示器180和/或控制装置120相同的壳体中。换而言之,只要这些部件111、112、115和116中的每一个对于操作人员10的至少一只手15和/或头11具有足够清楚的视线以执行它们各自的功能,在交互装置100的环境中以物理方式定位或支撑它们的精确方式并不重要。
如图4A-F的所有附图中所绘,在显示器180上以视觉方式呈现包括多个可选择项882的用户接口的视觉部分880。本领域技术人员将会熟悉,可选择项882提供用于使交互装置100的操作人员通过操作控制装置120和/或另一机构以使得选择可选择项882之一来以图形方式启动与每个可选择项882关联的各种功能的方式。一些可选择项882可与操作系统或由可由处理器元件150执行的指令构成的其它支持软件的功能关联。其它可选择项882可与应用级软件或由可由处理器元件150执行的指令构成的其它软件的功能关联,并且依赖于操作系统为各种基础级功能提供基础支持。如图中所绘,一些可选择项882占据一对菜单881a和881b中的一个菜单或另一个菜单的一部分,菜单881a和881b中的任一个或二者可与操作系统或应用级软件关联。也如图中所绘,应用级观看软件的视觉部分883包括与播放一件运动视频(如果选择)的功能关联的可选择项882。应该注意的是,在图4A-F的每个附图中描绘的内容仅是用户接口的视觉部分880的不同视图(这些不同视图是响应于操作人员的位置和手势而被自动选择的)的可能的视觉呈现的例子,并且不应该被视为描绘可在显示器的观看区域中安排菜单和可选择项的唯一方式。
图3A描绘操作人员10位于离控制装置120相对较短距离处从而操作人员10能够利用一只或两只手15访问控制装置120(例如,手15接近控制装置120)的场景,并且操作人员10实际上这样操作。在检测到这个场景时,处理器元件150在执行控制例程140时可向操作人员10以视觉方式呈现与图3A中描绘的视图相似的、用户接口的视觉部分880的视图。在图4A中,以适合由操作人员10在离显示器180相对较短的距离处观看并且适合使用控制装置120选择可选择项882之一的尺寸(包括文本尺寸)呈现菜单881a-b和可选择项882。
图3B描绘操作人员10再一次在离控制装置120相对较短的距离处从而操作人员10能够利用一只或两只手15访问控制装置120的场景。然而,与图3A的场景不同,在图3B中,操作人员相对于屏幕将手15抬起至一位置,在该位置,操作人员10能够指向在显示器180上以视觉方式呈现的各种可选择项882,并且形成该手15的手指14以实际上实现这一点。在检测到这个场景时,作为执行控制例程140的结果,处理器元件150可向操作人员10以视觉方式呈现与图4B、4C或4D之一中描绘的视图相似的用户接口的视觉部分880的视图。
在图4B中,以与图4A中基本上相同的尺寸和位置呈现菜单881a-b和可选择项882,但另外的定点菜单885被以视觉方式呈现为覆盖在显示器180上以视觉方式呈现的其它项。定点菜单885合并了复制在别处以视觉方式呈现的至少一些(未必是全部)可选择项882的多个可选择项886。可选择项886被按照大体上圆形的方式布置在中心点周围,没有可选择项位于该中心点,并且在由处理器元件150确定为操作人员最初在抬起手15以指向显示器180时使手指14指向的位置的显示器180上的位置处以视觉方式呈现定点菜单885。定点菜单885基于这样的研究,该研究表明使用手的指向的手指操作用户接口的一种高效形式是提供布置在中心位置周围的可选择项,通过从该中心位置沿选择的方向简短地“急拉”该手指来选择所述可选择项,手指最初指向该中心位置并且在用于选择可选择项的“急拉”之后手指再一次指向该中心位置。这里,“急拉”是手的手指的手势,在该手势中,手指最初指向给定方向,然后暂时移至一侧(例如,上、下、左或右)以指向稍微不同的方向,并且再一次移回以指向与执行该暂时移动之前基本上相同或相似的方向。相对较快地执行至少离开指向所述给定方向的初始移动,但设想也相对较快地执行返回指向基本上相同的方向的移动,假定对两次移动一起都在它们的速度方面给予快速或“急拉”质量。因此,图4B描绘向用户接口的这种“指向和急拉”添加的可能的实现方式,其中处理器电路150监视图像传感器115(因为图像传感器115反复地捕捉操作人员10的图像)以获得由操作人员10执行的手指14的指向和急拉的组合的指示。
在图4C中,在与图4A中基本上相同的位置但以基本上更大的尺寸呈现菜单881a-b和可选择项882。每个可选择项882(并且可能地,可选择项882所在的菜单881a-b)的这种增加的尺寸在显示器180上为可选择项882提供更大的目标区域,由此增强操作人员10能够利用手指14指向可选择项882中的预期可选择项882的准确性。与以视觉方式呈现如图4C中所绘的用户接口的视觉部分880的这种视图一起,处理器元件150也监视图像传感器115(因为图像传感器115反复地捕捉操作人员10的图像)以获得操作人员10指向可选择项882之一的实例。
图4D呈现与图4C的视图类似的用户接口的视觉部分880的另一视图,因为可选择项882中的一些已在尺寸方面增大。然而,与图4C中描绘的视图不同,图4D的视图还描绘视觉部分880的简化,因为描绘为在图4A-C的视图中呈现的一些可选择项882已被消除。
图3C描绘操作人员10位于离控制装置120相对较长距离处从而操作人员10不能利用任一只手15到达控制装置120以操作控制装置120(例如,操作人员10的手15未接近控制装置120)的场景。另外,在这种相对较长的距离处,多数人利用手指以足够的准确性指向以在显示器上选择一个可选择项而不是另一个可选择项的能力显著降低。因此,在检测到这个场景时,处理器元件150可向操作人员10以视觉方式呈现与图4E中描绘的视图相似的用户接口的视觉部分880的视图,其中每个可选择项882(并且可能地,可选择项882所在的菜单881a-b)再一次在尺寸方面增加至大于图4C-D中描绘的可选择项882的尺寸的程度。可选择项882的这种更大的尺寸不是为了通过从更远处指向来更容易地选择它们,而是为了从更远处更容易地看见它们,同时处理器电路150监视图像传感器115(因为图像传感器115反复地捕捉操作人员10的图像)以获得由操作人员10执行的手势而非指向的指示。
图4F提供与图4E中描绘的视图类似的用户接口的视觉部分880的另一视图,因为与图4C-D中描绘的视觉部分880的视图相比,可选择项882中的一些已再一次在尺寸方面增大。然而,与图4E中描绘的视图不同,图4F的视图还描绘视觉部分880的简化,因为描绘为存在图4E的视图中呈现的一些可选择项已被消除。
图3D描绘与图3C的场景中的操作人员10相比操作人员10位于离控制装置120更大距离处的场景。这种更大距离可超过指定距离(如具体地描绘的),从而处理器元件150在执行控制例程140时可完全放弃解释由操作人员10执行的任何形式的手势。这可由于图像传感器115在为处理器元件150提供足够细节以分析手势方面的限制(例如,图像传感器的分辨率的限制等)而导致。替代地或者另外,可能视为希望要求操作人员10在离交互装置100的该指定距离内以操作交互装置100从而避免鼓励这样的情况:操作人员10的视野由于环境中的活动而容易地或频繁地被阻挡和/或在这种较大距离处的操作人员10的疏忽允许由另一人对交互装置100的未授权操作。
在检测到这个场景时,处理器电路150可按照视觉方式呈现登录屏幕要求,从而无法执行交互装置100的进一步操作,直至操作人员10再一次登录。替代地,在以足够的尺寸以视觉方式呈现可选择项从而能够从操作人员10的更大距离处看见可选择项的情况下,处理器电路150可按照视觉方式呈现与图4C至4F的任何附图中描绘的视图相似的用户接口的视觉部分880的视图,但不对由操作人员10做出的任何手势做出响应,直至操作人员10移至更近以缩短该距离。
再一次,应该注意的是,当操作人员10操作交互装置100时,由于操作人员10改变位置(例如,改变其与交互装置100的一部分(诸如,控制装置120)的距离)和/或交互的方式(例如,在使用控制装置120和指向显示器180之间切换),可自动地执行用户接口的视觉部分880的不同视图的这种自动选择。例如,在使用交互装置100执行某个方式的功能时,操作人员10行走以进一步远离或更加接近交互装置100,从而视觉部分880的视图的自动选择响应于通过对操作人员的位置的反复监视来检测到的位置的变化而动态地变化。
返回到图1,作为执行控制例程140的结果,处理器元件150可根据操作人员的注意是否涉及交互装置100的确定调整手势的解释。可存在这样的情况:由操作人员做出的手势涉及另一个人或涉及不同计算装置,从而操作人员并不意图在操作人员利用一只或两只手做出手势时向交互装置100提供输入。在确定这一点时,处理器元件150可反复地监视操作人员的注视的方向。处理器元件150可依赖于反复地分析由图像传感器115在它的视场中捕捉的操作人员的图像以确定他们的注视的方向。替代地或者另外,处理器元件150可依赖于眼睛跟踪器116(如果存在)来实现这一点,从眼睛跟踪器116接收指示操作人员的注视的方向的信号。此外,替代地或者另外,处理器元件150可依赖于麦克风112,从麦克风112接收指示来自操作人员的语音命令的信号以继续解释操作人员的手势或忽略操作人员的手势。
处理器元件150还可根据操作人员的身份的验证调整手势的解释。实际上,可如此调整来自操作人员的任何输入(包括通过手势和/或通过控制装置120的操作)的接受。在确定这一点时,处理器元件150可分析由图像传感器115在它的视场内捕捉的操作人员的脸的图像,采用各种已知的脸识别算法中的任何脸识别算法以区分操作人员的脸与其它人的脸。
替代地或者另外,处理器元件150可分析由操作人员做出的特定手势的一个或多个捕捉图像以用于验证为授权操作人员的目的。各种算法中的任何算法可被用于测量该手的手指的比例和/或该手的其它特性以将该手验证为属于操作人员。在一定意义上,在假设仅操作人员知道做出什么手势以被允许操作交互装置100的情况下,这种形式的验证组合了用于将手的所有者的身份确认为操作人员的生物统计参数的测量与基于手势的形式的密码。例如,处理器元件150可分析在一个或多个图像中捕捉的手的形状、尺寸和/或移动以获得该手的三维(3D)模型,该模型尝试区分较硬结构(例如,骨头等)的关节和端点的位置。利用由此创建的这种三维模型,处理器元件150可将较硬结构的相对长度与操作人员的手的已知生物统计数据进行比较以确定一个或多个图像中的手是否属于该操作人员。替代地或者另外,处理器元件150可将较硬结构的相对角度与代表特定手势的已知数据进行比较以确定这些角度是否与特定手势的对应角度匹配足够接近到确定在一个或多个图像中正在由该手做出该特定手势。因此,这种获得的3D模型可被用于确定操作人员的身份和操作人员10正在做出什么手势中的任一个或二者。
在又一替代场景中,处理器元件150可分析由麦克风112检测的操作人员的语音,采用各种已知语音识别算法中的任何语音识别算法以区分操作人员的语音与其它人的语音。在执行操作人员的脸、手和/或语音的识别时,可使处理器元件150参照作为标识数据132的至少一部分存储的指示操作人员的脸、手和/或语音的生物统计参数的数据。
另外,可仅在操作人员10位于指定距离(可能相对较短的距离,诸如图3A-B中描绘的距离(例如,手15接近控制装置120以便可访问控制装置120的距离))内的同时使处理器电路150执行这种验证。这可被视为希望允许图像传感器115具有操作人员10的脸和/或手15的清楚的视野以应用算法来确定一个或另一个的各种物理测量值以用于作为验证的一部分与存储在标识数据132中的生物统计参数进行比较。另外,在通过手势进行的验证将会被接受之前要求操作人员10稍微更加接近还可被视为希望鼓励操作人员10不以容易被其它人看见的方式使用该特定手势。替代地或者另外,更短距离的这种要求可被视为希望允许麦克风112清楚地检测操作人员10的语音以便能够更好地实现操作人员的语音的各种声学参数的测量,以便为了验证的目的与存储在标识数据132中的生物统计参数进行比较。然而,可存在这样的情况:要求操作人员10位于指定距离(比如解释非指向手势所处的稍微更长的距离(诸如图3C中所绘))内足以用于这种验证。可使处理器元件150在显示器180上以视觉方式呈现登录提示,该登录提示向操作人员指示操作人员位于指定距离内以进行验证的要求。另外,可利用根据操作人员的距离改变尺寸的字符以视觉方式呈现这种登录提示。
在一些实施例中,可能需要这种验证以允许交互装置100的操作以及允许访问可被存储在交互装置100内的数据。替代地或者另外,可能需要这种验证以允许通过交互装置100以及在交互装置100和服务器500之间延伸的网络999访问存储在服务器500上的数据。实际上,交互装置100和服务器500中的每一个可能需要不同形式的验证。例如,服务器500可能需要由处理器元件150执行语音和脸识别以准许操作人员10访问,而简单地对交互装置100自身的访问可能仅需要用于做出特定手势的操作人员的手的识别以获得访问。
还应该注意的是,在操作人员和操作人员10为了登录(即,使他们的身份被验证为授权操作人员)而做出的手势之间未必存在一一对应关系。例如,可存在这样的情况:存在由多个操作人员用于在同一交互装置100上作为授权操作人员登录(或被验证通过)的“组手势”,从而这些操作人员中的任何操作人员可被允许操作交互装置100。此外,例如,可存在这样的情况:单个操作人员在交互装置100和/或服务器500上具有多个账号(例如,私人账号对商业账号,或者普通商业运营账号对提供更大访问特权的“超级用户”账号),通过使用不同手势登录每个账号。
更进一步需要注意的是,与一个或多个操作人员的访问相关的手势可被给予超出授予操作交互装置100和/或访问存储在服务器500上的数据的能力的另外的意义。作为例子,交互装置100分析手势和/或通过识别授权操作人员的手来标识授权操作人员的能力可被用于另外控制与交互装置100自身完全无关的其它装置,诸如在交互装置100附近的房间或机柜的门上的自动锁。也许,交互装置100可被用于选择性地授予对来自附近打印机的敏感信息的保密打印输出等的访问。
在各种实施例中,处理器元件150和250中的每一个可包括各种可商购获得的处理器中的任何处理器。另外,这些处理器元件中的一个或多个可包括多个处理器、多线程处理器、多核处理器(无论所述多个核共存于同一管芯上还是存在于分开的管芯上)和/或多个以物理方式分开的处理器以某种方式连接的某个其它种类的多处理器架构。
在各种实施例中,存储器160和260中的每一个可基于各种信息存储技术中的任何信息存储技术,可包括需要不间断提供电功率的易失性技术,并且可包括需要使用可移动或不可移动的机器可读存储介质的技术。因此,这些存储器中的每一个可包括各种类型的存储装置(或各种类型的存储装置的组合)中的任何存储装置,非限制性地包括:只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDR-DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、以电气方式可擦除可编程ROM(EEPROM)、闪存、聚合物内存(例如,铁电聚合物内存)、双向内存、相变或铁电内存、硅氧化氮氧化硅(SONOS)内存、磁卡或光学卡、一个或多个个体铁磁盘驱动器或者组织成一个或多个阵列的多个存储装置(例如,组织成独立盘阵列冗余阵列或RAID阵列的多个铁磁盘驱动器)。应该注意的是,虽然这些存储器中的每一个被描绘为单个块,但这些存储器中的一个或多个可包括可基于不同存储技术的多个存储装置。因此,例如,这些描绘的存储器中的每个存储器中的一个或多个可代表下面的存储器的组合:光学驱动器或闪存读卡器,可在某个形式的机器可读存储介质上存储和运送程序和/或数据;铁磁盘驱动器,用于在相对较长的时间期间在本地存储程序和/或数据;和一个或多个易失性固态内存装置,能够实现对程序和/或数据的相对较快的访问(例如,SRAM或DRAM)。还应该注意的是,这些存储器中的每一个可由基于相同存储技术的多个存储部件构成,但在使用中作为专门化的结果可分开地维护所述多个存储部件(例如,一些DRAM装置用作主存储器,而其它DRAM装置用作图形控制器的不同的帧缓冲器)。
在各种实施例中,接口190采用能够使计算装置100通过如前所述的网络999耦合的各种信令技术中的任何信令技术。这些接口中的每个接口包括提供至少一些需要的功能以便能够实现这种耦合的电路系统。然而,这个接口还可被至少部分地利用由处理器元件150执行的指令序列实现(例如,以便实现协议栈或其它特征)。在网络999的一个或多个部分采用以电气方式和/或以光学方式传导的线缆的情况下,接口190可采用符合各种工业标准中的任何工业标准的信令和/或协议,所述各种工业标准非限制性地包括:RS-232C、RS-422、 USB、以太网(IEEE-802.3)或IEEE-1394。替代地或者另外,在网络999的一个或多个部分需要使用无线信号传输的情况下,接口190可采用符合各种工业标准中的任何工业标准的信令和/或协议,所述各种工业标准非限制性地包括:IEEE 802.11a、802.11b、802.11g、802.16、802.20(通常被称为“移动宽带无线接入”);蓝牙;ZigBee;或蜂窝无线电话服务,诸如具有通用分组无线服务的GSM(GSM/GPRS)、CDMA/lxRTT、增强数据速率全局演进(EDGE)、仅演进数据/优化(EV-DO)、数据和语音演进(EV-DV)、高速下行链路包访问(HSDPA)、高速上行链路包访问(HSUPA)、4G LTE等。应该注意的是,虽然接口190和390中的每一个被描绘为单个块,但这些接口中的一个或多个可包括可基于不同信令技术的多个接口。这可以是这样的情况:这些接口中的一个或多个将计算装置100和300中的对应计算装置耦合到超过一个网络,每个网络采用不同通信技术。
图5和6分别更详细地图解图1的交互装置100的可能实施例的方框图,图6的实施例具有在图5的实施例中找不到的另外的特征。更具体地讲,描绘了计算装置100的操作环境的各方面,其中处理器元件150在执行控制例程140时执行前述功能。本领域技术人员将会意识到,无论选择什么类型的一个处理器或多个处理器来实现处理器元件150,控制例程140(包括构成它的部件)都被选择为可在所述一个处理器或多个处理器上操作。
在各种实施例中,控制例程140可包括操作系统、装置驱动器和/或应用级例程(例如,在盘介质上提供的所谓“软件套件”、从远程服务器获得的“小应用程序”等)的组合。在包括操作系统的情况下,操作系统可以是各种可用操作系统(非限制性地包括,Windows™、OS X™、Linux®或Android OS™)中的任何操作系统。在包括一个或多个装置驱动器的情况下,这些装置驱动器可为计算装置100的各种其它部件中的任何部件(无论是硬件部件还是软件部件)提供支持。
控制例程140可包括通信部件149,通信部件149可由处理器元件150执行以操作接口190经如前所述的网络999发送和接收信号。本领域技术人员将会意识到,无论选择什么类型的接口技术来实现这个接口,这个通信部件都被选择为可与该接口技术一起操作。
控制例程140包括位置部件141,位置部件141可由处理器元件150执行以分析由图像传感器115捕捉的操作人员的图像或使用从接近传感器111(如果存在)接收的操作人员的距离的指示,以确定操作人员与计算装置100的一部分的距离。如前面所讨论,被测量与操作人员位置的距离的计算装置的该部分可以是控制装置120,以确定操作人员是否位于足够短的距离内以便能够操作控制装置120。
控制例程140可包括标识部件142,标识部件142可由处理器元件150执行以分析由图像传感器115捕捉的图像中的操作人员身体的一个或多个部分的图像,以验证操作人员的身份。简要地参照图6,标识部件142可替代地或者另外分析由麦克风112(如果存在)检测的操作人员的语音以验证操作人员。如前面所讨论,无论使用哪个形式的分析,作为这种验证的一部分,执行与存储在标识数据132中的操作人员的生物统计数据的比较。
控制例程140包括解释部件145,解释部件145可由处理器元件150执行以分析由图像传感器115捕捉的图像,从而解释操作人员的手势和/或操作人员利用一只手的手指指向的方向。如前面所讨论,手势可包括操作人员的一只手或两只手的一个或多个手指的移动或姿势,包括表达手语的一部分的移动或姿势。
控制例程140包括用户接口部件148,用户接口部件148可由处理器元件150执行以提供用于操作人员与计算装置100的交互的用户接口。用户接口部件148接收指示控制装置120的手动操作的信号和/或从解释部件145接收手势的解释和/或手指的指向的指示作为输入。如前所述,用户接口部件148还在确定在显示器180上以视觉方式呈现用户接口的视觉部分880的什么视图时从位置部件141接收操作人员的距离的指示并且从标识部件142接收操作人员是否已被验证通过的指示。另外,在被触发为替代于用户接口的任何距离相关视图以视觉方式呈现登录提示时,用户接口部件148可采用操作人员是否被验证通过的指示。
具体地参照图6,控制例程140可包括关注部件146,关注部件146可由处理器元件150执行以确定操作人员的注意是否涉及计算装置100。关注部件146可解释由麦克风112(如果存在)检测的操作人员的语音以辨别来自操作人员的明确的口头命令从而继续解释操作人员的手势或不解释操作人员的手势。替代地或者另外,关注部件146从眼睛跟踪器116(如果存在)接收指示操作人员的注视是否朝着显示器180的信号,假设:当利用手指指向显示器180或做出手势以选择在显示器180上以视觉方式呈现的可选择项时,操作人员将会看着显示器180的方向。作为眼睛跟踪器116的替代物,关注部件可分析由图像传感器115反复地捕捉的图像以获得操作人员的注视朝着的位置的指示。
图7图解逻辑流程2100的一个实施例。逻辑流程2100可代表由这里描述的一个或多个实施例执行的一些或全部操作。更具体地讲,逻辑流程2100可图解在执行至少控制例程140时由交互装置100的处理器元件150执行的操作。
在2110,检查计算装置(例如,交互装置100)的操作人员是否足够接近计算装置的一部分以操作计算装置的控制装置(例如,操作人员10的手15是否在交互装置100的控制装置120附近)。如果计算装置的操作人员未足够接近计算装置的一部分,则在2112,计算装置以视觉方式呈现它的用户接口的视觉部分(例如,视觉部分880)的视图,在该视图中,在计算装置的显示器上在尺寸方面放大可选择项,并且计算装置监视计算装置的图像传感器以解释手势。如前面所讨论,这种手势可能需要使用一只或两只手,可包括手指或整个手的移动和/或姿势,并且可以是语言的手势,诸如,ASL。
然而,如果操作人员足够接近以操作控制装置(例如,如果手15在控制装置120附近从而操作人员10可访问控制装置120),则在2120,检查操作人员是否使手抬起以指向显示器。如果操作人员使手抬起以指向显示器,则在2122,计算装置以视觉方式呈现它的用户接口的视觉部分的视图,在该视图中,在显示器上在尺寸方面放大可选择项,并且计算装置监视图像传感器以解释抬起的手的手指指向显示器的哪里。如前面所讨论,可选择项的放大增加它们的目标区域(即,每个可选择项在显示器上占据的观看区域的量)以提高操作人员能够指向它们的准确性。
然而,如果操作人员未使手抬起以指向显示器,则在2130,计算装置以视觉方式呈现它的用户接口的视觉部分的视图,在该视图中,可选择项具有为了通过控制装置操作计算装置而被伸缩的较小的尺寸。用户接口的视觉部分的这个视图被视为在键盘、鼠标、跟踪球、触摸垫等被用作用于操作人员输入的可手动操作控制装置时用于许多计算装置的正常视图。
图8图解逻辑流程2200的一个实施例。逻辑流程2200可代表由这里描述的一个或多个实施例执行的一些或全部操作。更具体地讲,逻辑流程2200可图解在执行至少控制例程140时由交互装置100的处理器元件150执行的操作。
在2210,检查计算装置(例如,交互装置100)的操作人员是否位于计算装置的一部分(例如,交互装置100的显示器180或控制装置120)的指定距离内。如果计算装置的操作人员未位于计算装置的一部分的指定距离内,则在2212,计算装置以视觉方式呈现它的用户接口的视觉部分的视图,在该视图中,在计算装置的显示器(例如,显示器180)上在尺寸方面大大地放大可选择项,并且计算装置忽略由操作人员做出的所有手势。如前面所讨论,用户接口的视觉部分的这种视图显示具有足够尺寸的可选择项以便由操作人员从某个距离更容易地看见,即使操作人员必须走得更近以选择任何可选择项。
然而,如果操作人员位于该指定距离内,则在2220,检查操作人员是否足够接近计算装置的一部分以操作计算装置的控制装置(例如,操作人员10的手15是否在控制装置120附近从而可访问控制装置120)。如果操作人员未足够接近计算装置的一部分以操作计算装置的控制装置,则在2222,计算装置以视觉方式呈现它的用户接口的视觉部分的视图,在该视图中,在显示器上在尺寸方面大大地放大可选择项,并且计算装置监视计算装置的图像传感器以解释手势。可存在这样的情况:这个视图中的可选择项的大大地放大的尺寸基本上类似于在2212以视觉方式显示的视图。
然而,如果操作人员足够接近以操作控制装置(例如,操作人员10的手15接近控制装置120),则在2230,检查操作人员是否使手抬起以指向显示器。如果操作人员使手抬起以指向显示器,则在2232,计算装置以视觉方式呈现它的用户接口的视觉部分的视图,在该视图中,在定点菜单(例如,定点菜单885)中在显示器上在尺寸方面放大可选择项,并且计算装置监视图像传感器以解释抬起的手的手指指向显示器并且随后以“急拉”运动移动以选择定点菜单的可选择项的实例。如前面所讨论,其中使用指向手势的这个视图的可选择项的放大可不与在2212或2222以视觉方式呈现的视图一样大。也如前面所讨论,定点菜单的可选择项(例如,可选择项886)可以是用户接口的视觉部分的这个视图中的别处的可选择项(例如,可选择项882)的复制品。
然而,如果操作人员未使手抬起以指向显示器,则在2240,计算装置以视觉方式呈现它的用户接口的视觉部分的视图,在该视图中,可选择项具有为了通过控制装置操作计算装置而伸缩的较小的尺寸。再一次,用户接口的视觉部分的这个视图被视为在键盘、鼠标、跟踪球、触摸垫等被用作用于操作人员输入的可手动操作控制装置时用于许多计算装置的正常视图。
图9图解逻辑流程2300的一个实施例。逻辑流程2300可代表由这里描述的一个或多个实施例执行的一些或全部操作。更具体地讲,逻辑流程2200可表示在执行至少控制例程140和/或240时由交互装置100的处理器元件150和/或250执行的操作。
在2310,计算装置(例如,交互装置100)在计算装置的显示器(例如,显示器180)上以视觉方式呈现指示计算装置的操作人员必须被验证的登录提示。当呈现该提示时,该提示的文本可随着操作人员移近或远离计算装置而在尺寸上增大或减小。
在2320,检查操作人员是否位于计算装置的一部分(例如,交互装置100的显示器180或控制装置120)的指定距离内。如果操作人员未位于计算装置的一部分的指定距离内,则计算装置继续在显示器上以视觉方式呈现登录提示,并且不对由操作人员做出的手势做出响应。如前面所讨论,可能需要操作人员位于该指定距离内以便能够使计算装置的图像传感器足够清楚地检测到他们的脸特征和/或手势以用于登录,假设给定其特性。也如前面所讨论,可能认为希望要求操作人员位于该指定距离内以鼓励操作人员不以能够太容易被其它人看见的方式做出他们的用于登录到计算装置上的手势。
如果操作人员位于该指定距离内,则计算装置在2330分析图像传感器的视场中的图像以通过脸识别来验证操作人员。如果操作人员在2340未被验证通过,则计算装置继续以视觉方式呈现登录提示。然而,如果操作人员在2340通过脸识别而被验证通过,则计算装置在2350分析图像传感器的视场中的图像以通过手势来进一步验证操作人员。在一些实施例中,计算装置可按照视觉方式呈现指示操作人员应该做出用于登录到计算装置的手势的不同提示。如前面所讨论,该手势可以是利用一只手或两只手的一个或多个手指的特定移动和/或姿势。
如果操作人员在2360未被验证通过,则计算装置继续以视觉方式呈现登录提示。然而,如果操作人员在2360被验证通过,则计算装置在2370允许操作人员操作计算装置。
图10图解适合实现如前所述的各种实施例的示例性处理架构3000的实施例。更具体地讲,处理架构3000(或其视图)可被实现为计算装置100或控制器200的视图之一的一部分。应该注意的是,处理架构3000的部件被给予这样的附图标记:在这些附图标记中,最后两个数位对应于以前描绘和作为计算装置10和控制器200的一部分描述的部件的附图标记的最后两个数位。实现这一点以帮助使计算装置100和控制器200的这种部件与这个示例性处理架构的部件关联。
处理架构3000包括数字处理中常用的各种元件,非限制性地包括一个或多个处理器、多核处理器、协处理器、内存单元、芯片集、控制器、外围设备、接口、振荡器、定时装置、视频卡、音频卡、多媒体输入/输出(I/O)部件、电源等。如本申请中所使用,术语“系统”和“部件”旨在表示执行数字处理的计算装置的实体,该实体是硬件、硬件和软件的组合、软件或执行的软件,由这个描绘的示例性处理架构提供其例子。例如,部件能够是,但不限于,在处理器元件上运行的过程、处理器元件自身、可采用光学和/或磁存储介质的存储装置(例如,硬盘驱动器、阵列中的多个存储驱动器等)、软件对象、可执行指令序列、执行的线程、程序和/或整个计算装置(例如,整个计算机)。作为说明,在服务器上运行的应用和服务器都能够是部件。一个或多个部件能够位于执行的过程和/或线程内,并且部件能够位于一个计算装置上和/或分布在两个或更多计算装置之间。另外,部件可通过各种类型的通信介质以可通信方式彼此耦合以协调操作。该协调可包括信息的单向或双向交换。例如,部件可传送具有通过通信介质传送的信号的形式的信息。该信息能够被实现为分配给一个或多个信号线的信号。每个消息可以是一个信号或者串行或基本上并行传输的多个信号。
如图中所绘,在实现处理架构3000时,计算装置至少合并了处理器元件950、存储器960、与其它装置的接口990和耦合器955。根据实现处理架构3000的计算装置的各种方面(包括它的预期使用和/或使用的条件),这种计算装置还可合并另外的部件,诸如,非限制性地,接近传感器911、麦克风912、图像传感器915和/或眼睛跟踪器916。
耦合器955合并了一个或多个总线、点对点互连件、收发器、缓冲器、纵横式开关和/或以可通信方式将至少处理器元件950耦合到存储器960的其它导体和/或逻辑装置。耦合器955还可将处理器元件950耦合到接口990和显示接口985中的一个或多个(根据还存在这些和/或其它部件中的哪些部件)。在由耦合器955如此耦合处理器元件950的情况下,处理器元件950能够执行以上针对计算装置100和/或控制器200详细地描述的各种任务。可利用以光学方式和/或以电气方式运送信号的各种技术中的任何技术或技术的组合实现耦合器955。另外,耦合器955的至少一些部分可采用符合各种工业标准(非限制性地包括,加速图形端口(AGP)、CardBus、扩展工业标准架构(E-ISA)、微通道架构(MCA)、NuBus、外围部件互连(扩展)(PCI-X)、PCI Express(PCI-E)、个人计算机内存卡国际协会(PCMCIA)总线、HyperTransport™、QuickPath等)中的任何工业标准的定时和/或协议。
如前面所讨论,处理器元件950(对应于处理器元件150和250中的一个或多个)可包括采用各种技术中的任何技术并且利用以许多方式中的任何方式在物理上组合的一个或多个核实现的各种可商购获得的处理器中的任何处理器。
如前面所讨论,存储器960(对应于存储器160和260中的一个或多个)可包括基于各种技术中的任何技术或技术的组合的一个或多个不同的存储装置。更具体地讲,如图中所绘,存储器960可包括易失性存储器961(例如,基于一个或多个形式的RAM技术的固态存储器)、非易失性存储器962(例如,固态、铁磁或不需要恒定提供电功率以保持它们的内容的其它存储器)和可移动介质存储器963(例如,可在计算装置之间运送信息的可移动盘或固态内存卡存储器)中的一个或多个。这种将存储器960描绘为可包括多个不同类型的存储器是意识到通常在计算装置中使用超过一个类型的存储装置,其中一个类型提供相对比较迅速的读和写能力,从而能够实现由处理器元件950对数据的更迅速的操纵(但可使用恒定地需要电功率的“易失性”技术),而另一类型提供非易失性存储器的相对较高的密度(但可能提供相对较慢的读和写能力)。
考虑到采用不同技术的不同存储装置的经常不同的特性,这种不同存储装置也通常通过不同存储控制器耦合到计算装置的其它部分,其中这些不同存储控制器经不同接口耦合到它们的不同存储装置。作为例子,在存在易失性存储器961并且易失性存储器961基于RAM技术的情况下,易失性存储器961可通过存储控制器965a以可通信方式耦合到耦合器955,存储控制器965a向易失性存储器961提供合适接口,易失性存储器961也许采用行和列寻址,并且存储控制器965a可执行行刷新和/或其它维护任务以帮助保存存储在易失性存储器961内的信息。作为另一例子,在存在非易失性存储器962并且非易失性存储器962包括一个或多个铁磁和/或固态盘驱动器的情况下,非易失性存储器962可通过存储控制器965b以可通信方式耦合到耦合器955,存储控制器965b向非易失性存储器962提供合适接口,非易失性存储器962也许采用信息和/或柱面和扇区的块的寻址。作为另一例子,在存在可移动介质存储器963并且可移动介质存储器963包括采用一件或多件可移动机器可读存储介质969的一个或多个光学和/或固态盘驱动器的情况下,可移动介质存储器963可通过存储控制器965c以可通信方式耦合到耦合器955,存储控制器965c向可移动介质存储器963提供合适接口,可移动介质存储器963也许采用信息的块的寻址,并且存储控制器965c可按照特定于延长机器可读存储介质969寿命的方式协调读、擦除和写操作。
根据易失性存储器961和非易失性存储器962中每个存储器所基于的技术,易失性存储器961或非易失性存储器962中的一个或另一个可包括具有机器可读存储介质的形式的一件制品,在该机器可读存储介质上,可存储包括可由处理器元件950执行的一系列指令的例程。作为例子,在非易失性存储器962包括基于铁磁的盘驱动器(例如,所谓的“硬盘驱动器”)的情况下,每个这种盘驱动器典型地采用一个或多个旋转盘,磁响应颗粒的涂层沉积在所述一个或多个旋转盘上并且以类似于可移动存储介质(诸如,软盘)的方式按照各种模式磁性定向以存储信息(诸如,一系列指令)。作为另一例子,非易失性存储器962可按照类似于压缩闪存卡的方式由各组固态存储装置构成以存储信息(诸如,一系列指令)。再一次,通常在不同时间在计算装置中采用不同类型的存储装置以存储可执行例程和/或数据。因此,包括将要由处理器元件950执行的一系列指令的例程可最初被存储在机器可读存储介质969上,并且可移动介质存储器963可随后被用于将该例程复制到非易失性存储器962以用于不需要机器可读存储介质969的持续存在的长期存储和/或将该例程复制到易失性存储器961以便能够在执行该例程时由处理器元件950更迅速地访问。
如前面所讨论,接口990(对应于接口190)可采用与可被用于以可通信方式将计算装置耦合到一个或多个其它装置的各种通信技术中的任何通信技术对应的各种信令技术中的任何信令技术。再一次,可采用各种形式的有线或无线信令之一或二者以便能够使处理器元件950可能通过网络(例如,网络999)或一组互连的网络与输入/输出装置(例如,所描绘的示例性键盘920或打印机925)和/或其它计算装置交互。在识别必须经常由任何一个计算装置支持的多个类型的信令和/或协议的经常非常不同的特征时,接口990被描绘为包括多个不同接口控制器995a、995b和995c。接口控制器995a可采用各种类型的有线数字串行接口或射频无线接口中的任何接口以从用户输入装置(诸如,所描绘的键盘920)接收串行传输的消息。接口控制器995b可采用各种基于线缆的或无线的信令、定时和/或协议中的任何信令、定时和/或协议以通过描绘的网络999(也许是包括一个或多个链路、更小的网络的网络,或也许是互联网)访问其它计算装置。接口995c可采用能够使用串行或并行信号传输的各种导电线缆中的任何导电线缆以将数据传送给描绘的打印机925。可通过接口990的一个或多个接口控制器以可通信方式耦合的装置的其它例子非限制性地包括麦克风、远程控制装置、触控笔、读卡器、指纹阅读器、虚拟现实交互手套、图形输入平板计算机、控制杆、其它键盘、视网膜扫描器、触摸屏幕的触摸输入部件、跟踪球,各种传感器、激光打印机、喷墨打印机、机器人、铣床等。
在计算装置以可通信方式耦合到(或者,也许实际上合并)显示器(例如,所描绘的示例性显示器980)的情况下,实现处理架构3000的这种计算装置还可合并显示接口985。虽然更一般的类型的接口可被用于以可通信方式耦合到显示器,但在显示器上以视觉方式显示各种形式的内容时经常需要的稍微专门的另外的处理以及所使用的基于线缆的接口的稍微专门的性质经常使得希望提供不同的显示接口。可由显示接口985用于显示器980的通信耦合中的有线和/或无线信令技术可使用符合各种工业标准中的任何工业标准(非限制性地包括,各种模拟视频接口中的任何接口、数字视频接口(DVI)、DisplayPort等)的信令和/或协议。
更一般地讲,计算装置200和700的各种元件可包括各种硬件元件、软件元件或二者的组合。硬件元件的例子可包括装置、逻辑装置、部件、处理器、微处理器、电路、处理器元件、电路元件(例如,晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、内存单元、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等。软件元件的例子可包括软件部件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子程序、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、码元或其任何组合。然而,确定是否使用硬件元件和/或软件元件实现实施例可根据给定实现方式所需的任何数量的因素(诸如,预期计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、内存资源、数据总线速度和其它设计或性能约束)而不同。
可使用表述“一个实施例”或“实施例”以及它们的派生词描述一些实施例。这些术语意味着:结合该实施例描述的特定特征、结构、或特性被包括在至少一个实施例中。短语“在一个实施例中”在本说明书的各种地方的出现不必全部表示相同的实施例。另外,可使用表述“耦合”和“连接”以及它们的派生词描述一些实施例。这些术语未必旨在用作彼此的同义词。例如,可使用术语“连接”和/或“耦合”描述一些实施例以指示两个或更多元件彼此处于直接物理或电气接触。然而,术语“耦合”还可意味着:两个或更多元件彼此不处于直接接触,但仍然彼此协作或交互。
需要强调的是,提供本公开的摘要以允许阅读者快速地确定本技术公开的性质。提交本技术公开,并且应该理解,它将不会被用于解释或限制权利要求的范围或含义。另外,在前面的具体实施方式中,能够看出,为了简化本公开的目的,各种特征在单个实施例中被聚集在一起。公开的这种方法不应该被解释为反映这样的意图:要求保护的实施例需要比在每个权利要求中明确地列举的特征多的特征。相反地,如下面的权利要求所反映,发明主题在于比单个公开的实施例的所有特征少的特征。因此,下面的权利要求因此被合并在具体实施方式中,每个权利要求独立用作单独的实施例。在所附权利要求中,术语“包括”和“在其中”分别被用作各术语“包括”和“其中”的普通英语等同物。此外,术语“第一”、“第二”和“第三”等仅被用作标签,而非意图对它们的宾语施加数字要求。
以上描述的内容包括公开的架构的例子。当然,无法描述部件和/或方法的每个想得到的组合,但本领域普通技术人员可意识到,可采用许多另外的组合和排列。因此,该新颖的架构应该包括落在所附权利要求的精神和范围内的所有这种改变、修改和变化。详细的公开现在转而提供与另外的实施例相关的例子。以下提供的例子不应该是限制性的。
例子1是一种用于管理用户接口的设备,该设备包括:图像传感器,用于捕捉操作人员的至少一个图像;和位置部件,以可通信方式耦合到图像传感器以确定操作人员与可手动操作控制装置的接近距离并且将该距离的确定提供给用户接口部件以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
例子2包括例子1的主题,并且包括用户接口部件,用户接口部件以可通信方式耦合到位置部件以响应于确定操作人员接近控制装置而动态地选择包括可选择项的用户接口的视觉部分的第一视图并且以视觉方式呈现第一视图,并且响应于确定操作人员未接近控制装置而动态地选择用户接口的视觉部分的第二视图并且以视觉方式呈现第二视图,与第一视图中相比,在第二视图中以更大尺寸以视觉方式呈现可选择项。
例子3包括例子1-2中任一项的主题,其中用户接口部件以可通信方式耦合到控制装置以接收指示控制装置的操作的信号从而响应于确定操作人员接近控制装置而选择可选择项。
例子4包括例子1-3中任一项的主题,其中用户接口部件响应于确定该距离大于选择的距离而动态地选择用户接口的视觉部分的第三视图并且以视觉方式呈现第三视图,所述选择的距离足够大以预先排除操作人员对控制装置的访问,并且与第一和第二视图中的任一视图中的选择的项的尺寸相比,在第三视图中以更大尺寸以视觉方式呈现选择的项。
例子5包括例子1-4中任一项的主题,并且包括标识部件,标识部件以可通信方式耦合到图像传感器以从所述至少一个图像确定操作人员的手的测量值并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员,用户接口部件以可通信方式耦合到标识部件以便以视觉方式向操作人员呈现登录提示。
例子6包括例子1-5中任一项的主题,并且包括解释部件,解释部件以可通信方式耦合到图像传感器和位置部件,解释部件分析所述至少一个图像以解释操作人员的手势从而响应于确定操作人员未接近控制装置而选择可选择项。
例子7包括例子1-6中任一项的主题,并且包括:眼睛跟踪器,用于跟踪操作人员的注视的方向;和关注部件,以可通信方式耦合到眼睛跟踪器和解释部件以根据操作人员的注视是否朝着显示器的确定调整手势的解释。
例子8包括例子1-7中任一项的主题,其中解释部件响应于确定该距离大于选择的距离而忽略操作人员的所有手势,所述选择的距离足够大以预先排除操作人员对控制装置的访问。
例子9包括例子1-8中任一项的主题,并且包括标识部件,标识部件以可通信方式耦合到图像传感器和用户接口部件以从所述至少一个图像确定操作人员的手的测量值并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员,用户接口部件以视觉方式向操作人员呈现登录提示。
例子10包括例子1-9中任一项的主题,其中标识部件分析所述至少一个图像中的操作人员的手势以验证操作人员。
例子11包括例子1-10中任一项的主题,并且包括接近传感器,位置部件以可通信方式耦合到接近传感器以根据从接近传感器接收的指示距离的信号确定操作人员与可手动操作控制装置的距离。
例子12包括例子1-11中任一项的主题,其中位置部件分析所述至少一个图像以确定操作人员与可手动操作控制装置的距离。
例子13是一种用于管理用户接口的设备,该设备包括:图像传感器,用于捕捉操作人员的至少一个图像;和解释部件,以可通信方式耦合到图像传感器以分析所述至少一个图像从而确定操作人员的手是否朝着显示器抬起以指向显示器,并且将手是否朝着显示器抬起的确定提供给用户接口部件以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
例子14包括例子13的主题,并且包括用户接口部件,用户接口部件以可通信方式耦合到解释部件以响应于确定手未朝着显示器抬起以指向显示器而动态地选择包括可选择项的用户接口的视觉部分的第一视图并且以视觉方式呈现第一视图,并且响应于确定手朝着显示器抬起以指向显示器动态地选择用户接口的视觉部分的第二视图并且以视觉方式呈现第二视图,在第一和第二视图中以不同尺寸以视觉方式呈现可选择项。
例子15包括例子13-14中任一项的主题,并且包括可手动操作控制装置,用户接口部件以可通信方式耦合到可手动操作控制装置以接收指示控制装置的操作的信号从而响应于确定手未朝着显示器抬起以指向显示器而选择可选择项,并且解释部件分析所述至少一个图像以确定手的手指指向的方向从而响应于确定手朝着显示器抬起以指向显示器而选择可选择项。
例子16包括例子13-15中任一项的主题,并且包括关注部件,关注部件以可通信方式耦合到解释部件以根据操作人员的注视是否朝着显示器的确定而调整该方向的确定。
例子17包括例子13-16中任一项的主题,其中与第一视图中相比,用户接口部件在第二视图中以更大尺寸以视觉方式呈现可选择项。
例子18包括例子13-17中任一项的主题,其中用户接口部件在包括可选择项的定点菜单内以视觉方式呈现第二视图中的可选择项,并且将定点菜单的中心定位在显示器上的位置;以及解释部件分析所述至少一个图像以确定手的手指指向的显示器上的位置并且检测手指朝着可选择项的急拉移动。
例子19包括例子13-18中任一项的主题,并且包括:接近传感器,用于检测操作人员的距离;和位置部件,以可通信方式耦合到接近传感器和解释部件以根据操作人员与可手动操作控制装置的距离的确定调整手是否朝着显示器抬起以指向显示器的确定并且将该距离的确定提供给用户接口部件。
例子20包括例子13-19中任一项的主题,其中位置部件以可通信方式耦合到用户接口部件以便能够使用户接口部件响应于确定操作人员未接近控制装置而动态地选择用户接口的视觉部分的第三视图并且以视觉方式呈现第三视图,与第一和第二视图中的任一视图中的选择的项的尺寸相比,在第三视图中以更大尺寸以视觉方式呈现选择的项。
例子21包括例子13-20中任一项的主题,并且包括标识部件,标识部件以可通信方式耦合到图像传感器和用户接口部件以从所述至少一个图像确定操作人员的手的测量值并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员,用户接口部件以视觉方式向操作人员呈现登录提示。
例子22包括例子13-21中任一项的主题,其中标识部件分析所述至少一个图像中的操作人员的手势以验证操作人员。
例子23是一种用于管理用户接口的计算机实现的方法,该方法包括:捕捉操作人员的至少一个图像,确定操作人员与可手动操作控制装置的接近距离,并且将该距离的确定提供给逻辑装置以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
例子24包括例子23的主题,并且包括:响应于确定操作人员接近控制装置,分析所述至少一个图像以确定操作人员的手是否朝着显示器抬起,响应于确定手未朝着显示器抬起,以视觉方式呈现用户接口的视觉部分的第一视图,并且响应于确定手朝着显示器抬起以指向显示器,以视觉方式呈现用户接口的视觉部分的第二视图,以及响应于确定操作人员未接近控制装置,以视觉方式呈现用户接口的视觉部分的第三视图。
例子25包括例子23-24中任一项的主题,并且包括:接收指示控制装置的操作的信号以响应于确定操作人员接近控制装置并且手未朝着显示器抬起而选择可选择项;分析所述至少一个图像以确定手的手指指向的方向从而响应于确定手朝着显示器抬起以指向显示器并且操作人员接近控制装置而选择可选择项;以及分析所述至少一个图像以解释操作人员的手势从而响应于确定操作人员未接近控制装置而选择可选择项。
例子26包括例子23-25中任一项的主题,并且包括根据操作人员的注视是否朝着显示器的确定而调整解释该手势。
例子27包括例子23-26中任一项的主题,并且包括根据操作人员的注视是否朝着显示器的确定而调整确定该方向。
例子28包括例子23-27中任一项的主题,并且包括分析所述至少一个图像以确定操作人员与可手动操作控制装置的距离。
例子29包括例子23-28中任一项的主题,并且包括响应于确定该距离大于选择的距离而忽略操作人员的所有手势,所述选择的距离足够大以预先排除操作人员对控制装置的访问。
例子30是至少一种机器可读存储介质,该介质包括指令,当由计算装置执行所述指令时,所述指令使计算装置:捕捉计算装置的操作人员的至少一个图像;确定操作人员与可手动操作控制装置的接近距离;以及将该距离的确定提供给逻辑装置以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
例子31包括例子30的主题,其中响应于确定该距离足够短以便能够使操作人员操作控制装置,使计算装置:分析所述至少一个图像以确定操作人员的手是否朝着显示器抬起;响应于确定手未朝着显示器抬起,以视觉方式呈现用户接口的视觉部分的第一视图;以及响应于确定手朝着显示器抬起以指向显示器,以视觉方式呈现用户接口的视觉部分的第二视图;以及响应于确定操作人员未接近控制装置,以视觉方式呈现用户接口的视觉部分的第三视图。
例子32包括例子30-31中任一项的主题,其中使计算装置:接收指示控制装置的操作的信号以响应于确定操作人员接近控制装置并且手未朝着显示器抬起而选择可选择项;分析所述至少一个图像以确定手的手指指向的方向从而响应于确定手朝着显示器抬起以指向显示器并且操作人员接近控制装置而选择可选择项;以及分析所述至少一个图像以解释操作人员的手势从而响应于确定操作人员未接近控制装置而选择可选择项。
例子33包括例子30-32中任一项的主题,其中使计算装置根据操作人员的注视是否朝着显示器的确定调整解释该手势。
例子34包括例子30-33中任一项的主题,其中使计算装置根据操作人员的注视是否朝着显示器的确定调整确定该方向。
例子35包括例子30-34中任一项的主题,其中使计算装置分析所述至少一个图像以确定操作人员与可手动操作控制装置的距离。
例子36包括例子30-35中任一项的主题,其中使计算装置:以视觉方式向操作人员呈现登录提示,从所述至少一个图像确定操作人员的手的测量值,并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员。
例子37包括例子30-36中任一项的主题,其中使计算装置分析所述至少一个图像中的操作人员的手势以验证操作人员。
例子38是一种用于管理用户接口的设备,该设备包括用于执行下述操作的装置:捕捉操作人员的至少一个图像;确定操作人员与可手动操作控制装置的接近距离;以及将该距离的确定提供给逻辑装置以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
例子39包括例子38的主题,并且包括用于执行下述操作的装置:响应于确定该距离足够短以便能够使操作人员操作控制装置,分析所述至少一个图像以确定操作人员的手是否朝着显示器抬起,响应于确定手未朝着显示器抬起,以视觉方式呈现用户接口的视觉部分的第一视图,并且响应于确定手朝着显示器抬起以指向显示器,以视觉方式呈现用户接口的视觉部分的第二视图,以及响应于确定操作人员未接近控制装置,以视觉方式呈现用户接口的视觉部分的第三视图。
例子40包括例子38-39中任一项的主题,并且包括用于执行下述操作的装置:接收指示控制装置的操作的信号以响应于确定操作人员接近控制装置并且手未朝着显示器抬起而选择可选择项;分析所述至少一个图像以确定手的手指指向的方向从而响应于确定手朝着显示器抬起以指向显示器并且操作人员接近控制装置而选择可选择项;以及分析所述至少一个图像以解释操作人员的手势从而响应于确定操作人员未接近控制装置而选择可选择项。
例子41包括例子38-40中任一项的主题,并且包括用于根据操作人员的注视是否朝着显示器的确定调整解释该手势的装置。
例子42包括例子38-41中任一项的主题,并且包括用于根据操作人员的注视是否朝着显示器的确定调整确定该方向的装置。
例子43包括例子38-42中任一项的主题,并且包括用于分析所述至少一个图像以确定操作人员与可手动操作控制装置的距离的装置。
例子44包括例子38-43中任一项的主题,并且包括用于执行下述操作的装置:以视觉方式向操作人员呈现登录提示;从所述至少一个图像确定操作人员的手的测量值;以及将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员。
例子45包括例子38-44中任一项的主题,并且包括用于分析所述至少一个图像中的操作人员的手势以验证操作人员的装置。
例子46是一种用于管理用户接口的设备,该设备包括:显示器;和用户接口部件,以可通信方式耦合到显示器以接收操作人员与可手动操作控制装置的接近距离的指示,响应于确定操作人员接近控制装置,动态地选择包括可选择项的用户接口的视觉部分的第一视图并且在显示器上以视觉方式呈现用户接口的视觉部分的第一视图,并且响应于确定操作人员未接近控制装置,动态地选择用户接口的视觉部分的第二视图并且在显示器上以视觉方式呈现用户接口的视觉部分的第二视图,与第一视图中相比,在第二视图中以更大尺寸以视觉方式呈现可选择项。
例子47包括例子46的主题,其中用户接口部件以可通信方式耦合到控制装置以接收指示控制装置的操作的信号从而响应于确定操作人员接近控制装置而选择可选择项。
例子48包括例子46-47中任一项的主题,其中用户接口部件响应于确定该距离大于选择的距离而动态地选择用户接口的视觉部分的第三视图并且在显示器上以视觉方式呈现用户接口的视觉部分的第三视图,所述选择的距离足够大以预先排除操作人员对控制装置的访问,并且与第一和第二视图中的任一视图中的选择的项的尺寸相比,在第三视图中以更大尺寸以视觉方式呈现选择的项。
例子49包括例子46-48中任一项的主题,并且包括:图像传感器,用于捕捉操作人员的至少一个图像;和位置部件,以可通信方式耦合到图像传感器和用户接口部件以确定操作人员与可手动操作控制装置的接近距离并且将该距离的确定提供给用户接口部件以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
例子50包括例子46-49中任一项的主题,并且包括标识部件,标识部件以可通信方式耦合到图像传感器和用户接口部件以从所述至少一个图像确定操作人员的手的测量值并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员,用户接口部件以视觉方式向操作人员呈现登录提示。
例子51包括例子46-50中任一项的主题,并且包括解释部件,解释部件以可通信方式耦合到图像传感器和位置部件,解释部件分析所述至少一个图像以解释操作人员的手势从而响应于确定操作人员未接近控制装置而选择可选择项。
例子52包括例子46-51中任一项的主题,并且包括:眼睛跟踪器,用于跟踪操作人员的注视的方向;和关注部件,以可通信方式耦合到眼睛跟踪器和解释部件以根据操作人员的注视是否朝着显示器的确定调整手势的解释。
例子53包括例子46-52中任一项的主题,其中解释部件响应于确定该距离大于选择的距离而忽略操作人员的所有手势,所述选择的距离足够大以预先排除操作人员对控制装置的访问。
例子54包括例子46-53中任一项的主题,并且包括标识部件,标识部件以可通信方式耦合到图像传感器和用户接口部件以从所述至少一个图像确定操作人员的手的测量值并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员,用户接口部件以视觉方式向操作人员呈现登录提示。
例子55包括例子46-54中任一项的主题,其中标识部件分析所述至少一个图像中的操作人员的手势以验证操作人员。
例子56包括例子46-55中任一项的主题,并且包括接近传感器,位置部件以可通信方式耦合到接近传感器以根据从接近传感器接收的指示距离的信号确定操作人员与可手动操作控制装置的距离。
例子57包括例子46-56中任一项的主题,其中位置部件分析所述至少一个图像以确定操作人员与可手动操作控制装置的距离。
例子58是一种用于管理用户接口的设备,该设备包括用于执行如权利要求23-29中任一项所述的方法的装置。

Claims (30)

1.一种用于管理用户接口的设备,包括:
图像传感器,用于捕捉操作人员的至少一个图像;和
位置部件,以可通信方式耦合到图像传感器以确定操作人员与可手动操作控制装置的接近距离,并且将该距离的确定提供给用户接口部件以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
2.如权利要求1所述的设备,包括:用户接口部件,用户接口部件以可通信方式耦合到位置部件以响应于确定操作人员接近控制装置而动态地选择包括可选择项的用户接口的视觉部分的第一视图并且以视觉方式呈现用户接口的视觉部分的第一视图,并且响应于确定操作人员未接近控制装置而动态地选择用户接口的视觉部分的第二视图并且以视觉方式呈现用户接口的视觉部分的第二视图,与第一视图中相比,在第二视图中以更大尺寸以视觉方式呈现可选择项。
3.如权利要求2所述的设备,其中所述用户接口部件以可通信方式耦合到控制装置以接收指示控制装置的操作的信号,从而响应于确定操作人员接近控制装置而选择可选择项。
4.如权利要求2所述的设备,其中所述用户接口部件响应于确定该距离大于选择的距离而动态地选择用户接口的视觉部分的第三视图并且以视觉方式呈现用户接口的视觉部分的第三视图,所述选择的距离足够大以预先排除操作人员对控制装置的访问,并且与第一和第二视图中的任一视图中的选择的项的尺寸相比,在第三视图中以更大尺寸以视觉方式呈现选择的项。
5.如权利要求1所述的设备,包括:标识部件,以可通信方式耦合到图像传感器以从所述至少一个图像确定操作人员的手的测量值并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员,用户接口部件以可通信方式耦合到标识部件以便以视觉方式向操作人员提供登录提示。
6.如权利要求1所述的设备,包括:解释部件,以可通信方式耦合到图像传感器和位置部件,解释部件分析所述至少一个图像以解释操作人员的手势,从而响应于确定操作人员未接近控制装置而选择可选择项。
7.如权利要求6所述的设备,其中所述解释部件响应于确定该距离大于选择的距离而忽略操作人员的所有手势,所述选择的距离足够大以预先排除操作人员对控制装置的访问。
8.如权利要求1所述的设备,包括:标识部件,以可通信方式耦合到图像传感器和用户接口部件以从所述至少一个图像确定操作人员的手的测量值并且将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员,用户接口部件以视觉方式向操作人员呈现登录提示。
9.一种用于管理用户接口的设备,包括:
图像传感器,用于捕捉操作人员的至少一个图像;和
解释部件,以可通信方式耦合到图像传感器以分析所述至少一个图像,从而确定操作人员的手是否朝着显示器抬起以指向显示器,并且将手是否朝着显示器抬起的确定提供给用户接口部件以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
10.如权利要求9所述的设备,包括:用户接口部件,用户接口部件以可通信方式耦合到解释部件以响应于确定手未朝着显示器抬起以指向显示器而动态地选择包括可选择项的用户接口的视觉部分的第一视图并且以视觉方式呈现用户接口的视觉部分的第一视图,并且响应于确定手朝着显示器抬起以指向显示器而动态地选择用户接口的视觉部分的第二视图并且以视觉方式呈现用户接口的视觉部分的第二视图,在第一和第二视图中以不同尺寸以视觉方式呈现可选择项。
11.如权利要求10所述的设备,包括:可手动操作控制装置,用户接口部件以可通信方式耦合到可手动操作控制装置以接收指示控制装置的操作的信号从而响应于确定手未朝着显示器抬起以指向显示器而选择可选择项,并且解释部件分析所述至少一个图像以确定手的手指指向的方向从而响应于确定手朝着显示器抬起以指向显示器而选择可选择项。
12.如权利要求11所述的设备,包括:关注部件,以可通信方式耦合到解释部件以根据操作人员的注视是否朝着显示器的确定调整方向的确定。
13.如权利要求10所述的设备,其中所述用户接口部件在包括可选择项的定点菜单内以视觉方式呈现第二视图中的可选择项并且将定点菜单的中心定位在显示器上的位置;并且解释部件分析所述至少一个图像以确定手的手指指向的显示器上的位置并且检测手指朝着可选择项的急拉移动。
14.如权利要求9所述的设备,包括:
接近传感器,用于检测操作人员的距离;和
位置部件,以可通信方式耦合到接近传感器和解释部件,以根据操作人员与可手动操作控制装置的距离的确定调整手是否朝着显示器抬起以指向显示器的确定并且将该距离的确定提供给用户接口部件。
15.如权利要求14所述的设备,其中所述位置部件以可通信方式耦合到用户接口部件以便能够使用户接口部件响应于确定操作人员未接近控制装置而动态地选择用户接口的视觉部分的第三视图并且以视觉方式呈现用户接口的视觉部分的第三视图,与第一和第二视图中的任一视图中的选择的项的尺寸相比,第三视图中以更大尺寸以视觉方式呈现选择的项。
16.一种用于管理用户接口的计算机实现的方法,包括:
捕捉操作人员的至少一个图像;
确定操作人员与可手动操作控制装置的距离;
响应于确定操作人员接近控制装置:
 分析所述至少一个图像以确定操作人员的手是否朝着显示器抬起;
 响应于确定手未朝着显示器抬起,以视觉方式呈现用户接口的视觉部分的第一视图;以及
 响应于确定手朝着显示器抬起以指向显示器,以视觉方式呈现用户接口的视觉部分的第二视图;以及
响应于确定操作人员未接近控制装置,以视觉方式呈现用户接口的视觉部分的第三视图。
17.如权利要求16所述的计算机实现的方法,包括:
接收指示控制装置的操作的信号以响应于确定操作人员接近控制装置并且手未朝着显示器抬起而选择可选择项;
分析所述至少一个图像以确定手的手指指向的方向从而响应于确定手朝着显示器抬起以指向显示器并且操作人员接近控制装置而选择可选择项;以及
分析所述至少一个图像以解释操作人员的手势从而响应于确定操作人员未接近控制装置而选择可选择项。
18.如权利要求17所述的计算机实现的方法,包括:根据操作人员的注视是否朝着显示器的确定调整解释该手势。
19.如权利要求16所述的计算机实现的方法,包括:分析所述至少一个图像以确定操作人员与可手动操作控制装置的距离。
20.如权利要求16所述的计算机实现的方法,包括:响应于确定该距离大于选择的距离而忽略操作人员的所有手势,所述选择的距离足够大以预先排除操作人员对控制装置的访问。
21.至少一种机器可读存储介质,该介质包括指令,当由计算装置执行所述指令时,所述指令使计算装置:
捕捉计算装置的操作人员的至少一个图像;
确定操作人员与可手动操作控制装置的接近距离;以及
将该距离的确定提供给逻辑装置以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
22.如权利要求21所述的至少一种机器可读存储介质,其中使所述计算装置:
响应于确定该距离足够短以便能够使操作人员操作控制装置:
 分析所述至少一个图像以确定操作人员的手是否朝着显示器抬起;
 响应于确定手未朝着显示器抬起,以视觉方式呈现用户接口的视觉部分的第一视图;以及
 响应于确定手朝着显示器抬起以指向显示器,以视觉方式呈现用户接口的视觉部分的第二视图;以及
响应于确定操作人员未接近控制装置,以视觉方式呈现用户接口的视觉部分的第三视图。
23.如权利要求21所述的至少一种机器可读存储介质,其中使所述计算装置:
接收指示控制装置的操作的信号以响应于确定操作人员接近控制装置并且手未朝着显示器抬起而选择可选择项;
分析所述至少一个图像以确定手的手指指向的方向,从而响应于确定手朝着显示器抬起以指向显示器并且操作人员接近控制装置而选择可选择项;以及
分析所述至少一个图像以解释操作人员的手势从而响应于确定操作人员未接近控制装置选择可选择项。
24.如权利要求21所述的至少一种机器可读存储介质,其中使所述计算装置:
以视觉方式向操作人员呈现登录提示;
从所述至少一个图像确定操作人员的手的测量值;以及
将该测量值与操作人员的手的生物统计数据进行比较以验证操作人员。
25.如权利要求24所述的至少一种机器可读存储介质,其中使所述计算装置分析所述至少一个图像中的操作人员的手势以验证操作人员。
26.一种用于管理用户接口的设备,包括:
显示器;和
用户接口部件,以可通信方式耦合到显示器以:
 接收操作人员与可手动操作控制装置的接近距离的指示;
 响应于确定操作人员接近控制装置,动态地选择包括可选择项的用户接口的视觉部分的第一视图并且在显示器上以视觉方式呈现用户接口的视觉部分的第一视图;以及
 响应于确定操作人员未接近控制装置,动态地选择用户接口的视觉部分的第二视图并且在显示器上以视觉方式呈现用户接口的视觉部分的第二视图,与第一视图中相比,在第二视图中以更大尺寸以视觉方式呈现可选择项。
27.如权利要求26所述的设备,其中所述用户接口部件以可通信方式耦合到控制装置以接收指示控制装置的操作的信号从而响应于确定操作人员接近控制装置而选择可选择项。
28.如权利要求26所述的设备,其中所述用户接口部件响应于确定该距离大于选择的距离而动态地选择用户接口的视觉部分的第三视图并且在显示器上以视觉方式呈现用户接口的视觉部分的第三视图,所述选择的距离足够大以预先排除操作人员对控制装置的访问,并且与第一和第二视图中的任一视图中的选择的项的尺寸相比,在第三视图中以更大尺寸以视觉方式呈现选择的项。
29.如权利要求26所述的设备,包括:
图像传感器,用于捕捉操作人员的至少一个图像;和
位置部件,以可通信方式耦合到图像传感器和用户接口部件,以确定操作人员与可手动操作控制装置的接近距离并且将该距离的确定提供给用户接口部件以便能够实现用户接口的视觉部分的多个视图之一的动态选择。
30.如权利要求29所述的设备,包括:解释部件,以可通信方式耦合到图像传感器和位置部件,解释部件分析所述至少一个图像以解释操作人员的手势,从而响应于确定操作人员未接近控制装置而选择可选择项。
CN201480008997.3A 2013-03-15 2014-03-10 响应于操作人员位置和手势的用户接口 Active CN105190481B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/832954 2013-03-15
US13/832,954 US10152135B2 (en) 2013-03-15 2013-03-15 User interface responsive to operator position and gestures
PCT/US2014/022256 WO2014150111A1 (en) 2013-03-15 2014-03-10 User interface responsive to operator position and gestures

Publications (2)

Publication Number Publication Date
CN105190481A true CN105190481A (zh) 2015-12-23
CN105190481B CN105190481B (zh) 2018-07-13

Family

ID=51534551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480008997.3A Active CN105190481B (zh) 2013-03-15 2014-03-10 响应于操作人员位置和手势的用户接口

Country Status (4)

Country Link
US (1) US10152135B2 (zh)
EP (1) EP2972684A4 (zh)
CN (1) CN105190481B (zh)
WO (1) WO2014150111A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502417A (zh) * 2016-11-08 2017-03-15 北京暴风魔镜科技有限公司 移动虚拟现实设备适配电脑外设的方法、装置和系统
CN109445597A (zh) * 2018-11-06 2019-03-08 北京七鑫易维信息技术有限公司 一种应用于终端的操作提示方法、装置和终端
CN109791581A (zh) * 2016-10-25 2019-05-21 惠普发展公司,有限责任合伙企业 对电子设备的用户界面进行控制
CN110045816A (zh) * 2018-01-10 2019-07-23 脸谱科技有限责任公司 近眼显示器和系统
CN110708519A (zh) * 2019-11-05 2020-01-17 太原理工大学 面向工业现场环境的交互式监控方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6303314B2 (ja) * 2013-07-31 2018-04-04 ブラザー工業株式会社 プログラムおよび情報処理装置
US10503357B2 (en) * 2014-04-03 2019-12-10 Oath Inc. Systems and methods for delivering task-oriented content using a desktop widget
US10019149B2 (en) * 2014-01-07 2018-07-10 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for implementing retail processes based on machine-readable images and user gestures
US9710629B2 (en) 2014-05-13 2017-07-18 Google Technology Holdings LLC Electronic device with method for controlling access to same
US20150347732A1 (en) * 2014-05-29 2015-12-03 Google Technology Holdings LLC Electronic Device and Method for Controlling Access to Same
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
CN105739897A (zh) * 2016-01-29 2016-07-06 宇龙计算机通信科技(深圳)有限公司 一种触控操作处理的方法、装置以及终端
USD879795S1 (en) * 2016-06-07 2020-03-31 Amadeus S.A.S. Display screen with graphical user interface
US10303865B2 (en) 2016-08-31 2019-05-28 Redrock Biometrics, Inc. Blue/violet light touchless palm print identification
CN109960964A (zh) 2017-12-14 2019-07-02 红石生物特征科技有限公司 非接触式掌纹获取装置及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012001A1 (en) * 1997-07-07 2001-08-09 Junichi Rekimoto Information input apparatus
US6971072B1 (en) * 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
KR20090023917A (ko) * 2007-09-03 2009-03-06 엘지전자 주식회사 사용자 인터페이스
US20100083188A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Computer user interface system and methods
CN101802767A (zh) * 2007-09-25 2010-08-11 微软公司 基于接近度的计算机显示器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864334A (en) * 1997-06-27 1999-01-26 Compaq Computer Corporation Computer keyboard with switchable typing/cursor control modes
KR20070045651A (ko) 2005-10-28 2007-05-02 주식회사 팬택 사용자와의 거리에 따른 볼륨 조절 방법 및 상기 방법을수행하는 이동통신 단말기
US8933892B2 (en) * 2007-11-19 2015-01-13 Cirque Corporation Touchpad combined with a display and having proximity and touch sensing capabilities to enable different functions or interfaces to be displayed
KR20100048747A (ko) 2008-10-31 2010-05-11 한국과학기술원 안면 추적을 이용한 모바일 유저 인터페이스 장치
US8441441B2 (en) 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US20100192101A1 (en) * 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus in a graphics container
US20110084897A1 (en) 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Electronic device
US20110205185A1 (en) * 2009-12-04 2011-08-25 John David Newton Sensor Methods and Systems for Position Detection
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20130009875A1 (en) 2011-07-06 2013-01-10 Fry Walter G Three-dimensional computer interface
US9400893B2 (en) * 2011-12-15 2016-07-26 Facebook, Inc. Multi-user login for shared mobile devices
JP5957892B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US8843858B2 (en) * 2012-05-31 2014-09-23 Microsoft Corporation Optimization schemes for controlling user interfaces through gesture or touch
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012001A1 (en) * 1997-07-07 2001-08-09 Junichi Rekimoto Information input apparatus
US6971072B1 (en) * 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
KR20090023917A (ko) * 2007-09-03 2009-03-06 엘지전자 주식회사 사용자 인터페이스
CN101802767A (zh) * 2007-09-25 2010-08-11 微软公司 基于接近度的计算机显示器
US20100083188A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Computer user interface system and methods

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791581A (zh) * 2016-10-25 2019-05-21 惠普发展公司,有限责任合伙企业 对电子设备的用户界面进行控制
CN106502417A (zh) * 2016-11-08 2017-03-15 北京暴风魔镜科技有限公司 移动虚拟现实设备适配电脑外设的方法、装置和系统
CN110045816A (zh) * 2018-01-10 2019-07-23 脸谱科技有限责任公司 近眼显示器和系统
CN110045816B (zh) * 2018-01-10 2022-05-31 脸谱科技有限责任公司 近眼显示器和系统
CN109445597A (zh) * 2018-11-06 2019-03-08 北京七鑫易维信息技术有限公司 一种应用于终端的操作提示方法、装置和终端
CN109445597B (zh) * 2018-11-06 2022-07-05 北京七鑫易维信息技术有限公司 一种应用于终端的操作提示方法、装置和终端
CN110708519A (zh) * 2019-11-05 2020-01-17 太原理工大学 面向工业现场环境的交互式监控方法

Also Published As

Publication number Publication date
US20140282271A1 (en) 2014-09-18
WO2014150111A1 (en) 2014-09-25
EP2972684A1 (en) 2016-01-20
US10152135B2 (en) 2018-12-11
CN105190481B (zh) 2018-07-13
EP2972684A4 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
CN105190481A (zh) 响应于操作人员位置和手势的用户接口
US11914792B2 (en) Systems and methods of tracking moving hands and recognizing gestural interactions
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
US8525876B2 (en) Real-time embedded vision-based human hand detection
US9767613B1 (en) Systems and method of interacting with a virtual object
CN107111356B (zh) 用于基于手势控制装置的方法和系统
US9519351B2 (en) Providing a gesture-based interface
EP2534554B1 (en) Input command
TWI617948B (zh) 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體
US20100271200A1 (en) Postural information system and method including determining response to subject advisory information
CN106576156B (zh) 穿戴式介导现实系统和方法
CN107077553A (zh) 用于对受保护资源的认证的多用户生物测定
JP6261060B2 (ja) 情報処理装置
JP2010157115A (ja) 商品販売装置
EP4129578A1 (en) Robot device and control method therefor
TWI470565B (zh) 非接觸式醫療導覽系統及其控制方法
US11630569B2 (en) System, method and devices for touch, user and object sensing for IoT experiences
US20160098780A1 (en) Merchandise sales service device based on dynamic scene change, merchandise sales system based on dynamic scene change, method for selling merchandise based on dynamic scene change and non-transitory computer readable storage medium having computer program recorded thereon
Yeo et al. OmniSense: Exploring Novel Input Sensing and Interaction Techniques on Mobile Device with an Omni-Directional Camera
KR102499576B1 (ko) 전자 장치 및 그 제어 방법
CN109190589A (zh) 指纹识别方法、装置、电子设备及计算机存储介质
KR20200101086A (ko) 초음파 진단 장치
Chadalavada Building a Scalable Sensing Foundation for Contextual and Precise Interaction
CN106686356A (zh) 一种智能猫眼及智能猫眼的监控方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant