CN105900056A - 辅助显示器的悬停敏感控制 - Google Patents

辅助显示器的悬停敏感控制 Download PDF

Info

Publication number
CN105900056A
CN105900056A CN201580004266.6A CN201580004266A CN105900056A CN 105900056 A CN105900056 A CN 105900056A CN 201580004266 A CN201580004266 A CN 201580004266A CN 105900056 A CN105900056 A CN 105900056A
Authority
CN
China
Prior art keywords
hovering
equipment
control
display
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580004266.6A
Other languages
English (en)
Inventor
P·米科拉
D·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105900056A publication Critical patent/CN105900056A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

示例装置和方法涉及具有触摸和悬停敏感显示器的第一设备(200；例如电话、平板)。第一设备可检测具有第二显示器(210)的第二设备(例如电视机、监视器)。在第一和第二设备之间建立通信链路和上下文之后，第一设备可提供要在第二设备上显示的第一输出(例如电影、游戏)。响应于标识在与第一设备相关联的悬停空间中产生的悬停点(202)，该第一设备可提供用于在该第二显示器上显示的第二输出(212、220；例如，用户界面元素、光标)。第二输出可以基于该上下文以及与该悬停点相关联的悬停动作。该用户随后可通过使用与该光标(212)有关的第二输出来与该第二显示器交互来引起控制事件被生成。

Description

辅助显示器的悬停敏感控制
背景
用户熟悉其电视机、其DVD(数字多功能盘)播放机、其游戏控制台和其它设备的遥控器。这些遥控器倾向于将固定的物理按钮映射到预定义的控制动作。例如，电视机遥控器上的开/关(on/off)按钮可能总是在相同位置并执行相同的功能。类似地，游戏控制器上的“右扳机键(right trigger)”和“左扳机键(left trigger)”按钮可能总是在相同位置且可能总是被映射到针对应用(例如游戏)的相同控制动作。传统设备控制器(例如，游戏控制器(game controller)、键盘、游戏控件(game control))具有物理按钮，所述物理按钮向用户提供帮助用户做出期望的输入而无需向下看控制器的物理触摸点。这些传统控制器没有它们自己的显示器且仅对于其预期的专用用途是有用的。
触摸敏感设备(例如智能电话、平板)的流行向用户已经拥挤的日常生活增加了又一件电子装备。已经尝试用触摸敏感设备来取代传统的、专用的、以按钮为中心的控制器。然而，智能电话、平板和其它触摸敏感设备不具有处于熟悉位置的熟悉按钮且因此尚未带来可接受的结果。使用具有其自己的显示器(例如，电话、平板)的触摸敏感设备的传统尝试遵循以下模型：其中控件被显示在触摸敏感设备上。例如，对于DVD播放机控制，电话可在该电话上显示DVD控件。这导致“低头”操作，其中用户的焦点被定向到手持触摸敏感设备而非辅助显示器。即使在对应控件被显示在辅助显示器和触摸敏感设备两者上时，相应控件倾向于在手持设备和辅助显示器之间紧密耦合，且从而用户倾向于将其焦点切换到手持触摸敏感设备以确保他们正在按下期望的按钮。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
示例方法和装置涉及产生抬头式交互，其中在使用悬停敏感设备(hover-sensitive device)(例如，电话，平板)作为其输出被显示在辅助显示器上的应用的控制器时，用户将其注意力保持在辅助显示器(例如电视机)上。从传统的相应控制模型的脱离促进了产生抬头式交互。与在电话上显示控件的传统系统不同，示例方法和装置可不在电话上显示控件。相反，控件可被显示在辅助显示器上且通过电话的悬停交互可被用来移动辅助显示器上的光标。当光标如用户所期望地在辅助显示器上定位(例如，在控件上方)时，则电话上的触摸交互可激活该控件。因为电话上没有要看的东西，所以用户的注意力留在辅助显示器上。示例装置和方法使用触摸和悬停敏感设备上的悬停和触摸交互来提供辅助显示器上的视觉反馈并作为物理按钮的代理。
一些实施例可包括对触摸和悬停两种动作敏感的电容性输入/输出(I/O)接口。电容性I/O接口可以检测触摸屏幕的对象(例如，手指、拇指、指示笔)。电容性I/O接口也可以检测不正在触摸屏幕，但位于与屏幕相关联的三维体积(例如，悬停空间)中的对象(例如，手指、拇指、指示笔)。电容性I/O接口可能能够同时检测触摸动作和悬停动作。电容性I/O接口可以能够检测多个同时的触摸动作和多个同时的悬停动作。第一设备(例如电话)可建立上下文，第一设备将通过该上下文与辅助设备(例如，电视机、计算机监视器、游戏监视器)交互。第一设备可提供悬停接口，该悬停接口促成在辅助设备上移动光标。第一设备还可提供来自在第一设备上运行的应用的输出。例如，电话可屏幕播放(screencast)游戏到游戏监视器并允许用户使用电话上的悬停动作在游戏监视器上四处移动光标。
附图简述
附图示出本文所述的各种示例装置、方法和其他实施例。将理解到附图中所示的元素边界(如框、框组、或其他形状)表示边界的一个示例。在某些示例中，一个元素可被设计成多个元素，或者多个元素可被设计成一个元素。在某些示例中，示为另一元素的内部组件的某一元素可被实现为外部组件，且反之亦然。此外，元素可不被按比例绘制。
图1示出了示例触摸和悬停敏感设备。
图2示出与辅助显示器交互的示例触摸和悬停敏感设备。
图3示出被配置成执行对辅助显示器的悬停敏感控制的示例触摸和悬停敏感设备的一部分。
图4示出被配置成执行对辅助显示器的悬停敏感控制的示例触摸和悬停敏感设备的一部分。
图5示出与执行对辅助显示器的悬停敏感控制相关联的示例方法。
图6示出与执行对辅助显示器的悬停敏感控制相关联的示例方法。
图7示出示例云操作环境，在其中触摸和悬停敏感接口可提供对辅助显示器的悬停敏感控制。
图8是描绘配置有被配置有执行对辅助显示器的悬停敏感控制的触摸和悬停敏感接口的示例性移动通信设备的系统图。
图9示出与提供对辅助显示器的悬停敏感控制的示例装置。
图10示出与辅助显示器交互的示例悬停敏感设备。
详细描述
随着如电话和平板等设备变得更加普及，用户关于应当由其“电话”执行的功能的期望急剧提高。从而，这些设备已开始点亮外部显示器(例如电视机、游戏监视器)上的体验。然而，作为控制器的设备通常带来低头式体验，其中难以(即使可能的话)控制对辅助显示器上所显示的内容或对该对该内容提供输入。由必须低头看电话或平板所带来的低头式体验确保了用户正在触摸“正确”的位置。示例装置和方法检测由触摸第一设备(例如电话、平板)上的I/O接口的对象执行的触摸动作。示例装置和方法还检测由对象在与I/O接口相关联的悬停空间中执行的悬停动作。示例装置和方法使用在第一设备上的I/O接口处执行的触摸动作和悬停动作来控制“抬头式”体验中与辅助显示器的显示和交互。
示例装置和方法可允许作为控件操作的用户界面元素被显示在辅助显示器上。与将触摸设备(例如，电话、平板)上的用户界面元素与辅助显示器上的用户界面元素紧密耦合的传统系统不同，示例装置和方法可解耦或至少较不紧密地耦合这些用户界面元素来产生抬头式体验。可关于与悬停敏感设备(例如电话、平板)相关联的悬停空间中的指头(例如拇指)建立悬停点。悬停点可被用来控制辅助显示器上显示的光标的存在、位置、外观和功能。例如，当用户在悬停空间中在x、y或z方向上移动其拇指时，光标可在辅助显示器上四处移动。在一个实施例中，悬停敏感设备的表面可被映射到辅助显示器的表面。但是在另一实施例中，悬停敏感设备的表面可不被映射到辅助显示器的表面且悬停移动可独立于悬停点在悬停空间中所处的位置来定位光标。悬停移动可引起与轨迹球所提供的输入类似的输入。尽管术语“光标”被用来指代呈现在辅助显示器上的项，然而更一般而言，悬停点或其它视觉指示符可被呈现在辅助显示器上以指示该点正被悬停敏感设备上的悬停空间中的悬停点在辅助显示器上控制。
示例装置和方法还可为辅助显示器提供“害羞的”(例如，根据需要的)控件。例如，当用户正观看电影时，可能不需要在辅助显示器上显示用于类似DVD的界面的控件。但是用户可能想要能够暂停电影。示例装置和方法可检测到辅助显示器正在播放电影并且将悬停敏感设备配置成根据需要向辅助显示器提供类似DVD的界面。例如，悬停敏感设备可被配置成当悬停敏感设备检测到悬停动作时引起类似DVD界面被显示。悬停点可被用来控制辅助显示器上的虚拟控制元件的存在、位置、外观和功能。例如，当用户将拇指放到悬停空间中时，类似DVD的界面可被叠加在电影上且光标被显示在辅助显示器上。用户随后可做出重新定位光标的悬停动作，并且可最终做出引起光标下的按钮被“按下”的触摸动作。在一个实施例中，类似DVD的界面可以部分透明。
通过不将悬停敏感设备上的位置直接映射到辅助显示器，示例装置和方法可允许悬停敏感设备更像控制器一样而更不像辅助显示器的缩小版那样运作。在一个实施例中，光标可初始地被定位在辅助显示器的中心，而不管悬停点在何处被建立。因为用户知道无论他们在悬停敏感设备上的什么地方建立悬停点光标都将出现在辅助显示器的中心，所以用户没有动机去看悬停敏感设备。在另一实施例中，光标可被定位在辅助显示器上最有可能被使用的控件上方，而不管悬停点在悬停敏感设备上的何处被建立。同样，因为用户知道光标将出现在预定义位置，该预定义位置与在触摸敏感设备上悬停点在何处被建立无关，所以没有动机向下看悬停敏感设备，这提升了抬头式体验。在一个实施例中，光标可初始地基于悬停点的位置被放置。因为控件被显示在辅助设备上，所以用户看悬停敏感设备是不需要或者甚至无用的。当用户在悬停空间中四处移动其拇指时，光标可移动。最终，用户可决定通过触摸悬停和触摸敏感设备来“按下”辅助显示器上的按钮。用户触摸悬停和触摸敏感设备上的何处可能不重要，可能唯一重要的是在悬停和触摸敏感设备正向辅助显示器提供光标和类似DVD的界面时用户触摸了悬停和触摸敏感设备。
考虑以下场景：其中用户正使用具有将屏幕从其电话“屏幕播放”到辅助屏幕的电话。例如，电话可以能够向辅助屏幕无线播放(Miracast)。辅助屏幕可能已经通过其电话或通过另一设备或进程被启动。示例装置和方法向电话提供了能够提供“在辅助显示器上悬停”功能的能力。在辅助显示器上悬停功能可允许用户在其电话上运行游戏，在辅助显示器上显示该游戏，并使用电话作为游戏的悬停控制器。电话所提供的悬停控件可允许游戏控件或系统级控件被显示在辅助显示器上的游戏上。电话所提供的悬停控件还可允许将用户的手指(例如拇指)的表示显示在辅助显示器上。
在一个实施例中，电话可识别出存在可用的第二显示器并且可因此在第二显示器上启动“悬停触摸点”。例如，在玩游戏时，用户可在其电话上和在辅助显示器上看到相同图像，但是第二显示器可突出显示电话所产生的(一个或多个)悬停点。辅助显示器(例如电视机、游戏监视器)可显示表示用户的手指的位置的图标(例如，半透明圆圈)。图标的大小、形状、颜色或其它属性可基于用户的手指和电话之间的z距离而改变。例如，当手指更靠近电话时，图标可以小且亮，而当手指更远离电话时，图标可以大且暗。当用户触摸屏幕时，图标可改变颜色或形状。
尽管游戏和电影是两个用例，然而与在辅助屏幕上悬停功能相关联的悬停触摸点也可在生产力场景中被使用。例如，用户可能正显示文档以用于协作编辑。当用户在悬停敏感设备上悬停手指时可向用户呈现虚拟键盘或编辑菜单。可不在悬停敏感设备上显示相应的键盘或菜单并且从而没有动机来向下看悬停敏感设备。
在另一示例中，用户可能正演示幻灯片并使用其电话作为控制器。电话可提供“激光指示器”功能，该功能允许用户指出或突出显示幻灯片上的项，并且还可提供下一/前一功能，该功能允许用户移动到下一幻灯片或前一幻灯片。因为悬停交互可不依赖于电话上的任何控件的位置，所以用户将没有理由看电话，这促进了保持焦点在幻灯片上。
尽管目前已描述了具有单一电话的单一用户，然而示例装置和方法可为共享单一辅助显示器或者甚至多个辅助显示器的多个用户或多个电话提供在辅助显示器上的悬停触摸点。例如，玩足球游戏的两个用户可各自被提供光标，该光标可被用来控制显示在辅助显示器上的玩家。或者，正在面向团队的视频游戏中协作的多个用户可各自具有显示在团体辅助显示器上的光标以促成与虚拟控件以及与彼此的交互。
使用触摸技术来检测触摸触摸敏感屏幕的对象。“触摸技术”和“触摸敏感”是指感应触摸I/O接口的对象。I/O接口可以是，例如，电容性接口。由电容传感器感测到的电容可能受不同的介电性质的影响，并影响触摸屏幕的对象的电容。例如，手指的介电性质不同于空气的介电性质。类似地，指示笔的介电性质也不同于空气的介电性质。如此，当手指或者指示笔触摸电容性I/O接口时，可以感测到电容变化，并将其用于标识输入动作。尽管描述了电容性I/O接口，但是，更一般而言，可以使用触摸敏感I/O接口。
使用悬停技术来检测悬停空间中的对象。“悬停技术”和“悬停敏感”是指感测与电子设备中的显示器分隔开(例如，不触摸)但却与其非常靠近的对象。“非常靠近”可以表示，例如，超出1mm(毫米)但是在1cm(厘米)内，超出.1mm但是在10cm内，或其他的范围组合。非常靠近包括在邻近度检测器(例如，电容传感器)可以检测并表征悬停空间中的对象的范围内。设备可以是，例如，电话、平板计算机、计算机，或其他设备/附件。悬停技术可以取决于与悬停敏感的设备相关联的邻近度检测器。示例装置可包括邻近度检测器。
图1示出了既是触摸敏感又是悬停敏感的示例设备100。设备100包括输入/输出(I/O)接口110。I/O接口110既是触摸敏感的，又是悬停敏感的。I/O接口110可以显示一组项，包括，例如，虚拟键盘140，更一般地，用户界面元素120。可以使用用户界面元素来显示信息并接收用户交互。传统上，用户交互通过触摸I/O接口110或者通过在悬停空间150中悬停来执行。示例装置促成标识使用触摸动作或悬停动作或两者的输入动作并对所述输入动作做出响应以向位于设备100外的辅助显示器170提供内容190或用户界面元素180。悬停动作可被用来在辅助显示器170上定位或移动光标，而触摸动作可被用来激活位于辅助显示器170上的光标的影响区域中的用户界面元素180。
设备100或I/O接口110可存储关于用户界面元素120、虚拟键盘140、内容190、用户界面元素180、辅助显示器170或其它项的状态130。用户界面元素120或用户界面元素180的状态130可以取决于触摸和悬停动作发生的顺序、触摸和悬停动作的数量、触摸和悬停动作是静态的还是动态的、组合的悬停和触摸动作是否描述手势，或取决于触摸和悬停动作的其他属性。状态130可包括，例如，触摸动作的位置、悬停动作的位置、与触摸动作相关联的手势、与悬停动作相关联的手势，或其他信息。
设备100可包括检测对象(例如，手指、带有电容性笔尖的指示笔)何时正在触摸I/O接口110的触摸检测器。触摸检测器可报告关于触摸I/O接口110的对象的位置(x,y)，辅助显示器170上的光标的位置，在辅助显示器170上激活的用户界面元素，或其它信息。触摸检测器也可以报告对象移动的方向、对象移动的速度、对象是否执行了轻击、双击、三轻击或其他轻击动作、对象是否执行了可识别的手势、或其他信息。
设备100也可以包括检测对象(例如，手指、铅笔，带有电容性笔尖的指示笔)何时接近于但不触摸I/O接口110的邻近度检测器。邻近度检测器可标识对象160在三维悬停空间150中的位置(x,y,z)，其中x和y彼此正交且在平行于接口110的表面的平面中而z垂直于接口110的表面。邻近度检测器也可以标识对象160的其他属性，包括，例如，对象160在悬停空间150中的移动速度、对象160相对于悬停空间150的朝向(例如，俯仰、滚转、偏航)，对象160相对于悬停空间150或设备100移动的方向、由对象160作出的手势，或对象160的其他属性。尽管示出了单个对象160，邻近度检测器可以检测悬停空间150中的一个以上的对象。
在不同的示例中，触摸检测器可以使用有源或无源的系统。类似地，在不同的示例中，邻近度检测器可以使用有源或无源的系统。在一个实施例中，单个装置可以执行触摸检测器和邻近度检测器两者的功能。组合的检测器可以使用感测技术，包括，但不仅限于，电容性，电场、感应、霍耳效应、Reed效应、涡流电流、磁阻、光学阴影、光学可见光、光学红外线(IR)、光学颜色识别、超声波、声辐射、雷达、热量、声纳、导电，以及电阻性的技术。有源系统可包括，除了其他系统之外，红外线或超声波系统。无源的系统可包括，除了其他系统之外，电容性或光学阴影仪系统。在一个实施例中，当组合的检测器使用电容性技术时，检测器可包括一组电容性感测节点以检测悬停空间150中或I/O接口110上的电容变化。电容变化可以，例如，由触摸电容性感测节点或进入电容性感测节点的检测范围内的手指(例如，手指、拇指)或其他对象(例如，笔，电容性指示笔)导致。
一般而言，邻近度检测器包括在I/O接口110上以及在与I/O接口110相关联的悬停空间150中生成一组感测场的一组邻近度传感器。当对象触摸I/O接口110时，触摸检测器生成信号，当在悬停空间150中检测到对象时，邻近度检测器生成信号。在一个实施例中，可以将单个检测器用于触摸检测和邻近度检测两者，如此，单个信号可以报告组合的触摸和悬停事件。
在一个实施例中，表征触摸包括从由设备所提供的触摸检测系统(例如，触摸检测器)接收信号。触摸检测系统可以是有源检测系统(例如，红外线，超声波)，无源检测系统(例如，电容性)，或系统的组合。表征悬停也可以包括从由设备所提供的悬停检测系统(例如，悬停检测器)接收信号。悬停检测系统也可以是有源检测系统(例如，红外线，超声波)，无源检测系统(例如，电容性)，或系统的组合。表征组合的触摸和悬停事件也可以包括从被包括到设备中的有源检测系统或无源检测系统接收信号。信号可以是，例如，电压、电流、中断、计算机信号、电子信号，或检测器可以通过其提供有关检测器检测到的事件的信息的其他有形的信号。在一个实施例中，触摸检测系统和悬停检测系统可以是同一个系统。在一个实施例中，触摸检测系统和悬停检测系统可以被包括到设备中或由设备提供。
图2示出了正与辅助显示器210(例如电视机)交互的悬停敏感设备200(例如，电话、平板)。悬停敏感设备200可与辅助显示器210建立通信链路。一旦建立了通信，则在设备200上产生悬停点202的悬停动作还可在辅助显示器210上产生动作。例如，控件220的集合可被显示在辅助显示器210上且虚线圈212可作为光标或作为用户的手指的位置的表示被显示在辅助显示器210上。哪些控件220被显示可取决于向显示器210提供内容230(例如，电影、文档、游戏)的应用。光标212的大小、形状、外观或其它属性也可取决于应用。用户随后可移动悬停点202来重新定位光标212。如果用户将光标212定位在控件220的一元件上方并随后触摸悬停敏感设备200，则可看上去控件220的该元件被按下且与控件220的该元件相关联的相应动作可被生成。例如，按下暂停按钮可暂停内容230的呈现。动作可控制正向显示器210提供内容的应用。
图10示出正运行应用1000的第一设备1010。第一设备1010具有悬停空间1020，可检测该悬停空间中的悬停动作。第一设备1010可检测到具有辅助显示器的第二设备1040。第一设备1010可与第二设备1040协商或建立上下文1030。例如，第一设备1010和第二设备1040可决定第一设备1010将提供哪个应用的内容给第二设备1040以供显示。这些设备还可决定当在悬停空间1020中发生悬停动作时哪些控件(如果存在)要被显示在第二设备1040上。这些设备还可决定当由悬停空间1020中的悬停事件控制但是被显示在第二设备1040上的光标与显示在第二设备1040上的控件交互时哪些控制事件(如果存在)要被生成。来自应用1000的内容可作为第一输出流1060被提供到第二设备1040。不是应用1000所生成的内容的光标、控件或其它项也可作为第二输出流1070被提供给第二设备1040。第一输出流1060和第二输出流1070可通过通信信道1050被提供。通信信道1050可以是有线或无线的。
图3示出了触摸敏感和悬停敏感的I/O接口300。线320表示与悬停敏感的I/O接口300相关联的悬停空间的外部界限。线320被定位在与I/O接口300相隔一距离330处。距离330以及这样的线320可以对于不同的装置具有不同的尺寸和位置，这取决于例如由支持I/O接口300的设备所使用的邻近度检测技术。
示例装置和方法可以标识位于由I/O接口300和线320包围的悬停空间中的对象。示例装置和方法也可以标识正在触摸I/O接口300的对象。例如，设备300可以在时间T1在对象310触摸I/O接口300时检测对象310。小实心点31可被显示在辅助显示器350上以提供对象310与I/O接口300接触的视觉反馈。由于对象312既不触摸I/O接口310也不在I/O接口300的悬停区域中，因此，在时间T1，可能检测不到对象312。但是，在时间T2，对象312可以进入悬停空间并被检测到。大虚线圈32可被显示在辅助显示器350上以提供对象312在悬停空间中且已针对对象312建立了悬停点的视觉反馈。
图4示出了触摸敏感和悬停敏感的I/O接口400。线420描绘了与I/O接口400相关联的悬停空间的界限。线420被定位在与I/O接口400相隔一距离430处。在I/O接口400和线420之间可以存在悬停空间。尽管示出了直线，但是，悬停空间可以在大小和形状方面变化。
图4示出了对象410触摸I/O接口400和对象412触摸I/O接口400。另外，图4还示出了对象414悬停在悬停空间，对象416悬停在悬停空间。对象416可被定位得比对象414更远离I/O接口400。在一个实施例中，对象416可简单地悬停在I/O接口400上方，而在I/O接口400上不显示用户界面元素。尽管某些触摸和悬停动作可以涉及首先触摸I/O接口400并且随后执行悬停动作(例如，键入)，但是，某些触摸和悬停动作可以涉及首先在I/O接口400上方悬停并且随后执行触摸。由于I/O接口400可以检测到多个触摸事件和多个悬停事件，以及事件发生的顺序，以及事件的组合，因此，丰富的用户界面交互集合是可能的。对象410、412、414和416可引起悬停光标被显示在辅助显示器440上。例如，与I/O接口400相关联的设备可能正运行偶尔想要接受多个选择输入的应用。从而，当对象进入悬停空间时，虚拟的多个选择按钮450、452、454、456和458可被呈现在辅助显示器440上。对象410、412、414和416的位置的光标或其它指示符也可被显示在辅助显示器440上。小实心闪烁点460和462可指示对象410和412正触摸I/O接口400。更大的虚线圈464和466可指示对象414和416正悬停在I/O接口400上方。当对象414和416在悬停空间中四处移动时，虚线圈464和466也可四处移动并改变大小、形状、颜色或其它显示属性。
下文的详细描述的某些部分是按照算法和对存储器内的数据位的运算的符号表示来给出的。这些算法描述和表示被本领域技术人员使用来将其作品的实质传达给其他人。算法被认为是产生结果的运算序列。运算可包括创建和操纵采用电子值的形式的物理量。创建或操纵采用电子值形式的物理量产生了具体的、有形的、有用的、真实世界结果。
原则上出于常见用法的原因将这些信号称作位、值、元素、符号、字符、项、数字以及其它术语被证明有时是方便的。然而，应当记住，这些和类似术语都应与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非另外具体声明，否则应理解贯穿本说明书，包括处理、计算以及确定在内的术语指的是计算机系统、逻辑、处理器或操纵和变换被表示为物理量的数据(如电子值)的类似电子设备的动作和过程。
参考流程图可更好地理解示例方法。出于简化，所示的方法被示出并描述为一系列框。然而，各方法不受框的次序的限制，因为在一些实施例中，各框可以与本文中所显示和描述的不同次序发生。而且，为了实现某一示例方法，可能要求比全部所示框少的框。框可被组合或分成多个组件。此外，附加的或替代的方法可采用附加的、未示出的框。
图5示出与执行对辅助显示器的悬停敏感控制相关联的示例方法500。方法500可被用来控制具有悬停敏感和触摸敏感接口的第一设备(例如，电话、平板、计算机)。方法500可控制第一设备来向第二设备上的显示器提供内容、光标、控件或其它信息。从而，方法500可包括：在510，检测具有第二显示器的第二设备。第二设备可以例如是电视机、监视器、计算机、或其它设备。
方法500包括：在520，控制第一设备以在第一设备和第二设备之间建立通信链路。建立通信链路可包括例如建立有线链路或无线链路。有线链路可使用例如HDMI(高清晰度多媒体接口)接口、USB(通用串行总线)接口或其它接口来建立。无线链路可使用例如Miracast接口、蓝牙接口、NFC(近场通信)接口、或其它接口来建立。Miracast接口促成使用WiFi直接连接建立点对点无线屏幕播放连接。蓝牙接口促成使用ISM(工业、科学及医疗)频带中的短波长微波传送在短距离上交换数据。
方法500还包括：在530，控制第一设备以建立用于第一设备和第二设备之间的交互的上下文。在一个实施例中，在530建立上下文可包括标识将产生要在第二显示器上显示的内容的应用。该应用例如可以是电影呈现应用、电视呈现应用、视频游戏、生产力应用、幻灯片应用、或产生可被查看的内容的其它应用。在530建立上下文还可包括标识可被第一设备显示在第二显示器上的用户界面元素。特定用户界面元素对于特定应用是有意义的。例如，类似DVD或VCR的控件对于电影或电视呈现应用是有意义的，但是可能对视频游戏则没有意义。促成在虚拟世界内四处移动角色的用户界面元素可能更适合视频游戏。从而，可被显示的用户界面元素集合可作为建立上下文的一部分被选择。在530建立上下文还可包括标识可被第一设备显示在第二显示器上的光标。不同光标可能对于不同应用是合适的。例如，十字线可能对于其中涉及瞄准的应用是合适的，但是一对剪刀或画笔可能对于艺术和工艺应用是合适的。
在530建立上下文还可包括标识光标位置或移动是否将独立于悬停点的位置。与将触摸敏感设备上的位置直接映射到辅助显示器上的位置且将显示在第一设备上的控件映射到显示在第二设备上的控件的传统应用不同，方法500可将这种一一对应关系解耦，以允许悬停敏感设备产生不依赖于悬停敏感设备上方的位置而是依赖于悬停敏感设备上方的移动的移动。用户熟悉类似轨迹球的移动，并且熟悉其中例如鼠标从左向右移动、拾取并向左移回、放下并再次从左向右移动等的移动。这些类型的移动即使可能也通常难以用在传统低头式方法中使用的触摸敏感设备实现的，其中在传统低头式方法中，触摸敏感屏幕位置被直接映射到辅助显示器位置。然而，这些类型的移动用悬停交互则是可能的。
在530建立上下文还可包括标识可响应于在第一设备上执行的触摸事件生成的控制事件。同样，不同的控制事件对于不同应用是合适的。对于具有类似DVD控件的电影应用，按下控制事件可能是有用的。然而，对于视频游戏应用，包括按下、轻击、双轻击、拖动和其它控制事件在内的控制事件可能是有用的。类似地，在绘图应用中，如拖放、拉伸、捏和其它事件等控制事件可能是有用的。
方法500还包括在540控制第一设备以提供要在第二显示器上显示的第一输出。第一输出可与来自与第一设备相关联的应用的内容相关联。例如，对于电影应用，第一输出是电影(例如，场景流)，而对于视频游戏，第一输出是游戏屏幕，且对于文字处理应用，内容是正被文字处理的文档。在一个实施例中，应用可在第一设备上运行。在另一实施例中，应用可能正在第三设备上运行或在云中运行，且该内容可通过第一设备被流传输。
方法500还包括：在550，响应于标识在与第一设备相关联的悬停空间中产生的悬停点，控制第一设备以提供要被显示在第二显示器上的第二输出。第二输出可包括被配置成控制应用的操作的用户界面元素。第二输出也可包括光标。在其中悬停敏感设备正如虚拟激光指示器那样被使用的实施例中，第二输出可以仅是光标。在其中悬停敏感设备正被用来提供用户可与其交互的控件的另一实施例中，第二输出可包括控件和光标。例如，第二输出可包括类似DVD的控件和可被定位在类似DVD的控件上方或附近的光标。
第二输出的性质可至少部分基于上下文以及基于与悬停点相关联的悬停动作。例如，第二输出的大小、形状、颜色或其它外观可基于哪些应用正在运行且发生了什么类型的悬停动作。在悬停点被首先建立的情况下，对于悬停输入事件，大的暗光标可被建立在辅助显示器上。在使悬停点更靠近悬停敏感设备的悬停移动事件时，更小、更亮的光标可被呈现在辅助显示器上。从而，方法500可包括基于悬停点的z距离(例如，生成悬停事件的对象距悬停敏感接口的距离)控制光标的外观(例如，大小、形状、颜色)。回忆一下，第一输出是来自该应用的内容(例如，电影、游戏屏幕、正被编辑的文档)而第二输出不是来自该应用的内容。第二输出可促成与该应用或第一输出一起工作或操纵该应用或第一输出。
尽管已结合单一第一设备描述了方法500，然而方法500可不受此限制。在一个实施例中，悬停动作可在两个或更多个悬停敏感设备上被检测。从而，方法5000可包括：响应于标识在与第三设备相关联的附加悬停空间中产生的附加悬停点，提供要被显示在第二显示器上的附加输出。该附加输出可至少部分基于上下文以及基于与附加悬停点相关联的附加悬停动作。例如，两个玩家可能正在玩足球游戏。第一个玩家可能具有一种颜色的与其队伍相关联的第一光标，而第二玩家可能具有另一颜色的与其队伍相关联的第二光标。这两个光标可被显示在共享游戏显示器上，足球游戏正在该显示器上被显示。
图6示出方法500的另一实施例。此实施例还包括附加动作。例如，此实施例包括：在542，确定要在辅助显示器上显示的光标的初始位置是否将独立于悬停点的位置。如果在542的确定为是，则方法500在546继续以独立于悬停点的位置来确定该初始位置。例如，初始位置可以在辅助显示器的中心、在最可能被使用的控件上或附近、等距地在两个控件之间、在一组控件的中心、或在不依赖于悬停点的位置的另一位置。当光标的位置不依赖悬停点的位置时，没有理由低头看悬停敏感的设备，这促进了抬头式操作。如果在544的确定为否，则方法500在544继续以基于悬停点的位置来确定该初始位置。
类似于初始点可独立于悬停点的位置，光标移动的方式也可被绑定到悬停空间中的位置或者从悬停空间中的特定位置解耦而反而由在悬停空间中的移动来确定。从而，在不同实施例中，方法500可基于悬停点的移动或基于悬停点的位置来控制光标的后续位置。
方法500的此实施例还可包括：在560，根据当在第一设备上检测到触摸事件时光标在第二显示器上的位置来控制该应用。例如，如果在光标在第一控件(例如停止)上方、在第二按钮(例如播放)上方、或完全不在控件上方时，可进行不同动作。同样要注意，动作可依赖于第二显示器上的视觉提示和信息而不依赖于第一设备中悬停点的位置。
尽管图5和6示出了串行地发生的各种动作，但是，应该理解，图5和6中所示出的各种动作可以基本上并行地发生。作为例示，第一进程可控制要显示的内容，第二进程可控制要显示的光标和控件，而第三进程可生成或处理控制事件。尽管描述了三个进程，但是要理解可采用更多或更少数量的进程，以及可采用轻量进程、常规进程、线程以及其他方法。
在一个示例中，方法可被实现为计算机可执行指令。从而，在一个示例中，计算机可读存储介质可存储计算机可执行指令，如果由机器(如计算机)执行，计算机可执行指令使得机器执行本文所述或要求保护的方法，如方法500或600。尽管与所列方法相关联的可执行指令被描述为存储在计算机可读存储介质上，但是要理解与本文所述或要求保护的其他示例方法相关联的可执行指令也可被存储在计算机可读存储介质上。在不同实施例中，本文所述的示例方法可以不同方式被触发。在一个实施例中，一种方法可由用户手动触发。在另一示例中，一种方法可被自动触发。
图7示出示例云操作环境700。云操作环境700支持将计算、处理、存储、数据管理、应用、以及其他功能作为抽象服务而不是作为独立产品来提供。服务可由可被实现为一个或多个计算设备上的一个或多个进程的虚拟服务器来提供。在某些实施例中，进程可在服务器之间迁移而不中断云服务。在云中，共享资源(如计算、存储)可通过网络被提供给包括服务器、客户机、以及移动设备的计算机。不同的网络(如以太网、Wi-Fi、802.x、蜂窝)可被用于访问云服务。与云交互的用户可能不需要知道实际上正在提供服务(如计算、存储)的设备的细节(如位置、名称、服务器、数据库)。用户可经例如web浏览器、瘦客户端、移动应用、或以其他方式来访问云服务。
图7示出驻留在云700中的示例悬停点控制服务760。悬停点控制服务760可依赖于服务器702或服务704来执行处理，且可依赖于数据存储706或数据库708来存储数据。尽管解说单个服务器702、单个服务704、单个数据存储706以及单个数据库708，但是服务器、服务、数据存储以及数据库的多个实例可驻留在云700中，并可因此被悬停点控制服务760所使用。
图7示出访问云700中的悬停点控制服务760的各种设备。设备包括计算机710、平板720、膝上型计算机730、台式监视器770、电视机760、个人数字助理740、以及移动设备(如蜂窝电话、卫星电话)750。在不同位置处使用不同设备的不同用户就可能通过不同的网络或接口来访问悬停点控制服务760。在一个示例中，悬停点控制服务760可由移动设备750访问。在另一示例中，悬停点控制服务760的某些部分可驻留在移动设备750上。悬停点控制服务760可执行动作，所述动作包括：举例而言，在辅助显示器上呈现悬停光标、在辅助显示器上呈现控件、响应于悬停光标和辅助显示器上的控件之间的交互生成控制事件、或其它服务。在一个实施例中，悬停点控制服务760可以执行此处所描述的方法的各部分(例如，方法500、方法600)。
图8是描绘示例性移动设备800的系统图，该移动设备包括各种可选的硬件和软件组件，总地示于802处。移动设备800中的组件802可与其它组件通信，但出于容易例示的目的而未示出所有连接。该移动设备800可以是各种计算设备(例如，蜂窝电话、智能电话、手持式计算机、个人数字助理(PDA)等)，并且可允许与诸如蜂窝或卫星网络的一个或多个移动通信网络804进行无线双向通信。
移动设备800可包括控制器或处理器810(例如，信号处理器、微处理器、专用集成电路(ASIC)，或其他控制和处理逻辑电路)，用于执行任务，包括触摸检测、悬停检测、辅助显示器上的悬停点控制、信号编码、数据处理、输入/输出处理、功率控制，或其他功能。操作系统812可控制对组件802的分配和使用，并支持应用程序814。应用程序814可包括移动计算应用(例如，电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)、视频游戏、电影播放器、电视播放器、生产力应用、或其他计算应用。
移动设备800可包括存储器820。存储器820可包括不可移动存储器822或可移动存储器824。不可移动存储器822可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘、或其它存储器存储技术。可移动存储器824可包括闪存或订户身份模块(SIM)卡，其在GSM通信系统中是公知的，或者其它存储器存储技术，诸如“智能卡”。存储器820可被用于存储数据或用于运行操作系统812和应用814的代码。示例数据可包括触摸动作数据、悬停动作数据、组合触摸和悬停动作数据、用户界面元素状态、光标数据、悬停控制数据、悬停动作数据、控制事件数据、网页、文本、图像、声音文件、视频数据，或通过一个或多个有线或无线网络被发送到一个或多个网络服务器或其他设备或从它们接收到的其他数据集。存储器820可存储诸如国际移动订户身份(IMSI)等订户标识符，以及诸如国际移动设备标识符(IMEI)等设备标识符。可将所述标识符传送给网络服务器以标识用户或设备。
移动设备800可以支持一个或多个输入设备830，包括，但不仅限于，既是触摸敏感又是悬停敏感的屏幕832、麦克风834、相机836、物理键盘838，或轨迹球840。移动设备800还可支持输出设备850，包括但不限于：扬声器852以及显示器854。显示器854可以被包括到触摸敏感和悬停敏感的I/O接口中。其它可能的输入设备(未示出)包括加速度计(例如，一维、二维、三维)。其他可能的输出设备(未示出)可以包括压电或其他触觉输出设备。一些设备可以用于多于一个输入/输出功能。输入设备830可以包括自然用户界面(NUI)。NUI是使得用户能够以“自然”方式与设备交互而不受由诸如鼠标、键盘、遥控器及其它等输入设备强加的人为约束的接口技术。NUI方法的示例包括依赖于语音识别、触摸和指示笔识别、(屏幕上和屏幕附近的)姿势识别、空中姿势、头部和眼睛跟踪、嗓音和语音、视觉、触摸、姿势、以及机器智能的那些方法。NUI的其它示例包括使用加速计/陀螺仪、脸部识别、三维(3D)显示、头、眼以及凝视跟踪、身临其境的增强现实和虚拟现实系统的运动姿势检测(所有这些都提供更为自然的接口)，以及用于通过使用电场感测电极(脑电波图(EEG)和相关方法)感测脑部活动的技术。因此，在一个具体示例中，操作系统812或应用814可以包括语音识别软件作为语音用户界面的一部分，该语音用户界面允许用户经由语音命令来操作设备800。进一步，设备800可包括输入设备和允许通过用户的空间手势来进行用户交互的软件，诸如检测并解释与控制辅助显示器上的输出动作相关联的触摸和悬停手势。
无线调制解调器860可耦合至天线891。在一些示例中，射频(RF)滤波器被使用且处理器810不需要针对所选频带选择天线配置。无线调制解调器860可支持处理器810和具有辅助显示器的外部设备之间的双向通信，该辅助显示器的内容或控件元素可至少部分被悬停点控制逻辑899控制。调制解调器860被一般示出，并且可以包括用于与移动通信网络804通信的蜂窝调制解调器和/或其他基于无线电的调制解调器(例如，蓝牙864或Wi-Fi 862)。无线调制解调器860可被配置用于与一个或多个蜂窝网络(诸如，用于在单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络(PSTN)之间的数据和语音通信的全球移动通信系统(GSM)网络)进行通信。移动设备800还可使用例如近场通信(NFC)元素892来本地地通信。
移动设备800可包括至少一个输入/输出端口880、电源882、诸如全球定位系统(GPS)接收机之类的卫星导航系统接收机884、加速度计886、或物理连接器890，该物理连接器可以是通用串行总线(USB)端口、IEEE 1394(火线)端口、RS-232端口、或其它端口。所示组件802不是必需的或穷举的，因为其它组件可被删除或添加。
移动设备800可包括悬停点控制逻辑899，该逻辑被配置成为移动设备800提供功能并用于控制移动设备800正与其交互的辅助显示器上显示的内容或控件。例如，悬停点控制逻辑899可提供用于与服务(例如服务760，图7)交互的客户端。此处描述的示例方法的各部分可由悬停点控制逻辑899执行。类似地，悬停点控制逻辑899可实现本文描述的装置的各部分。
图9示出了提供悬停点控制接口的装置900。在一个示例中，装置900包括被配置成连接处理器910、存储器920、逻辑集合930、邻近度检测器960、触摸检测器965、以及触摸敏感和悬停敏感I/O接口950的接口940。逻辑集合930可被配置成为与一不同的第二装置相关联的辅助显示器提供悬停点控制。在一个实施例中，邻近度检测器960和触摸检测器965可共享一组电容感测节点，该组节点为输入/输出接口提供触摸灵敏度和悬停灵敏度。装置900的各元素可被配置来彼此通信，但为了说明的简要而未示出所有连接。
触摸检测器965可检测对象975何时触摸I/O接口950。邻近度检测器960可检测与装置900相关联的悬停空间970中的对象980。悬停空间970可以例如是被设置为接近I/O接口950并位于邻近度检测器960可访问的区域中的三维体。悬停空间970具有有限的边界。因此，邻近度检测器960可能检测不到位于悬停空间970外的对象999。
装置900可包括第一逻辑932，该第一逻辑被配置成提供要被显示在辅助显示器上的内容。该内容可以例如由至少部分在装置900上运行的应用产生。该应用例如可以是电影呈现应用、电视呈现应用、生产力应用(例如文字处理程序、电子表格)、视频游戏、或具有要被查看的内容的其它应用。该应用可部分或完全在装置900上运行。当例如一些处理在另一装置上或在云中被执行时，该应用可部分在装置900上运行。
装置900可包括第二逻辑934，该第二逻辑被配置成提供要被显示在辅助显示器上的覆盖材料。在第一逻辑932所提供的内容和第二逻辑934所提供的内容之间存在区别。第二逻辑934所提供的覆盖材料不是由该应用产生的内容。考虑视频游戏。第一逻辑932所提供的“内容”可以是游戏地图、化身、武器、爆炸、以及与游戏相关联的其它图像。第二逻辑934所提供的覆盖材料可以例如是控制按钮、导航工具、用于与控制按钮交互的光标、或并非游戏的一部分的其它图像，即使它们可在玩游戏时被涉及。考虑电影。第一逻辑932所提供的“内容”是来自电影的场景。第二逻辑934所提供的覆盖材料可以是用于选择要查看哪些场景的虚拟DVD控件(例如，播放、暂停、倒带、快进)。
在一个实施例中，覆盖材料可包括位置指示符(例如，光标)。在此实施例中，第二逻辑934可被配置成响应于在由输入/输出接口950所产生的悬停空间970中检测到悬停点而提供位置指示符。在一个实施例中，覆盖材料还可包括被配置成控制该应用的用户界面元素。在此实施例中，第二逻辑934可被配置成响应于在悬停空间970中检测到悬停点而提供用户界面元素。该用户界面元素可以例如是用户可通过定位光标以及触摸输入/输出接口950来激活的按钮或其它控件。
在一个实施例中，覆盖材料可至少部分基于在装置900上运行的应用来选择。例如，光标的大小、形状、颜色或其它外观可由哪个应用正在运行来确定。类似地，哪些控件要被显示以及通过与所述控件交互可生成的控制事件可由哪个应用正在运行来确定。例如，当正在播放电影时，控件可包括停止、前进、以及倒带控件且光标可以是一桶爆米花。但是当正在玩第一人称射击游戏时，控件可包括射击和装弹而光标可以是靶心符号。可采用其它光标和其它控件。
第二逻辑934可做出关于当建立悬停点时将光标初始地定位在何处的决定。不是如由传统的基于触摸的系统所做的那样将光标定位在与悬停点相对应的位置处，第二逻辑934可寻求优化用户体验，例如通过最小化用户必须移动光标以实现一效果的距离。从而，初始位置可独立于悬停点关于输入/输出接口950的位置。因此，在一个实施例中，第二逻辑934可被配置成例如基于用户界面元素的位置来确定位置指示符的初始位置。初始位置可以例如在辅助显示器的中心、在最可能被使用的控件上方或附近、等距地位于两个控件中间、或在通过上下文而不是通过悬停点在悬停空间970中的位置所确定的其它位置。
装置900可包括第三逻辑936，该逻辑被配置成选择性地控制应用。控制可至少部分基于与覆盖材料相关联的动作。例如，通过在悬停空间970中做出悬停动作来将光标移动到辅助显示器的一侧或另一侧可引起内容在由光标的位置所确定的方向上滚动。在另一示例中，在装置900所提供并在辅助显示器上显示的用户控件元素上方或附近移动光标可引起动作发生。在一个实施例中，第三逻辑936可被配置成在检测到输入/输出接口950上的触摸时产生控制动作。在此实施例中，用户可引起光标和控件响应于在悬停空间970中的悬停动作而被显示在辅助显示器上，可使用在悬停空间970中的悬停动作定位光标，并可随后通过触摸输入/输出接口950来引起控制事件。在一个实施例中，悬停空间970中的悬停动作可模仿与虚拟悬停轨迹球的交互。
在一个实施例中，第三逻辑936所产生的控制动作可至少部分取决于位置指示符的位置和用户界面元素的位置。例如，显示在辅助显示器上的光标和游戏控制按钮之间的关系可确定该动作而不是用户的手指在悬停空间970中的位置。从而，控制动作可独立于悬停点的位置。
装置900可以包括存储器920。存储器920可包括不可移动存储器或可移动存储器。不可移动存储器可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘、或其它存储器存储技术。可移动存储器可包括闪存，或其它存储器存储技术，诸如“智能卡”。存储器920可被配置成存储用户界面状态信息、表征数据、对象数据或其它数据。
装置900可以包括处理器910。处理器910可以是，例如，信号处理器、微处理器、专用集成电路(ASIC)、或用于执行包括信号编码、数据处理、输入/输出处理、电力控制、或其它功能的任务的其它控制和处理逻辑电路。处理器910可被配置成与提供悬停点控制处理的逻辑930交互。
在一个实施例中，装置900可以是已通过包含逻辑集合930而被转换成专用计算机的通用计算机。逻辑集合930可被配置成提供悬停点控制。装置900可通过例如计算机网络与其他装置、过程和服务交互。
下文包括本文所采用的所选项目的定义。这些定义包括落在某一术语的范围内且可被用于实现的组件的各种示例或形式。示例不旨在是限制性的。单数和复数形式的术语两者可都在定义的范围内。
对“一个实施例”、“一实施例”、“一个示例”、“一示例”的引用指示出如此所述的实施例或示例可包括某一特征、结构、特性、属性、元素或限制，但并非每一个实施例或示例必然包括该特征、结构、特性、属性、元素或限制。此外，对短语“在一个实施例中”的重复使用不必涉及同一实施例，但是它可涉及同一实施例。
如本文所使用的，“计算机可读存储介质”指的是存储指令或数据的介质。“计算机可读存储介质”不指代传播信号。计算机可读存储介质可以采取包括但不限于非易失性介质以及易失性的形式。非易失性介质可包括例如光盘、磁盘、磁带、以及其他介质。易失性介质可包括例如半导体存储器、动态存储器、以及其他介质。常规形式的计算机可读存储介质可包括但不限于软盘(floppydisk)、软磁盘(flexible disk)、硬盘、磁带、其他磁介质、专用集成电路(ASIC)、紧致盘(CD)、其他光学介质、随机存储存储器(RAM)、只读存储器(ROM)、存储器芯片或卡、存储棒、以及计算机、处理器或其他电子设备可以读取的其他介质。
如本文所使用的“数据存储”指的是可存储数据的物理或逻辑实体。数据存储可以是例如数据库、表、文件、列表、队列、堆、存储器、寄存器、或其他物理储存库。在不同示例中，数据存储可驻留在一个逻辑或物理实体中，或可分布在两个或更多个逻辑或物理实体之间。
如本文所使用的“逻辑”包括但不限于机器上执行的硬件、固件、软件，或各自的组合来执行功能或动作或引起来自另一逻辑、方法或系统的功能或动作。逻辑可包括软件控制的微处理器、分立逻辑(如ASIC)、模拟电路、数字电路、编程的逻辑设备、包含指令的存储器设备、以及其他类型的物理设备。逻辑可包括一个或多个门、门的组合、或其他电路组件。在描述多个逻辑逻辑时，可能的是将该多个逻辑逻辑合并成一个物理逻辑。类似地，在描述单个逻辑逻辑的情况下，可能的是将该单个逻辑化的逻辑分布在多个物理对象之间。
就在详细描述或权利要求书中使用术语“包括”而言，这一术语旨在以与术语“包含”在被用作权利要求书中的过渡词时所解释的相似的方式为包含性的。
就在详细描述或权利要求书中使用术语“或”而言(如A或B)，意图意味着“A或B或两者”。当申请人意图执行“只有A或B而不是两者”时，于是将采用术语“只有A或B而不是两者”。从而，本文对术语“或”的使用是包含性的而非排他性的使用。见Bryan A.Garner现代法律用途字典624(A Dictionary ofModern Legal Usage 624)(1995年第2版)。
尽管用对结构特征或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (15)

1.一种用于控制具有悬停敏感和触摸敏感显示器的第一设备的方法，包括：
检测具有第二显示器的第二设备；
控制所述第一设备以在所述第一设备和所述第二设备之间建立通信链路；
控制所述第一设备以建立所述第一设备和所述第二设备之间的交互的上下文；
控制所述第一设备以提供要在所述第二显示器上显示的第一输出，其中所述第一输出与来自与所述第一设备相关联的应用的内容相关联；以及
响应于标识在与所述第一设备相关联的悬停空间中产生的悬停点，控制所述第一设备以提供要在所述第二显示器上显示的第二输出，其中所述第二输出至少部分基于所述上下文以及与所述悬停点相关联的悬停动作，且其中所述第二输出不是来自所述应用的内容。
2.如权利要求1所述的方法，其特征在于，所述第二输出是被配置成控制所述应用的操作的用户界面元素。
3.如权利要求1所述的方法，其特征在于，所述第二输出是光标。
4.如权利要求3所述的方法，其特征在于，包括基于所述上下文或所述悬停点的z距离来控制所述光标的外观。
5.如权利要求3所述的方法，其特征在于，包括基于所述悬停点的位置来控制所述光标的初始位置。
6.如权利要求3所述的方法，其特征在于，包括独立于所述悬停点的位置来控制所述光标的初始位置。
7.如权利要求6所述的方法，其特征在于，包括基于所述悬停点的移动来控制所述光标的后续位置。
8.如权利要求1所述的方法，其特征在于，包括：在所述第一设备上检测到触摸事件时，根据所述光标在所述第二显示器上的位置来控制所述应用。
9.如权利要求1所述的方法，其特征在于，建立通信链路包括建立有线链路或无线链路。
10.如权利要求1所述的方法，其特征在于，所述应用正在所述第一设备上运行或所述应用正在第三设备上运行。
11.如权利要求1所述的方法，其特征在于，包括：
响应于标识在与第三设备相关联的附加悬停空间中产生的附加悬停点，具有悬停敏感和触摸敏感接口的所述第三设备提供要在所述第二显示器上显示的附加输出，其中所述附加输出至少部分基于所述上下文以及与所述附加悬停点相关联的附加悬停动作。
12.如权利要求1所述的方法，其特征在于，建立上下文包括：
标识将产生要在所述第二显示器上显示的内容的应用；
标识可由所述第一设备在所述第二显示器上显示的用户界面元素；
标识可由所述第一设备在所述第二显示器上显示的光标；
标识光标位置或移动是否将独立于所述悬停点的位置；以及
标识能够响应于在所述第一设备上执行的触摸事件而被生成的控制事件。
13.一种装置，包括：
处理器；
存储器；
输入/输出接口，所述输入/输出接口既是触摸敏感的又是悬停敏感的；
为与一不同的第二装置相关联的辅助显示器提供悬停点控制的逻辑集合，以及
连接所述处理器、所述存储器和所述逻辑集合的接口，
所述逻辑集合包括：
第一逻辑，所述第一逻辑提供要在所述辅助显示器上显示的内容，其中所述内容由至少部分在所述装置上运行的应用产生；
第二逻辑，所述第二逻辑提供要在所述辅助显示器上显示的覆盖材料，其中所述覆盖材料是并非由所述应用产生的内容；以及
第三逻辑，所述第三逻辑至少部分基于与所述覆盖材料相关联的动作来控制所述应用。
14.如权利要求13所述的装置，其特征在于，所述覆盖材料是位置指示符，且其中所述第二逻辑响应于在由所述输入/输出接口所产生的悬停空间中检测到悬停点而提供所述位置指示符，或者
其中所述覆盖材料是被配置成控制所述应用的用户界面元素，且其中所述第二逻辑响应于在所述悬停空间中检测到所述悬停点而提供所述用户界面元素。
15.如权利要求14所述的装置，其特征在于，所述第二逻辑确定所述位置指示符的初始位置，其中所述初始位置至少部分基于所述用户界面元素的位置，且其中所述初始位置独立于所述悬停点相对于所述输入/输出接口的位置；以及
其中所述第三逻辑在检测到所述输入/输出接口上的触摸时产生控制动作，其中由所述第三逻辑产生的所述控制动作至少部分基于所述位置指示符的位置以及所述用户界面元素的位置，且其中所述控制动作独立于所述悬停点的位置。
CN201580004266.6A 2014-01-10 2015-01-07 辅助显示器的悬停敏感控制 Pending CN105900056A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/152,082 US20150199030A1 (en) 2014-01-10 2014-01-10 Hover-Sensitive Control Of Secondary Display
US14/152,082 2014-01-10
PCT/US2015/010390 WO2015105815A1 (en) 2014-01-10 2015-01-07 Hover-sensitive control of secondary display

Publications (1)

Publication Number Publication Date
CN105900056A true CN105900056A (zh) 2016-08-24

Family

ID=52463127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580004266.6A Pending CN105900056A (zh) 2014-01-10 2015-01-07 辅助显示器的悬停敏感控制

Country Status (4)

Country Link
US (1) US20150199030A1 (zh)
EP (1) EP3092553A1 (zh)
CN (1) CN105900056A (zh)
WO (1) WO2015105815A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107930106A (zh) * 2017-10-24 2018-04-20 网易（杭州）网络有限公司 虚拟射击主体控制方法、装置、电子设备及存储介质
CN110362231A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 抬头触控设备、图像显示的方法及装置
CN111701226A (zh) * 2020-06-17 2020-09-25 网易（杭州）网络有限公司 图形用户界面中控件的控制方法、装置、设备及存储介质
CN111857530A (zh) * 2016-09-23 2020-10-30 苹果公司 用于基于接近与用户界面对象交互的设备和方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9170736B2 (en) * 2013-09-16 2015-10-27 Microsoft Corporation Hover controlled user interface element
US10719132B2 (en) * 2014-06-19 2020-07-21 Samsung Electronics Co., Ltd. Device and method of controlling device
US20160034058A1 (en) * 2014-07-31 2016-02-04 Microsoft Corporation Mobile Device Input Controller For Secondary Display
US9811212B2 (en) * 2015-02-25 2017-11-07 Microsoft Technology Licensing, Llc Ultrasound sensing of proximity and touch
TWI592845B (zh) * 2015-08-28 2017-07-21 晨星半導體股份有限公司 適應性調整觸控閥值的方法與相關控制器
CN114564143A (zh) * 2015-10-14 2022-05-31 麦克赛尔株式会社 终端装置
US20180367836A1 (en) * 2015-12-09 2018-12-20 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands
JP2017157079A (ja) * 2016-03-03 2017-09-07 富士通株式会社 情報処理装置、表示制御方法、及び表示制御プログラム
US10795450B2 (en) 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
US11351453B2 (en) * 2017-09-12 2022-06-07 Sony Interactive Entertainment LLC Attention-based AI determination of player choices
WO2020141446A1 (en) * 2018-12-31 2020-07-09 Guardian Glass, LLC Systems and/or methods for parallax correction in large area transparent touch interfaces

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020043A1 (en) * 2008-07-28 2010-01-28 Samsung Electronics Co. Ltd. Mobile terminal having touch screen and method for displaying cursor thereof
US20120218200A1 (en) * 2010-12-30 2012-08-30 Screenovate Technologies Ltd. System and method for generating a representative computerized display of a user's interactions with a touchscreen based hand held device on a gazed-at screen
US20120274547A1 (en) * 2011-04-29 2012-11-01 Logitech Inc. Techniques for content navigation using proximity sensing
US20130234959A1 (en) * 2012-03-06 2013-09-12 Industry-University Cooperation Foundation Hanyang University System and method for linking and controlling terminals
US20130244730A1 (en) * 2012-03-06 2013-09-19 Industry-University Cooperation Foundation Hanyang University User terminal capable of sharing image and method for controlling the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
JP5957875B2 (ja) * 2011-12-26 2016-07-27 ソニー株式会社 ヘッドマウントディスプレイ
CN103513908B (zh) * 2012-06-29 2017-03-29 国际商业机器公司 用于在触摸屏上控制光标的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020043A1 (en) * 2008-07-28 2010-01-28 Samsung Electronics Co. Ltd. Mobile terminal having touch screen and method for displaying cursor thereof
US20120218200A1 (en) * 2010-12-30 2012-08-30 Screenovate Technologies Ltd. System and method for generating a representative computerized display of a user's interactions with a touchscreen based hand held device on a gazed-at screen
US20120274547A1 (en) * 2011-04-29 2012-11-01 Logitech Inc. Techniques for content navigation using proximity sensing
US20130234959A1 (en) * 2012-03-06 2013-09-12 Industry-University Cooperation Foundation Hanyang University System and method for linking and controlling terminals
US20130244730A1 (en) * 2012-03-06 2013-09-19 Industry-University Cooperation Foundation Hanyang University User terminal capable of sharing image and method for controlling the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857530A (zh) * 2016-09-23 2020-10-30 苹果公司 用于基于接近与用户界面对象交互的设备和方法
CN107930106A (zh) * 2017-10-24 2018-04-20 网易（杭州）网络有限公司 虚拟射击主体控制方法、装置、电子设备及存储介质
CN110362231A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 抬头触控设备、图像显示的方法及装置
CN111701226A (zh) * 2020-06-17 2020-09-25 网易（杭州）网络有限公司 图形用户界面中控件的控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3092553A1 (en) 2016-11-16
US20150199030A1 (en) 2015-07-16
WO2015105815A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
CN105900056A (zh) 辅助显示器的悬停敏感控制
CN107291356B (zh) 文件传输显示控制方法、装置及相应的终端
CN108022279B (zh) 视频特效添加方法、装置及智能移动终端
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
US20160034058A1 (en) Mobile Device Input Controller For Secondary Display
CN105308538B (zh) 基于所检测到的示意动作执行装置动作的系统和方法
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US11054930B2 (en) Electronic device and operating method therefor
US10990748B2 (en) Electronic device and operation method for providing cover of note in electronic device
US20150077345A1 (en) Simultaneous Hover and Touch Interface
CN111408136A (zh) 一种游戏交互控制方法、装置及存储介质
CN110347214A (zh) 可折叠电子设备及其界面交互方法
US20150234468A1 (en) Hover Interactions Across Interconnected Devices
KR102542913B1 (ko) 회전체를 구비한 전자 장치 및 이의 동작 방법
US20190318169A1 (en) Method for Generating Video Thumbnail on Electronic Device, and Electronic Device
US10754446B2 (en) Information processing apparatus and information processing method
CN106462379A (zh) 语音控制图像显示装置及图像显示装置的语音控制方法
CN113396378A (zh) 针对用于二维和三维环境的多用途输入装置的系统和方法
US10409478B2 (en) Method, apparatus, and recording medium for scrapping content
CN108052258B (zh) 一种终端任务的处理方法、任务处理装置及移动终端
CN110235096A (zh) 基于笔邻近度重绘用户接口
CN110958487B (zh) 一种视频播放进度定位方法及电子设备
Tsuchida et al. TetraForce: a magnetic-based interface enabling pressure force and shear force input applied to front and back of a smartphone
CN106062667A (zh) 用于处理用户输入的设备和方法
KR20220090209A (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160824

RJ01 Rejection of invention patent application after publication