CN106030491A - 跨互连设备的悬停交互 - Google Patents

跨互连设备的悬停交互 Download PDF

Info

Publication number
CN106030491A
CN106030491A CN201580009605.XA CN201580009605A CN106030491A CN 106030491 A CN106030491 A CN 106030491A CN 201580009605 A CN201580009605 A CN 201580009605A CN 106030491 A CN106030491 A CN 106030491A
Authority
CN
China
Prior art keywords
hovering
equipment
space
hover
logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580009605.XA
Other languages
English (en)
Inventor
D·黄
L·戴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106030491A publication Critical patent/CN106030491A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

示例装置和方法支持悬停敏感装置与其它装置之间的交互。在一个装置的悬停空间中执行的悬停动作可以控制该装置或另一装置。交互可取决于装置的位置。例如,用户可以在第一悬停敏感装置上虚拟地拾取项并且使用悬停姿势将该项虚拟地投掷到另一装置。有方向姿势可以选择性地将内容发送到目标装置,而无方向姿势可以将内容发送到分发列表或范围中的任何装置。可以产生共享显示屏以用于多个互连设备,并且经协调的信息可以被呈现在共享显示屏上。例如,跨越两个智能电话的棋盘可以被显示,并且悬停姿势可以虚拟地将棋盘块从显示屏之一抬升并且将其下放到显示屏中的另一显示屏上。

Description

跨互连设备的悬停交互
背景
随着手持式设备(例如智能电话和平板电脑)变得越来越普遍,这些日常设备之间的交互也将变得更常见。不仅仅是越来越多的设备和外设将能够彼此连接,而且交互的复杂度和丰富性也将继续增长。例如,用户可能能够使用“碰撞(bump)”技术来传递图像或歌曲,这技术可以被称为近场通信(NFC)。常规来说,这些交互基于我的空间中的“我的”设备和你的空间中的“你的”设备的概念由向内聚焦的动作来控制。因而,尽管设备彼此交互,但用户往往在他们自己的空间中与他们自己的设备交互。
用户可能熟悉将他们的智能电话连接到较大的显示屏并且使较大的显示屏呈现来自智能电话的信息。尽管智能电话可依赖于外设(例如大屏幕)来改善呈现体验,但智能电话仍然被认为是“我的”设备,并且外设(例如,大屏幕)仅仅允许其他人经历我的空间中正在发生的事情。尽管设备可能交互,但设备并未协作到使用不同技术成为可能的程度。
常规设备可能已经采用了触摸或甚至悬停技术来用于与用户的交互。然而,常规系统已经认为触摸或悬停交互处于其中用户的所有交互在他们自己设备上的屏幕上发生的当前上下文中,即便他们的设备依赖于外设(例如大屏幕)。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
示例方法和装置涉及允许用户使用在两个或更多个设备中的一个或多个设备上的悬停姿势同时与两个或更多个设备交互。示例装置和方法可以将在一个设备上执行的悬停交互的范围延伸到其它设备。不同姿势可被用于不同交互。例如,一个项可以使用悬停姿势(例如,升降抬升)在第一设备上被拾取,并且接着该项可以使用针对另一互连设备的悬停姿势(例如,投掷)被提供到该另一设备。在一个实施例中,一个项可以在第一悬停敏感设备上被拾取,并且使用无方向悬停姿势(例如,噗(poof))被分发到多个其它互连设备。当其它互连设备是悬停知悉式时,共享或交互悬停空间可以被创建。共享悬停空间允许两个设备创建共享悬停空间并且与共享悬停空间交互。例如,在玩棋盘格时,如果两个悬停敏感设备被放置在一起,则这两个设备中的每一者上的较小的游戏屏幕可以被变换为可以在两个设备之间共享的单个较大的屏幕。开始于第一设备上的悬停姿势可以在第二设备上完成。例如,悬停姿势(例如,升降抬升)可以被用于拾取共享屏幕的第一部分上的棋子,并且接着另一悬停姿势(例如,升降下降)可以被用于将该棋子落在共享屏幕的第二部分上。
一些实施例可包括对悬停动作敏感的电容性输入/输出(I/O)接口。电容性I/O接口可以检测不正在触摸屏幕,但位于与屏幕相关联的三维体积(例如,悬停空间)中的对象(例如,手指、拇指、指示笔)。电容性i/o接口可以能够检测多个同时悬停动作。第一悬停敏感设备(例如,智能电话)可以建立上下文,该上下文将控制第一设备将如何与第二互连设备(例如,智能电话、平板计算机)交互。该上下文可以是方向有关的或方向无关的。与第一设备的悬停交互接着可以在第一和/或第二设备上产生结果。与第一设备相关联的电容性i/o接口可以检测与第一设备相关联的三维体积(例如,悬停空间)中的悬停动作。与第二设备相关联的电容性i/o接口可以检测与第二设备相关联的悬停空间中的悬停动作。两个设备可以传达并共享关于他们各自悬停空间中的悬停动作的信息以仿真共享悬停空间的创建。共享悬停空间可以支持跨越设备的交互。
附图简述
附图示出本文所述的各种示例装置、方法和其他实施例。将理解到附图中所示的元素边界(如框、框组、或其他形状)表示边界的一个示例。在某些示例中,一个元素可被设计成多个元素,或者多个元素可被设计成一个元素。在某些示例中,示为另一元素的内部组件的某一元素可被实现为外部组件,且反之亦然。此外,元素可不被按比例绘制。
图1解说了示例悬停敏感设备。
图2解说了被用于将内容从第一设备移动到其它设备的悬停姿势。
图3解说了被用于玩棋盘格的两个悬停敏感设备。
图4解说了被用于使用组合悬停空间来玩棋盘格的两个悬停敏感设备。
图5解说了与跨互连设备的悬停交互相关联的示例方法。
图6解说了与跨互连设备的悬停交互相关联的示例方法。
图7解说了其中悬停敏感设备可以跨互连设备使用悬停交互的示例云操作环境。
图8是描绘具有可以跨互连设备使用悬停交互的悬停敏感接口的示例性移动通信设备的系统图。
图9解说了促进处理跨互连设备的悬停交互的示例装置。
图10解说了使用共享悬停空间来支持跨越互连设备的悬停交互的悬停敏感设备。
图11解说了时间序列,其中两个设备在一起创建悬停动作在其上能够跨越设备的较大的共享显示屏。
详细描述
随着各种设备(例如电话和平板计算机)变得越来越普遍,用户“电话”的用途也急剧增加。例如,用户在他们的电话上玩游戏,在他们的电话上上网冲浪,在他们的电话上处理电子邮件,以及执行其它动作。用户可以在他们的平板计算机上使用生产力应用(例如,文字处理、电子表格)。然而,常规设备往往聚焦于个体上下文,其中我在“我的”电话上工作并且与“你的”电话上的你交互。因而,第一设备上的交互一般从控制第一设备的角度来查看。一些悬停姿势(例如,升降、投掷、噗)促进将用户的眼界扩展到其它设备。
噗姿势可以使用捏在一起的三个或更多个手指来执行。三个手指可以在至少三个不同方向上以超过阈值速率散布相距超过一阈值距离。轻弹姿势可以通过将单个手指在单个方向上以超过阈值速率移动超过一阈值距离来执行。悬停升降姿势可以通过将两个手指在一个对象上捏在一起以“抓取”该对象,将两个手指从界面移开以“抬升”该对象,并且接着在两个手指仍然捏在一起的同时将两个手指移动到另一位置来执行。当用户将他们的两个手指散开以将已经被抓取、抬升和转移的项“下落”时,悬停升降姿势可以结束。
示例装置和方法使用悬停姿势来与连接的电话、平板计算机、显示屏、外设和其它设备交互。图2解说了悬停敏感的电话200,电话200与大型显示屏210、另一电话220、以及在膝上型计算机模式中使用的平板计算机230共享数据。连接的设备可以位于附近,并且可以使用例如NFC、蓝牙、WiFi、HDMI或其它连接技术来通信。用户可以使用悬停升降姿势虚拟地拾取他们智能电话(例如,电话200)上的图像并且接着使用组合的悬停升降释放和投掷姿势将抬升的对象“投掷”到附近设备(例如,电话220)。代替发送电子邮件或文本,或者将图像下落在表示他们的智能电话上的应用的图标上(所有这些都是方向向内的动作),用户可以通过在他们的设备上作出悬停姿势来“投掷”图像。投掷姿势可以方向更加向外的,这可以改变用户的交互体验。这种类型的悬停姿势可以被用于例如将内容从一个设备移动或复制到另一设备或设备群。投掷姿势可依赖于设备之间的方向概念以将内容发送到具体的附近设备。尽管投掷姿势可以是“有方向的”,但“噗”姿势可以是无方向姿势,它可以将内容从一个设备(例如,电话200)移动或复制到一组设备(例如,显示屏210、电话220、平板计算机230)。在一个实施例中,各个设备可能需要在短程无线连接范围之内。在另一实施例中,噗姿势可以将内容分发到分发列表中的接收方。
示例装置和方法可以使用悬停姿势来与非悬停敏感设备或其它具备悬停能力的电话、平板计算机、显示屏或其它设备交互。在一个实施例中,共享悬停会话可以在协作设备之间建立。当共享悬停会话被建立时,悬停姿势可以在第一设备上开始(例如,悬停升降抬升)并且在第二设备上完成(例如,悬停升降释放)。考虑两个朋友正在玩棋盘格游戏。图3解说了第一玩家使用的电话300以及第二玩家使用的电话310。常规来说,每一个朋友可具有他们自己的对完整棋盘格的显示。电话300从玩家1的角度示出了整个棋盘格,棋盘格的各个块可以是第一颜色(例如,蓝色)。电话310从玩家2的角度示出了整个棋盘格,棋盘格的各个块可以是第二颜色(例如,红色)。当一个朋友移动一块时,该块在他们的电话上移动,并且也在他们朋友的电话上移动。在朋友电话上,该块仅仅表现为移动,与另一朋友的动作没有关联。两个朋友观看着两个分开的棋盘格,并且具有两种单独的体验,尽管在技术上他们在一起玩游戏。
现在想象一下两个朋友坐在一起喝咖啡。如果两个朋友将他们的电话推放在一起,则两个电话中的每一者上的较小的游戏屏幕可以被变换为在两个电话之间共享的单个较大屏幕。图4解说了已经被推放在一起的两个电话。与图3中各自示出他们自己的完成棋盘格的电话300和电话310不同,电话400和410各自示出了较大棋盘格的一半。两个朋友现在在跨越连接设备的悬停会话中在他们的较大共享显示屏上一起玩游戏。当设备具有共享显示屏和共享悬停会话时,不同的悬停姿势可以是可能的。
例如,在第一设备(例如,电话400)上开始的悬停姿势可以在第二设备(例如,电话410)上完成。一个朋友可以使用悬停姿势(例如,升降抬升)以拾取共享屏幕的第一部分上(例如,电话400上)的棋子,并且接着通过将该棋子放在共享屏幕的第二部分(例如,电话410上)来完成悬停姿势(例如,升降下落)。代替两个朋友将他们的时间花费在查看他们自己的小屏幕并且在他们自己的小屏幕上移动各个块,现在两个朋友将他们的时间花费在查看他们的较大的共享屏幕上并且在较大的共享屏幕上移动各个块。对手的移动不再仅仅由屏幕上各个块的移动来揭示,而是这些移动与共享悬停空间中的物理动作相关联。尽管图4示出了两个电话被推放在一起以创建可以由跨越来自电话400和电话410的悬停空间的动作控制的共享显示屏,但在不同实施例中,两个以上的电话可以被放置以创建共享显示屏。另外,除了电话以外的设备(例如,平板计算机)可以被放置以创建共享显示屏。例如,四个工友可以将他们的平板计算机放在一起以创建使用来自四个设备的组合悬停空间的大型共享显示屏。在一个实施例中,不同类型的设备可以被放在一起。例如,电话和平板计算机可以被放在一起。考虑其中两个朋友决定玩足球的场景。每一个朋友可以在他们的智能电话中具有他们自己的战术和他们自己的自定义控件。一个朋友还可具有平板计算机。朋友们可以将他们的电话放在平板计算机附近,并且使用悬停姿势来选择球员和移动球员。平板计算机可以提供共享显示屏,其中他们动作的结果在该共享显示屏上被播放出来。这可以从根本上将玩游戏从个体内向视角改变为相互的外向共享视角。
用户可能熟悉在他们自己的设备上拖拽并放下项。用户可能甚至熟悉在其他人能够看到的大屏幕上拖拽并放下项。这一拖拽并放下体验是向内聚焦的,并且一般要求对象被准确地下放在目标顶部。例如,用户可以将图像拖拽到打印机图标,拖拽到垃圾桶图标,拖拽到社交媒体图标,或者拖拽到另一图标,以用信号表示他们将该内容发送到该应用或者针对该内容执行动作的意图。示例装置和方法促进新的方向向外的功能性,其中用户可以拾取对象并且复制、移动、共享或以其它方式将对象分发到用户设备已经与其建立关系的互连设备。向外姿势的目标可以不必与常规拖拽并放下操作那样准确地访问。例如,如果仅存在用户与其交互的两个其它设备,一个在用户左侧而一个在用户右侧,则将内容向左投掷的悬停姿势将被发送到左侧的设备,将内容向右投掷的悬停姿势将被发送到右侧的设备,并且涵盖左侧和右侧的悬停姿势(例如,悬停噗)可以将内容发送到两个设备。在一个实施例中,设备的位置可以被追踪,并且可能需要针对设备当前位置的姿势。在另一实施例中,一旦在设备之间建立关系,取决于互连设备位置的悬停姿势甚至在该设备移出其初始位置之后还可以将内容发送给该设备。
跨越设备的悬停交互可以促进新的工作模式。考虑在使用他们的电话花费了一整天之后回到家的用户。用户可能拍摄了一些照片,可能制作了一些声音便笺,以及可能接收到一些电子邮件。用户可以坐在他们的书桌前,在书桌处放置了各种设备。例如,用户可能在他们的书桌左侧有打印机,可能在书桌的右侧有台式系统,并且可能在书桌的背侧放置了他们的膝上型计算机。用户可能使图像查看程序在他们的膝上型计算机上运行,并且使文字处理程序在他们的台式系统上运行。用户可以将他们的电话放在书桌中间,并且开始将内容投掷到恰适的设备。例如,用户可以将照片投掷到容纳图像查看程序的设备,可以将声音便笺投掷到容纳文字处理应用的设备,并且可以将一些电子邮件和图像发送到打印机。在一个实施例中,当照片被投掷到容纳图像查看程序的设备时,如果图片查看程序当前不活动,则图像查看应用可以被启动。因而,用户的组织负载被降低,因为悬停姿势可被用于将内容从悬停敏感设备移动到其它设备,而非必须将内容在他们的屏幕上拖放。在一个实施例中,用户可以能够使用悬停姿势来将他们的内容分发到他们的设备,即便在这些设备已经被移动或者即便在用户不在这些设备的“范围内”时。例如,用户可能知晓向左侧的悬停投掷将最终抵达打印机,向背侧的悬停投掷将最终抵达图像查看程序,而向右侧的悬停投掷将最终抵达文字处理应用,因为那些关系先前已经被建立并且尚未被解散。由于已经建立了关系,所以可以不必在悬停敏感设备上显示图标(例如打印机或垃圾桶),这可以节省(例如智能电话中找到的)较小屏幕上的宝贵空间。在一个实施例中,用户可以决定“召回”被投掷但尚未被递送的项。
使用悬停技术来检测悬停空间中的对象。“悬停技术”和“悬停敏感”是指感测与电子设备中的显示器分隔开(例如,不触摸)但却与其非常靠近的对象。“非常靠近”可以表示,例如,超出1mm(毫米)但是在1cm(厘米)内,超出.1mm但是在10cm内,或其他的范围组合。非常靠近包括在邻近度检测器(例如,电容传感器)可以检测并表征悬停空间中的对象的范围内。设备可以是,例如,电话、平板计算机、计算机,或其他设备/附件。悬停技术可以取决于与悬停敏感的设备相关联的邻近度检测器。示例装置可包括邻近度检测器。
图1解说了悬停敏感的示例设备100。设备100包括输入/输出(I/O)接口110。I/O接口110是悬停敏感的。I/O接口110可以显示一组项,包括,例如,虚拟键盘140,更一般地,用户界面元素120。可以使用用户界面元素来显示信息并接收用户交互。传统上,用户交互通过触摸I/O接口110或者通过在悬停空间150中悬停来执行。示例装置促进了标识使用悬停动作的输入动作并且对输入动作作出响应。
设备100或i/o接口110可以存储关于用户界面元素120、虚拟键盘140、设备100与其处于数据通信或者可操作连接到其的其它设备、或其它项的状态130。用户界面元素120的状态130可以取决于悬停动作发生的顺序、悬停动作的数量、悬停动作是静态的还是动态的、悬停动作是否描述姿势,或取决于悬停动作的其他属性。状态130可包括例如悬停动作的位置、与悬停动作相关联的姿势、或其它信息。
设备100可以包括检测对象(例如,手指、铅笔,带有电容性笔尖的指示笔)何时接近于但不触摸I/O接口110的邻近度检测器。邻近度检测器可标识对象160在三维悬停空间150中的位置(x,y,z),其中x和y彼此正交且在平行于接口110的表面的平面中而z垂直于接口110的表面。邻近度检测器也可以标识对象160的其他属性,包括,例如,对象160在悬停空间150中的移动速度、对象160相对于悬停空间150的朝向(例如,俯仰、滚转、偏航),对象160相对于悬停空间150或设备100移动的方向、由对象160作出的手势,或对象160的其他属性。尽管示出了单个对象160,邻近度检测器可以检测悬停空间150中的一个以上的对象。
在不同的示例中,接近度检测器可以使用有源或无源系统。在一个实施例中,单个装置可以执行接近度检测器功能。检测器可以使用感测技术,包括,但不仅限于,电容性,电场、感应、霍耳效应、Reed效应、涡流电流、磁阻、光学阴影、光学可见光、光学红外线(IR)、光学颜色识别、超声波、声辐射、雷达、热量、声纳、导电,以及电阻性的技术。有源系统可包括,除了其他系统之外,红外线或超声波系统。无源的系统可包括,除了其他系统之外,电容性或光学阴影仪系统。在一个实施例中,当检测器使用电容性技术时,检测器可包括一组电容性感测节点以检测悬停空间150中或I/O接口110上的电容变化。电容变化可例如由进入电容性感测节点的检测范围内的手指(例如,非拇指的其它手指、拇指)或其它对象(例如,笔、电容指示笔)引起。
一般而言,接近度检测器包括在与I/O接口110相关联的悬停空间150中生成一组感测场的一组接近度传感器。当在悬停空间150中检测到对象时,接近度检测器生成信号。接近度检测器可以表征悬停动作。表征悬停动作可以包括从由设备所提供的悬停检测系统(例如,悬停检测器)接收信号。悬停检测系统可以是有源检测系统(例如,红外线,超声波),无源检测系统(例如,电容性),或系统的组合。信号可以是,例如,电压、电流、中断、计算机信号、电子信号,或检测器可以通过其提供有关检测器检测到的事件的信息的其他有形的信号。在一个实施例中,悬停检测系统可以被包括到设备中或由设备提供。
下文的详细描述的某些部分是按照算法和对存储器内的数据位的运算的符号表示来给出的。这些算法描述和表示被本领域技术人员使用来将其作品的实质传达给其他人。算法被认为是产生结果的运算序列。运算可包括创建和操纵采用电子值的形式的物理量。创建或操纵采用电子值形式的物理量产生了具体的、有形的、有用的、真实世界结果。
原则上出于常见用法的原因将这些信号称作位、值、元素、符号、字符、项、数字以及其它术语被证明有时是方便的。然而,应当记住,这些和类似术语都应与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非另外具体声明,否则应理解贯穿本说明书,包括处理、计算以及确定在内的术语指的是计算机系统、逻辑、处理器或操纵和变换被表示为物理量的数据(如电子值)的类似电子设备的动作和过程。
参考流程图可更好地理解示例方法。出于简化,所示的方法被示出并描述为一系列框。然而,各方法不受框的次序的限制,因为在一些实施例中,各框可以与本文中所显示和描述的不同次序发生。而且,为了实现某一示例方法,可能要求比全部所示框少的框。框可被组合或分成多个组件。此外,附加的或替代的方法可采用附加的、未示出的框。
图5解说了与可以跨互连设备的悬停交互相关联的示例方法500。方法500可被用来控制具有悬停敏感界面的第一设备(例如,电话、平板计算机、计算机)。方法500也可被用于基于第一设备处执行的悬停动作来控制第二设备(例如,电话、平板计算机、计算机)。第二设备可以是悬停敏感设备或者可以不是悬停敏感设备。
方法500包括:在510,控制第一设备以在第一设备和第二设备之间建立关系。该关系可以控制第一设备处执行的动作将如何被用来控制第一设备以及一个或多个第二设备。该关系可以是无方向关系或者可以是有方向关系。有方向关系取决于关于第一设备与第二设备的相对或绝对位置的信息。有方向关系可以记录例如第一设备位于第二设备的右侧而第二设备位于第一设备的左侧。有方向关系可以记录例如第二设备位于距离将第一设备的底部通过第一设备的中心连接到第一设备的顶部的线的中点某一角度处。510处的建立关系可包括例如建立有线链路或无线链路。有线链路可使用例如HDMI(高清晰度多媒体接口)接口、USB(通用串行总线)接口或其它接口来建立。无线链路可使用例如Miracast接口、蓝牙接口、NFC(近场通信)接口、或其它接口来建立。Miracast接口促成使用WiFi直接连接建立点对点无线屏幕播放连接。蓝牙接口促成使用ISM(工业、科学及医疗)频带中的短波长微波传送在短距离上交换数据。510处的建立关系还可包括管理用户预期。例如,仅仅因为悬停敏感设备在范围内并不意味着用户应当能够将任何以及所有内容投掷到该设备。一些用户可能偏好于不接收任何共享内容,或者可能偏好于仅接收来自一些特定用户的内容。因此,在510处建立关系可包括确定什么内容(如果存在)可以被共享。关于哪些内容可以被共享的决策可以基于例如文件大小、数据率、带宽、用户身份、或其它因素。
方法500还可包括在520标识第一悬停空间中执行的悬停动作。悬停动作可以是例如悬停升降姿势、悬停进入动作、悬停离开动作、悬停移动动作、悬停轻弹动作、或其它动作。轻弹姿势可以通过将单个手指在单个方向上以超过阈值速率移动超过一阈值距离来执行。悬停升降姿势可以通过将两个手指在一个对象上捏在一起以“抓取”该对象,将两个手指从界面移开以“抬升”该对象,接着在两个手指仍然捏在一起的同时将两个手指移动到另一位置来执行。当用户将他们的两个手指散开以使已经被抓取、抬升和转移的项“放下”时,悬停升降姿势可以结束。
方法500还可包括在530至少部分地基于悬停动作来控制第二装置。在一个实施例中,悬停动作可以在第一悬停空间中开始和结束。在另一实施例中,结合图6来描述,悬停动作可以在第一悬停空间中开始并且在另一悬停空间中结束。在一个实施例中,由于悬停动作可以同时或近乎同时在多个设备上执行,共享悬停空间会话可以被维护在第一设备中。共享悬停空间可以促进处理这样的情景,其中例如用户在第一设备上开始了将在第二设备上结束的第一动作,并且在第一动作期间,另一用户在第二设备上开始了第二动作。例如,在棋盘游戏期间,第一用户可以在一个设备上拾取一个棋子并且可能打算将它放在第二设备上,但同时在运动中第二用户可能在第二设备上做一些事情。因而,在一个实施例中,510处建立关系可包括确定在哪里维护上下文以用于协调悬停动作。
530处的控制第二装置可包括基于悬停动作来启动、唤醒、实例化、或以其他方式控制第二装置上的线程、进程或应用。例如,如果悬停动作提供了链接,则530处的控制第二装置可包括将该链接提供到第二装置并且还使得能够处理该链接的应用(例如,web浏览器)处理该链接。因而,提供链接可以导致web浏览器被启动,并且接着可以导致web浏览器如链接所控制的那样导航。
在一个实施例中,510处的建立关系包括标识第一装置和第二装置的相对或绝对地理位置并且存储描述该相对或绝对地理位置的数据。在这一实施例中,530处的控制第二装置至少部分地取决于描述该绝对或相对地理位置的数据。该数据可以是例如三维空间中的笛卡尔坐标,以第一装置为中心的空间中的极坐标,或者其它设备定位信息。在第一装置上拾取对象的悬停升降姿势可以在520被标识,并且接着可以跟着在520标识的悬停投掷姿势。悬停投掷姿势可以瞄准一特定方向。如果该特定方向在与第二装置相关联的方向阈值之内,则530处的控制第二装置可包括将由悬停升降姿势拾取的项提供(例如,复制、移动、共享)到第二装置。
在一个实施例中,510处的建立关系包括在第一装置与第二装置之间建立共享显示屏。建立共享显示屏可涉及从两个较小显示屏制成一较大显示屏,如图4和图11中所解说的。在这一实施例中,530处的控制第二装置包括协调共享显示屏上信息的呈现。例如,一棋子可以在第一装置上使用520处标识的悬停升降抬升姿势被拾取,使用520处标识的悬停升降移动姿势虚拟地被携带到第二装置,并且接着使用520处标识的悬停升降释放姿势被虚拟地放在第二装置上。第一装置的显示屏可以被更新以从棋子的先前位置中移出该棋子,并且第二装置的显示屏可以被更新以将棋子放在其新的位置中。
在一个实施例中,520处标识的悬停动作可以是无方向姿势(例如,噗)。在这一实施例中,530处的控制第二装置可包括将内容从第一装置提供(例如,复制、移动、允许访问)到第二装置以及提供到其它装置。被提供的内容可以至少部分地由无方向姿势的前导者(例如,悬停升降)来选择。例如,项可以使用悬停升降姿势从第一装置被抬升,并且接着使用悬停噗姿势被分发到多个其它设备。
在一个实施例中,520处的标识悬停动作可包括标识与该动作相关联的方向。例如,悬停动作可以是瞄准某一方向的轻弹或投掷姿势。在这一实施例中,530处的控制第二装置可至少部分地取决于相关联的方向以及相对或绝对地理位置。例如,在沙狐球游戏中,两个用户将他们的平板计算机推放在一起,第一平板计算机上的轻弹可以将沙狐球块向第二平板计算机发送,而在第二平板计算机上该块可以撞击其它块。
图6解说了方法500的另一实施例。此实施例包括附加动作。例如,这一实施例包括处理与第二装置中的悬停空间相关联的悬停事件。在这一实施例中,第二装置可以是具有由第二装置提供的第二悬停空间的悬停敏感装置。在这一实施例中,510处的建立关系可包括建立第一装置与第二装置的共享悬停空间。共享悬停空间可包括第一悬停空间的一部分以及第二悬停空间的一部分。
在这一实施例中,方法500可包括在540标识在第一悬停空间或第二悬停空间中执行的共享悬停动作。共享悬停动作可以是例如内容移动动作(例如,在第一装置上拾取图像并且在第二装置上释放图像),可以是游戏块移动动作(例如,在第一装置上拾取棋子并且在第二装置上释放棋子),可以是推进动作(例如,将保龄球从第一装置上显示的保龄球道的一端向位于第二装置上显示的保龄球道的另一端处的瓶柱滚动),以及其它动作。
方法500还可包括在550至少部分地基于共享悬停动作来控制第一装置和第二装置。在这一实施例中,悬停动作可以在第一悬停空间中开始并且在第二悬停空间中结束。在一个实施例中,方法500可以在550至少部分地基于共享悬停动作花费多长时间来控制第一装置和第二装置。因而,550处的控制第一装置和第二装置可包括在共享悬停动作在阈值时间段内未完成的情况下终止共享悬停动作。例如,如果第一用户在第一悬停空间中拾取棋盘块,并且开始将其向第二悬停空间移动,则第一用户可以具有悬停动作要在其中完成的有限时间段,该有限时间段由例如用户可配置阈值来定义。如果第一用户在阈值时间段内未将棋盘块放下,则悬停动作可以被取消。
尽管图5和6示出了串行地发生的各种动作,但是,应该理解,图5和6中所示出的各种动作可以基本上并行地发生。作为解说,第一过程可以在设备之间建立关系,第二过程可以管理共享资源(例如,屏幕、悬停空间),而第三过程可以基于悬停动作来生成控制动作。尽管描述了三个进程,但是要理解可采用更多或更少数量的进程,以及可采用轻量进程、常规进程、线程以及其他方法。
在一个示例中,方法可被实现为计算机可执行指令。从而,在一个示例中,计算机可读存储介质可存储计算机可执行指令,如果由机器(如计算机)执行,计算机可执行指令使得机器执行本文所述或要求保护的方法,如方法500或600。尽管与所列方法相关联的可执行指令被描述为存储在计算机可读存储介质上,但是要理解与本文所述或要求保护的其他示例方法相关联的可执行指令也可被存储在计算机可读存储介质上。在不同实施例中,本文所述的示例方法可以不同方式被触发。在一个实施例中,一种方法可由用户手动触发。在另一示例中,一种方法可被自动触发。
图7示出示例云操作环境700。云操作环境700支持将计算、处理、存储、数据管理、应用、以及其他功能作为抽象服务而不是作为独立产品来提供。服务可由可被实现为一个或多个计算设备上的一个或多个进程的虚拟服务器来提供。在某些实施例中,进程可在服务器之间迁移而不中断云服务。在云中,共享资源(如计算、存储)可通过网络被提供给包括服务器、客户机、以及移动设备的计算机。不同的网络(如以太网、Wi-Fi、802.x、蜂窝)可被用于访问云服务。与云交互的用户可能不需要知道实际上正在提供服务(如计算、存储)的设备的细节(如位置、名称、服务器、数据库)。用户可经例如web浏览器、瘦客户端、移动应用、或以其他方式来访问云服务。
图7解说了驻留在云700中的示例互连悬停空间服务760。互连悬停空间服务760可依赖于服务器702或服务704来执行处理,且可依赖于数据存储706或数据库708来存储数据。尽管解说单个服务器702、单个服务704、单个数据存储706以及单个数据库708,但是服务器、服务、数据存储以及数据库的多个实例可驻留在云700中,并可因此被互连悬停空间服务760所使用。
图7解说了访问云700中的互连悬停空间服务760的各种设备。设备包括计算机710、平板720、膝上型计算机730、台式监视器770、电视机760、个人数字助理740、以及移动设备(如蜂窝电话、卫星电话)750。在不同位置处使用不同设备的不同用户就可能通过不同的网络或接口来访问互连悬停空间服务760。在一个示例中,互连悬停空间服务760可由移动设备750访问。在另一示例中,互连悬停空间服务760的某些部分可驻留在移动设备750上。互连悬停空间服务760可以执行各种动作,这些动作包括例如标识受到一个设备上的悬停动作的影响的设备,向另一设备发送由悬停敏感设备处的悬停事件生成的控制动作,标识可以为其创建共享显示屏的设备,管理共享显示屏,标识要为其创建共享悬停空间的设备,标识跨越共享悬停空间的悬停动作,或者其它服务。在一个实施例中,互连悬停空间服务760可以执行此处所描述的方法的各部分(例如,方法500、方法600)。
图8是描绘示例性移动设备800的系统图,该移动设备包括各种可选的硬件和软件组件,总地示于802处。移动设备800中的组件802可与其它组件通信,但出于容易例示的目的而未示出所有连接。该移动设备800可以是各种计算设备(例如,蜂窝电话、智能电话、手持式计算机、个人数字助理(PDA)等),并且可允许与诸如蜂窝或卫星网络的一个或多个移动通信网络804进行无线双向通信。
移动设备800可包括控制器或处理器810(例如,信号处理器、微处理器、专用集成电路(ASIC),或其他控制和处理逻辑电路),用于执行任务,包括触摸检测、悬停检测、信号编码、数据处理、输入/输出处理、功率控制,或其他功能。操作系统812可控制对组件802的分配和使用,并支持应用程序814。应用程序814可包括移动计算应用(例如,电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)、视频游戏、电影播放器、电视播放器、生产力应用、或其他计算应用。
移动设备800可包括存储器820。存储器820可包括不可移动存储器822或可移动存储器824。不可移动存储器822可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘、或其它存储器存储技术。可移动存储器824可包括闪存或订户身份模块(SIM)卡,其在GSM通信系统中是公知的,或者其它存储器存储技术,诸如“智能卡”。存储器820可被用于存储数据或用于运行操作系统812和应用814的代码。示例数据可包括,悬停动作数据、共享悬停空间数据、共享显示数据、用户界面元素状态、光标数据、悬停控制数据、悬停动作数据、控制事件数据、网页、文本、图像、声音文件、视频数据、或其它数据集。存储器820可存储诸如国际移动订户身份(IMSI)等订户标识符,以及诸如国际移动设备标识符(IMEI)等设备标识符。可将所述标识符传送给网络服务器以标识用户或设备。
移动设备800可以支持一个或多个输入设备830,包括,但不仅限于,悬停敏感的屏幕832、话筒834、相机836、物理键盘838,或轨迹球840。移动设备800还可支持输出设备850,包括但不限于:扬声器852以及显示器854。显示器854可以被包括到悬停敏感的I/O接口中。其它可能的输入设备(未示出)包括加速度计(例如,一维、二维、三维)。其他可能的输出设备(未示出)可以包括压电或其他触觉输出设备。一些设备可以用于多于一个输入/输出功能。输入设备830可以包括自然用户界面(NUI)。NUI是使得用户能够以“自然”方式与设备交互而不受由诸如鼠标、键盘、遥控器及其它等输入设备强加的人为约束的接口技术。NUI方法的示例包括依赖于语音识别、触摸和指示笔识别、(屏幕上和屏幕附近的)姿势识别、空中姿势、头部和眼睛跟踪、嗓音和语音、视觉、触摸、姿势、以及机器智能的那些方法。NUI的其它示例包括使用加速计/陀螺仪、脸部识别、三维(3D)显示、头、眼以及凝视跟踪、身临其境的增强现实和虚拟现实系统的运动姿势检测(所有这些都提供更为自然的接口),以及用于通过使用电场感测电极(脑电波图(EEG)和相关方法)感测脑部活动的技术。因此,在一个具体示例中,操作系统812或应用814可以包括语音识别软件作为语音用户界面的一部分,该语音用户界面允许用户经由语音命令来操作设备800。此外,设备800可包括允许经由用户的空间姿势进行用户交互(诸如检测和解释可能影响一个以上的设备的悬停姿势)的输入设备和软件。
无线调制解调器860可耦合至天线891。在一些示例中,射频(RF)滤波器被使用且处理器810不需要针对所选频带选择天线配置。无线调制解调器860可支持处理器810和具有显示器的外部设备之间的双向通信,该显示器的内容或控件元素可至少部分被互连悬停空间逻辑899控制。调制解调器860被一般示出,并且可以包括用于与移动通信网络804通信的蜂窝调制解调器和/或其他基于无线电的调制解调器(例如,蓝牙864或Wi-Fi 862)。无线调制解调器860可被配置用于与一个或多个蜂窝网络(诸如,用于在单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络(PSTN)之间的数据和语音通信的全球移动通信系统(GSM)网络)进行通信。移动设备800还可使用例如近场通信(NFC)元素892来本地地通信。
移动设备800可包括至少一个输入/输出端口880、电源882、诸如全球定位系统(GPS)接收机之类的卫星导航系统接收机884、加速度计886、或物理连接器890,该物理连接器可以是通用串行总线(USB)端口、IEEE 1394(火线)端口、RS-232端口、或其它端口。所示组件802不是必需的或穷举的,因为其它组件可被删除或添加。
移动设备800可包括互连悬停空间逻辑899,该逻辑为移动设备800提供功能并用于控制移动设备800正与其交互的另一设备上显示的内容或控件。例如,互连悬停空间逻辑899可提供用于与服务(例如服务760,图7)交互的客户端。此处描述的示例方法的各部分可由互连悬停空间逻辑899执行。类似地,互连悬停空间逻辑899可实现本文描述的装置的各部分。
图9解说了促进处理跨互连设备的悬停交互的装置900。在一个示例中,装置900包括连接处理器910的接口940、存储器920、逻辑组930、接近度检测器960以及悬停敏感I/O接口950。逻辑组930可以控制装置900,并且还可响应于在与输入/输出接口950相关联的悬停空间970中执行的悬停姿势来控制其它一个或多个设备或一个或多个悬停敏感设备。在一个实施例中,接近度检测器960可包括为输入/输出接口950提供悬停敏感度的一组电容性感测节点。装置900的各元素可被配置来彼此通信,但为了说明的简要而未示出所有连接。
邻近度检测器960可检测与装置900相关联的悬停空间970中的对象980。悬停空间970可以例如是被设置为接近I/O接口950并位于邻近度检测器960可访问的区域中的三维体。悬停空间970具有有限的边界。因此,邻近度检测器960可能检测不到位于悬停空间970外的对象999。
装置900可包括第一逻辑932,第一逻辑为装置900与其它一个或多个悬停敏感设备之间的交互建立上下文。该上下文可至少部分地控制装置900将如何与其它悬停敏感设备交互。第一逻辑932可以用不同的方式来建立上下文。例如,第一逻辑932可以将上下文建立为有方向上下文或无方向上下文。有方向上下文可以依赖于针对知晓其相对地理位置的特定设备的姿势。无方向上下文可依赖于不管互连设备的位置而影响互连设备的姿势。第一逻辑932还可将上下文建立为共享显示上下文或个体显示上下文。共享显示上下文可允许多个设备呈现比任何一个个体显示屏大的单个集成显示屏。这可以增强玩游戏、图像查看或其它应用。第一逻辑932还可将上下文建立为一对一上下文或一对多上下文。一对一上下文可允许装置900与一个其它特定的设备交互,而一对多上下文可允许装置900与多个其它设备交互。
装置900可包括第二逻辑934,第二逻辑检测悬停空间中的悬停事件,并且基于悬停事件来产生控制事件。悬停事件可以是例如悬停抬升事件、悬停移动事件、悬停释放事件、悬停发送事件、悬停分发事件、或其它事件。悬停抬升事件可以虚拟地将项从装置900上的显示屏抬升。悬停升降事件是悬停抬升事件的示例。悬停移动事件可以在用户将他们的一个或多个手指在悬停空间中移动时被生成。悬停发送事件可以响应于例如轻弹姿势来生成。悬停发送事件可以导致在装置900上发现的内容被发送到另一装置。悬停分发事件可以响应于例如噗姿势来生成。悬停分发事件可以导致内容被发送到多个设备。
悬停动作和悬停事件可以与装置900上的特定项相关联。悬停动作或事件与其相关联的项可以被显示在装置900上。例如,表示文件的图标可以被显示在装置900上或者游戏块(例如,棋子)可以被显示在由装置900呈现的游戏板上。第二逻辑934可以选择性地将与装置900相关联的项(例如,文件、游戏块、图像)指派给悬停事件。
装置900可包括第三逻辑936,第三逻辑基于控制事件来控制装置和其它一个或多个设备。控制事件可以导致装置900将项(例如,文件、图像)发送到其它一个或多个设备。控制事件还可导致装置900使得项(例如,棋子)表现为从装置900移动到另一装置或仅仅在装置900上移动。在一个实施例中,控制事件可以导致装置900和多个设备的另一成员呈现集成显示屏。集成显示屏可以是例如游戏板(例如,棋盘、象棋盘)、地图、图像、或其它可显示项目。例如,两个用户可以各自在他们的电话上具有地图的小型表示,但当设备被推放在一起并且用户在两个设备上作出“连接”姿势时,地图可以被放大并且显示在两个电话上。连接姿势可以是例如开始于在每一显示屏上的一个手指而结束于在两个电话的交点附近捏在一起的两个手指的捏取姿势。在一个实施例中,控制事件可以改变什么被显示在集成显示屏上。例如,控制事件可以导致棋子从一个显示屏被拾取并且被放在另一显示屏上。
在一个实施例中,装置900可包括第四逻辑,第四逻辑协调来自多个设备的控制事件。可能需要协调,因为不同用户可能在同时或近乎同时正在不同装置上执行不同的悬停动作或不同的悬停姿势。例如,在使用两个电话的空中曲棍球应用中,两个玩家可以几乎同时在他们的屏幕上方移动他们的手指,并且装置900可能需要协调由同时移动生成的事件以呈现计及两个玩家的动作的无缝游戏体验。
装置900可以包括存储器920。存储器920可包括不可移动存储器或可移动存储器。不可移动存储器可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘、或其它存储器存储技术。可移动存储器可包括闪存,或其它存储器存储技术,诸如“智能卡”。存储器920可以被配置成存储用户界面状态信息、特征数据、对象数据、关于共享显示屏的数据、关于共享悬停空间的数据、或其它数据。
装置900可以包括处理器910。处理器910可以是,例如,信号处理器、微处理器、专用集成电路(ASIC)、或用于执行包括信号编码、数据处理、输入/输出处理、电力控制、或其它功能的任务的其它控制和处理逻辑电路。
在一个实施例中,装置900可以是已通过包含逻辑集合930而被转换成专用计算机的通用计算机。装置900可通过例如计算机网络与其他装置、过程和服务交互。
图10解说了使用共享悬停空间1040来支持跨越互连设备的悬停交互的悬停敏感设备。第一设备1010、第二设备1020和第三设备1030可以被放置成足够近得在一起,以使得可以创建共享悬停空间1040。当共享悬停空间1040存在时,悬停动作可开始于第一位置(例如,第一设备1010),可以被检测为它离开第一位置并且进入第二位置(例如,第二设备1020),可以被检测为它穿过并且离开第二位置,并且可以被检测为它在第三位置(例如,第三设备1030)处终止。尽管三个设备被解说为共享悬停空间1040,但更多或更少数目的设备可以创建或使用共享悬停空间。
图11解说了时间序列,其中两个设备在一起创建在其上能够执行悬停动作的较大的共享显示屏。在时间T1,第一设备1110和第二设备1120被放置地离开足够远,从而提供共享显示屏是不切实际的。即便设备1110和设备1120被间隔开,但设备1110上的悬停姿势仍然能被用于控制设备1120。例如,对象可以在设备1110上被拾取并且被投掷到设备1120。投掷对象可例如复制或移动内容。
在时间T2,第一设备1110和第二设备1120已经被移动地足够靠近地在一起,从而提供共享显示屏现在是切合实际的。例如,两个同事可能在会议桌上将他们的平板计算机推放到一起。尽管两个设备的接近度可以允许共享显示屏被提供,但共享显示屏可以不被提供,除非存在其中提供共享显示屏是恰适的上下文。当例如两个用户都在编辑同一文档时,当两个用户想要查看同一图像时,当两个用户在一起玩游戏时,或者在其它情景中时,恰适的上下文可存在。
在时间T3,表示共享图像的字母ABC跨与设备1110和设备1120相关联的共享显示屏被显示。如果两个用户坐在彼此旁边,则图像可以被显示,以使得两个用户可以同时从相同视角看到图像。但如果两个用户隔着桌子彼此落座,则两个用户可能想要轮流查看共享图像。因而,悬停姿势1130可以被采用来标识共享图像要被显示的方向。悬停姿势1130可以开始于一个显示屏,并且结束于另一显示屏,以指示图像的方向。尽管解说了两个设备,但更多数目的设备以及不同类型的设备可以被采用。
下文包括本文所采用的所选项目的定义。这些定义包括落在某一术语的范围内且可被用于实现的组件的各种示例或形式。示例不旨在是限制性的。单数和复数形式的术语两者可都在定义的范围内。
对“一个实施例”、“一实施例”、“一个示例”、“一示例”的引用指示出如此所述的实施例或示例可包括某一特征、结构、特性、属性、元素或限制,但并非每一个实施例或示例必然包括该特征、结构、特性、属性、元素或限制。此外,对短语“在一个实施例中”的重复使用不必涉及同一实施例,但是它可涉及同一实施例。
如本文所使用的,“计算机可读存储介质”指的是存储指令或数据的介质。“计算机可读存储介质”不指代传播信号。计算机可读存储介质可以采取包括但不限于非易失性介质以及易失性的形式。非易失性介质可包括例如光盘、磁盘、磁带、以及其他介质。易失性介质可包括例如半导体存储器、动态存储器、以及其他介质。常规形式的计算机可读存储介质可包括但不限于软盘(floppy disk)、软磁盘(flexible disk)、硬盘、磁带、其他磁介质、专用集成电路(ASIC)、紧致盘(CD)、其他光学介质、随机存储存储器(RAM)、只读存储器(ROM)、存储器芯片或卡、存储棒、以及计算机、处理器或其他电子设备可以读取的其他介质。
如本文所使用的“数据存储”指的是可存储数据的物理或逻辑实体。数据存储可以是例如数据库、表、文件、列表、队列、堆、存储器、寄存器、或其他物理储存库。在不同示例中,数据存储可驻留在一个逻辑或物理实体中,或可分布在两个或更多个逻辑或物理实体之间。
如本文所使用的“逻辑”包括但不限于机器上执行的硬件、固件、软件,或各自的组合来执行功能或动作或引起来自另一逻辑、方法或系统的功能或动作。逻辑可包括软件控制的微处理器、分立逻辑(如ASIC)、模拟电路、数字电路、编程的逻辑设备、包含指令的存储器设备、以及其他类型的物理设备。逻辑可包括一个或多个门、门的组合、或其他电路组件。在描述多个逻辑逻辑时,可能的是将该多个逻辑逻辑合并成一个物理逻辑。类似地,在描述单个逻辑逻辑的情况下,可能的是将该单个逻辑化的逻辑分布在多个物理对象之间。
就在详细描述或权利要求书中使用术语“包括”而言,这一术语旨在以与术语“包含”在被用作权利要求书中的过渡词时所解释的相似的方式为包含性的。
就在详细描述或权利要求书中使用术语“或”而言(如A或B),意图意味着“A或B或两者”。当申请人意图执行“只有A或B而不是两者”时,于是将采用术语“只有A或B而不是两者”。从而,本文对术语“或”的使用是包含性的而非排他性的使用。见Bryan A.Garner现代法律用途字典624(A Dictionary of Modern Legal Usage624)(1995年第2版)。
尽管用对结构特征或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言,上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种方法,包括:
在第一装置与第二装置之间建立关系,其中所述第一装置是具有由所述第一装置提供的第一悬停空间的悬停敏感装置;
标识在所述第一悬停空间中执行的悬停动作;以及
至少部分地基于所述悬停动作来控制所述第二装置。
2.如权利要求1所述的方法,其特征在于,
其中建立所述关系包括标识所述第一装置和所述第二装置的相对或绝对地理位置并且存储描述所述相对或绝对地理位置的数据,以及
其中控制所述第二装置至少部分地取决于描述所述绝对或相对地理位置的数据。
3.如权利要求1所述的方法,其特征在于,
其中建立所述关系包括在所述第一装置与所述第二装置之间建立共享显示屏,以及
其中控制所述第二装置包括协调所述共享显示屏上信息的呈现。
4.如权利要求1所述的方法,其特征在于,
其中所述第二装置是具有由所述第二装置提供的第二悬停空间的悬停敏感装置;
其中建立所述关系包括为所述第一装置和所述第二装置建立共享悬停空间,其中所述共享悬停空间包括所述第一悬停空间的一部分以及所述第二悬停空间的一部分,其中建立所述关系包括确定如何协调在所述第一悬停空间和所述第二悬停空间中执行的并发动作,以及
其中所述方法包括:
标识在所述第一悬停空间中或在所述第二悬停空间中执行的共享悬停动作;
为所述悬停动作或所述共享悬停动作的完成建立时间限制,以及
至少部分地基于所述共享悬停动作来控制所述第一装置和所述第二装置。
5.如权利要求1所述的方法,其特征在于,
其中建立所述关系包括标识可以在所述第一装置和所述第二装置之间共享的内容;
其中所述悬停动作是升降姿势,以及
其中控制所述第二装置包括选择性地将内容从所述第一装置提供到所述第二装置,其中所述内容至少部分地由所述升降姿势来选择。
6.如权利要求1所述的方法,其特征在于,
其中所述悬停动作开始并结束于所述第一悬停空间中,或者其中所述悬停动作开始于所述第一悬停空间中并且结束于所述第二悬停空间中。
7.如权利要求1所述的方法,其特征在于,
其中所述悬停动作是无方向姿势,以及
其中控制所述第二装置包括将内容从所述第一装置提供到所述第二装置,其中所述内容至少部分地由所述无方向姿势来选择。
8.一种装置,包括:
处理器;
存储器;
悬停敏感的输入/输出接口;
逻辑组,所述逻辑组响应于在与所述输入/输出接口相关联的悬停空间中执行的悬停姿势来控制所述装置以及一个或多个悬停敏感设备,以及
连接所述处理器、所述存储器和所述逻辑组的接口,
所述逻辑组包括:
第一逻辑,所述第一逻辑为所述装置以及一个或多个悬停敏感设备之间的交互建立上下文,其中所述上下文至少部分地控制所述装置将如何与所述一个或多个悬停敏感设备交互;
第二逻辑,所述第二逻辑检测所述悬停空间中的悬停事件,并且基于所述悬停事件来产生控制事件;
第三逻辑,所述第三逻辑基于所述控制事件来控制所述装置以及所述一个或多个悬停敏感设备;以及
第四逻辑,所述第四逻辑协调来自所述装置以及所述一个或多个悬停敏感设备的控制事件。
9.如权利要求8所述的装置,其特征在于,
其中所述第一逻辑将所述上下文建立为有方向上下文或无方向上下文,
其中所述第一逻辑将所述上下文建立为共享显示屏上下文或个体显示屏上下文,以及
其中所述第一逻辑将所述上下文建立为一对一上下文或一对多上下文。
10.如权利要求9所述的装置,其特征在于,
其中所述悬停事件是悬停抬升事件、悬停移动事件、悬停释放事件、悬停发送事件、或悬停分发事件,以及
其中所述第二逻辑将与所述装置相关联的项选择性地指派到所述悬停事件。
CN201580009605.XA 2014-02-19 2015-02-11 跨互连设备的悬停交互 Pending CN106030491A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/183,742 2014-02-19
US14/183,742 US20150234468A1 (en) 2014-02-19 2014-02-19 Hover Interactions Across Interconnected Devices
PCT/US2015/015300 WO2015126682A1 (en) 2014-02-19 2015-02-11 Hover interactions across interconnected devices

Publications (1)

Publication Number Publication Date
CN106030491A true CN106030491A (zh) 2016-10-12

Family

ID=52737382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580009605.XA Pending CN106030491A (zh) 2014-02-19 2015-02-11 跨互连设备的悬停交互

Country Status (5)

Country Link
US (1) US20150234468A1 (zh)
EP (1) EP3108352A1 (zh)
KR (1) KR20160124187A (zh)
CN (1) CN106030491A (zh)
WO (1) WO2015126682A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168489A (zh) * 2017-01-12 2019-08-23 微软技术许可有限责任公司 使用取向感测的悬停交互
CN112486363A (zh) * 2020-10-30 2021-03-12 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
CN112698778A (zh) * 2021-03-23 2021-04-23 北京芯海视界三维科技有限公司 设备间目标传输方法、装置及电子设备
RU2747893C1 (ru) * 2020-10-05 2021-05-17 Общество с ограниченной ответственностью «Универсальные терминал системы» Устройство для игры в аэрохоккей
CN114527904A (zh) * 2020-11-04 2022-05-24 宏正自动科技股份有限公司 指示图标共享方法、指示讯号控制方法及其处理装置
WO2022257822A1 (zh) * 2021-06-08 2022-12-15 华为技术有限公司 一种应用界面的分布式显示方法及终端

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9225810B2 (en) 2012-07-03 2015-12-29 Sony Corporation Terminal device, information processing method, program, and storage medium
US9170736B2 (en) * 2013-09-16 2015-10-27 Microsoft Corporation Hover controlled user interface element
US10664772B1 (en) * 2014-03-07 2020-05-26 Steelcase Inc. Method and system for facilitating collaboration sessions
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller
US10075919B2 (en) * 2015-05-21 2018-09-11 Motorola Mobility Llc Portable electronic device with proximity sensors and identification beacon
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
US10069973B2 (en) * 2015-08-25 2018-09-04 Avaya Inc. Agent-initiated automated co-browse
US10564915B2 (en) 2018-03-05 2020-02-18 Microsoft Technology Licensing, Llc Displaying content based on positional state
US11402964B1 (en) * 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070124503A1 (en) * 2005-10-31 2007-05-31 Microsoft Corporation Distributed sensing techniques for mobile devices
US20120249443A1 (en) * 2011-03-29 2012-10-04 Anderson Glen J Virtual links between different displays to present a single virtual object
US20130285882A1 (en) * 2011-12-21 2013-10-31 Minghao Jiang Mechanism for facilitating a tablet block of a number of tablet computing devices

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US10331166B2 (en) * 2009-10-07 2019-06-25 Elliptic Laboratories As User interfaces
US20110119216A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Natural input trainer for gestural instruction
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070124503A1 (en) * 2005-10-31 2007-05-31 Microsoft Corporation Distributed sensing techniques for mobile devices
US20120249443A1 (en) * 2011-03-29 2012-10-04 Anderson Glen J Virtual links between different displays to present a single virtual object
US20130285882A1 (en) * 2011-12-21 2013-10-31 Minghao Jiang Mechanism for facilitating a tablet block of a number of tablet computing devices

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168489A (zh) * 2017-01-12 2019-08-23 微软技术许可有限责任公司 使用取向感测的悬停交互
RU2747893C1 (ru) * 2020-10-05 2021-05-17 Общество с ограниченной ответственностью «Универсальные терминал системы» Устройство для игры в аэрохоккей
CN112486363A (zh) * 2020-10-30 2021-03-12 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
CN112486363B (zh) * 2020-10-30 2023-12-19 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
CN114527904A (zh) * 2020-11-04 2022-05-24 宏正自动科技股份有限公司 指示图标共享方法、指示讯号控制方法及其处理装置
CN114527904B (zh) * 2020-11-04 2024-03-26 宏正自动科技股份有限公司 指示图标共享方法、指示讯号控制方法及其处理装置
CN112698778A (zh) * 2021-03-23 2021-04-23 北京芯海视界三维科技有限公司 设备间目标传输方法、装置及电子设备
WO2022199434A1 (zh) * 2021-03-23 2022-09-29 北京芯海视界三维科技有限公司 设备间目标传输方法、装置及电子设备
WO2022257822A1 (zh) * 2021-06-08 2022-12-15 华为技术有限公司 一种应用界面的分布式显示方法及终端

Also Published As

Publication number Publication date
KR20160124187A (ko) 2016-10-26
WO2015126682A1 (en) 2015-08-27
US20150234468A1 (en) 2015-08-20
EP3108352A1 (en) 2016-12-28

Similar Documents

Publication Publication Date Title
CN106030491A (zh) 跨互连设备的悬停交互
CN105431813B (zh) 基于生物计量身份归属用户动作
CN107872623B (zh) 一种拍摄方法、移动终端及计算机可读存储介质
US9597599B2 (en) Companion gaming experience supporting near-real-time gameplay data
CN104081317B (zh) 信息处理设备和信息处理方法
CN110585726A (zh) 用户召回方法、装置、服务器及计算机可读存储介质
CN106874338A (zh) 用于利用视觉和/或触觉反馈操纵用户界面对象的设备、方法和图形用户界面
CN108984087A (zh) 基于三维虚拟形象的社交互动方法及装置
CN106796789A (zh) 与话音参考点的协同言语交互
CN101452339A (zh) 在虚拟宇宙中呈现真实世界对象与交互的方法和系统
CN106029187A (zh) 悬停敏感设备上的高级游戏结构
CN103562952A (zh) 不同游戏中的化身之间的通信
CN108351688A (zh) 组合的抓握和移动性感测
CN105324736A (zh) 触摸式和非触摸式用户交互输入的技术
CN107952242A (zh) 一种终端软件体验方法、终端及计算机可读存储介质
CN109859307A (zh) 一种图像处理方法及终端设备
JP6370417B2 (ja) ゲームプログラム、ゲームプログラムを実行する方法、および情報処理装置
CN110496392A (zh) 虚拟对象的控制方法、装置、终端及存储介质
CN109993711A (zh) 一种图像处理方法及终端设备
CN107079065A (zh) 电话平板装置
CN109684277A (zh) 一种图像显示方法及终端
CN107864408A (zh) 信息展示方法、装置及系统
CN103990280A (zh) 基于触摸的电子棋牌系统
Roccetti et al. Day and night at the museum: intangible computer interfaces for public exhibitions
CN107886303A (zh) 一种日程分享处理方法、服务器及移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161012

WD01 Invention patent application deemed withdrawn after publication