CN105190469B - 使对象的指定位置被提供给设备 - Google Patents

使对象的指定位置被提供给设备 Download PDF

Info

Publication number
CN105190469B
CN105190469B CN201480012096.1A CN201480012096A CN105190469B CN 105190469 B CN105190469 B CN 105190469B CN 201480012096 A CN201480012096 A CN 201480012096A CN 105190469 B CN105190469 B CN 105190469B
Authority
CN
China
Prior art keywords
display
individual device
shared
shared device
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480012096.1A
Other languages
English (en)
Other versions
CN105190469A (zh
Inventor
M·帕赫德
P·P·N·格雷伯里奥
K·P·欣克利
W·A·S·巴克斯顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105190469A publication Critical patent/CN105190469A/zh
Application granted granted Critical
Publication of CN105190469B publication Critical patent/CN105190469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

用于使对象的指定位置被提供给共享设备的技术。这些技术可包括将计算设备与个体设备相连。个体设备可将对象传送到共享设备并显示在共享设备的显示器的初始对象位置处。响应于个体设备移动可更新初始对象位置，且对象可被显示在显示器上经更新的对象位置处。对象位置可响应于信号而被锁定，且对象可被显示在被锁定的对象位置处。

Description

使对象的指定位置被提供给设备
背景
在如今的社会中，计算设备随处可见。许多人拥有可加载应用或软件来执行非常具体的操作的计算设备。这些设备，在加载了合适的软件时，可被用来控制设备、与其它设备交换信息、以及执行其它功能。
在从第一计算设备到第二计算设备传递数据时，被传递的数据通常存储和/或显示在第二设备上由第二设备(即，接收设备)确定的默认位置。最好，第一计算设备的用户可为数据在第二设备上指定存储位置(诸如通过选择用于存储该数据的文件夹)。
概述
在此描述了允许定位从个体设备(例如，移动计算设备等)接收到并可用于显示在共享设备(例如，共享显示器等)上的对象的技术和系统。对象在共享设备上的定位可部分基于与该个体设备相关联的用户的移动和/或该个体设备的移动。
示例技术可包括创建共享设备和个体设备之间的通信连接。当在设备间建立了连接后，可将在个体设备上选择的对象从该个体设备传送到该共享设备，并显示在共享设备的显示器上的初始对象位置处。对象位置可响应于个体设备或操作个体设备的用户的移动来更新。对象位置可响应于触发事件而被锁定，且对象可被共享设备至少临时显示在该锁定对象位置处。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图简述
参考附图来描述详细描述。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记指示相似或相同的项目。
图1示出用于使对象的指定位置被提供给计算设备的示例计算环境。
图2示出图1中所示出的共享设备的示例体系结构。
图3示出图1中所示出的个体设备的示例体系结构。
图4示出用于使对象的指定位置被提供给计算设备的示例过程。
图5示出用于使对象的指定位置被提供给计算设备的示例过程，其中共享设备检测个体设备或用户的位置。
图6示出用于使对象的指定位置被提供给计算设备的示例过程，其中个体设备向共享设备提供位置信息。
图7示出了用于编辑传送到计算设备的对象的示例用户界面。
详细描述
概览
本公开部分涉及用于在个体设备(例如，移动计算设备等)和共享设备(例如，共享显示器等)之间传送对象和定位对象的操作。本公开的各实施例提供来自个体设备的无缝且直观的复制-粘贴和定位控制以在与共享设备相关联的显示器上定位对象。不像允许用户将对象“轻拂”到显示器但一旦对象在显示器上被接收就不提供用户定位控制的传统技术，本公开的各实施例在对象被显示器接收后允许传送对象的用户在显示器上精确定位对象。
在本公开的某些方面，共享设备可通过执行连接协议(诸如握手、信息配对、凭证交换，和/或通过使用其它连接协议)来创建与个体设备的通信连接。共享设备可从个体设备接收对象。例如，个体设备可使用共享设备的硬件地址(在连接协议期间交换)来将对象发送到共享设备。共享设备可在初始对象位置显示该对象。
在某些实施例中，共享设备可通过以下来更新对象的位置：检测个体设备或用户的位置作为控制位置并随后响应于控制位置的改变来更新对象位置。响应于触发事件，诸如接收到信号(例如，终止信号等)、预定时间量的到期、个体设备的不连续运动和/或其它触发事件，共享设备可将对象锁定在特定对象位置。
在各种实施例中，个体设备可提供位置信息以允许共享设备将对象定位在共享设备的显示器上。例如，位置信息可包括个体设备创建的图像，其中图像包括对象和与共享设备相关联的参照点。共享设备可接着使用位置信息来将对象定位在与共享设备相关联的显示器上。
说明性环境
图1示出了示例计算环境100，其中对象可从个体设备发送，并被放置在与共享设备相关联的显示器上的特定位置中。在某些实施例中，环境100可包括与由用户106操作的个体设备104进行通信的共享设备102。共享设备102可以是通用计算机、一个或多个服务器、机顶盒、游戏控制台、或能够与另一设备(例如，移动电话)交换数据并产生输出(例如，可视表示)的任何其它计算设备。在这些和其它实例中，共享设备102可被一个或多个计算设备(例如，个体设备104)访问。
在某些实例中，个体设备104，同时，可以是移动计算机、移动电话(例如，智能电话)、个人计算机、膝上计算机、便携数字助理(PDA)、游戏控制台、个人媒体播放器(PMP)、数码相机、数码摄像机、个人导航设备、或能够与另一设备(例如，传感设备)交换数据并产生可与各种设备(例如，显示器)联用的输出(例如，可视表示)的任何其它计算设备。
在某些实施例中，共享设备102可与个体设备104和一个或多个其它计算设备进行通信。在这些实例中，个体设备104和其它计算设备可将对象呈现和/或共享在与共享设备102相关联的显示器上。例如，个体设备104和其它计算设备可将对象复制并粘贴到共享设备102，并在显示器上的期望的位置处显示对象。对象可以是应用、服务、文档、数据、图形、照片、多媒体(例如，文本、音频、图像、动画、视频)、游戏、电子邮件、在线聊天记录、社交网络简档、张贴、和用户可能想要和其他人共享的其它文件。在某些实施例中，对象的选择可包括对某些类型的对象的选择和/或包含不同类型的对象的组合的选择。在某些实施例中，选择可包括应用的子集(即，对话框)。
当个体设备104接近共享设备102时，共享设备102可建立与个体设备104的连接。连接可由共享设备102或个体设备104初始化。在某些实例中，连接可通过网络108建立。网络108可包括多种不同类型的网络中的任一个或组合，诸如电缆网络、互联网、和无线网络(例如，Wi-Fi、移动电话网络等)。
在某些实施例中，用户106可在个体设备104的界面112上选择对象110，并接着将对象110复制到显示器114。在接收到对对象110的选择后，个体设备104可将对象110发送到共享设备102。例如，个体设备104可使用共享设备的硬件地址(在连接协议期间交换)来将对象110传送到共享设备102。共享设备102可在显示器114的初始对象位置上显示对象110。在某些实例中，初始对象位置可基于预定义规则或上下文(诸如共享设备102或个体设备104正在操作的任务)来确定。
在某些实施例中，初始对象位置可基于用户106和/或个体设备104相对于传感器116或显示器114的位置来确定。在这些实例中，初始对象位置可以与用户106和/或个体设备104的参考特征相关联。例如，显示器114可包括多个显示器，且初始对象位置可在多个显示器中用户106或个体设备104正瞄准的那个显示器上。
在某些实施例中，共享设备102可通过传感器116检测个体设备104的位置。在这些实例中，传感器116可检测和/或跟踪个体设备104和/或用户106的肢体的移动。例如，传感器116可以是能够跟踪特定项目(例如，个体设备104等)的移动和/或跟踪人(例如，用户106等)的移动的运动检测传感器。因此，用户106可通过移动的个体设备104和/或肢体(该移动由传感器116跟踪)来控制显示器114上的对象的对象位置。共享设备102可响应于由传感器106接收到的个体设备104的移动来更新对象位置，并接着将对象110显示在经更新的对象位置处。
响应于触发事件，诸如接收到信号(例如，终止信号等)、预定时间量的到期、个体设备或用户的不连续运动和/或其它触发事件，共享设备102可将对象锁定在特定对象位置。例如，对象位置可被更新直到共享设备102接收到停止信号(例如，用户106从个体设备104上释放手指等)。一旦接收停止信号，共享设备102可锁定对象位置并将对象110显示在被锁定的对象位置处。
在各种实施例中，个体设备104可向共享设备102发送对象定位信息以允许将对象110定位在显示器114上而无需使用传感器116。在某些实施例中，对象位置信息可包括由个体设备104的相机捕捉的图像。例如，图像可包括与显示器114相关联的参考特征，其可用呈现在个体设备104上的对象110来覆盖。覆盖对象可提供相对于参考特征的位置信息，其可允许共享设备102，在分析对象位置信息后，将对象110定位在显示器上的指定位置处。随着用户106移动个体设备104(并因此移动相机)，对象的相对位置和参考特征可能改变。个体设备104可持续更新并将对象位置信息发送到共享设备102直到触发事件发生。在接收到对象位置信息后，共享设备102可将对象110显示在对应于对象位置信息的经更新的对象位置处。响应于触发事件，共享设备可将对象锁定在特定对象位置例如，对象位置被更新，直到个体设备104停止发送对象位置信息。共享设备102可接着锁定对象位置并将对象110显示在被锁定的对象位置处。
在某些实施例中，环境100还可包括与服务提供者120相关联的服务器118，服务提供者120向共享设备102和/或个体设备104提供服务(例如，云存储、外部内容等)。在某些实例中，在与共享设备102交互时，个体设备104可通过网络108访问服务提供者120的服务。例如，用户106可请求来自服务提供者120的映射服务。共享设备102可接收映射信息(例如，映射)并将该映射信息提供在显示器114上。一些映射信息还可被提供给个体设备104，但是该映射信息可不同于提供给共享设备102的映射信息。
说明性体系结构
图2示出图1中示出的共享设备的示例体系结构。图2所示的共享设备102和个体设备104只是可能的计算设备的示例，且并非旨在对计算机和网络体系结构的使用范围或功能提出任何限制。共享设备102和个体设备104也不应被解释成对于在该示例计算设备中所示出的任一组件或其组合有任何依赖或要求。
作为替代或补充，在此关于共享设备102和个体设备104所描述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
在某些实施例中，共享设备102可以包括至少一个处理单元202和系统存储器204。取决于计算设备的确切配置和类型，系统存储器204可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或是两者的某种组合。系统存储器204通常包括操作系统206、一个或多个程序模块208，且可以包括程序数据210以及设备数据212。在某些实例中，设备数据316可存储与已连接到和/或要连接到共享设备102的设备(例如，个体设备104)相关联的信息。程序模块208可包括通信模块214、传感器模块216、位置模块218、和显示模块202、和编辑模块222，按顺序讨论每个模块。
通信模块214可被配置来与诸如个体设备104和/或服务器118之类的设备进行通信。在某些实例中，通信模块214可通过网络108初始化并建立与个体设备104的连接。例如，通信模块214可解调蓝牙信号和/或控制蓝牙设备(诸如个体设备104)的状态和模式。在某些实例中，当个体设备接近共享设备时，通信模块214可执行和/或建立与个体设备104的握手，以创建诸如蓝牙链接的连接。在这些实例中，在握手期间，可在共享设备102和个体设备104之间交换认证凭证。
当在共享设备102和个体设备104之间建立连接之后，通信模块214可通过这些设备间建立的通信协议来从个体设备104接收对象110。所接收的对象110可由显示模块220显示在显示器114上的初始对象位置处。在某些实施例中，显示模块220可在显示器114上的初始对象位置处示出阴影以表示对象110。响应于用户104的移动，阴影可在显示器114上移动。阴影可包括对象110的呈现、对象110的半透明呈现、占位符、和/或其它信息/图像。在某些实施例中，显示器114可包括多个显示器和/或其它设备，并且阴影可基于个体设备正在瞄准何处而被显示在合适的显示器上。
在某些实施例中，初始对象位置可基于预定的规则和/或上下文(诸如共享设备102或个体设备104正在操作的任务)来确定。在某些实例中，初始对象位置还可基于个体设备104或用户106的肢体相对于到显示器的距离的位置来确定。
传感器模块216可被配置了检测控制位置，诸如个体设备104和/或用户106的肢体的位置。例如，与传感器116组合，传感器模块216可执行部分或全部身体的三维(3D)运动捕捉、面部识别和声音识别。在某些实施例中，传感器模块216可检测和/或跟踪控制位置的一个或多个改变。响应于改变，位置模块218可更新呈现在显示器114上的对象110的对象位置。接着，响应于触发事件，位置模块218可将对象110锁定在显示器114上经更新的对象位置处。触发事件可以是在用户106执行停止手势(诸如将他/她的手指从个体设备104的触摸屏上释放)后、在预定时间量后、在移动停止后等等，传送的命令。
在某些实施例中，传感器模块216可通过传感设备106跟踪操作多个个体设备的多个用户。在某些实例中，共享设备102可通过标识诸个体用户的特征来跟踪多个用户，并将诸个体用户与诸个体用户正在操作的一个或多个个体设备相关联。例如，共享设备102可基于用户特征(例如，声音、面部特征和/或身体特征等)和/或基于和个体用户相关联的其它跟踪信息(例如，设备标识符、标记标识符、自身注册等)来标识个体用户。
程序模块208还可包括编辑模块222，该编辑模块222被配置成基于个体设备104的移动或在对象被锁定后用户肢体的姿势来编辑对象110，结合图7对其进行更详细讨论。例如，用户106可旋转对象110、改变对象110的大小和/或对比度、裁剪对象110和/或仅保留对象110后面的一部分、和/或添加与对象110有关的注释。
在某些实施例中，操作系统206包括基于组件的框架206，该框架支持组件(包括属性和事件)、对象、继承、多态性、反射，且操作系统206可提供面向对象的基于组件的应用程序编程接口(API)。再次，终端可具有更少的组件但将与可具有这样基本配置的计算设备交互。
共享设备102可具有附加特征或功能性。例如，共享设备102还可包括附加数据存储设备(可移动和/或不可移动)，诸如例如磁盘、光盘或磁带。在图2中通过可移动存储224和不可移动存储226例示出这样的附加存储。计算机可读介质可包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。系统存储器204、可移动存储224和不可移动存储226都是计算机存储介质的示例。计算机存储介质包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由共享设备102访问的任何其他介质。任何这样的计算机存储介质都可以是共享设备102的一部分。而且，计算机可读介质可包括在由处理单元202执行时使共享设备102执行此处所描述的各种功能和/或操作的计算机可执行指令。
作为对比，通信介质可用诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。
共享设备102还可具有输入设备228，如键盘、鼠标、笔、语音输入设备、触摸输入设备(例如，指示笔、笔等)、触摸屏设备、导航设备(例如，跟踪垫、鼠标等)等等。在某些实施例中，输入方法可经自然用户界面(NUI)来实现。NUI可包括使得用户能够以“自然”方式与设备交互而无需由诸如鼠标、键盘、遥控等强加的人为约束的任何接口技术。NUI方法的示例可包括依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、话音和语音、视觉、触摸、姿势、以及机器智能的那些方法。NUI技术的类别可包括触敏显示、话音和语音识别、意图和目的理解、使用深度相机(如立体相机系统、红外相机系统、RGB相机系统、以及这些的组合)的运动姿势检测、使用加速度计/陀螺仪的运动姿势检测、面部识别、3D显示、头部、眼睛和注视跟踪、浸入式增强现实和虚拟现实系统，所有这些都提供更自然的接口，以及用于使用电场传感电极(EEG和相关方法)的传感大脑活动的技术。
在一些实施例中，共享设备102可包括接收通过诸如NUI的方法生成的输入信号和/或对其作出响应的传感器116。例如，传感器116可以是接收用于部分或全部身体3D运动捕捉、面部识别和声音识别的信号和/或对其作出响应的运动传感输入设备。在某些实例中，传感器116可在各种条件下(例如，完全黑暗)通过跟踪用户身体(例如骨架和肢体)来跟踪一个或多个用户。肢体可包括用户的手臂、腿和头。在某些实例中，表示可通过深度传感或光流技术来跟踪，且不必需特定身体部分的标识。
共享设备102还可包括输出设备230，诸如显示器(例如显示器114)、扬声器、打印机等。共享设备102还可包含允许该设备诸如通过网络(诸如网络108)来与其他计算设备(例如，个体设备104)进行通信的通信连接232。
图3示出图1中所示出的个体设备的示例体系结构300。在某些实施例中，个体设备104可以包括至少一个处理单元302和系统存储器304。取决于计算设备的确切配置和类型，系统存储器304可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或是两者的某种组合。个体设备104还可包括另外的数据存储设备，诸如可移动存储306和不可移动存储308。系统存储器304、可移动存储306和不可移动存储308都是计算机存储介质的示例。
系统存储器304通常包括操作系统310、一个或多个程序模块312，且可以包括程序数据314以及设备数据316。在某些实例中，设备数据316可存储与已连接到和/或要连接到个体设备104的设备(例如，共享设备102)相关联的信息。程序模块312可包括通信模块318、位置模块320、和编辑模块322，按顺序讨论每个模块。
通信模块318被配置来与诸如共享设备102和/或服务器118之类的设备进行通信。在某些实施例中，通信模块318可通过例如，蓝牙连接、网络108、或其它连接协议来初始化并建立与共享设备102的连接。
当在共享设备102和个体设备104之间建立连接之后，通信模块214可通过与共享设备102建立的通信协议来从用户106接收对对象110的选择，并将对象发送到共享设备104。
位置模块320被配置来在共享设备102的显示器114上定位对象位置。在某些实施例中，对象位置可包括对象110相对于显示器114的参考特征的位置。参考特征可被个体设备104的相机捕捉。在这些实例中，参考特征可基于显示器114上所示的对象(诸如显示器114上所示的图像或图标)来确定。在某些实例中，参考特征可基于显示器的外观特征(诸如显示器114的框架)来确定。
位置模块320还可响应于个体设备104和/或用户106的肢体的移动来更新对象位置。因此，用户106可通过移动个体设备104和/或肢体来控制显示器114上的对象的对象位置。对象位置和/或经更新的对象位置的信息可被通信模块318传送到共享设备102，并且共享设备102可接着在显示器114上的对象位置或经更新对象位置处显示该对象。对象位置被更新，直到触发事件发生。例如，触发事件可以是由通信模块318传送到共享设备102的用于锁定对象位置并在锁定的对象位置处显示对象110的命令。
在某些实施例中，通过将显示器114的背景图像作为来自个体设备104的相机的图像来提供，可给予用户106握住对象110的印象。因此，用户106可通过移动个体设备104来精确控制对象位置。在某些实例中，位置模块可使用视觉、声音和/或与共享设备102通信的其它方式来跟踪个体设备104相对于显示器114的控制位置。
程序模块312还可包括编辑模块322，该编辑模块332被配置成基于个体设备104的移动或在对象被锁定后用户肢体的姿势来编辑和/或允许编辑对象110，结合图7对其进行更详细讨论。例如，用户106可旋转对象110、改变对象110的大小和/或对比度、裁剪对象110和/或仅保留对象110后面的一部分、和/或添加与对象110有关的注释。
个体设备104也可具有输入设备324，诸如触摸屏设备、物理按钮(菜单按钮、键盘等)、触摸输入设备(指示笔、笔等)、语音输入设备、相机、光传感器、话筒等。在某些实施例中，输入方法可经NUI来实现。在某些实施例中，个体设备104包括传感设备326，诸如相机。
在某些实施例中，个体设备104包括输出设备328，诸如显示器(例如触摸屏)、扬声器等。个体设备104还可包含允许该设备诸如通过网络来与其他计算设备(例如，共享设备102)进行通信的通信连接330。这些网络可包括有线网络以及诸如网络108的无线网络。
说明性操作：
图4示出用于使对象的指定位置被提供给共享设备的示例过程400。过程400和贯穿本公开内容所描述的其他过程(包括过程500和600)被示为逻辑流程图中的框的集合，这表示可用硬件、软件或其组合实现的操作的序列。在软件的上下文中，各个框表示当由一个或多个处理器执行时使一个或多个处理器执行既定操作的计算机可执行指令。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序并不旨在被解释为限制，并且任何数量的所述框可以按任何次序和/或并行地组合以实现该过程。
在402，共享设备102和个体设备104可建立连接以允许在共享设备102和个体设备104之间的通信。例如，共享设备102可通过执行连接协议(诸如握手、信息配对、凭证交换等)来建立与个体设备104的连接。连接可由任一设备发起。在某些实施例中，在设备在彼此的预定距离内、彼此触碰等时，设备可发起连接。
在404，可将对象可从个体设备104传送到共享设备102并将其定位在显示器114上的初始对象位置(显示器上的位置)处。
在406，可响应于个体设备104和/或用户106的肢体的移动来更新对象位置。移动可由共享设备102、个体设备104、或两者检测。例如，用户110可相对于显示器114上的其它对象向上或向下移动。例如，共享设备102可使用传感器116来检测相对于传感器116、显示器114、或其它位置的移动。个体设备110可基于来自传感设备326(其可基于与显示器114相关联的参考特征来检测移动)的信息来确定距离。
在408，对象位置可响应于触发事件而被锁定，且对象110可显示在显示器114上被锁定的对象位置处。在某些实施例中，在对象位置被锁定后，用户106可编辑对象110，例如，以改变和/或添加朝向、大小、对比度、或注释，这结合图7更详细讨论。在某些实施例中，对象在被锁定后可基于另一命令被再次移动。
图5示出用于使对象的指定位置被提供给计算设备的示例500过程，其中共享设备102检测个体设备104或用户的位置。
在502和504，共享设备102和个体设备104可建立连接以允许在共享设备102和个体设备104之间的通信。例如，共享设备102可通过执行连接协议(诸如握手、信息配对、凭证交换等)来建立与个体设备的连接。该连接可由任一设备发起。在某些实施例中，在设备在彼此的预定距离内、彼此触碰等时，设备可发起连接。
在506，个体设备104可接收对对象110的选择。例如，用户106可通过用一个或多个手指和/指示笔来触摸与个体设备104相关联的屏幕来选择对象110。在某些实例中，对对象110的选择可通过对来自用户106的音频输入进行语音识别来实现。在508，对象110可被传送到共享设备102。
当在510接收到对象后，共享设备102可在512将对象110显示初始对象位置处。在某些实例中，初始对象位置可基于预定义规则或上下文(诸如共享设备102或个体设备104正在操作的任务)来确定。
在514，共享设备102可检测与个体设备104和/或用户106相关联的位置(即，控制位置)。例如，共享设备102的传感器116可使用运动传感器来跟踪个体设备104或与个体设备104相关联的用户肢体。
在516，响应于与个体设备104相关联的控制位置的改变，共享设备102可在显示器114上移动对象110。
在518，共享设备102可确定触发事件是否已经发生。触发事件可以是信号、在预定量时间内没有移动、一定量时间的期满等。如果触发事件发生，那么个体设备104可在522将在520生成的命令传送到共享设备。在接收该命令后(即，操作518的“是”分支)，共享设备102可在524锁定对象位置并将对象110显示在显示器的被锁定的位置处。然而，如果触发事件不需要命令，那么对象可在操作524被锁定无需操作520和522的发生。
如果没有接收到停止信号(即，操作518的“否”分支)，那么操作514-516可由循环过程来执行。
图6示出用于使对象的指定位置被提供给计算设备的示例600过程，其中个体设备104向共享设备102提供位置信息。
在602和604，共享设备102和个体设备104可建立连接以允许在共享设备102和个体设备104之间的通信。例如，个体设备104可通过执行连接协议(诸如握手、信息配对、凭证交换等)来建立与个体设备的连接。连接可由任一设备发起。在某些实施例中，在设备在彼此的预定距离内、彼此触碰等时，设备可发起连接。
在606，个体设备104可接收对对象110的选择，其可在608被传送到共享设备102并在610由共享设备102接收。
在612，个体设备104可在共享设备102的显示器114上定位对象位置。在某些实施例中，对象位置可包括对象110相对于显示器114的参考特征的位置。例如，通过将显示器114示为由相机捕捉的背景图像，个体设备104可允许用户106确定对象110被放置在显示器114上的何处。
在614，个体设备104可响应于个体设备104和/或用户106的肢体的移动来更新对象位置。
在616，共享设备104可将与对象位置和/或经更新的对象位置相关联的信息传送到共享设备102。当在618接收到信息后，共享设备102可将对象110显示在显示器114上的经更新对象位置处。
在618，个体设备104可确定触发事件是否已经发生。触发事件可以是信号、在预定量时间内没有移动、一定量时间的期满等。如果触发事件发生，那么个体设备104可在620将命令传送到共享设备。在接收该命令后(即，操作618的“是”分支)，共享设备102可在624锁定对象位置并将对象110显示在显示器的被锁定的位置处。如果触发事件尚未发生(即，操作618的“否”分支)，那么操作612-516可由循环过程来执行。
说明性界面
图7示出了用于编辑传送到共享设备102的对象的示例用户界面(UI)700。UI 700可由共享设备102或个体设备104呈现。尽管图7示出了一个示例UI，可以理解，可采用多个其它图形或非图形用户界面来编辑传送到共享设备102的对象。
UI 700可包括一个或多个选项部分，例如，对象朝向702、对象大小704、对象对比度610、和注释712。在对象110被锁定在显示器114的对象位置处后，用户106可选择一个或多个选项部分来编辑对象110。在某些实施例中，一个或多个选项部分可被显露并被一次循环一个来允许用户106选择这些选项部分之一。
在某些实施例中，用户106可选择被锁定的对象110，并接着执行与对象110相关联的操作(例如，编辑或移除)。在某些实施例中，为了方便对象选择，响应于触发事件，诸如接收到信号(例如，初始化信号等)、预定时间量的到期、和/或其它触发事件，显示器114可在特定位置示出阴影。在某些实例中，用户106可通过将阴影移动到对象110上(例如，通过个体设备104)、做手势(例如，抓起)、和/或执行与个体设备104相关联的操作来选择对象110。在其它实例中，用户106可通过将阴影移动到对象110上并保持预定时间段(例如，3秒钟)来选择对象110。
在某些实例中，如果对象朝向702被选择，则用户可改变对象110的朝向，如710中所示。例如，用户可通过将个体设备旋转到对应于期望的朝向的某一度数来控制对象110的朝向。
在某些实例中，对象大小704被选择，用户可改变对象110的大小，如712中所示。例如，用户可通过更移近显示器或相对于用户106的初始位置进一步移离显示器114来增大对象110的大小。
类似地，如果对象对比度706和注释708之一被选择，则用户可改变对象110的对比度或添加与对象110相关联的注释，如714和716分别所示的。
在某些实施例中，对象110的特征(例如，语义)和/或与对象110相关联的操作(例如，锁定操作，和编辑操作)可以取决于一个或多个用户、他们的设备、和共享显示器(或其它资源)之间的距离和/或相对身体朝向。例如，用户106在不面对传感器116或显示器114时可具有受限或有限定的操作可用。例如，对用户106可用的操作可基于传感器116和用户106或个体设备104之间的距离来确定。例如，对用户106可用的操作可基于用户106相对于传感器116的朝向来确定。
结语
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，这些具体特征和动作是作为实现权利要求的示例形式而公开的。

Claims (10)

1.一种用于共享对象的计算机实现的方法，其特征在于，所述方法包括：
由共享设备从个体设备接收所述个体设备处用户选择的用于复制到所述共享设备的对象；
由所述共享设备使用所述共享设备的传感器检测所述个体设备的控制位置；
响应于由所述共享设备的所述传感器检测到所述个体设备的所述控制位置的改变，更新呈现在所述共享设备的显示器上的所述对象的对象位置；以及
响应于触发事件，将所述对象锁定在所述显示器上的经更新的对象位置处。
2.如权利要求1所述的计算机实现的方法，其特征在于，进一步包括：
在从所述个体设备接收所述对象之前，基于所述显示器和所述个体设备之间的距离或操作所述个体设备的用户相对所述显示器的朝向来建立与个体设备的连接；以及
在所述显示器上的初始位置处显示所述对象。
3.如权利要求1所述的计算机实现的方法，其特征在于，进一步包括：
基于所述个体设备的移动或与所述个体设备相关联的用户肢体的姿势来编辑所述对象。
4.一种用于共享对象的计算机实现的方法，其特征在于，所述方法包括：
从个体设备将用户选择的用于复制到共享设备的对象传送到所述共享设备；
将对象位置信息传送到所述共享设备，所述对象位置信息包括所述对象相对于所述共享设备的显示器的参考特征的对象位置；以及
将命令传送到所述共享设备，使得所述共享设备响应于预定时间量的到期将所述对象锁定在所述显示器上特定对象位置处。
5.如权利要求4所述的方法，其特征在于，还包括：响应于信号，向所述共享设备传送将所述对象锁定在用户界面上的特定位置处。
6.如权利要求4所述的方法，其特征在于，所述对象位置信息至少部分由所述个体设备的相机来确定。
7.如权利要求6所述的方法，其特征在于，所述对象位置信息包括用要被定位在所述共享设备上的所述对象的图像覆盖的由所述相机捕捉的图像。
8.一种共享设备，所述共享设备包括：
一个或多个处理器；
通信地耦合到所述一个或多个处理器的运动检测传感器；
显示器；以及
存储器，所述存储器维持可由所述一个或多个处理器执行的多个组件，所述多个组件包括：
通信模块，所述通信模块建立与个体设备的连接，并从所述个体设备接收对象，所述对象已经在所述个体设备处被用户选择用于复制到所述共享设备，传感器模块，所述传感器模块使用所述运动检测传感器来检测所述个体设备的控制位置，以及
位置模块，所述位置模块响应于所述个体设备的所述控制位置的改变来更新呈现在所述显示器上的对象的对象位置，并响应于触发事件将所述对象锁定在呈现在所述显示器上的所述对象位置处。
9.如权利要求8所述的共享设备，其特征在于，所述多个组件还包括显示模块，所述显示模块在所述对象被接收后在所述对象被锁定前将所述对象呈现在所述显示器上的初始位置处，并在所述对象被锁定后将所述对象呈现在所述显示器上被锁定的对象位置处。
10.如权利要求8所述的共享设备，其特征在于，所述多个组件还包括编辑模块，所述编辑模块基于所述个体设备的移动或与所述个体设备相关联的用户肢体的姿势来编辑所述对象。
CN201480012096.1A 2013-03-04 2014-03-03 使对象的指定位置被提供给设备 Active CN105190469B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361772458P 2013-03-04 2013-03-04
US61/772,458 2013-03-04
US13/830,124 US10139925B2 (en) 2013-03-04 2013-03-14 Causing specific location of an object provided to a device
US13/830,124 2013-03-14
PCT/US2014/019766 WO2014137857A1 (en) 2013-03-04 2014-03-03 Causing specific location of an object provided to a device

Publications (2)

Publication Number Publication Date
CN105190469A CN105190469A (zh) 2015-12-23
CN105190469B true CN105190469B (zh) 2019-05-28

Family

ID=51420726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480012096.1A Active CN105190469B (zh) 2013-03-04 2014-03-03 使对象的指定位置被提供给设备

Country Status (6)

Country Link
US (2) US10139925B2 (zh)
EP (1) EP2965164B1 (zh)
JP (1) JP6433923B2 (zh)
KR (1) KR102213090B1 (zh)
CN (1) CN105190469B (zh)
WO (1) WO2014137857A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762851B1 (en) * 2016-05-31 2017-09-12 Microsoft Technology Licensing, Llc Shared experience with contextual augmentation
KR101788248B1 (ko) * 2017-03-02 2017-10-20 주식회사 미래엔 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법
CN108572749A (zh) * 2017-03-14 2018-09-25 中兴通讯股份有限公司 一种终端控制方法和系统、设置适配装置、及移动终端
US11079995B1 (en) 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
KR102629412B1 (ko) * 2019-01-04 2024-01-26 삼성전자주식회사 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법
US10852915B1 (en) 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541256A (zh) * 2010-10-28 2012-07-04 微软公司 具有视觉反馈的位置知晓姿势作为输入方法
CN102609186A (zh) * 2010-12-10 2012-07-25 微软公司 访问信息并与其进行交互

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03216720A (ja) * 1990-01-22 1991-09-24 Fujitsu Ltd デジタイザによる座標入力方法
US5818425A (en) * 1996-04-03 1998-10-06 Xerox Corporation Mapping drawings generated on small mobile pen based electronic devices onto large displays
US7145551B1 (en) * 1999-02-17 2006-12-05 Microsoft Corporation Two-handed computer input device with orientation sensor
ATE256305T1 (de) 1999-09-30 2003-12-15 Matsushita Electric Works Ltd Vorrichtung zum entwurf visueller informationen, welche auf einer monitoreinheit wiedergegeben werden, die mit einer programmierbaren steuerung in verbindung steht
US7046213B2 (en) * 2002-06-05 2006-05-16 Ibm Apparatus and method for direct manipulation of electronic information
US7027035B2 (en) * 2002-10-07 2006-04-11 Hewlett-Packard Development Company, L.P. Image copy to a second display
JP2005190158A (ja) 2003-12-25 2005-07-14 Nippon Telegr & Teleph Corp <Ntt> 画面上オブジェクト選択方法及び画面上オブジェクト選択装置
CN101213550B (zh) 2005-06-30 2011-09-28 诺基亚公司 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
TWI316195B (en) * 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8391786B2 (en) * 2007-01-25 2013-03-05 Stephen Hodges Motion triggered data transfer
US8438480B2 (en) 2007-03-26 2013-05-07 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for tracking an input device using a display screen in captured frames of image data
EP2063350A1 (en) * 2007-11-20 2009-05-27 Samsung Electronics Co., Ltd. Method and apparatus for interfacing between devices in home network
WO2009129419A2 (en) * 2008-04-16 2009-10-22 Emil Stefanov Dotchevski Interactive display recognition devices and related methods and systems for implementation thereof
KR101520746B1 (ko) * 2009-01-07 2015-05-15 삼성전자주식회사 입력 장치 및 디스플레이 장치
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US20100201879A1 (en) * 2009-02-12 2010-08-12 Echostar Technologies L.L.C. Customizable Picture-in-Picture
US8566713B2 (en) * 2009-08-20 2013-10-22 Samsung Electronics Co., Ltd. Data transfer method and system
JP5343773B2 (ja) 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8457651B2 (en) 2009-10-02 2013-06-04 Qualcomm Incorporated Device movement user interface gestures for file sharing functionality
KR20110069526A (ko) 2009-12-17 2011-06-23 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US20110225553A1 (en) * 2010-03-15 2011-09-15 Abramson Robert W Use Of Standalone Mobile Devices To Extend HID Capabilities Of Computer Systems
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
US20130023341A1 (en) * 2010-03-30 2013-01-24 Capcom Co., Ltd. Program and recording medium on which the program is recorded
US8447070B1 (en) 2010-04-19 2013-05-21 Amazon Technologies, Inc. Approaches for device location and communication
AU2011202838B2 (en) * 2010-12-21 2014-04-10 Lg Electronics Inc. Mobile terminal and method of controlling a mode screen display therein
US8725133B2 (en) * 2011-02-15 2014-05-13 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US20130027315A1 (en) * 2011-07-25 2013-01-31 Arther Sing Hook Teng Techniques to display an input device on a mobile device
US20130141331A1 (en) * 2011-12-02 2013-06-06 Htc Corporation Method for performing wireless display control, and associated apparatus and associated computer program product
KR20130137459A (ko) * 2012-06-07 2013-12-17 삼성전자주식회사 디스플레이 장치, 디스플레이 장치를 제어하기 위한 사용자 단말 및 그 제어 방법
US9256299B2 (en) * 2012-08-28 2016-02-09 Hewlett-Packard Development Company, L.P. Client device orientation
US9513795B2 (en) * 2012-11-29 2016-12-06 Blackberry Limited System and method for graphic object management in a large-display area computing device
US9075514B1 (en) * 2012-12-13 2015-07-07 Amazon Technologies, Inc. Interface selection element display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541256A (zh) * 2010-10-28 2012-07-04 微软公司 具有视觉反馈的位置知晓姿势作为输入方法
CN102609186A (zh) * 2010-12-10 2012-07-25 微软公司 访问信息并与其进行交互

Also Published As

Publication number Publication date
CN105190469A (zh) 2015-12-23
KR20150128765A (ko) 2015-11-18
US10139925B2 (en) 2018-11-27
JP2016513833A (ja) 2016-05-16
US20190050068A1 (en) 2019-02-14
US10416783B2 (en) 2019-09-17
US20140247207A1 (en) 2014-09-04
JP6433923B2 (ja) 2018-12-05
EP2965164B1 (en) 2019-12-18
WO2014137857A1 (en) 2014-09-12
EP2965164A1 (en) 2016-01-13
KR102213090B1 (ko) 2021-02-04

Similar Documents

Publication Publication Date Title
US11620791B2 (en) Rendering 3D captions within real-world environments
US11823341B2 (en) 3D object camera customization system
US11151792B2 (en) System and method for creating persistent mappings in augmented reality
CN105190469B (zh) 使对象的指定位置被提供给设备
US10275046B2 (en) Accessing and interacting with information
US11810220B2 (en) 3D captions with face tracking
US11381756B2 (en) DIY effects image modification
CN108694073B (zh) 虚拟场景的控制方法、装置、设备及存储介质
US11908093B2 (en) 3D captions with semantic graphical elements
US20230089838A1 (en) Rendering 3d captions within real-world environments
CN110007822A (zh) 一种界面显示方法及终端设备
WO2021254113A1 (zh) 一种三维界面的控制方法和终端
CN110231910A (zh) 一种控制方法及终端设备
Abidin et al. A framework of adaptive multimodal input for location-based augmented reality application
CN114327197A (zh) 消息发送方法、装置、设备及介质
KR20120001477A (ko) 휴대 단말기 및 그 동작 방법
US20240146835A1 (en) Virtual devices in the metaverse
US20230254448A1 (en) Camera-less representation of users during communication sessions
CN117289785A (zh) 一种数字模型操作方法、设备、介质以及程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171016

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant