CN103718136B

CN103718136B - 触摸智能瞄准

Info

Publication number: CN103718136B
Application number: CN201180072826.3A
Authority: CN
Inventors: J.安德森; E.C.布朗; J.蒂德; G.普雷多维奇; B.E.詹姆斯; F.苏; M.利佩特; M.阿格拉瓦尔
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-08-12
Filing date: 2011-10-10
Publication date: 2018-07-10
Anticipated expiration: 2031-10-10
Also published as: US20130038540A1; WO2013025228A1; KR101872560B1; CN103718136A; JP2014526107A; US10140011B2; EP2742405A1; EP2742405A4; KR20140047126A; JP5847939B2

Abstract

用户输入能够指示用户瞄准显示器上的位置的意图。为了基于用户输入确定瞄准点，计算设备能够接收至少一个点的指示、宽度的指示、以及高度的指示。计算设备能够基于该至少一个点的指示、宽度的指示、以及高度的指示估计显示器的部分。计算设备还能够基于该至少一个点的位置和基于一个或多个对象的部分在显示器的所估计部分内的位置确定瞄准点。

Description

触摸智能瞄准

背景技术

本申请的主题涉及用户与所显示的用户接口的交互。计算机系统能够包含诸如键盘、监视器和鼠标之类的外围设备，其允许用户与计算机系统交互并且控制用户接口的各方面。诸如鼠标、指示笔等等之类的一些外围设备允许用户做出精确的输入来控制所显示的用户接口。然而，在某些实例中诸如触摸屏显示器、触摸板、运动敏感相机等等之类的其它设备对用户而言更易使用但用户输入则不精确得多。触摸屏显示器、触摸板和类似的用户输入设备能够被包含在任何数目的设备中，比如监视器、膝上型计算机、台式计算机、蜂窝式电话、销售站点亭等等。

实施不同的触摸屏、触摸板和运动敏感相机设备的问题在于如何确定用户意图瞄准什么对象。当鼠标被用于控制用户接口时，鼠标指针指示屏上的特定点。由鼠标指针指示的点比将用户手指置于触摸屏时精确得多。然而，对诸如蜂窝式电话、平板计算机等等之类的某些设备而言使用鼠标是不理想或不可行的。相对于鼠标，触摸屏显示器则较难精确。当用户触摸到触摸屏显示器时，用户意图瞄准什么点可能是不清楚的，因为用户的手指比触摸屏显示器上的任意一点都大得多或者手指可能遮盖感兴趣元素的良好视野从而增加了用户精确度错误。

发明内容

本文公开的发明旨在基于显示器上示出的对象确定瞄准点。在一个实施例中，基于显示器上示出的对象确定瞄准点的方法包含接收第一点的指示、宽度的指示，以及高度的指示，基于第一点的指示、宽度的指示以及高度的指示估计显示器的部分，确定一个或多个对象的至少部分位于显示器的所估计的部分内，并且基于第一点的位置和基于在显示器的所估计的部分内的该一个或多个对象的所述部分从该一个或多个对象中确定瞄准对象。用户输入可以是触摸屏显示器的触摸、触摸板设备的触摸、由运动敏感相机感测的手势、或其它用户输入设备。

在另一实施例中，系统包含被配置成显示一个或多个对象的显示设备以及接受以下配置的计算设备：即被配置成接收第一点的指示、第二点的指示、宽度的指示和高度的指示，基于第二点的指示、宽度的指示以及高度的指示估计显示器的部分，确定一个或多个对象的至少部分位于显示器的所估计的部分内，以及基于第一点的位置和基于在显示器的所估计的部分内的该一个或多个对象的部分从该一个或多个对象中确定瞄准对象。

在又一个实施例中，计算机可读介质包含有指令，指令包含接收第一点的指示、第二点的指示、宽度的指示和高度的指示，基于第二点的指示、宽度的指示以及高度的指示估计显示器的部分，确定一个或多个对象的至少部分位于显示器的所估计的部分内，以及基于第一点的位置和基于在显示器的所估计的部分内的该一个或多个对象的部分从该一个或多个对象中确定瞄准对象。

附图说明

图1描绘了其中本发明的实施例可以被实施的示例通用计算环境。

图2A-2B描绘了计算设备和触摸屏显示器的示例实施例。

图3A-3C描绘了触摸屏显示器和与该触摸屏显示器的示例用户交互的示例实施例。

图4A-4D描绘了由触摸屏显示器提供的数据的实施例和估计用户手指与触摸屏显示器之间的接触区域的实施例。

图5A-5D描绘了与触摸屏显示器的示例用户交互和估计用户与触摸屏显示器之间的接触区域的实施例。

图6A-6D描绘了由触摸屏显示器提供的数据的附加实施例和估计显示器的一部分的实施例。

图7A-7F描绘了确定所瞄准的点的各种实施例。

图8A-8D描绘了确定所瞄准的点的附加实施例。

图9A-9B描绘了刻画出多个架构的触摸屏显示器的实施例和当用户与触摸屏显示器之间的被估计接触区域在显示器的所估计的部分跨及多个架构的多个部分时确定瞄准点的实施例。

图10A-10B描绘了用户触摸到触摸屏显示器并且移动介于用户与触摸屏之间的接触点而同时保持与触摸屏显示器接触的实施例。

图11描绘了根据确定瞄准对象的实施例的方法的表示。

图12描绘了导致瞄准点的确定的一系列示例事件的表示。

图13描绘了确定计算设备是否使用由显示器报告的几何图形来估计显示器的部分或者计算设备是否使用仿真的几何图形来估计显示器的部分的方法。

具体实施方式

本发明的实施例可以运行在一个或多个计算机系统上。图1和下面的讨论旨在提供其中本发明的实施例可以被实施的合适的计算环境的简要的一般说明。

图1描绘了示例通用计算系统。通用计算系统可以包括包含处理单元21的常规计算机20或其类似物。处理单元21可以包括一个或多个处理器，其中的每一个都可以具有一个或多个处理核。多核处理器(具有多于一个处理核的处理器被经常称作此类处理器)包括被包含在单个芯片封装内的多个处理器。

计算机20还可以包括图形处理单元(GPU)90。GPU 90是专用微处理器，其被最优化成操作计算机图形。处理单元21可以将工作卸载到GPU 90。GPU 90可以自带图形存储器和/或可以访问系统存储器22的部分。与处理单元21相同，GPU 90可以包括一个或多个处理单元，每个具有一个或多个核。

计算机20还可以包括系统存储器22以及当系统在工作状态中时将包含系统存储器22的各种系统组件通信耦合到处理单元21的系统总线23。系统存储器22能够包含只读存储器(ROM)24和随机存取存储器(RAM)25。含有诸如在启动期间帮助在计算机20内的各元件之间传送信息的基本例程的基本输入/输出系统26(BIOS)被存储在ROM 24中。系统总线23可以是包含存储器总线或存储器控制器、外围总线或局部总线的若干类型的总线结构中的任何一种，其实施各种总线架构中的任何一种。被耦合到系统总线23的可以是被配置成从独立于处理单元21的存储器读出和/或写入该存储器的直接存储器存取(DMA)控制器。附加地，诸如存储驱动器接口(I/F)32或磁盘驱动器接口33之类的连接到系统总线23的设备可以被配置成同样从独立于处理单元21的存储器读出和/或写入该存储器，而不使用DMA控制器。

计算机20可以进一步包含用于从硬盘(未示出)或固态盘(SSD)(未示出)读出和写入硬盘或固态盘的存储驱动器27、用于从可拆除磁盘29读出或写入该可移动磁盘的磁盘驱动器28，以及用于从诸如CD ROM或其它光学媒体之类的可拆除光盘31读出或写入该可移动光盘的光盘驱动器30。存储驱动器27、磁盘驱动器28以及光盘驱动器30被示出为分别通过存储驱动器接口32、磁盘驱动器接口33以及光盘驱动器接口34连接到系统总线23。驱动器和它们相关联的计算机可读存储媒体提供用于计算机20的计算机可读指令、数据结构、程序模块和其它数据的非易失性存储。

尽管本文描述的示例环境描绘了诸如硬盘、可拆除磁盘29和可拆除光盘31之类的存储媒体，但是本领域技术人员应当理解的是那些存储媒体在各种实施例中可以不存在或者不必要。而且，可以采用能够存储计算机可访问数据的其它类型的计算机可读媒体，比如闪存卡、数字视频盘或数字多功能盘(DVD)、随机存取存储器(RAM)、只读存储器(ROM)等等也可以被使用在示例工作环境中。一般而言，这样的计算机可读存储媒体可以在一些实施例中使用来存储包含本公开内容的各方面的处理器可执行指令。计算机20还可以包括经由小型计算机系统接口(SCSI)总线56连接到存储设备62的主机适配器55。

包括计算机可读指令的多个程序模块可以被存储在诸如硬盘、可拆除磁盘29、可拆除光盘31、ROM 24或RAM 25之类的计算机可读媒体上，程序模块包含操作系统(OS)35、一个或多个应用程序36、其它程序模块37以及程序数据38。一旦由处理单元运行，计算机可读指令导致在下文中更详细地加以描述的动作被执行或者导致各种程序模块被实例化。用户可以通过诸如键盘40和定点设备42之类的输入设备向计算机20输入命令和信息。定点设备42可以是鼠标、触摸板、触摸屏、感测用户移动的相机等等。其它输入设备(未示出)可以包含麦克风、操纵杆、游戏垫、圆盘式卫星天线、扫描仪或其类似物。这些和其它输入设备通常通过被耦合到系统总线的串行端口接口46连接到处理单元21，但是可以通过其它接口比如并行端口、游戏端口或通用串行总线(USB)之类来连接。显示器47或其它类型的显示设备也可以经由诸如视频适配器48之类的接口连接到系统总线23。除了显示器47之外，计算机典型地包含诸如扬声器和打印机之类的其它外围输出设备(未示出)。

计算机20可以工作在使用到诸如远程计算机49之类的一个或多个远程计算机的逻辑连接的联网环境中。远程计算机49可以是另一台计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并且典型地可以包含上面关于计算机20所描述的元件中的许多或全部，尽管在图1中仅仅已图示了存储器存储设备50以及应用36’。在图1中描绘的逻辑连接可以包含局域网(LAN)51和广域网(WAN)52。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是普遍的。

当被使用在LAN联网环境中时，计算机20能够通过网络接口或适配器53连接到LAN51。当被使用在WAN联网环境中时，计算机20能够典型地包含用于在诸如因特网之类的广域网52上建立通信的调制解调器54或其它装置。调制解调器54(其可以是内部的或外部的)能够经由串行端口接口46连接到系统总线23。在联网环境中，关于计算机20或其部分所描绘的程序模块可以被存储在远程存储器存储设备中。将理解所示出的网络连接是示例性的并且可以使用在计算机之间建立通信链路的其它装置。

在计算机20被配置成工作于联网环境的实施例中，OS 35被远程地存储在网络上，并且计算机20可以网络启动这一远程存储的OS而不是从本地存储的OS启动。在实施例中，计算机20包括瘦客户机，其中OS35小于完全的OS，而是被配置成处理联网以及诸如在显示器47上显示输出的内核。

现在参考图2A，所描绘的是移动计算设备200的实施例。移动计算设备200可以是蜂窝式电话、个人数字助理或其它类似的设备。移动计算设备200可以包含外壳210内的计算设备(未示出)。在移动设备200中的计算设备类似于关于图1所描述的计算机20，并且可以包含计算机20的组件中的一些或全部，比如处理单元21、系统存储器22、存储驱动器27等等。外壳210可以包含多个按钮211。移动计算设备200还可以包含触摸屏显示器220。触摸屏显示器220是定点设备的实施例，类似于上面关于图1所描述的定点设备42。触摸屏显示器220能够同时显示可交互对象221和不可交互对象222。触摸屏显示器220可以由用户触摸来指示要执行的期望动作，比如选择对象221中的一个等等。触摸屏显示器220可以是电容性触摸屏显示器或电阻性触摸屏显示器。

现在参考图2B，所描绘的是系统200的实施例。系统200包含计算机260和监视器270。计算机260类似于关于图1所描述的计算机20，并且可以包含计算机20的组件中的一些或全部，比如处理单元21、系统存储器22、存储驱动器27等等。监视器270还可以包含触摸屏显示器271。触摸屏显示器271是定点设备的实施例，类似于上面关于图1所描述的定点设备42。触摸屏显示器271能够显示两个对象272。触摸屏显示器272可以由用户触摸来指示要执行的期望动作，比如选择对象272中的一个等等。

现在参考图3A，所描绘的是正在显示三个对象301、302和303的触摸屏显示器300的实施例。在图3A中所示出的实施例中，用户用手指310触摸到触摸屏显示器300。图3A中的描绘示出了对于使用触摸屏显示器的用户而言的难点之一。当用户尝试触摸到触摸屏显示器300时，用户手指310遮盖了将被触摸的触摸屏显示器300的部分。因为用户对触摸屏显示器的视野被遮盖，所以用户并不准确地知道实际上被触摸的是触摸屏显示器300的哪个部分。

现在参考图3B，所描绘的是触摸屏显示器300和用户手指310的视图，其中用户手指310被示出为透明的。当用户触摸到触摸屏显示器300时，触摸屏显示器300确定触摸点320。触摸点320是触摸屏显示器300解释的用户通过触摸到触摸屏显示器300已经瞄准的点。触摸屏显示器300能够在用户触摸到触摸屏显示器300时向计算设备发送触摸点320的指示。触摸点320的指示可以采取笛卡尔坐标(x,y)、极坐标(r,θ)的形式或在二维平面上指定点的任何其它形式的信息。

现在参考图3C，所描绘的是示出对象301、302和303以及触摸点320的触摸屏显示器300的视图。同样描绘了其中用户手指310实际接触到触摸屏显示器300的实际接触区域330的轮廓。在用户与触摸屏显示器之间的接触区域能够覆盖多个对象的部分。在图3C描绘的示例中，实际接触区域330覆盖了对象301、302和303中的每一个的部分。然而，由触摸屏显示器300确定的触摸点320不位于对象301、302和303中的任何一个上。因此，在图3A-3C描绘的示例中，虽然用户手指310实际上在三个对象301、302和303中的每一个的部分上触摸到了触摸屏显示器300，但是触摸点320实际上并不位于任何一个对象上。计算设备能够能够将触摸点解释为用户在与触摸屏显示器接触时瞄准的点。在这样的情况中，计算设备将不把用户对触摸屏显示器300的触摸解释为瞄准对象301、302和303中的任何一个，因为触摸点320所在的位置不在对象301、302和303的任何一个上。

正如关于图3A-3C所描述的，触摸屏显示器能够探测用户对触摸屏显示器的触摸并且能够基于用户的触摸确定触摸点。触摸屏显示器能够向计算设备提供笛卡尔坐标(x,y)形式的接触点的指示。图4A描绘了当触摸屏显示器不向计算设备提供触摸点T的指示之外的任何信息时对计算设备可用的信息。正如所描绘的，当触摸屏显示器不向计算设备发送触摸点T的指示之外的任何信息时，计算设备不知道除了触摸点T在笛卡尔平面上的位置之外的任何关于用户对触摸屏显示器的触摸的更多信息。

图4B描绘了能够由触摸屏显示器提供的数据的另一实施例。除了提供触摸点T的指示之外，触摸屏显示器还能够提供中心点C的指示。中心点C可以是在触摸屏显示器与用户手指之间的接触区域的中心点的近似。相反地，触摸点T是由触摸屏显示器选择作为用户意图瞄准的点的估计的点。如在图4B中所描绘的中心点C和触摸点T可以是不同的位置，或者它们可以是相同的位置。在实施例中，触摸点T的位置可以基于中心点C的位置和固定偏移来确定。例如，触摸点T的位置可以被确定为中心点C的位置上方两毫米的位置。

图4C描绘了能够由触摸屏显示器提供的数据的另一实施例和基于用户与触摸屏显示器之间的接触估计显示器的部分的实施例。在图4C描绘的实施例中，触摸屏显示器向计算设备提供触摸点T的指示、中心点C的指示、高度H的指示以及宽度W的指示。触摸点T和中心点C可以类似于关于图4A和4B所描述的那些点。宽度可以是介于用户触摸到触摸屏显示器的最左边的点与用户触摸到触摸屏显示器的最右边的点之间的水平距离。类似地，高度可以是介于用户触摸到触摸屏显示器的最上边的点与用户触摸到触摸屏显示器的最下边的点之间的竖直距离。计算设备能够基于中心点C的指示、高度H的指示以及宽度W的指示估计用户手指与触摸屏显示器之间的显示器410的部分。在图4C描绘的实施例中，显示器410的所估计的部分是以中心点C为中心的具有宽度W和高度H的矩形。尽管显示器410的所估计的部分的矩形形状可能不是用户手指与触摸屏显示器之间的接触区域的准确形状，但是它是能够被用来确定瞄准对象的实际接触区域的估计，正如在下文中更详细地讨论的那样。尽管显示器410的所估计的部分可以以中心点C为中心(如图4C所绘)，但是对于显示器410的所估计的部分而言以触摸点T为中心也是可能的。在后一种情况中，对于计算设备，基于触摸点T的指示、高度H的指示以及宽度W的指示确定显示器的所估计的部分是可能的。

图4D描绘了估计显示器的部分的另一实施例。触摸屏显示器向计算设备提供触摸点T的指示、中心点C的指示、高度H的指示以及宽度W的指示。在这个实施例中，计算设备估计显示器420的部分，该部分是以中心点C为中心的具有宽度W和高度H的椭圆形。显示器420的所估计的部分的椭圆形形状可能是对用户手指与触摸屏显示器之间的实际接触区域比图4C中的矩形近似更加接近的近似。然而，显示器420的椭圆形估计部分仍然是对用户手指与触摸屏显示器之间的实际接触区域的近似。除了图4C中所描绘的矩形和图4D中所描绘的椭圆形之外的其它形状可以被用来估计显示器的部分或者估计用户手指与触摸屏显示器之间的接触区域。

现在参考图5A-5D，所描绘的是用户手指与触摸屏显示器之间的接触的两个实例，以及由计算设备对显示器的部分的相应估计。在图5A中，用户手指510在靠近用户手指510的尖端处接触触摸屏显示器520。在诸如这个实施例之类的条件下，对于用户手指510与触摸屏显示器520之间的接触区域而言可能宽度比高度大。图5B描绘了计算设备对用户手指510与触摸屏显示器520之间的显示器的部分530的估计。计算设备能够从触摸屏显示器520接收触摸点T的指示、中心点C的指示、高度H的指示以及宽度W的指示。由于用户手指510与触摸屏显示器520之间的接触区域的宽度大于高度，因此H的值大于W的值。由于H的值大于W的值，因此计算设备能够估计显示器的宽度大于高度的椭圆形部分530。

在图5C中，用户手指540接触触摸屏显示器550，其更加接近用户手指540的指肚部分。在这些条件下，对于用户手指540与触摸屏显示器550之间的接触区域而言高度大于宽度是可能的。图5D描绘了计算设备对如图5C所描绘的用户手指540与触摸屏显示器550之间的显示器的部分的估计。计算设备能够从触摸屏显示器550接收触摸点T的指示、中心点C的指示、高度H的指示以及宽度W的指示。由于用户手指540与触摸屏显示器550之间的接触区域的高度大于宽度，因此W的值大于H的值。由于W的值大于H的值，因此计算设备能够估计显示器的高度大于宽度的椭圆形部分560。

尽管已经关于触摸屏显示器描述了本发明的多个实施例，但是本发明的其它实施例是可能的。在一个实施例中，用户能够与触摸板设备交互来提供用于控制所显示的用户接口的输入。触摸板能够基于用户对触摸板的触摸向计算设备发送点的指示、宽度的指示和高度的指示。计算设备能够基于点的指示、宽度的指示以及高度的指示估计所显示的用户接口的部分。在另一实施例中，用户能够与运动敏感相机交互来控制在电视上显示的用户接口。运动敏感相机能够基于用户的位置、运动或手势向计算设备发送点的指示、宽度的指示以及高度的指示。计算设备能够基于点的指示、宽度的指示以及高度的指示估计在电视上显示的用户接口的部分。在另一实施例中，用户能够与使用电容性笔的触摸屏显示器交互。触摸屏显示器能够基于电容性笔对触摸板的触摸向计算设备发送点的指示、宽度的指示以及高度的指示。

图6A-6D描绘了触摸屏显示器能够提供给计算设备的数据的另外的实施例，以及估计显示器的部分的实施例。在这些实施例中，计算设备能够从触摸屏显示器接收触摸点T的指示、中心点C的指示、高度H的指示、宽度W的指示以及角度θ的指示。角度θ表示用户的手指相对于笛卡尔平面中的方向之一接触到触摸屏的角度的近似。在图6A-6B所描绘的实施例中，角度θ表示用户的手指相对于y轴接触到触摸屏的角度的近似。然而，本领域的一个普通技术人员将认识到角度θ可以是用户的手指相对于笛卡尔平面中的任何轴或线的角度。

在图6A中，计算设备将显示器的部分610估计为具有宽度W和高度H的矩形。显示器的矩形估计部分610以中心点C为中心并且绕中心点C旋转角度θ。在图6B中，计算设备估计了显示器的部分620是具有宽度W和高度H的椭圆形。显示器的椭圆形部分620以中心点C为中心并且绕中心点C旋转角度θ。正如在图6A和6B二者中所描绘的，触摸点T不需要绕中心点C旋转角度θ。

在图6C中，计算设备估计了显示器的部分630是内切于矩形631内的椭圆形。矩形631具有宽度W和高度H并且以中心点C为中心。矩形631的长边平行于y轴。显示器的椭圆形部分630具有位置相对于y轴成角度θ的长轴632和垂直于长轴632的短轴633。正如图6C中所描绘的，触摸点T可以绕中心点C旋转角度θ。图6D描绘了在图6C中所描绘的显示器的椭圆形部分630。如在图6D中所描绘的显示器的椭圆形部分630具有宽度W'和高度H'，其不同于矩形631的宽度W和高度H。内切于矩形631内部的显示器估计部分不限于是显示器椭圆形估计部分。对于计算设备，估计内切于矩形631内的显示器矩形部分或显示器估计部分的任何其它形状也是可能的。

在其它实施例中，对于计算设备，以其它方式估计显示器的部分是可能的。在一个实施例中，计算设备能够简单地估计用户与显示器之间的接触区域的宽度和高度以便估计显示器的部分。在另一实施例中，计算设备能够对根据先前高度和宽度的指示的高度和宽度进行平均，并且使用那些平均高度和宽度来估计显示器的部分。

现在参考图7A-7F，所描绘的是确定瞄准点的各种实施例。图7A描绘了通过找到对象与显示器的所估计的部分之间的交叉而对瞄准点的确定。正如所描绘的，对象711的部分与显示器的所估计的部分710交叉，但是触摸点T不位于对象711上。虽然触摸点T不位于对象711上，但是计算设备能够确定瞄准点S位于对象711上，因为对象711是与显示器的所估计的部分710交叉的唯一对象。瞄准点S(也被称作抓取点)表示通过用户对触摸屏显示器的触摸瞄准的瞄准对象711上的位置。

图7B描绘了通过找到触摸点被包含在对象内而对瞄准点的确定。正如所描绘的，对象721的一部分和对象722的一部分与显示器的所估计的部分720交叉。触摸点T位于对象721上。计算设备能够确定瞄准点S位于与触摸点T相同的位置处，因为对象721是包含触摸点T的唯一对象。

图7C描绘了通过使用与对象相关联的等级对瞄准点和瞄准对象的确定。正如所描绘的，对象731的一部分和对象732的一部分与显示器的所估计的部分730交叉。对象732还与对象731重叠并且触摸点T位于对象731和732二者上。因为触摸点T位于对象731和732二者上，瞄准位置S可以被确定为在触摸点T的位置处。等级可以是与对象731和732中的每一个相关联的。当对象重叠时并且当瞄准位置S位于重叠的对象(比如在图7C中所描绘的对象731和732)上时，计算设备能够基于对象731和732中的每一个的等级确定对象731和732中的哪一个是瞄准对象。对象731和732的等级可以是基于对象731和732的几何形状、是基于用户将选择对象731和732中的每一个的可能性，或者是任何其它形式的等级排序。对象731和732的等级还可以由操作系统、应用、或其它工作在计算系统上的组件提供。

图7D描绘了当触摸点不明确时对瞄准点的确定。当触摸点不位于对象上但是多个对象至少部分地位于显示器的所估计的部分内时，触摸点是不明确的。如在图7D中所描绘的对象741、742和743中的每一个的部分位于显示器的所估计的部分740内。然而，触摸点T不位于对象741、742和743中的任何一个上。为了解决哪个位置是瞄准点的不明确性，计算设备可以确定触摸点T和对象741、742和743中的每一个之间的距离。计算设备可以单独地基于距离做出确定，或者计算设备可以加权那些距离。那些距离可以通过与对象741、742和743中的每一个相关联的等级、对象741、742和743中的每一个的形状、对象741、742和743中的每一个位于显示器的所估计的部分740中的部分等等中的一个或多个被加权。在图7D所描绘的实施例中，计算设备确定了瞄准点S位于对象741上。对瞄准点S的确定可以是基于触摸点T与对象741之间的距离短于触摸点与对象742和743之间的距离中的任一个距离。

图7E描绘了利用鸟枪法来解决不明确的触摸点而对瞄准点的确定。在图7E所描绘的实施例中，对象751、752和753中的每一个的部分都位于显示器的所估计的部分750内；然而，触摸点T不位于对象751、752和753中的任何一个上。计算设备能够使用在显示器的所估计的部分内的多个点754并且确定位于对象751、752和753内的点754的数目。在图7E所描绘的实施例中，相比于对象751和753内，更多的点754位于对象752内。基于点754的位置，计算设备能够确定在这个实施例中瞄准点S位于对象752上。

图7F描绘了利用对象重叠法来解决不明确的触摸点而对瞄准点的确定。在图7F所描绘的实施例中，对象761、762和763中的每一个的部分都位于显示器的所估计的部分760中；然而，触摸点T不位于对象761、762和763中的任何一个上。计算设备能够确定对象761、762和763中的每一个位于显示器的所估计的部分760内的部分的尺寸。在图7F所描绘的实施例中，相比于对象761和763位于显示器的所估计的部分760内的部分，对象762有更多部分位于显示器的所估计的部分760内。基于对象761、762和763位于显示器的所估计的部分760内的部分，计算设备能够确定在这个实施例中瞄准点S位于对象762上。

现在参考图8A-8D，所描绘的是触摸屏显示器的实施例和对瞄准点的确定的实施例。在图8A中所描绘的是其中正在显示三个对象801、802和803的触摸屏显示器800。响应于用户对触摸屏显示器800的触摸，触摸屏显示器向计算设备发送点810的指示、宽度的指示以及高度的指示。点810可以是触摸点或中心点。触摸屏显示器800可以是诸如监视器之类的计算设备的外围设备的一部分，或者触摸屏显示器可以与计算设备一起集成地形成，诸如蜂窝式电话或平板计算机的情形之类。在计算设备接收点810的指示、宽度的指示和高度的指示之后，计算设备能够估计用户与触摸屏显示器800之间接触的显示器的部分811。

图8B描绘了基于用户与触摸屏显示器800之间的接触所估计的显示器的部分811，连同位于显示器的所估计的部分811内的对象801和803的部分以及点810。点810位于对象801上。因为点810位于一个对象801上，所以计算设备能够确定瞄准点位于与点801相同的位置处。

图8C描绘了基于不明确的点对瞄准点的确定。如图8C中所描绘的，点820是不明确的，这是因为多个对象801、802和803的至少部分被包含在显示器的所估计的部分821中，但是触摸点820不位于对象801、802和803中的任何一个上。计算设备能够基于点820与对象801、802和803中的每一个部分之间的距离确定瞄准点822的位置。在图8C所描绘的实施例中，相比于对象802和803中的任何一个，触摸点820距离对象801的位置更近。在这里所描绘的实施例中，计算设备确定瞄准点822位于对象801上，因为对象801与点820之间的最短距离短于点820与对象802和803之间的最短距离。

在另一实施例中，计算设备加权触摸点810与对象801、802和803中的每一个之间的距离中的每一个。权重可以是基于对象801、802和803在显示器的所估计的部分821内的特征。例如，触摸点T位置最接近于对象801和802的边缘角，并且触摸点T位置最接近于对象803的一侧。如果确定相比于对象的边缘角用户更可能选择对象的长边缘，则计算设备能够将较大的权重赋予点820与对象803之间的距离。类似地，如果确定相比于对象的长边缘用户更可能选择对象的边缘角，则计算设备可将较大的权重赋予点820与对象801和802之间的距离。权重还可以是基于用户将选择某些对象的可能性。例如，相比于对象801或803用户更加可能选择对象802。在这种情况下，相比于赋予点820与对象801和803之间的距离的权重，计算设备可以赋予点820与对象802之间的距离更大的权重。权重还可以是基于每个对象位于显示器的所估计的部分811内的部分。例如，如在图8C中所描绘的那样，对象803占据显示器的所估计的部分812的将近一半，而对象801和802占据显示器的所估计的部分812的小得多的部分。在这种情况下，相比于赋予点820与对象801和802之间的距离的权重，计算设备可以赋予点820与对象803之间的距离更大的权重。

在图8D中所描绘的是触摸屏显示器800的另一实施例。在该实施例中，触摸屏显示器800被描绘为显示三个对象801、802和803。同样描绘的是点830和显示器的所估计的部分831。点830不位于对象801、802和803的任何一个之上。然而，对象801的一部分与显示器的所估计的部分831交叉。在一个实施例中，计算设备确定瞄准点832位于对象801上，因为对象801与显示器的所估计的部分831交叉并且对象801是部分位于显示器的所估计的部分831内的唯一对象。

现在参考图9A，所描绘的是包含外壳910和触摸屏显示器920的设备900。设备900可以是诸如监视器之类的显示器设备，其连接到计算设备。设备900还可以在外壳910内包含计算设备，比如蜂窝式电话或平板计算机之类。正如在图9A中所描绘的，触摸屏显示器920显示操作系统930、web浏览器940以及被嵌入在由web浏览器940显示的网页内的媒体播放器950。操作系统930、web浏览器940以及媒体播放器950中的每一个是单独的架构。每个架构可以包含对象。例如，在图9A所描绘的实施例中，操作系统930包含图标931和932，web浏览器940包含按钮941，并且媒体播放器950包含按钮951。

正如上面所描述的，计算设备能够基于对象将被瞄准的可能性确定许多对象中的哪个是所瞄准的对象。在一个实施例中，每个架构能够为计算系统提供针对架构内的一些或所有对象的等级。例如，操作系统930能够提供针对图标931的等级和针对图标932的等级，web浏览器940能够提供针对按钮941的等级，并且媒体播放器950能够提供针对按钮951的等级。对于一些架构而言提供针对对象的等级同样是可能的，而其它架构不提供针对对象的等级。例如，在一个实施例中，操作系统930和web浏览器940提供针对它们的对象中的每一个的等级，而媒体播放器950不提供针对它的任何对象的等级。

现在参考图9B，所描绘的是被描绘在图9A中的触摸屏显示器的部分。同样在图9B中描绘了触摸点960和显示器的所估计的部分961。正如上面所描述的，显示器的所估计的部分961能够由计算设备基于从触摸屏显示器920接收的点的指示、宽度的指示以及高度的指示来确定。正如所描绘的，多个对象的部分位于显示器的所估计的部分961内，包含操作系统930的图标931和图标932的部分，web浏览器940的按钮941、竖直边缘942、水平边缘943以及边缘角944的部分，以及媒体播放器950的按钮951的部分。

计算设备能够基于对象在显示器的所估计的部分961内的部分的位置确定瞄准点962在显示器的所估计的部分961内的位置。例如，计算设备能够确定瞄准点962位于距离触摸点960最近的对象上。然而，某些情形下基于距离的确定可能会有问题。正如在图9B中所描绘的竖直边缘942与图标931重叠，使得竖直边缘942和图标931与触摸点960的距离基本上相等。解决这样的问题的一种方式是根据与每个对象相关联的等级加权触摸点与每个对象之间的距离。正如上面所讨论的，每个架构可以提供针对对象的等级给计算系统。当架构不提供针对对象的等级时，可以分配等级给该对象。为未设等级的对象分配等级确保每个对象将具有与它相关联的等级以用于基于等级确定瞄准对象。正如在图9B所描绘的实施例中所示出的，瞄准点962位于图标931上。

现在参考图10A和10B，所描绘的是设备1000的两个实例和用户触摸到触摸屏显示器并且移动用户与触摸屏之间的接触点而同时保持与触摸屏显示器接触的实施例。设备1000可以包含外壳1010和触摸屏显示器1020。触摸屏显示器1020显示操作系统1030和web浏览器1040。web浏览器1040的边缘角1041是一旦被选择就允许用户通过从一个位置向另一个位置拖动用户手指来重置web浏览器1040尺寸的对象。同样在图10A和10B中描绘了触摸点1050和显示器的所估计的部分1051。图10A描绘了当用户触摸到触摸屏显示器1020时的时间点，并且图10B描绘了稍后的时间点。在图10A所描绘的时间与图10B所描绘的时间之间，横扫触摸屏显示器1020地拖动用户的手指来重置web浏览器1040的尺寸。在图10A所描绘的时间点，计算设备能够确定web浏览器的边缘角1041是瞄准点位于边缘角1041上，尽管触摸点不位于边缘角1041上。触摸点和瞄准点的位置差异由偏移1052表示。正如图10B中所描绘的，在横扫触摸屏显示器1020地拖动用户的手指时维持偏移1052。在一个实施例中，触摸点1050与瞄准点1041之间的偏移1052在图10A中所描绘的时间确定，此时用户接触到触摸屏显示器。当用户移动用户与触摸屏之间的接触点时(诸如用户横扫触摸屏拖动手指等此类方式)，只要用户保持与触摸屏显示器的接触则偏移即被维持。

正如上面所提到的，本发明的一个实施例包含用户与运动敏感相机交互来控制被显示在电视上的用户接口。在这样的实施例中，运动敏感相机能够基于用户的位置或用户的动作识别用户输入。从用户输入，运动敏感相机能够确定瞄准点、用户交互的中心点、用户交互的宽度以及用户交互的高度。运动敏感相机能够向计算设备发送瞄准点的指示、中心点的指示、宽度的指示以及高度的指示。根据上面描述的方法，计算设备能够基于接收到的瞄准点的指示、中心点的指示、宽度的指示以及高度的指示确定瞄准对象。

图11描绘了根据本发明的实施例的方法的表示。步骤1110，接收至少一个点的指示、宽度的指示以及高度的指示。至少一个点的指示可以包含中心点的指示，以及触摸点的指示、另一点的指示、或其任何组合。步骤1120，基于至少一个点的指示、宽度的指示以及高度的指示估计显示器的部分。步骤1130，确定位于显示器的所估计的部分内的对象的部分。步骤1140，基于至少一个点的位置和基于对象在显示器的所估计的部分内的部分，确定瞄准对象。

图12描绘了导致对瞄准点的确定的一系列示例事件的表示。步骤1210，用户触摸到触摸屏显示器。步骤1220，触摸屏显示器基于用户对触摸屏显示器的触摸确定点、宽度和高度。步骤1230，触摸屏显示器向计算设备发送点、高度和宽度的指示。步骤1240，计算设备接收发送到计算设备的点、高度和宽度的指示。步骤1250，计算设备基于点、高度和宽度的指示估计显示器的部分。步骤1260，计算设备确定一个或多个对象的至少部分位于显示器的所估计的部分内。步骤1270，计算设备基于点的位置和基于一个或多个对象位于显示器的所估计的部分内的部分确定瞄准点。

现在参考图13，所描绘的是确定是否使用由显示器设备提供的高度的指示和宽度的指示或者是否使用仿真的几何图形的方法。仿真的几何图形指的是除了使用由显示器设备提供的几何图形之外而由计算设备使用来估计显示器的部分的几何图形。例如，仿真几何图形可以是计算设备对用户与显示器之间的接触区域的宽度和高度的估计以便估计显示器的部分。在另一个示例中，仿真几何图形可以源自高度和宽度的先前指示，比如先前高度指示的平均高度和先前宽度指示的平均宽度等等。

正如在图13中所描绘的，步骤1305，显示器设备能够向计算设备报告触摸信息。触摸信息可以包含触摸点、中心点、宽度的指示、以及高度的指示中的一个或多个。步骤1310，计算设备能够确定触摸信息是否包含高度的指示和宽度的指示(H,W)。步骤1315，如果触摸信息不包含(H,W)，则计算设备使用仿真几何图形来确定显示器的部分。步骤1320，如果触摸信息包含(H,W)，则计算设备可以确定(H,W)是否不是零值(0,0)。步骤1325，如果(H,W)不等于(0,0)，则计算设备能够确定(H,W)的值是否落入预先确定的范围内。预先确定的范围可以是被看作是(H,W)的有效值的范围。步骤1330，如果(H,W)的值落入预先确定的范围，计算设备能够使用(H,W)的值来估计显示器的部分。步骤1335，如果(H,W)的值落在预先确定的范围之外，计算设备能够使用仿真几何图形来估计显示器的部分。步骤1340，在(H,W)的值等于(0,0)的情况下，计算设备能够确定(H,W)的值是否通过注入被设置。步骤1345，如果(H,W)的值通过注入被设置，计算设备能够使用仿真几何图形来估计显示器的部分。步骤1350，如果(H,W)的值没有通过注入被设置，计算设备不估计显示器的部分并且不继而确定瞄准点。

尽管已经结合如各附图所图示的优选方面描述了本发明，但是应理解，可以使用其它类似的方面或者可以对所描述的方面进行修改和添加来用于执行本发明公开的相同功能而不脱离本发明。因此，本发明公开不应被限于任何单个方面，而是应在依据所附的权利要求的广度和范围内被理解。例如，本文所描述的各种过程可以用硬件或软件、或二者组合来实施。本发明可以用计算机可读存储媒体和/或计算机可读通信媒体来实施。因此，本发明、或者其特定方面或部分可以采取被包含在诸如软盘、CD-ROM、硬盘驱动器、或任何其它机器可读存储介质之类的有形媒体中的程序代码(即指令)的形式。当程序代码被加载到诸如计算机之类的机器并由其运行时，该机器变成被配置用于实践所公开的实施例的装置。由对本文所公开的说明书的考虑可知，除本文明确陈述的具体实施方式之外的其它方面和实施方式将对本领域技术人员是显然的。说明书和所图示的实施方式旨在仅作为示例考虑。

Claims

1.一种基于用户输入确定在显示器上示出的瞄准点的方法，该方法包括：

接收至少一个点的指示、宽度的指示、以及高度的指示；

基于该至少一个点的指示、宽度的指示、以及高度的指示估计该显示器的部分；

确定一个或多个对象的至少部分位于该显示器的所估计的部分内；

基于该至少一个点的位置和基于该一个或多个对象在该显示器的所估计的部分内的部分来确定该一个或多个对象的该瞄准点；

其中当两个或更多个对象位于所估计的显示部分内、并且在所估计的显示部分内第二对象包含的部分比所估计的显示部分内第一对象包含的部分更大时，确定所述瞄准点包括：确定所述至少一个点位于第二对象内，以及确定第一对象不包含所述至少一个点；

确定该至少一个点与该一个或多个对象的该瞄准点之间的偏移，其中该偏移表示该至少一个点与该一个或多个对象的该瞄准点之间的距离；

接收该至少一个点的位置的改变的指示；以及

改变该一个或多个对象的尺寸或位置以使得该至少一个点与该一个或多个对象的该瞄准点之间的偏移被保持。

2.权利要求1的方法，其中所述一个或多个对象包括在第一架构中的第一对象和在第二架构中的第二对象。

3.权利要求2的方法，其中由所述第一架构提供与所述第一对象相关联的第一等级。

4.权利要求3的方法，进一步包括：

为所述第二对象分配第二等级。

5. 权利要求4的方法，进一步包括：

基于所述第一等级加权所述至少一个点与所述第一对象之间的距离；以及

基于所述第二等级加权所述至少一个点与所述第二对象之间的距离；

其中确定所述瞄准点包括基于所述至少一个点与所述第一对象之间的加权距离和基于所述至少一个点与所述第二对象之间的加权距离确定所述瞄准点。

6. 一种用于基于用户与设备的交互确定瞄准点的系统，包括：

显示器设备，其被配置成显示一个或多个对象；以及

计算设备，其被配置成：

接收至少一个点的指示、宽度的指示、以及高度的指示；

基于该至少一个点的位置和基于该一个或多个对象在该显示器的所估计的部分内的部分确定该一个或多个对象的该瞄准点；

接收该至少一个点的位置的改变的指示；以及

7.权利要求6的系统，其中所述计算设备进一步被配置成基于所述至少一个点与所述一个或多个对象在所述显示器的所估计部分内的每一个部分之间的距离确定所述瞄准点。

8.权利要求7的系统，其中所述计算设备进一步被配置成基于与所述一个或多个对象中的每个相关联的等级确定所述瞄准点。

9.一种用于基于用户对触摸屏显示器的触摸确定瞄准点的方法，包括：

接收至少一个点的指示、宽度的指示、以及高度的指示；

基于该至少一个点的位置和基于该一个或多个对象在该显示器的所估计部分内的部分确定该一个或多个对象的该瞄准点；

接收该至少一个点的位置的改变的指示；以及

10.权利要求9的方法，其中估计所述显示器的部分包括：将所述显示器的所述部分估计为内切于以所述至少一个点为中心的矩形内部的椭圆，该矩形具有对应于所述高度的指示的高度和对应于所述宽度的指示的宽度。