CN103620620B - 在设备交互中使用空间信息 - Google Patents

在设备交互中使用空间信息 Download PDF

Info

Publication number
CN103620620B
CN103620620B CN201280031631.9A CN201280031631A CN103620620B CN 103620620 B CN103620620 B CN 103620620B CN 201280031631 A CN201280031631 A CN 201280031631A CN 103620620 B CN103620620 B CN 103620620B
Authority
CN
China
Prior art keywords
user
equipment
information
movement
relative position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280031631.9A
Other languages
English (en)
Other versions
CN103620620A (zh
Inventor
丹尼斯·霍奇
艾伦·Mk·韩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN103620620A publication Critical patent/CN103620620A/zh
Application granted granted Critical
Publication of CN103620620B publication Critical patent/CN103620620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/16—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring distance of clearance between spaced objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

通过利用预测的相对于用户的相对位置，可以降低电子设备跟踪和/或与所述用户交互所需要的资源量。在某些实施方案中，利用至少一个图像捕获元件进行完整360°扫描以定位所述设备的用户的主方向。一旦该方向被确定，可以利用居中在该方向周围的较小范围(例如，45°)来捕获、分析或为所述用户提供信息。随着所述用户的移动，所述确定的方向被更新且所述范围被相应调整。如果所述用户移动到所述范围之外，所述设备可以增加所述范围的大小，直到所述用户被定位且所述范围可以再次减小到所述确定的方向的周围。这种方法限定了跟踪用户的所述相对位置所必须捕获和/或分析的图像或音频信息量。

Description

在设备交互中使用空间信息
背景
人们正越来越多地依赖电子设备完成多种不同的任务。因此，用户有越来越多的方式与设备交互来执行这些任务。在某些情况下，电子设备可以记录对应于设备用户的音频或视频信息，并且可以执行例如图像识别或语音分析的过程。在许多这样的情况下，设备必须捕获和分析对应于所述设备周围大区域或范围的信息。如果所述设备仅对这个区域一部分的信息感兴趣，所述设备会消耗大量资源捕获和/或分析整个区域上的信息。这样的消耗特别是对于使用电池电力运行的便携式设备会有很多问题，这是由于过多的资源使用会不必要地耗尽电池电量，和/或减缓设备的功能。
附图简述
将参考随附绘图描述根据本公开的各个实施例，其中：
图1示出根据各个实施例的环境，其中电子设备能够捕获所述设备周围的大方向范围内的信息；
图2示出根据各个实施例的环境，其中电子设备能够利用对所述设备是已知的空间信息，捕获较小方向范围内的信息；
图3(a)-3(c)示出根据各个实施例，可以被用于调节所述设备的一个或多个方面的电子设备的示例性移动；
图4(a)-4(e)示出根据各个实施例，可以利用的示例性角度范围；
图5示出根据各个实施例，示例计算设备的前视图和后视图，所述计算设备包括可以使用的用以捕获音频和视频信息的元件；
图6示出例如在图5中示出的计算设备的示例性组件；
图7(a)和7(b)示出根据各个实施例，利用可以利用的空间信息调节电子设备的功能方面的示例性过程；以及
图8示出可以在其中实施各个实施例的环境。
详述
根据本公开的各个实施例的系统和方法可以克服前述以及其它在电子环境中以常规方法提供功能时所遇到的一个或多个不足。尤其是，通过跟踪用户、人或其它关注对象的相对位置，设备可以减少在不同情况下必须捕获和/或处理的信息量。例如，通过基于所述相对位置确定用户主方向，设备可以将关注范围限制在一定角度范围或该主方向周围的其它部位或区域。所述主方向和关注范围可以更新，以作为对所述用户和/或设备所做移动的响应。减少将被捕获和/或处理的信息量的能力可以减少所需要的资源量，以及完成这些任务所需要的能量。此外，聚焦于关注区域的能力有助于摒弃多余的或不相关的数据，例如，其可以进一步提高准确性和/或减少误报或其它意外结果的可能性。
在一个实施例中，一个或多个图像捕获元件可以执行360°扫描，或者可以捕获所述设备周围基本上所有方向的图像信息，如此以定位至少一个用户或其它关注对象。一旦所述用户被定位，所述设备可以利用更小的角度范围跟踪所述用户的相对位置。例如，根据例如采样率的方面，所述设备可以捕获例如45°范围内的图像信息，这可能只需要单一的图像捕获元件，或所述设备可以分析大区域全部捕获信息的一部分，例如45°。类似的方法可用于捕获例如音频或生物学信息，以及投射例如音频或图像数据的信息。
在某些实施例中，设备可以将最新的移动信息(例如，位置或方位的改变)存储在缓冲器中。在适当的时候，例如在移动结束后，存储器中的信息可以被分析，并与已知的路径或移动类型做比较。所述路径可以用来确定所述用户的可能相对位置，以便可以用较小的角度范围来定位移动后的用户。进一步地，如果路径类型从匹配过程确定，所述设备可以激活或执行特定功能，例如当用户将设备从口袋中掏出并将所述设备放在水平表面上时，可以激活触摸输入和屏幕显示。
以下将相对于各个实施例阐述各种其它应用、处理和用途。
图1示出示例情形100，其中两个人102、104位于电子设备106附近。设备106可以执行相对于这些人员中的一人或多人的任意多项功能，例如当其中的一人说话时，记录音频，捕获当前说话者的视频信息，或执行所述人员中至少一人相对于所述设备的位置跟踪。在所述设备尝试跟踪特定用户的相对位置的情况下，例如在本示例中的人员102，所述设备可以利用至少一个摄像机108或其它此类成像元件捕获所述设备周围的角度范围110内的图像信息。在本示例中，所述设备捕获设备周围完整360°范围内的信息。所述设备可以使用具有广角或鱼眼镜头的单一摄像机、单一可旋转的摄像元件、多个摄像机等。一旦图像信息在全角度范围内被捕获，对所述图像信息进行分析，以尝试识别用户102，例如通过在捕获的图像信息上执行面部识别。如本领域所知，利用大图像进行面部识别属于处理器非常密集型，这会阻塞所述设备上的资源，降低所述设备的性能，并消耗大量电池电量。
图2示出示例情形200，其中电子设备206可以利用对所述设备为已知或由所述设备确定的信息降低跟踪用户202的相对位置所需要的处理量。在本示例中，所述设备可以利用一个或多个方位、位置和/或移动确定因素，确定所述设备在最近一段时间内(例如若干秒内)没有明显移动。所述设备206也可以利用用户202的最后已知相对位置来确定用户202的可能位置范围。例如，利用上述关于图1所讨论的至少一个成像元件208，设备可以完成初始的360°扫描，以确定出于人员202和204以及可视范围内的任何其它对象，用户202被定位在相对于设备206的特定相对方位。如果所述设备未移动，且所述设备以足够高的频率跟踪所述用户的位置，例如每秒或每两秒至少一次，则该用户很可能位于之前确定的位置附近。
由于所述设备假定在大多数情况下，所述用户可能只相对于所述设备移动得那么快，所述设备可以基于用户202的可能相对位置，通过调节图像捕获和/或处理，从而减少所需的处理量。例如，如果用户位于相同位置，或距离之前确定的位置没有明显移动，则用户很可能仍位于所述设备视角给定的最后位置范围内。因此，所述设备可以减少检测可能需要的角度范围。在本示例中，角度范围210基本上小于360°，例如90°或者120°。由于所述设备未移动，所以所述用户很可能位于之前位置该范围内的某个地方(例如，+/-60°)，所述设备可以专注于在该范围内进行捕获和/或处理。
由于任何原因，不同实施例和情况之间可以降低的范围量会不同。在本示例中，用户202的被检测面部会占用图像信息的角度范围的大约5%。在某些实施例中，在给定所述设备捕获率的情况下，所述设备可能确定所述用户最多可能会移动到被检测角宽度的三倍，所以+/-15°的范围可能足够。在其它实施例中，例如+/-25°的固定范围可能被用到。在本文其它地方讨论的捕获率有所不同的实施例中，所述角度范围可以相应调整。
在某些实施例中，所述捕获率和/或范围可能会基于检测到的用户的移动而改变。例如，如果所述用户至少在最后十秒内没有移动，那么可以假设所述用户不大可能在当前捕获与下一次捕获之间移动，使得捕获频率可以降低且/或角度捕捉范围可以减小。如果所述用户频繁移动，捕捉频率和/或角度范围可能会增加，以提高在跟踪过程中所述用户不会丢失的可能性。应当理解，除了捕获频率变化以外，或替代捕获频率以外，所述捕获频率可能保持不变，但基于这些或其它此类因素，对捕获信息进行分析的频率可能改变。
在某些实施例中，所述设备将以符合实践的小范围开始例如+/-15°。如果所述用户的位置不能准确确定，所述设备可以逐渐增加范围，例如增加到+/-25°、+/-50°等，直到所述用户的位置可以确定。在至少某些实施例中，如果所述用户的位置至少暂时丢失，所述设备可能尝试另一个全范围扫描，直到所述用户的位置被确定，然后缓慢减小角度范围，直到所述用户的相对位置(相对于所述设备)相对一致，或改变至少不超出多次捕获或分析之间的角度范围。各种其它信息和/或方法也可以在各个实施例的范围内使用。
除了基于用户或对象的移动跟踪和预测所述用户或其它对象相对于所述设备的可能相对位置或方向以外，设备还可以至少部分地基于所述设备自身的移动预测可能的位置或方向。例如，考虑在图3(a)中示出的情形300。在本示例中，用户302最初在他的口袋里有一个电子设备304。所述设备可以基于例如一段时间内的方位以及处于具有很少光的位置的信息，能够确定其所在位置，例如口袋中，就像可以由光传感器或其它此类元件确定一样。当用户302想观看所述设备时，或以其它方式使所述设备变成可用时，所述用户可以将所述设备从所述用户的口袋中的位置304(a)取出，并将所述设备移动到所述用户面前的位置304(b)，例如桌面306上。所述设备可以使用一个或多个元件，例如加速计和/或陀螺仪，确定所述设备从口袋行进到桌面的路径308。基于所述路径，所述设备能够将所述路径与库或其它类似路径的行为组做比较，以确定所述用户可能已将所述设备从口袋取出并将所述设备放在表面上。不过即使没有这样的匹配过程，当所述设备放置在桌面上时，所述设备也可能(基于行进路径)确定所述用户相对于所述设备的位置。例如，如果所述路径在所示图的平面中，那么所述用户很可能位于所示图的平面中的路径结束的方向。在另一个方法中，所述设备可以确定其移动路径，并确定所述用户很可能位于或接近所述路径开始的点。
通过得知所述路径开始的位置304(a)和所述路径结束的位置304(b)，所述设备可以确定所述用户很可能位于相对于当前位置304(b)的位置304(a)的大致方向。根据所述情形，所述设备还可以确定相对于位置304(a)的可能方向310，且能够更准确确定所述用户相对于所述设备的可能相对方向。例如，所述设备在所述用户口袋中的方位可以是若干不同方位中的任意一个，并且需要基于行进的路径等确定可能的方位。在例如关于图2所述的情形下，其中所述设备正在监测或提供用户302的信息，例如，所述设备能够以位置304(a)的方向周围的角度范围312开始。
在某些情况下，所述用户的相对方位可以更加清楚。例如，在图3(b)的情形320中，当所述用户将所述设备用作电话时，用户302将所述设备保持在靠近用户耳朵的位置304(a)。基于扬声器和麦克风的位置，以及光传感器或其它此类元件的状态，在所述用户在对所述设备讲话的时候，所述设备可以确定所述用户的相对方向324。当所述用户将所述设备放置在桌面306的位置304(b)时，所述设备可以利用所述方向信息和行进路径322的知识确定用户302的可能方向，且可以利用可能包括所述用户当前位置的初始角度范围326。
在某些情况下，所述设备的移动可能更加简单。例如，在图3(c)的情形340中，所述设备初始处于第一位置304(a)，且相对于用户302的方位是在确定的方向344。所述用户可以沿一定路径滑动和旋转所述设备到第二位置304(b)，使得所述用户可以更好地观看所述设备上的显示等。通过得知移动的初始方向344和路径342(包括方位以及位置的改变)，处于第二位置304(b)的所述设备可以确定所述用户的可能方向，并且可以利用所述方向周围的适当角度范围346。
在某些实施例中，所述设备可以连续跟踪和更新位置信息，且可以存储所述位置改变的信息。在某些实施例中，这些移动可以被实时确定和分析。在其它实施例中，电子设备可以包括缓冲器或其它此类高速缓冲存储器或存储最近一段时间(例如最后十秒)的位置和/或方位的队列。如果所述设备处于可以受益于位置或方位变化相关信息的模式或状态，那么所述设备可以从缓冲器提取信息，并分析在该段时间内的变化。十秒的缓冲可能足以确定在图3(a)-3(c)中的每个的路径，使得所述设备可以确定所述用户的可能方向。即使在所述设备之前不知道相对于所述用户的方向的情况下，如上所述的路径信息也可以用于确定可能的方向，以便能够降低相对于所述用户(或其它对象等)所需要的处理量。
不过如上所述，有时候，对被跟踪用户或对象的预测方向是不准确的。例如，在图4(a)中，基于移动路径，电子设备404确定所述用户可能在已确定的方向414，而所述用户实际上处于不同的方向412。这可能会发生，例如当所述用户将电话从挂在椅子上的外套中拿出，而不是从所述用户正在穿的衣服口袋中取出。如图所示，所述设备可以利用已确定方向414周围的第一角度范围406，以尝试定位所述用户。当所述用户未被定位时，所述设备在已确定方向414周围尝试更宽的第二角度范围408。虽然看起来所述范围具有不同的长度，但应当理解，这仅仅是为了清楚显示所示图中的不同范围，且其主要的区别是角度扩散的范围不同。在本示例中，当用户402未被充分定位在第二角度范围时，所述设备可以移动到会包括所述用户的更宽的第三角度范围410。一旦实际方向412被确定，基于所述实际方向，新的角度范围可以被采用。在某些实施例中，所述设备可以继续扩大所述范围，直到全扫描被执行，或全角度范围被捕获和/或分析。
如上所述，在某些实施例中，设备可以扫描已确定的范围，以捕获所述范围内的图像信息。在其它实施例中，设备可以捕获大范围内的信息，但仅仅分析更小已确定范围内的信息。不过在所述设备具有多个捕获元件的情况下，所述设备可以代而选择性激活一个或多个元件，以捕获已确定方向中的信息。例如，考虑在图4(b)中的情形450。在本示例中，所述设备在设备454的角落具有四个捕获元件458、460、462、464(例如，用于音频和/或视频)。一旦相对于用户452的方向456被确定，所述设备可以将用户相对方向周围的范围与所述设备的当前方位做比较，以确定要激活的一个或多个捕获元件。例如，在图4(b)中，一个捕获元件464正指向用户452的方向，使得有效的观察角度462可以包括相对于所述用户的预测方向范围。如果捕获元件464的视野不足够，所述设备可能选择至少一个其它捕获元件(例如，元件462)也捕获信息，使得捕获关于所述用户的有用信息的可能性增加。在某些实施例中，各个捕获元件的图像或声音可以被合并，以改善识别。如果所述用户未被定位，被激活的捕获元件的数量可以增加，直到增加到所述设备上捕获元件的全部数量。基于被跟踪或以其它方式被定位的用户或其它对象的已确定方向，通过选择性激活一个或多个元件，所述设备可以至少部分地基于更少的当前有效元件保存资源。
在某些实施例中，所述角度范围可以被定向，使得所述设备周围区域的至少一部分被重叠覆盖。例如，图4(c)-4(e)示出一种情形480，其中计算设备482采用四个捕获元件492(或投影元件)，其视域或角度范围484、486、488、490部分重叠，如图4(c)的俯视图所示。在本示例中，每个捕获元件被定向，使得视域以适当的角度(例如距法线60°)对角跨越所述设备。如图4(d)所示，在设备482左上角的摄像机具有朝向所述设备右下角的视域490，且在图4(e)中，在设备482右下角的摄像机具有朝向所述设备左上角的视域484。通过使(本示例中)四个摄像机中的每一个被对角跨越所述设备定位，可以获得在基本上半球形覆盖区域上的大幅重叠量，如图4(c)所示。不过，应当理解，具有不同方位的不同数量的捕获元件也可用于所述各个实施例的范围内。
如上所述，设备的功能还可以基于已确定的路径或方位的改变而改变，其中在至少某些情况下，这可以表示所述设备状态的变化。例如，基于所述路径，设备可以确定所述设备很可能被从口袋取出并放在桌面上。在至少某些实施例中，这会促使所述设备激活或调节若干不同功能中的任意一个，例如开始捕获其环境周围的信息，在显示元件上显示信息，调节扬声器音量等。在某些实施例中，设备上的显示元件可以经配置仅在预定的视角范围内是可见的，起动态私隐屏幕的作用。如果所述设备能够确定在移动期间和/或移动后所述用户的相对位置，所述设备可以确保所述视角被调节，以便被引导主要朝向所述用户，即使所述用户和/或设备可能相对于彼此移动或改变方位。
在一个示例中，被从口袋取出并放置在用户视线内的设备可以经配置向所述用户显示信息，例如将要进行的会议的时间或信息。所述设备还会尝试定位所述用户，以便以能够被所述用户容易读取的方式显示信息，例如基于所述用户的相对方向进行旋转或倾斜。用于提供这种功能的方法可以参见2010年12月28日提交的题为“Low DistractionInterfaces”的共同待决的美国专利申请第12/980,150号，其通过引用并入本文。在某些实施例中，所述设备可以监测所述用户的位置，以通过例如图像识别或人眼检测尝试确定所述用户何时瞅向电话。由于这样的确定步骤可能为处理器非常密集型，并可能占用便携式设备的大量电量，因此，可能需要进一步限制需要分析的区域和/或信息量。在这种情况下，例如本文另处讨论的其中所述设备可以确定所述用户的可能方向并从而限制处理范围的那些过程可能是有益的。
而且，应当理解，多个人员或对象的相对方向可以被设备同时跟踪。例如，设备可能会处于所述设备要捕获附近目前正在讲话的人的音频和/或视频的模式。所述设备可能做初始的360°扫描，以定位附近的人员，并确定那些人中每个人的相对方向。在某些实施例中，所述设备可以对每个人执行图像识别，以尝试识别授权的用户，使得图像和/或音频捕获仅对授权用户执行。一旦每个人的相对方向被确定，利用本文另处讨论的方法，所述人员中每个人的适当捕获范围可以被确定。如果所述用户和/或设备未在移动，适当的跟踪频率可以被确定，例如，相对于每个用户的相对方向被确定，并以例如每10秒钟的次序更新。如果所述人员中的一个人移动，这个人的角度范围可以被增加，而未移动人员的范围保持不变。各种其它方法也可以在各个实施例的范围内使用。
在某些实施例中，其它动作可以被用于尝试确定用户的可能方向。例如，如果用户正将信息输入到设备中，例如输入密码或拨打电话号码，所述设备可以基于键的方位、显示或其它此类因素，至少部分地基于用户通常输入该信息的方向，确定所述用户的可能相对位置。
在至少某些实施例中，当设备相对静止时，例如被从口袋取出后放置在桌面上或插入充电器时，方向确定被执行。在其它实施例中，移动期间的位置信息的缓冲器可以被分析，以尝试确定移动的类型并激活相应的功能。例如，用户可以将设备从口袋取出并将所述设备保持在所述用户的手中玩游戏，这可能不需要所述设备是静止的。例如，当所述设备在用户口袋中时，如果触摸功能被禁用，与所述用户在移动而所述设备仍然在口袋时相反，确定所述设备正从口袋取出会促使所述触摸功能被激活。
在某些实施例中，基于若干因素中的任意一个，处理类型也可以改变。例如，设备可以在尝试定位授权用户时执行面部识别。一旦授权用户被定位，所述设备可以采用更小范围跟踪所述用户，且只要所述用户保持被跟踪，就可以不必执行面部识别。例如，所述设备可以使用处理器密集程度较低的算法定位用户的脸部或特征，但只要所述人员的相对位置对所述设备保持已知，所述设备就可以不必执行面部识别，或者仅仅定期或在所述用户和/或设备显著移动后检查。
在某些实施例中，设备可以存储或访问与所述设备移动匹配的路径或移动的图案或库。在至少某些实施例中，设备还可以随着时间推移学习移动。例如，库可以包括用户将设备从口袋取出的默认路径。如果一个用户总是将设备存放在前面的口袋中，一个用户通常将设备存放在后面的口袋中，另一个用户常常将设备存放在背包中，每个设备可以监测这些方面，并且要么更改现有路径，要么生成对应于所述设备如何被相应用户实际使用的新路径。如果路径库中不存在匹配路径，所述设备可以监测移动以及在移动前和/或移动后的使用，以尝试推断路径和/或动作，并生成要被添加到所述库中的新路径。在某些实施例中，所述设备可以监测所述设备如何被使用，并将特定动作与具体移动关联，而在其它实施例中，所述用户可以具有为给定移动输入或选择特定动作的选项。因此，所述设备可以有效学习具体路径或行为，且在某些实施例中可以定制路径以反映特定用户的具体移动。这会是有用的，这是由于，例如不同的用户在将电话放在所述用户的耳朵上或将设备从背包取出等时会使用不同的移动。
进一步地，如果用户在所述设备处于一个相对方位时经常移动，且在所述设备处于另一个相对方位时经常静止，则所述设备可以调节例如位置确定的默认角度范围和/或频率等方面。例如，对于给定的方位或情形，设备可以采用每秒十五次的采样率，而非每秒三十次的采样率。所述采样率也可以取决于其它因素，例如相对于所述设备的当前动作或事件。例如，如果所述设备接收到要被显示给所述用户的新消息，由于所述用户有可能朝所述设备移动以读取所述消息，所述采样率可能会增加。类似地，如果所述用户正在阅读电子书，并且有可能在一段较长的时间内不会移动，所述采样率可能会相应减少。
如上所述，各个实施例的优势可以被用于捕获更小范围或区域内的音频和/或视频信息，并/或分析所述信息。当从设备投影时，例如当将音频和/或视频信息投影为演示文稿的一部分，或当投射光或红外(IR)辐射以照射所述设备附近的对象或区域时，类似的方法可以被应用。例如，设备可以激活设备中最接近用户的一侧的扬声器，以能够潜在利用较低的音量，并降低激活扬声器的数量，其中每项措施都可以节约用电。在某些实施例中，具有多个投影仪的设备可以将信息(图像或其它)投射在朝向所述用户的方向，或在某些情况下基于所述用户的方向投射到与所述用户相反的方向。如果用户需要被照射以提供充分的图像捕获，例如环境光面部识别或基于IR的凝视或手势跟踪，那么照明的方向和/或用于照明的元件可以基于用户已确定的位置进行选择。其它过程，例如热检测、三维图像生成以及类似过程也可以利用本文所讨论的过程。
图5示出根据各个实施例可以使用的示例性计算设备500的前视图和后视图。虽然示出的为便携式计算设备(例如，智能电话、电子书阅读器或平板电脑)，但应当理解，根据本文讨论的各个实施例可以使用能够确定和处理输入的任何设备。所述设备可以包括例如台式计算机、笔记本电脑、电子书阅读器、个人数据助理、蜂窝电话、视频游戏控制台或控制器、电视机顶盒以及便携式媒体播放器等等。
在本示例中，计算设备500具有显示屏502，其在正常操作条件下会向面对所述显示屏的用户(例如，与显示屏相同位于所述计算设备的同一侧)显示信息。虽然本文另处讨论的计算设备可以包括一个(或不包括)图像捕获元件)，但本示例中的所述计算设备包括位于所述设备前面的两个图像捕获元件504和位于所述设备后面的至少一个图像捕获元件510。不过应当理解，所述图像捕获元件还可以或选择性地放置在所述设备的侧面或角落，并且可以具有相似或不同类型的任何适当数量的捕获元件。每个图像捕获元件504可以是例如摄像机、电荷耦合器件(CCD)、移动检测传感器或红外传感器，或其它图像捕获技术产品。所述计算设备还可以包括至少一个麦克风或能够捕捉音频数据(例如由所述设备用户说出的话语、接近所述设备的人哼唱的音乐、由附近的扬声器或其它此类部件产生的音频)的其它音频捕获元件，尽管音频元件在至少某些设备中不是必需的。在本示例中存在三个麦克风，一个麦克风508在所述设备的前侧，一个麦克风512在所述设备的后侧，以及一个麦克风506位于或靠近所述设备的顶部或侧面。在某些设备中，可以仅存在一个麦克风，而在其它设备中，可以在所述设备的每个侧面和/或角落或其它适当的位置存在至少一个麦克风。如上所述，所述设备可以利用图像捕获元件504和510中的至少一个的输出帮助确定用户或其它附近受关注人员或对象的大致方向、距离和/或相对位置。例如，如果所述用户将所述设备放置在桌面上，且所述用户正站立在所述设备的右侧，那么被捕获的图像信息可以被分析以确定所述用户的大致方向和/或位置，并且可以促使所述设备主要捕获该相对位置的图像信息。
图6示出计算设备600(例如关于图5所述的设备500)的基本组件的示例性设置。在本示例中，所述设备包括至少一个处理器602用于执行可存储在存储设备或元件604中的指令。正如本领域普通技术人员所显见，所述设备可以包括许多类型的存储器、数据储存器或计算机可读媒介，例如用于由处理器602执行的程序指令的第一数据储存器、用于图像或数据的相同或独立的储存器、用于与其它设备共享信息的可移动存储器以及用于与其它设备共享的任何数量的通信方法。所述设备通常包括某些类型的显示元件606，例如触摸屏、电子墨水(e-墨水)、有机发光二极管(OLED)或液晶显示器(LCD)，尽管例如便携式媒体播放器等设备可能通过其它方式(例如通过音频扬声器)传送信息。如上所述，许多实施例中的设备可以包括至少一个图像捕获元件608，例如能够对所述设备附近的用户、人员或对象进行成像的两个摄像机。图像捕获元件可以包括任何适当的技术，例如CCD图像捕获元件，其具有足够高的分辨率、焦距范围和可视区域，以便当所述用户正在操作所述设备时捕获用户的图像。利用计算设备的图像捕获元件捕获图像或视频的方法在本领域中是众所周知的，本文不再详细讨论。应当理解，图像捕获可以利用单一图像、多个图像、定期成像、连续图像捕获、图像流等执行。
进一步地，设备可以包括开始和/或停止图像捕获的能力，例如当接收到来自用户或应用程序的命令时，或再次尝试确定音频输入或其它设备时。在某些实施例中，设备可以包括红外检测器或移动传感器，例如，其可以被用于激活成像元件、图像分析等。例如，当房间内没有用户时，设备不会捕获和分析图像信息。例如，如果红外检测器(即，检测状态变化的具有单像素分辨率的检测器)检测到用户正在进入房间，所述设备可以激活摄像机以尝试定位所述用户，执行图像分析等。
所述设备可以包括能够接收用户常规输入的至少一个附加输入设备612。该常规输入可以包括例如按钮、触控板、触摸屏、滚轮、操纵杆、键盘、鼠标、轨迹球、按键板或用户可以向所述设备输入命令的任何其它此类设备或元件。在某些实施例中，这些I/O设备甚至也可以通过无线红外或蓝牙或其它链路连接。不过在某些实施例中，这类设备可以根本不包括任何按钮而是仅通过视频和音频命令的组合进行控制，使得用户在不必接触所述设备的情况下可以控制所述设备。
图7(a)示出根据各个实施例可能使用的用于捕获电子设备用户信息的过程700的示例。应当理解，对于本文讨论的任何过程，除非另有说明，在所述各个实施例的范围内，可以存在以类似、替代或平行次序执行的附加、更少或替代的步骤。在本示例中，位置确定模式在电子设备702上被激活。所述模式可以响应于动作或事件自动激活，可以在特定时间或位置一直激活，或可以由用户手动激活。所述设备可以确定其当前位置和/或方位，并监测随着时间704推移的位置和/或方位。如上所述，这可以包括在所述设备的缓冲器中(或远端)存储位置和/或方位信息以供随后分析。在某些点，位置、方位和/或地点的变化可以被确定满足特定标准706。例如，可以基于用户握持设备或将所述设备放置在口袋中假定一定的移动量，使得所述设备必须在一定时间段内移动更大量才可触发动作。
如果所述移动满足或超出这样的标准，则所述设备可以尝试确定所述移动是否匹配已知的移动图案708。如上所述，在某些实施例中，所述移动仅在所述设备基本上静止和/或所述移动被确定可能完成时被分析，例如当移动量落入上述标准以下时。如果未发现匹配，所述设备可以执行正常的捕获步骤710，例如在移动结束时做完整360°扫描。如果图案匹配被发现，所述设备可以至少部分地基于所述图案和检测到的移动712尝试确定所述用户的可能方向。如上所述，这可以包括例如利用图像识别算法分析图像信息来定位人员和/或用户面部识别来识别或鉴别用户。一旦此人(或关注对象)被定位，相对于该人的方向可以被用于设置捕获范围，且所选范围714内的信息(例如，音频和/或视频)可以被捕获和/或分析。这可以包括例如激活指向给定方向的一个或多个捕获元件，或处理对应于所述范围的被捕获信息的选择部分。
图7(b)示出根据各个实施例可能使用的用于更新用户(或其它关注对象)的已确定方向的示例性过程750。在本示例中，用户的相对方向被确定752，且利用例如关于图7(a)所讨论的具体范围将捕获和/或处理引导到朝向已确定的相对方向754。所述设备可以监测随着时间756的移动，其可以包括所述设备的移动、被监控用户的移动或其两者。所述用户的移动可以利用捕获的信息(例如音频或图像信息)来确定，而所述设备的移动可以利用方位或移动确定元件(例如加速计、电子陀螺仪或惯性传感器)来确定，尽管也可以利用本领域已知的图像信息和其它数据来确定移动。作为对满足或超出至少一个触发阈值的检测到的移动量的响应，例如移动量或移动速率，对所述用户的预测方向可以被更新758。例如，如果所述设备被旋转90°到右侧，那么所述设备可以调节所述用户的相对位置大约90°到左侧(抵消移动)。如果所述移动遵循给定的路径，所述设备可以分析所述路径，以便至少部分地基于所述路径确定所述用户的可能相对位置。如果在更新预测位置和尝试定位所述用户后，所述设备仍然跟踪用户760，所述设备可以更新所述用户762的相对方向并继续监测移动。如果所述设备不在跟踪所述用户(即，所述用户不在对于预测角度范围捕获的图像信息中出现)，那么所述设备可以扩展捕获和/或处理范围并尝试定位用户764。所述范围可以被调节到完整扫描，或可以被迭代增加直到所述用户被定位。一旦所述用户被定位，相对方向可以被更新762，且监测可以继续。
在某些实施例中，计算设备可以确定和跟踪用户的具体特征，例如对应于用户眼睛或另一此类特征的大致部位或关注区域，使得计算设备的算法仅需要分析大致对应于该区域的图像数据，其可以进一步降低图像(尤其是高分辨率、全色彩图像)所需要的处理量。所述角度范围可以被相应调节，尽管更小的角度范围可能需要增加采样率，因为更小的移动可能导致跟踪错误。
多种其它方法也可以在各个实施例的范围内使用。例如，热成像或另一此类方法可以被用于尝试确定和跟踪人类用户至少某些方面的位置。在许多情况下，需要成像系统足够小并且价格低廉以大规模销售，使得简单或常规成像方法和部件可能成为首选。某些现有摄像机可以检测红外辐射，但通常采用IR过滤器。采用没有IR过滤器并且可能携带环境光过滤器的这些摄像机可以允许这些相对低廉的摄像机被用作IR检测器。然后，可以利用本文讨论的各种方法相应指定和/或更新用户的方向和相对角度范围。
如上所述，不同方法可以在根据所述实施例的各种环境中实施。例如，图8示出用于实施根据各个实施例的方面的环境800的示例。应理解，尽管为了解释使用基于网页的环境但适当的不同环境可以被用于实施各个实施例。所述系统包括电子客户端设备802，其可以包括在适当的网络804上可操作发送和接收请求、消息或信息，并将信息输送返回到所述设备用户的任何适当的设备。此类客户设备的示例包括个人计算机、蜂窝电话、手持通讯设备、膝上型计算机、机顶盒、个人数据助理、电子书阅读器以及类似装置。所述网络可以包括任何适当的网络，其包括内部网、互联网、蜂窝网、局域网或任何其它此类网络或其组合。用于此类系统的组件可以至少部分取决于网络的类型和/或选择的环境。用于通过此类网络进行通信的协议和部件是众所周知的，不在本文详细讨论。在所述网络上的通信可以通过有线或无线连接及其组合来实现。在本示例中，所述网络包括互联网，所述环境包括用于接收请求并响应于所述请求伺服其内容的网页服务器806，尽管对于其它网络，如本领域普通技术人员所显见，可能使用伺服于相似目的的替代设备。
所述说明性环境包括至少一个应用服务器808和数据储存器810。应当理解，可以存在几个应用服务器、层或其它元件、过程或部件，其可以被链接或以其它方式被配置，其可以相互作用以执行例如从适当的数据储存器中获取数据等任务。如本文所用，术语“数据储存器”是指能够存储、访问和检索数据的任何设备或设备的组合，其可以包括在任何标准、分布式或集群环境中的任何组合或数量的数据服务器、数据库、数据存储设备和数据存储媒介。应用服务器808可以包括任何适当的硬件和软件，用于根据需要与数据储存器810集成以执行客户端设备的一个或多个应用的方面，和处理大多数数据访问和应用程序的事务逻辑。应用程序服务器结合数据储存器提供访问控制服务，并且能够生成要被传送到所述用户的内容，例如文本、图像、音频和/或视频，其可以通过网页服务器806以HTML、XML或本示例中其它适当的结构化语言的形式伺服于所述用户。所有请求和响应的处理以及客户端设备802与应用程序服务器808之间的内容的传递可以由网页服务器806处理。应当理解，所述网页服务器和应用程序服务器不是必需的，而仅仅是示例性部件，因为本文所讨论的结构化代码可以在本文另处讨论的任何适当设备或主机上执行。
数据储存器810可以包括几个独立的数据表、数据库或用于存储有关特定方面的数据的其它数据存储机构和媒介。例如，示出的数据储存器包括用于存储内容(例如，生产数据)812和用户信息816的机构，其可以被用于伺服生产方的内容。示出的数据储存器还包括用于存储日志或会话数据814的机构。应当理解，可以存在可能需要被存储在数据储存器中的许多其它方面，例如页面图像信息和访问权信息，其可以被存储在上述所列任意适当的机构中或数据储存器810的附加机构中。通过与其相关联的逻辑，数据储存器810可操作接收来自应用程序服务器808的指令，并响应于所述指令获取、更新或以其它方式处理数据。在一个示例中，用户可以提交一定类型项目的搜索请求。在这种情况下，所述数据储存器可以访问所述用户信息以验证用户身份，并且可以访问目录详细信息以获取有关该类型项目的信息。然后所述信息可以返回至所述用户，例如在所述用户能够通过用户设备802上的浏览器查看的网页上列出的结果中。用于特定关注项目的信息可以在浏览器的专用页面或窗口中查看。
每个服务器通常包括操作系统，其提供用于该服务器一般管理和操作的可执行程序指令，并且通常包括用于存储指令的计算机可读媒介，当所述指令由服务器的处理器执行时，允许所述服务器执行其预定的功能。操作系统的合适实施和服务器的一般功能是已知的或可市售的，并且本领域的普通技术人员可以很容易地实现，尤其是在本文公开的情况下。
在一个实施例中的环境是采用若干计算机系统和部件的分布式计算环境，所述系统和部件使用一个或多个计算机网络通过通信链路进行互联或直接连接。但本领域的普通技术人员应明白，此类系统可以在比图8所示的系统具有更少或更多部件的系统中很好地等效操作。因此，在图8中对系统800的描述实质上应被看作是说明性的，而不应限制本公开的范围。
所述各个实施例可以在多种广泛的操作环境中进一步实施，其在某些情况下可以包括一个或多个用户计算机或计算设备，所述计算机或计算设备可以被用于操作诸多应用程序中的任意程序。用户或客户端设备可以包括诸多通用个人计算机中的任意计算机，例如运行标准操作系统的桌面计算机或膝上型计算机，以及运行移动软件和能够支持多种网络和通信协议的蜂窝、无线和手持设备。此类系统还可以包括多个工作站，所述工作站可以运行诸多市售操作系统和用于例如开发和数据库管理目的的其它已知应用程序中的任意系统或程序。这些设备还可以包括其它电子设备，例如虚拟终端、瘦客户端、游戏系统和能够通过网络通信的其它设备。
大多数实施例采用本领域技术人员所熟悉的至少一种网络，并使用各种商用协议(例如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk)中的任意协议来支持通信。所述网络可以是例如局域网、广域网、虚拟专用网、互联网、内联网、外联网、公共交换电话网络、红外网络、无线网络及其任意组合。
在采用网页服务器的实施例中，所述网页服务器可以运行各种服务器或中间层应用程序中的任意程序，其包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和事务应用服务器。所述服务器还可能够通过例如执行一个或多个网页应用程序来执行程序或脚本以作为对来自用户设备的请求的响应，所述一个或多个网页应用程序可以被实施为以任何编程语言(例如Java®、C、C#或C++)或任何脚本语言(例如Perl、Python或TCL)及其组合编写的一个或多个脚本或程序。所述服务器还可以包括数据库服务器，其包括但不限于那些来自于Oracle®、Microsoft®、Sybase®和IBM®的市售数据库服务器。
所述环境可以包括如上讨论的各种数据储存器和其它存储器以及存储媒介。这些可以驻留在各种位置，例如相对于一个或多个计算机为本地(和/或驻留)或相对于跨越网络的任何或所有计算机为远程的存储媒介上。在特定的实施例设置中，所述信息可以驻留在本领域技术人员所熟知的存储区域网络(SAN)中。类似地，用于执行计算机、服务器或其它网络设备所具功能的任何必要文件可以视情况被本地和/或远程存储。在包括计算化设备的系统中，每个此类设备可能包括可以通过总线被电气耦接的硬件元件，所述元件包括例如至少一个中央处理单元(CPU)、至少一个输入设备(例如，鼠标、键盘、控制器、触敏显示元件或按键板)和至少一个输出设备(例如，显示设备、打印机或扬声器)。此类系统还可以包括一个或多个存储装置，例如磁盘驱动器、光存储装置和固态存储装置，例如随机存取存储器(RAM)或只读存储器(ROM)，以及可移动媒介装置、存储卡、闪存卡等。
此类设备还可以包括计算机可读存储媒介读取器、通信设备(例如，调制解调器、网卡(无线或有线)、红外通信装置)和如上所述的工作存储器。所述计算机可读存储媒介读取器可以与计算机可读存储媒介连接，或经配置接收计算机可读存储媒介，其中所述计算机可读存储媒介表示远程、本地、固定和/或可移动存储装置，以及用于临时和/或更持久包含、存储、传输和检索计算机可读信息的存储媒介。所述系统和各种设备通常还包括多种软件应用程序、模块、服务或位于至少一个工作存储装置内的其它元件，其包括操作系统和应用程序，例如客户端应用程序或网页浏览器。应当明白，替代实施例可以具有来自上述的无数变化。例如，定制的硬件也可以被使用，且/或特定元件可以在硬件、软件(包括可移植软件，例如小应用程序)或两者中实施。进一步地，可以采用到其它计算设备(例如网络输入/输出设备)的连接。
用于包含代码或代码一部分的存储媒介和计算机可读媒介可以包括在本领域已知或使用的任何合适的媒介，其包括存储媒介和通信媒介，例如但不限于用于存储和/或传输信息(例如计算机可读指令、数据结构、程序模块或其它数据)并以任何方法或技术实施的易失性和非易失性、可移动和不可移动媒介，其包括RAM、ROM、EEPROM、闪存或其它存储技术产品、CD-ROM、数字通用光盘(DVD)或其它光储存器、盒式磁带、磁带、磁盘储存器或其它磁储存装置，或可以用于存储所需信息并可以由系统装置访问的任何其它媒介。基于本文提供的公开和教导，本领域的普通技术人员可以采用其它方式和/或方法实施所述各个实施例。
因此，所述说明和附图应被看作是说明性的而非限制性的。显然，在没有偏离本发明权利要求中所述广泛精神和范围的前提下，可以对其做出各种变动和修改。
条款
1. 一种捕获有关电子设备用户信息的方法，其包括：
检测所述电子设备的移动；
将有关所述移动的信息存储到临时储存器中；
在检测到移动后，分析所述存储的信息以尝试确定对应于所述电子设备的所述移动的动作；
至少部分地基于所述检测到的移动，预测用户相对于所述电子设备的方向；以及
利用所述电子设备的至少一个捕获元件，捕获所述用户的所述预测方向周围的角度范围内的信息以确定所述用户相对于所述电子设备的实际方向，所述被捕获的信息至少部分由所述已确定的动作确定。
2. 根据条款1所述的方法，其中所述角度范围的大小至少部分地由所述已确定的动作确定。
3. 根据条款1所述的方法，其中确定对应于所述移动的动作包括将所述移动的路径与路径集合比较，每个路径对应于关联的动作。
4. 根据条款1所述的方法，其中所述动作包括将所述电子设备从外套取出、放下所述设备和拿起所述设备中的至少一个。
5. 根据条款1所述的方法，其中所述移动利用加速计、电子陀螺仪、电子罗盘和所述电子设备的惯性传感器中的至少一个进行检测。
6. 一种管理电子设备上的信息的方法，其包括：
确定用户相对于所述电子设备的相对位置；
选择其信息要被处理的有关所述相对位置的区域；
处理所述被选择的区域内的信息；以及
响应于对所述用户与所述电子设备之间的移动的检测而：
至少部分地基于所述检测到的移动，预测所述用户相对于所述电子设备的新相对位置，并选择有关所述新相对位置的新区域；以及
在利用从所述被选择的新区域内捕获的信息检测到移动后，尝试验证所述用户的实际相对位置。
7. 根据条款6所述的方法，其中所述被检测到的移动对应于所述用户的移动，所述移动利用在所述被选择的区域内捕获的图像和音频信息中的至少一个进行检测。
8. 根据条款6所述的方法，其中所述被检测到的移动对应于所述电子设备的移动，所述移动利用加速计、电子陀螺仪、电子罗盘和所述电子设备的惯性传感器中的至少一个来确定。
9. 根据条款6所述的方法，其中处理所述被选择的区域内的信息包括仅处理在所述被选择的区域内捕获的信息或仅处理对应于所述被选择的区域的被捕获信息。
10. 根据条款6所述的方法，其中所述被选择的区域对应于有关所述电子设备与所述用户的所述相对位置之间已确定方向的角度范围。
11. 根据条款6所述的方法，其中所述实际相对位置不能利用在所述被选择的新范围内捕获的信息确定，以及进一步包括：
增加所述被选择的新范围的大小；以及
利用从所述增加的新范围内捕获的信息尝试验证所述用户的所述实际相对位置。
12. 根据条款6所述的方法，其进一步包括：
当所述实际相对位置被确定时，选择其信息要被处理的有关所述实际相对位置的另一区域。
13. 根据条款6所述的方法，其进一步包括：
分析最近一段时间内被存储用于所述电子设备的移动信息以确定行进路径；以及
将所述行进路径与已知的路径类型集合进行比较，
其中所述用户相对于所述电子设备的所述新相对位置至少部分地基于匹配于所述行进路径的已知路径类型进行预测。
14.根据条款13所述的方法，其进一步包括：
确定对应于所述匹配已知路径类型的动作；以及
至少部分地基于所述确定的动作，调节所述电子设备的至少一个方面。
15.根据条款13所述的方法，其进一步包括：
至少部分地基于在类似行进路径前或后所述用户采取的一个或多个动作，尝试推断用于所述行进路径的未知路径类型。
16. 根据条款13所述的方法，其进一步包括：
调节已知路径类型以反映用于特定用户的特定移动路径。
17. 根据条款6所述的方法，其中选择有关所述新相对位置的新范围包括下列中的至少一个：选择对应于所述新范围的至少一个捕获元件；或指定其中至少一个捕获元件捕获信息的范围。
18. 根据条款17所述的方法，其中所述至少一个捕获元件被定向以捕获基本上对角跨越所述电子设备的方向的信息。
19. 根据条款6所述的方法，其中在所述被选择的新范围内捕获的所述信息包括图像信息或音频信息中的至少一个。
20.根据条款6所述的方法，其中处理所述被选择的区域内的信息包括将照明光、红外辐射、图像信息和音频信息中的至少一个投射到所述被选择的区域的至少一部分内。
21.一种计算设备，其包括：
处理器；
至少一个捕获元件；以及
存储装置，其包括由所述处理器可操作执行的指令，以执行一组动作，使得所述计算设备能够：
确定用户相对于所述计算设备的相对位置；
选择其信息要被处理的有关所述相对位置的区域；
处理所述被选择的区域内的信息；以及
响应于对所述用户与所述计算设备之间的移动的检测而：
至少部分地基于所述检测到的移动，预测所述用户相对于所述计算设备的新相对位置，并选择有关所述新相对位置的新范围；以及
在利用从所述被选择的新范围内捕获的信息检测到移动后，尝试验证所述用户的实际相对位置。
22. 根据条款21所述的计算设备，其中所述检测到的移动对应于所述用户的移动或所述计算设备的移动中的至少一个，其中所述用户的移动利用从所述被选择的区域内捕获的图像和音频信息中的至少一个进行检测，且所述计算设备的移动利用加速计、电子陀螺仪、电子罗盘和所述计算设备的惯性传感器中的至少一个来确定。
23. 根据条款21所述的计算设备，其中所述实际相对位置不能利用在所述被选择的新范围内捕获的信息确定，且其中当指令被执行时，所述指令进一步促使所述计算设备：
增加所述被选择的新范围的大小；以及
利用从所述增加的新范围内捕获的信息尝试验证所述用户的所述实际相对位置。
24. 根据条款21所述的计算设备，其中当指令被执行时，所述指令进一步促使所述计算设备：
分析最近一段时间内被存储用于所述计算设备的移动信息以确定行进路径；以及
将所述行进路径与已知的路径类型集合进行比较，
其中所述用户相对于所述计算设备的所述新相对位置至少部分地基于匹配于所述行进路径的已知路径类型进行预测。
25. 根据条款24所述的计算设备，其中当指令被执行时，所述指令进一步促使所述计算设备：
确定对应于所述匹配已知路径类型的动作；以及
至少部分地基于所述确定的动作，调节所述电子设备的至少一个方面。
26. 一种非暂时性计算机可读存储媒介，其存储用于控制计算设备的处理器可执行指令，其包括：
程序代码，其用于确定用户相对于所述计算设备的相对位置；
程序代码，其用于选择其信息要被处理的有关所述相对位置的区域；
程序代码，其用于处理所述被选择的区域内的信息；以及
程序代码，其用于响应于对所述用户与所述计算设备之间的移动的检测而：
至少部分地基于所述检测到的移动，预测所述用户相对于所述计算设备的新相对位置，并选择有关所述新相对位置的新范围；以及
在利用从所述被选择的新范围内捕获的信息检测到移动后，尝试验证所述用户的实际相对位置。
27. 根据条款26所述的非暂时性计算机可读媒介，其进一步包括：
程序代码，其用于分析最近一段时间内被存储用于所述计算设备的移动信息以确定行进路径；以及
程序代码，其用于将所述行进路径与已知的路径类型集合进行比较，
其中所述用户相对于所述计算设备的所述新相对位置至少部分地基于匹配于所述行进路径的已知路径类型进行预测。
28. 根据条款27所述的非暂时性计算机可读媒介，其进一步包括：
程序代码，其用于确定对应于所述匹配已知路径类型的动作；以及
程序代码，其用于至少部分地基于所述确定的动作调节所述电子设备的至少一个方面。

Claims (15)

1.一种管理电子设备上的信息的方法，其包括：
确定用户相对于所述电子设备的第一相对位置；
选择有关所述第一相对位置的区域，其中所述相对位置区域的信息要被处理；
处理选择的所述区域内的信息；以及
响应于对所述用户与所述电子设备之间的移动的检测而：
至少部分地基于所检测到的移动，预测所述用户相对于所述电子设备的第二相对位置；
选择有关所述第二相对位置的新区域，所述新区域对应于所述用户能够造成所述移动所处的物理位置范围；
选择所述电子设备的至少一个捕获元件，该捕获元件具有包括所述新区域的视野；以及
在利用从被选择的新区域内捕获的信息检测到移动后，尝试验证所述用户的实际相对位置。
2.根据权利要求1所述的方法，其中所述检测到的移动和所述用户的移动相对应，所述移动利用在被选择的所述区域内捕获的图像和音频信息中的至少一个进行检测。
3.根据权利要求1所述的方法，其中所述检测到的移动和所述电子设备的移动相对应，所述移动利用加速计、电子陀螺仪、电子罗盘以及所述电子设备的惯性传感器中的至少一个确定。
4.根据权利要求1所述的方法，其中所述实际相对位置不能利用在被选择的所述新区域内捕获的信息确定，以及进一步包括：
增加被选择的所述新区域的尺寸；以及
利用在被选择的所述新区域的增加的尺寸上捕获的信息，尝试验证所述用户的实际相对位置。
5.根据权利要求1所述的方法，其进一步包括：
分析最近一段时间内存储的有关所述电子设备的移动信息，以确定行进路径；以及
将所述行进路径与已知的路径类型集合做比较，
其中所述用户相对于所述电子设备的所述第二相对位置至少部分地基于匹配于所述行进路径的已知路径类型进行预测。
6.根据权利要求5所述的方法，其进一步包括：
确定对应于所述匹配已知路径类型的动作；以及
至少部分地基于所确定的动作，调节所述电子设备的至少一个方面。
7.根据权利要求5所述的方法，其进一步包括：
至少部分地基于在类似行进路径前或后所述用户采取的一个或多个动作，尝试推断所述行进路径的未知路径类型。
8.根据权利要求5所述的方法，其进一步包括：
调节已知路径类型，以反映特定用户的特定移动路径。
9.根据权利要求1所述的方法，其中在所述选择的新区域内捕获的信息包括图像信息或音频信息中的至少一个。
10.根据权利要求1所述的方法，其中处理所述选择的区域内的信息包括，将照明光、红外辐射、图像信息以及音频信息中的至少一个投射到被选择的区域的至少一部分内。
11.一种计算设备，其包括：
处理器；
至少一个捕获元件；以及
存储器装置，其包括由所述处理器可操作执行的指令，以执行一组动作，使得所述计算设备能够：
确定用户相对于所述计算设备的第一相对位置；
选择关于所述第一相对位置的区域，其中所述相对位置区域的信息要被处理；
处理所述被选择的区域内的信息；以及
响应于对所述用户与所述计算设备之间的移动的检测而：
至少部分地基于所检测到的移动，预测所述用户相对于所述计算设备的第二相对位置；
选择有关所述第二相对位置的新区域，所述新区域对应于所述用户能够造成所述移动所处的物理位置范围；
选择所述计算设备的至少一个捕获元件，该捕获元件具有包括所述新区域的视野；以及
在利用从所述被选择的新区域内捕获的信息检测到移动后，尝试验证所述用户的实际相对位置。
12.根据权利要求11所述的计算设备，其中所述检测到的移动对应于所述用户的移动或所述计算设备的移动中的至少一个，其中所述用户的移动利用从被选择的所述区域内捕获的图像和音频信息中的至少一个进行检测，且所述计算设备的移动利用加速计、电子陀螺仪、电子罗盘以及所述计算设备的惯性传感器中的至少一个确定。
13.根据权利要求11所述的计算设备，其中所述实际相对位置不能利用在被选择的所述新区域内捕获的信息确定，且其中当指令被执行时，所述指令促使所述计算设备进一步：
增加所述被选择的新区域的尺寸；以及
利用在被选择的所述新区域的增加的尺寸上捕获的信息，尝试验证所述用户的实际相对位置。
14.根据权利要求11所述的计算设备，其中当指令被执行时，所述指令促使所述计算设备进一步：
分析最近一段时间内存储的有关所述计算设备的移动信息，以确定行进路径；以及
将所述行进路径与已知的路径类型集合做比较，
其中所述用户相对于所述计算设备的所述第二相对位置至少部分地基于匹配于所述行进路径的已知路径类型进行预测。
15.根据权利要求14所述的计算设备，其中当指令被执行时，所述指令促使所述计算设备进一步：
确定对应于所述匹配已知路径类型的动作；以及
至少部分地基于所确定的动作，调节所述计算设备的至少一个方面。
CN201280031631.9A 2011-05-13 2012-05-10 在设备交互中使用空间信息 Active CN103620620B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/107,692 US8843346B2 (en) 2011-05-13 2011-05-13 Using spatial information with device interaction
US13/107,692 2011-05-13
PCT/US2012/037220 WO2012158439A1 (en) 2011-05-13 2012-05-10 Using spatial information with device interaction

Publications (2)

Publication Number Publication Date
CN103620620A CN103620620A (zh) 2014-03-05
CN103620620B true CN103620620B (zh) 2017-06-09

Family

ID=47142453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280031631.9A Active CN103620620B (zh) 2011-05-13 2012-05-10 在设备交互中使用空间信息

Country Status (5)

Country Link
US (3) US8843346B2 (zh)
EP (1) EP2707835B1 (zh)
JP (1) JP5833231B2 (zh)
CN (1) CN103620620B (zh)
WO (1) WO2012158439A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
EP2569935B1 (en) 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US8661121B1 (en) * 2011-04-11 2014-02-25 Google Inc. System and method for providing location reporting services
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
TWI441042B (zh) * 2011-07-01 2014-06-11 Pixart Imaging Inc 互動影像系統、互動控制裝置及其運作方法
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9661310B2 (en) * 2011-11-28 2017-05-23 ArcSoft Hanzhou Co., Ltd. Image depth recovering method and stereo image fetching device thereof
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US20140152534A1 (en) * 2012-12-03 2014-06-05 Facebook, Inc. Selectively Steer Light from Display
US20140232640A1 (en) * 2013-02-05 2014-08-21 Umoove Services Ltd. Dynamic range resetting
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
US20140253430A1 (en) * 2013-03-08 2014-09-11 Google Inc. Providing events responsive to spatial gestures
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9389638B2 (en) 2013-06-06 2016-07-12 Blackberry Limited Device for detecting a carrying case
EP2811363B1 (en) * 2013-06-06 2019-04-10 BlackBerry Limited Device for detecting a carrying case using orientation signatures
US9167375B2 (en) 2013-06-06 2015-10-20 Blackberry Limited Device for detecting a carrying case using orientation signatures
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
US9903753B2 (en) * 2015-01-13 2018-02-27 Motorola Mobility Llc Portable electronic device with dual, diagonal proximity sensors and mode switching functionality
WO2016155950A1 (en) 2015-04-01 2016-10-06 Koninklijke Philips N.V. An electronic mobile device
CN106340063B (zh) * 2015-10-21 2019-04-12 北京智谷睿拓技术服务有限公司 共享方法及共享装置
US10979843B2 (en) 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10659923B2 (en) * 2017-04-10 2020-05-19 Here Global B.V. Condition based accurate indoor positioning
US11481022B2 (en) * 2017-08-18 2022-10-25 Hewlett-Packard Development Company, L.P. Motion based power states
EP3570207B1 (en) * 2018-05-15 2023-08-16 IDEMIA Identity & Security Germany AG Video cookies
EP3663181B1 (de) * 2018-12-06 2021-06-02 Amprio GmbH Pedelec
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208373B1 (en) * 1999-08-02 2001-03-27 Timothy Lo Fong Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
CN101479693A (zh) * 2006-04-20 2009-07-08 惠普开发有限公司 用于将数字设备与交互式显示面进行对接的方法和系统

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
US7818691B2 (en) * 2000-05-11 2010-10-19 Nes Stewart Irvine Zeroclick
JP2001339703A (ja) * 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
JP3716194B2 (ja) * 2001-08-02 2005-11-16 Ｎｅｃアクセステクニカ株式会社 携帯電話装置およびその動作モード解除方法、並びにプログラム
US6920376B2 (en) 2002-10-31 2005-07-19 Hewlett-Packard Development Company, L.P. Mutually-immersive mobile telepresence system with user rotation and surrogate translation
FI117217B (fi) 2003-10-01 2006-07-31 Nokia Corp Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
US7181251B2 (en) 2003-10-22 2007-02-20 Nokia Corporation Mobile communication terminal with multi orientation user interface
US7280096B2 (en) 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
WO2005119591A1 (ja) * 2004-06-04 2005-12-15 Matsushita Electric Industrial Co., Ltd. 表示制御方法および装置、プログラム、並びに携帯機器
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US20090297062A1 (en) * 2005-03-04 2009-12-03 Molne Anders L Mobile device with wide-angle optics and a radiation sensor
AU2006261577B2 (en) * 2005-06-20 2010-04-29 Rotatech Pty Ltd Directional surveillance camera with ring of directional detectors
US7701434B2 (en) 2005-10-31 2010-04-20 Research In Motion Limited Automatic screen and keypad brightness adjustment on a mobile handheld electronic device
JP2007121970A (ja) 2005-10-31 2007-05-17 Toshiba Corp 情報処理装置、およびその制御方法
JP4173513B2 (ja) * 2006-06-12 2008-10-29 ヤマザキマザック株式会社 機器移設有無検知装置及びその機器移設有無検知装置を備えた機器
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
US20080280641A1 (en) * 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Methods and devices for generating multimedia content in response to simultaneous inputs from related portable devices
JP4985142B2 (ja) * 2007-06-26 2012-07-25 株式会社日本自動車部品総合研究所 画像認識装置および画像認識装置の画像認識処理方法
US20090054077A1 (en) * 2007-08-23 2009-02-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for sending data relating to a target to a mobile device
US8539357B2 (en) 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
US8005272B2 (en) 2008-01-03 2011-08-23 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring face glossary data
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US20100009662A1 (en) * 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
US8953029B2 (en) * 2009-05-08 2015-02-10 Sony Computer Entertainment America Llc Portable device interaction via motion sensitive controller
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US9086875B2 (en) * 2009-06-05 2015-07-21 Qualcomm Incorporated Controlling power consumption of a mobile device based on gesture recognition
JP2011018272A (ja) * 2009-07-10 2011-01-27 Nec Casio Mobile Communications Ltd 端末装置およびプログラム
US8457651B2 (en) * 2009-10-02 2013-06-04 Qualcomm Incorporated Device movement user interface gestures for file sharing functionality
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US8451312B2 (en) * 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US20110205148A1 (en) 2010-02-24 2011-08-25 Corriveau Philip J Facial Tracking Electronic Reader
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8581844B2 (en) * 2010-06-23 2013-11-12 Google Inc. Switching between a first operational mode and a second operational mode using a natural motion gesture
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
KR101239336B1 (ko) * 2011-03-04 2013-03-06 삼성중공업 주식회사 이동 장치의 이동 경로 생성 방법
US8451344B1 (en) * 2011-03-24 2013-05-28 Amazon Technologies, Inc. Electronic devices with side viewing capability
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20120259638A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Apparatus and method for determining relevance of input speech
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
US8194926B1 (en) 2011-10-05 2012-06-05 Google Inc. Motion estimation for mobile device user interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208373B1 (en) * 1999-08-02 2001-03-27 Timothy Lo Fong Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
CN101479693A (zh) * 2006-04-20 2009-07-08 惠普开发有限公司 用于将数字设备与交互式显示面进行对接的方法和系统

Also Published As

Publication number Publication date
US20210372788A1 (en) 2021-12-02
EP2707835A1 (en) 2014-03-19
US20120290257A1 (en) 2012-11-15
US8843346B2 (en) 2014-09-23
CN103620620A (zh) 2014-03-05
WO2012158439A1 (en) 2012-11-22
US20150019162A1 (en) 2015-01-15
JP5833231B2 (ja) 2015-12-16
EP2707835A4 (en) 2015-12-09
JP2014520310A (ja) 2014-08-21
EP2707835B1 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
CN103620620B (zh) 在设备交互中使用空间信息
CN104364753B (zh) 用于突出显示活动界面元素的方法
CN104662558B (zh) 用于手势输入的指尖定位
US9269011B1 (en) Graphical refinement for points of interest
CN104685494B (zh) 文本辨识驱动的功能
JP6201058B2 (ja) 三次元オブジェクト表示のためのアプローチ
US8451344B1 (en) Electronic devices with side viewing capability
CN109313812A (zh) 具有上下文增强的共享体验
WO2022022028A1 (zh) 虚拟对象控制方法及装置、设备、计算机可读存储介质
CN109219955A (zh) 视频按入
CN109284001A (zh) 执行设备的功能的方法以及用于执行该方法的设备
CN105683863A (zh) 通过触摸屏显示器来召开会议的用户体验
CN107533360A (zh) 一种显示、处理的方法及相关装置
CN107526521B (zh) 向触摸手势应用偏移的方法及系统以及计算机存储介质
CN103703438A (zh) 基于注视的内容显示器
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
CN111552888A (zh) 内容推荐方法、装置、设备及存储介质
US20130121528A1 (en) Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program
US9400575B1 (en) Finger detection for element selection
US9350918B1 (en) Gesture control for managing an image view display
US11743574B2 (en) System and method for AI enhanced shutter button user interface
CN114296627A (zh) 内容显示方法、装置、设备及存储介质
US9690384B1 (en) Fingertip location determinations for gesture input
Atia et al. Ubigesture: Customizing and profiling hand gestures in ubiquitous environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant