CN104937519A - 用于控制增强现实设备的装置和方法 - Google Patents

用于控制增强现实设备的装置和方法 Download PDF

Info

Publication number
CN104937519A
CN104937519A CN201480004545.8A CN201480004545A CN104937519A CN 104937519 A CN104937519 A CN 104937519A CN 201480004545 A CN201480004545 A CN 201480004545A CN 104937519 A CN104937519 A CN 104937519A
Authority
CN
China
Prior art keywords
border
area
counting
real
world scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480004545.8A
Other languages
English (en)
Other versions
CN104937519B (zh
Inventor
K·刘
F·D·金
M·H·伦施勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201910302542.7A priority Critical patent/CN109901722B/zh
Publication of CN104937519A publication Critical patent/CN104937519A/zh
Application granted granted Critical
Publication of CN104937519B publication Critical patent/CN104937519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种装置、方法和计算机程序产品。所述装置检测在真实世界场景中的第一区域上的眼睛凝视，设置包围所述第一区域的边界，所述边界不包括所述真实世界场景中的至少第二区域，在所述边界内的所述第一区域上执行对象识别过程，以及禁止在所述至少所述第二区域上执行对象识别过程。

Description

用于控制增强现实设备的装置和方法
技术领域
本公开内容总体上涉及用于控制增强现实设备的装置和方法。
背景技术
在移动设备显示器上用于增强现实的用户接口不够直观。与移动设备上的增强现实进行交互的传统方法，要求用户将设备很接近地指在目标上以增强内容并且触摸移动设备的显示器以用于进一步的控制。这要求在看显示器和看真实世界场景中的真实对象之间的经常的内容切换。因此，与增强现实交互的传统方法不够直观。因此，需要改进的与增强现实交互的方法以提高效率以及用户体验和控制。
利用先进的移动显示器(例如，被配置为显示内容的头戴式光学设备)，极大地扩大了视野。因此，用于指向和增强兴趣对象的高效的处理技术和不同种类的用户输入是对于增强现实系统有价值的特征。
发明内容
在本公开内容的一个方面，提供了一种装置、方法和计算机程序产品。所述装置检测在真实世界场景中的第一区域上的眼睛凝视，设置包围所述第一区域的边界，所述边界不包括真实世界场景中的至少第二区域，在所述边界内的所述第一区域上执行对象识别过程，以及禁止在所述至少第二区域上执行对象识别过程。
附图说明
图1是示出了被配置为显示内容的光学设备的图。
图2示出了真实世界场景。
图3示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图4示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图5示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图6示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图7示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图8示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图9示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图10示出了用户通过光学设备的镜片正在观察到的真实世界场景。
图11是用于被配置为显示内容的光学设备的方法的流程图。
图12是用于被配置为显示内容的光学设备的方法的流程图。
图13是用于被配置为显示内容的光学设备的方法的流程图。
图14是用于被配置为显示内容的光学设备的方法的流程图。
图15是用于被配置为显示内容的光学设备的方法的流程图。
图16是用于被配置为显示内容的光学设备的方法的流程图。
图17是示出了在示例性装置中的不同模块/单元/部件的操作的概念上的流程图。
图18是示出了采用处理系统的装置的硬件实现方式的示例的图。
具体实施方式
下面结合附图所阐述的具体实施方式旨在作为对各种配置的描述，而不旨在表示可以实践本文描述的概念的唯一配置。出于提供对各种概念的透彻理解的目的，具体实施方式包括特定细节。然而，对于本领域技术人员而言将显而易见的是，可以在不具有这些特定细节的情况下实践这些概念。在一些实例中，以框图的形式示出公知的结构和部件，以避免模糊这些概念。
现将参照各种装置和方法来呈现用于控制增强现实设备的若干方面。这些装置和方法将在下面的具体实施方式中进行描述，并且在附图中通过各种块、模块、部件、电路、步骤、过程、算法等等(其统称为“元件”)来示出。可以使用电子硬件、计算机软件或者其任意组合来实现这些元件。至于这些要素是实现成硬件还是实现成软件，取决于具体的应用和对整个系统所施加的设计约束。
通过示例的方式，可以利用包括一个或多个处理器的“处理系统”来实现元件或元件的任意部分或元件的任意组合。处理器的示例包括被配置为执行贯穿本公开内容所描述的各种功能的微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、离散硬件电路以及其它适当的硬件。在处理系统中的一个或多个处理器可以执行软件。无论软件被称为软件、固件、中间件、微代码、硬件描述语言还是其它，其应当被广义地将解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行的线程、过程、函数等。
因此，在一个或多个示例性实施例中，所描述的功能可以用硬件、软件、固件或者其任意组合来实现。如果用软件来实现，则可以将这些功能存储或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是计算机能够存取的任何可用介质。通过示例的方式而不是限制的方式，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质。如本文中所使用的，光盘和磁盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
图1是示出了被配置为显示内容的光学设备100的图。如图1所示，光学设备100包括框102、镜腿部分104和106，以及安装在框102上的镜片108和110。该光学设备100还包括后置摄像头112和118、前置摄像头114和120以及传感器116和122。在一个方面，传感器116和122中的每个传感器可以包括用于检测手势的一个或多个接近度类型的传感器和用于检测语音命令的一个或多个麦克风。
在一个方面，光学设备100可以被配置为使用户能够以直观方式与日常环境交互的增强现实(AR)显示器(也称为“AR眼镜”或“头戴式显示器”)。在一种配置中，镜片108和/或镜片110可以由诸如玻璃或塑料之类的清澈或透明的材料形成，以允许用户在穿戴光学设备100时清晰地观察到真实世界场景。光学设备100可以被配置为使用本领域已知的方法通过镜片108和/或镜片110来投影诸如数字AR影像之类的内容。因此，用户在穿戴光学设备100时可以同时观察真实世界场景和所投影的数字内容。
在一个方面，参考图1，前置摄像头114和/或前置摄像头120可以捕捉用户的视野。后置摄像头112和/或后置摄像头118可以当用户通过镜片108和110观察真实世界场景的时候检测用户的眼睛凝视。用户通过镜片108和110所观察的真实世界场景的示例在图2中示出。如图2中所示，真实世界场景200包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。
图3示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景300。在图3中，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景300中汽车202所位于的区域上。光学设备100然后可以设置包围该区域的边界310。光学设备100可以在边界310内的区域上执行对象识别过程，并且可以禁止在边界310之外的区域上执行对象识别过程。
图4示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景400。在图4中，用户可以随着汽车202沿着公路422移动来凝视汽车202，而光学设备100可以随着眼睛凝视跟随移动的汽车202来检测用户的眼睛凝视。如图4所示，光学设备100可以最初在真实世界场景400中与所检测到的用户的眼睛凝视相对应的区域上设置边界409。然后光学设备100可以跟踪用户的眼睛凝视，以自动地在真实世界场景中与随着眼睛凝视跟随汽车202所检测到的用户的眼睛凝视相对应的区域上设置边界410。光学设备100然后可以在边界410内的区域上执行对象识别过程，并且可以禁止在边界410之外的区域上执行对象识别过程。
图5示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景500。在图5中，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景500中汽车202所位于的区域上。光学设备100然后可以设置包围该区域的边界510。光学设备100可以在边界510内的区域上执行对象识别过程，并且可以禁止在边界510之外的区域上执行对象识别过程。在一个方面，如果对象识别过程未能确定对象，则光学设备100可以自动地调节边界510的大小。例如，如图5所示，如果对象识别过程在边界510内不能识别汽车202，则光学设备100可以将边界510的大小增加到边界520的大小。在一种配置中，边界的大小可以以预先确定的量增加。例如，移动设备可以通过使原始边界的大小加倍来增加边界的大小。
在另一方面，如图6所示，光学设备100可以减小边界的大小。例如，如果光学设备100的电池电量水平较低并且光学设备100在节电状态下操作，那么光学设备100可以将真实世界场景600中的边界630减小到边界640的大小。在一种配置中，边界的大小可以以预先确定的量减小。例如，光学设备100可以将边界的大小减小到原始边界大小的一半。光学设备100然后可以在边界640内的区域上执行对象识别过程，并且可以禁止在边界640之外的区域上执行对象识别过程。因此，通过减小边界的大小并且在减小的边界内的区域上执行对象识别过程，光学设备100可以减小识别对象所需要的处理的量，并因此可以节约电池电量。
图7示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景700。在图7中，用户可以凝视公交牌206，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景700中公交牌206所位于的区域上。光学设备100可以设置包围该区域的边界710。光学设备100然后可以在边界710内的区域上执行对象识别过程，并且可以禁止在边界710之外的区域上执行对象识别过程。在一个方面，光学设备100可以调节如图8的真实世界场景800中所示出的边界710内的真实世界场景700的一部分的放大率(也称为“缩放”)。在一个方面，光学设备100可以响应于经由传感器116和/或传感器122所接收到的手势和/或语音命令来执行该放大。在一种配置中，手势可以是“捏拉缩放”手势。在另一方面，当用户的眼睛凝视的持续时间超过时间门限时，光学设备100可以执行该放大。在另一方面，当在边界710内的对象在超过时间门限之前被识别，光学设备100可以执行该放大以便于提供该对象的更好的视图。在一种配置中，光学设备100所显示的接近该对象的应用图标(在图8中未示出)也可以被放大。
图9示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景900。在图9中，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景900中汽车202所位于的区域上。光学设备100然后可以设置包围该区域的边界910。光学设备100可以显示包括一个或多个照片编辑工具的照片编辑界面912，照片编辑工具可以用于在利用前置摄像头114和/或前置摄像头120捕捉真实世界场景900的照片之前编辑边界910内的区域。例如，照片编辑工具可以包括艺术滤镜应用工具914和/或其它照片编辑工具，例如，剪贴画插入工具、颜色饱和度工具、深褐色调转换工具和黑与白转换工具。在一个方面，照片编辑工具可以响应于经由传感器116和/或传感器122所接收到的语音命令和/或手势而被应用或被禁用。光学设备100可以捕捉和存储使用先前讨论的照片编辑工具所编辑的真实世界场景900的照片。
图10示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景1000。在图10中，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景1000中汽车202所位于的区域。光学设备100然后可以设置包围该区域的边界1010。光学设备100可以在边界1010内的区域上执行对象识别过程，并且可以禁止在边界1010之外的区域上执行对象识别过程。光学设备100然后可以识别汽车202，并且可以如图10所示的那样加亮汽车202。在图10的配置中，光学设备100可以响应于经由传感器116和/或传感器122所接收到的语音命令和/或手势来将所识别的汽车202存储在光学设备100的存储器中。用户随后可以凝视汽车1002，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景1000中汽车1002所位于的区域上。光学设备100然后可以设置包围该区域的边界1012。光学设备100然后可以在边界1012内的区域上执行对象识别过程，并且可以禁止在边界1012之外的区域上执行对象识别过程。光学设备100然后可以识别汽车1002。光学设备100可以响应于经由传感器116和/或传感器122所接收到的语音命令和/或手势来将所识别的汽车1002存储在光学设备100的存储器中。光学设备100然后可以将先前识别并存储的汽车202与汽车1002进行比较。光学设备100可以指示汽车202与汽车1002是相同的还是不同的。
图11是用于被配置为显示内容的光学设备的方法的流程图1100。在步骤1102处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。在一个方面，参考图1，后置摄像头112和/或后置摄像头118可以随着用户通过光学设备100的镜片108和110观察真实世界场景来检测用户的眼睛凝视。真实世界场景可以包括光学设备100的用户的视野内的物理环境。用户通过镜片108和110所观察到的真实世界场景的示例在图2中示出。如图2所示，真实世界场景200包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。在其它方面，真实世界场景可以是室内真实世界场景，例如，家、办公室、图书馆的内部。例如，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景200中汽车202所位于的区域上。
在步骤1104处，光学设备100设置包围第一区域的边界，该边界不包括真实世界场景中的至少第二区域。例如，参考图3，光学设备100可以设置包围真实世界场景300中汽车202所位于的区域的边界310。在一个方面，该边界可以被显示在光学设备100的镜片108和/或镜片110中，以使得当用户使用光学设备100观察真实世界场景时，该边界覆盖真实世界场景300的一部分。尽管光学设备100所设置的边界在本文中被描述为具有矩形的形状，但应当理解的是，边界可以具有诸如圆形之类的多种不同形状中的任何形状。
在步骤1106处，光学设备100在边界内的第一区域上执行对象识别过程。例如，参考图3，光学设备100在边界310内的区域上执行对象识别过程。在一种配置中，光学设备100可以通过使用前置摄像头114和/或前置摄像头120捕捉真实世界场景300的图像并且通过将对象识别算法应用到与边界310内的区域相对应的图像的区域上，来执行对象识别过程。光学设备100可以将对象识别算法所产生的数据与对象数据库进行比较，来确定该数据是否与对象数据库中的对象中的任何对象相匹配，以便识别对象。在一个方面，数据库可以被存储在光学设备100中。例如，参考图3，光学设备100可以确定对象识别算法所产生的数据与对象数据库中被标识为汽车的对象相匹配。
在步骤1108处，光学设备100禁止在至少第二区域上执行对象识别过程。例如，参考图3，光学设备100可以禁止在边界310外的真实世界场景300的区域上执行对象识别过程。
图12是用于被配置为显示内容的光学设备的方法的流程图1200。在步骤1202处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。在一个方面，参考图1，后置摄像头112和/或后置摄像头118可以随着用户通过光学设备100的镜片108和110观察真实世界场景来检测用户的眼睛凝视。真实世界场景可以包括光学设备100的用户的视野内的物理环境。用户通过镜片108和110所观察到的真实世界场景的示例在图2中示出。如图2所示，真实世界场景200包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。在其它方面，真实世界场景可以是室内真实世界场景，例如，家、办公室、图书馆的内部。例如，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景200中汽车202所位于的区域上。
在步骤1204处，光学设备100设置包围第一区域的边界，该边界不包括真实世界场景中的至少第二区域。例如，参考图4，光学设备100可以设置包围汽车202所位于的区域的边界409。在一个方面，该边界可以被显示在光学设备100的镜片108和/或镜片110中，以使得当用户使用光学设备100观察真实世界场景时，该边界覆盖真实世界场景的一部分。尽管光学设备100所设置的边界在本文中被描述为具有矩形的形状，但应当理解的是，边界可以具有诸如圆形之类的多种不同形状中的任何形状。
在步骤1206处，光学设备100在边界内的第一区域上执行对象识别过程。例如，参考图4，光学设备100在边界409内的区域上执行对象识别过程。在一种配置中，光学设备100可以通过使用前置摄像头114和/或前置摄像头120捕捉真实世界场景400的图像并且通过将对象识别算法应用到与边界409内的区域相对应的图像的区域上，来执行对象识别过程。光学设备100可以将对象识别算法所产生的数据与对象数据库进行比较，来确定该数据是否与对象数据库中的对象中的任何对象相匹配，以便识别对象。在一个方面，数据库可以被存储在光学设备100中。例如，参考图4，光学设备100可以确定对象识别算法所产生的数据与对象数据库中被标识为汽车的对象相匹配。
在步骤1208处，光学设备100禁止在至少第二区域上执行对象识别过程。例如，参考图4，光学设备100可以禁止在边界409外的真实世界场景400的区域上执行对象识别过程。
在步骤1210处，光学设备100检测在真实世界场景的第三区域上的眼睛凝视。例如，用户可以随着汽车沿着街道422移动凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景400中汽车202所位于的区域上。
在步骤1212处，光学设备100设置包围第三区域的边界，该边界不包括真实世界场景中的至少第四区域。例如，参考图4，光学设备100可以设置包围汽车202所位于的区域的边界410。在一个方面，该边界可以被显示在光学设备100的镜片108和/或镜片110中，以使得当用户使用光学设备100观察真实世界场景时该边界覆盖真实世界场景的一部分。
在步骤1214处，光学设备100在边界内的第三区域上执行对象识别过程。例如，参考图4，光学设备100在边界410内的区域上执行对象识别过程。在一种配置中，光学设备100可以通过使用前置摄像头114和/或前置摄像头120捕捉真实世界场景400的图像并且通过将对象识别算法应用到与边界410内的区域相对应的图像的区域上来执行对象识别过程。光学设备100可以将对象识别算法所产生的数据与对象数据库进行比较，来确定该数据是否与对象数据库中的对象中的任何对象相匹配，以便识别对象。在一个方面，数据库可以被存储在光学设备100中。例如，参考图4，光学设备100可以确定对象识别算法所产生的数据与对象数据库中被标识为汽车的对象相匹配。
在步骤1216处，光学设备100禁止在至少第四区域上执行对象识别过程。例如，参考图4，光学设备100可以禁止在边界410外的真实世界场景400的区域上执行对象识别过程。
图13是用于被配置为显示内容的光学设备的方法的流程图1300。在步骤1302处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。在一个方面，参考图1，后置摄像头112和/或后置摄像头118可以随着用户通过光学设备100的镜片108和110观察真实世界场景来检测用户的眼睛凝视。真实世界场景可以包括光学设备100的用户的视野内的物理环境。用户通过镜片108和110所观察到的真实世界场景的示例在图2中示出。如图2所示，真实世界场景200包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。在其它方面，真实世界场景可以是室内真实世界场景，例如，家、办公室、图书馆的内部。例如，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景200中汽车202所位于的区域上。
在步骤1304处，光学设备100设置包围第一区域的边界，该边界不包括真实世界场景中的至少第二区域。例如，参考图3，光学设备100可以设置包围汽车202所位于的区域的边界310。在一个方面，该边界可以被显示在光学设备100的镜片108和/或镜片110中，以使得当用户使用光学设备100观察真实世界场景时，该边界覆盖真实世界场景的用户视图。尽管光学设备100所设置的边界在本文中被描述为具有矩形的形状，但应当理解的是，边界可以具有诸如圆形之类的多种不同形状中的任何形状。
在步骤1306处，光学设备100在边界内的第一区域上执行对象识别过程。例如，参考图3，光学设备100在边界310内的区域上执行对象识别过程。在一种配置中，光学设备100可以通过使用前置摄像头114和/或前置摄像头120捕捉真实世界场景300的一个或多个图像以生成一个或多个图像帧，来执行对象识别过程。光学设备100然后可以将对象识别算法应用到与边界310内的区域所对应的一个或多个图像帧的区域上。光学设备100可以将针对每个图像帧的对象识别算法所产生的数据与对象数据库进行比较，来确定该数据是否与对象数据库中的对象中的任何对象相匹配，以便识别对象。在一个方面，数据库可以被存储在光学设备100中。例如，参考图3，光学设备100可以确定对象识别算法所产生的数据与对象数据库中被标识为汽车的对象相匹配。
在步骤1308处，光学设备100禁止在至少第二区域上执行对象识别过程。例如，参考图3，光学设备100可以禁止在边界310外的真实世界场景300的区域上执行对象识别过程。
在步骤1310处，光学设备100存储对象在边界内已被识别的连续次数的计数。在一种配置中，该计数可以表示对象在连续的图像帧中的每个连续的图像帧中的边界内已被识别的次数。在一个方面，光学设备100可以进一步存储每个成功识别的对象。
在步骤1312处，光学设备100可以确定该计数是否超过门限。例如，该门限可以是预先确定的整数。如果该计数超过门限，则在步骤1314，光学设备100可以加亮该对象。在一个方面，光学设备100可以通过在与对象所位于的区域相对应的、光学设备100的镜片108和/或镜片110的区域中显示透明的颜色(例如，黄色)来加亮该对象，以使得当用户观察该对象时，该对象显现为被加亮的。在另一方面，光学设备100可以进一步确定该计数是否在预先确定的时间段内超过门限，并且如果已超过预先确定的时间段，则可以丢掉最早的图像帧。
在步骤1316处，光学设备100可以显示接近该对象的图标。在一个方面，光学设备100可以在与接近对象所位于的位置的区域相对应的光学设备100的镜片108和/或镜片110的区域中显示图标。在一种配置中，图标可以被配置为启动光学设备100的功能。在另一配置中，图标可以被配置为提供与对象有关的信息。
如果计数不超过门限(1312)，则在步骤1302处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。
图14是用于被配置为显示内容的光学设备的方法的流程图1400。在步骤1402处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。在一种配置中，光学设备100可以响应于语音命令和/或手势来开始眼睛凝视检测。在一个方面，参考图1，后置摄像头112和/或后置摄像头118可以随着用户通过光学设备100的镜片108和110观察真实世界场景来检测用户的眼睛凝视。真实世界场景可以包括光学设备100的用户的视野内的物理环境。用户通过镜片108和110所观察到的真实世界场景的示例在图2中示出。如图2所示，真实世界场景200包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。在其它方面，真实世界场景可以是室内真实世界场景，例如，家、办公室、图书馆的内部。例如，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景200中汽车202位于的区域上。
在步骤1404处，光学设备100设置包围第一区域的边界，该边界不包括真实世界场景中的至少第二区域。例如，参考图3，光学设备100可以设置包围第一区域的边界310。在一个方面，该边界可以被显示在光学设备100的镜片108和/或镜片110中，以使得当用户使用光学设备100观察真实世界场景时，该边界覆盖真实世界场景的用户视图。尽管光学设备100所设置的边界在本文中被描述为具有矩形的形状，但应当理解的是，边界可以具有诸如圆形之类的多种不同形状中的任何形状。
在步骤1406处，光学设备100在边界内的第一区域上执行对象识别过程。例如，参考图3，光学设备100在边界310内的区域上执行对象识别过程。在一种配置中，光学设备100可以通过使用前置摄像头114和/或前置摄像头120捕捉真实世界场景300的一个或多个图像以生成一个或多个图像帧，来执行对象识别过程。光学设备100然后可以将对象识别算法应用到与边界310内的区域相对应的一个或多个图像帧的区域上。光学设备100可以将针对每个图像帧的对象识别算法所产生的数据与对象数据库进行比较，来确定该数据是否与对象数据库中的对象中的任何对象相匹配，以便识别对象。在一个方面，数据库可以被存储在光学设备100中。例如，参考图3，光学设备100可以确定对象识别算法所产生的数据与对象数据库中被标识为汽车的对象相匹配。
在步骤1408处，光学设备100禁止在至少第二区域上执行对象识别过程。例如，参考图3，光学设备100可以禁止在边界310外的真实世界场景300的区域上执行对象识别过程。
在步骤1410处，光学设备100存储对象在边界内已被识别的次数的计数。在一种配置中，该计数可以表示对象在图像帧中的一个或多个图像帧的边界内已被识别的次数。在一个方面，光学设备100可以进一步存储每个成功识别的对象。
在步骤1412处，光学设备100可以基于对象的类型、历史和用户偏好中的至少一项来动态地设置门限。在一个方面，该门限可以是整数。例如，如果对象的类型是诸如建筑物那样的固定的并且容易识别，那么可以使用较低的门限。作为另一示例，如果对象的类型是诸如汽车那样的移动的并且较难识别，那么可以使用较高的门限。
在步骤1414处，光学设备100可以确定该计数是否超过门限。如果该计数超过门限，则在步骤1416处，光学设备可以加亮该对象。在一个方面，光学设备100可以通过在与对象所位于的区域相对应的、光学设备100的镜片108和/或镜片110的区域中显示透明的颜色(例如，黄色)来加亮该对象，以使得当用户观察该对象时，该对象显现为被加亮的。在另一方面，光学设备100可以进一步确定该计数是否在预先确定的时间段内超过门限，并且如果已超过预先确定的时间段，则可以丢掉最早的图像帧。
在步骤1418处，光学设备100可以显示接近该对象的图标。在一个方面，光学设备100可以在与接近对象所位于的位置的区域相对应的光学设备100的镜片108和/或镜片110的区域内显示图标。在一种配置中，图标可以被配置为启动光学设备100的功能。在另一配置中，图标可以被配置为提供与对象有关的信息。
如果计数未超过门限(1414)，则在步骤1402处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。
图15是用于被配置为显示内容的光学设备的方法的流程图1500。在步骤1502处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。在一种配置中，光学设备100可以响应于语音命令和/或手势来开始眼睛凝视检测。在一个方面，参考图1，后置摄像头112和/或后置摄像头118可以随着用户通过光学设备100的镜片108和110观察真实世界场景来检测用户的眼睛凝视。真实世界场景可以包括光学设备100的用户的视野内的物理环境。用户通过镜片108和110所观察到的真实世界场景的示例在图2中示出。如图2所示，真实世界场景200包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。在其它方面，真实世界场景可以是室内真实世界场景，例如，家、办公室、图书馆的内部。例如，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景200中汽车202所位于的区域上。
在步骤1504处，光学设备100设置包围第一区域的边界，该边界不包括真实世界场景中的至少第二区域。例如，参考图3，光学设备100可以设置包围汽车202所位于的真实世界场景200的区域的边界310。在一个方面，该边界可以被显示在光学设备100的镜片108和/或镜片110中，以使得当用户使用光学设备100观察真实世界场景时，该边界覆盖真实世界场景的一部分。尽管光学设备100所设置的边界在本文中被描述为具有矩形的形状，但应当理解的是，边界可以具有诸如圆形之类的多种不同形状中的任何形状。
在步骤1506处，光学设备100接收语音命令和姿势命令中的至少一项。在一个方面，语音命令和姿势命令可以经由光学设备100的传感器116和/或传感器122来接收。
在步骤1508处，光学设备100可以响应于语音命令和姿势命令中的至少一项来调节边界内的第一区域的放大率。例如，参考图7中的真实世界场景700，光学设备100可以调节如图8的真实世界场景800中所示出的边界710内的真实世界场景700的一部分的放大率。在一个方面，光学设备100可以响应于语音命令和/或手势来执行该放大。在一种配置中，手势可以是“捏拉缩放”手势，这使得边界710内的真实世界场景700的一部分的放大率随着用户执行捏拉姿势而增加。
在步骤1510处，光学设备100在边界内的第一区域上执行对象识别过程。例如，参考图3，光学设备100在边界310内的区域上执行对象识别过程。在一种配置中，光学设备100可以通过使用前置摄像头114和/或前置摄像头120捕捉真实世界场景300的图像和通过将对象识别算法应用到与边界310内的区域相对应的图像的区域上，来执行对象识别过程。光学设备100可以将对象识别算法所产生的数据与对象数据库进行比较，来确定该数据是否与对象数据库中的对象中的任何对象相匹配，以便识别对象。在一个方面，数据库可以被存储在光学设备100中。例如，参考图3，光学设备100可以确定对象识别算法所产生的数据与对象数据库中被标识为汽车的对象相匹配。
在步骤1512处，光学设备100禁止在至少第二区域上执行对象识别过程。例如，参考图3，光学设备100可以禁止在边界310外的真实世界场景300的区域上执行对象识别过程。
在步骤1514处，光学设备100执行以下操作的至少一项：用于缩放到边界内的第一区域的中心的操作、用于扩大边界的操作或用于进入节电状态的操作。在一个方面，当用户的眼睛凝视的持续时间超过时间门限时，光学设备100可以缩放到边界内的第一区域的中心。在另一方面，当边界内的对象在超过时间门限之前被识别出来时，光学设备100可以缩放到边界内的第一区域的中心，以便提供对该对象更好的视图。在一种配置中，光学设备100还可以缩放到接近该对象的一个或多个应用图标中。
例如，参考图5，如果对象识别过程未能确定对象，则光学设备100可以动态地调节边界510的大小。例如，如果对象识别过程不能识别边界510内的汽车202，则光学设备100可以将边界510的大小增加到边界520的大小。在一种配置中，边界的大小可以被增大预先确定的量。例如，光学设备100可以通过使原始边界的大小加倍来增加边界的大小。
在步骤1516处，光学设备100显示至少一个照片编辑工具。在一个方面，参考图9，光学设备100可以显示包括一个或多个照片编辑工具的照片编辑界面912。例如，照片编辑工具可以包括艺术滤镜应用工具914和/或其它照片编辑工具，例如，剪贴画插入工具、颜色饱和度工具、深褐色调转换工具和黑与白转换工具。在一个方面，照片编辑工具可以响应于经由传感器116和/或传感器122所接收到的语音命令和/或手势而被应用或被禁用。
在步骤1518处，光学设备100可以基于语音命令和手势中的至少一项使用至少一个照片编辑工具来编辑边界内的第一区域。例如，参考图9，该至少一个照片编辑工具可以用于在利用前置摄像头114和/或前置摄像头120捕捉真实世界场景900的照片之前编辑边界910内的区域。
在步骤1520处，光学设备100可以存储所编辑的第一区域的图像。例如，参考图9，光学设备100可以捕捉和存储如使用先前所讨论的照片编辑工具所编辑的真实世界场景900的照片。
图16是用于被配置为显示内容的光学设备的方法的流程图1600。在步骤1602处，光学设备100检测在真实世界场景中的第一区域上的眼睛凝视。在一个方面，参考图10，后置摄像头112和/或后置摄像头118可以随着用户通过光学设备100的镜片108和110观察真实世界场景来检测用户的眼睛凝视。真实世界场景可以包括光学设备100的用户的视野内的物理环境。用户通过镜片108和110所观察到的真实世界场景的示例在图10中示出。如图10所示，真实世界场景1000包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。在其它方面，真实世界场景可以是室内真实世界场景，例如，家、办公室、图书馆的内部。例如，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景1000中汽车202所位于的区域上。
在步骤1604处，光学设备100设置包围第一区域的边界，该边界不包括真实世界场景中的至少第二区域。例如，参考图10，光学设备100可以设置包围汽车202所位于的区域的边界1010。在一个方面，该边界可以被显示在光学设备100的镜片108和/或镜片110中，以使得当用户使用光学设备100观察真实世界场景时，该边界覆盖真实世界场景的一部分。尽管光学设备100所设置的边界在本文中被描述为具有矩形的形状，但应当理解的是，边界可以具有诸如圆形之类的多种不同形状中的任何形状。
在步骤1606处，光学设备100在边界内的第一区域上执行对象识别过程。例如，参考图10，光学设备100在边界1010内的区域上执行对象识别过程。在一种配置中，光学设备100可以通过使用前置摄像头114和/或前置摄像头120捕捉真实世界场景1000的图像和通过将对象识别算法应用到与边界1010内的区域相对应的图像的区域上，来执行对象识别过程。光学设备100可以将对象识别算法所产生的数据与对象数据库进行比较，来确定该数据是否与对象数据库中的对象中的任何数据相匹配，以便识别对象。在一个方面，数据库可以被存储在光学设备100中。例如，参考图10，光学设备100可以确定对象识别算法所产生的数据与对象数据库中被标识为汽车的对象相匹配。
在步骤1608处，光学设备100禁止在至少第二区域上执行对象识别过程。例如，参考图10，光学设备100可以禁止在边界1010外的真实世界场景1000的区域上执行对象识别过程。
在步骤1610处，移动设备响应于第一语音命令和第一姿势命令中的至少一项，来存储至少第一被识别的对象。例如，参考图10，光学设备100可以响应于第一语音命令和第一姿势命令中的至少一项，将汽车202存储在光学设备100的存储器中。
在步骤1612处，光学设备100响应于第二语音命令和第二姿势命令中的至少一项，来存储至少第二被识别的对象。例如，参考图10，光学设备100可以识别边界1012内的汽车1002，并且可以响应于第二语音命令和第二姿势命令中的至少一项，将汽车1002存储在光学设备100的存储器中。
在步骤1614处，光学设备100对至少该第一被识别的对象和第二被识别的对象进行比较。在一个方面，光学设备100可以指示汽车202与汽车1002是相同的还是不同的。
图17是示出了在示例性装置1702中的不同模块/单元/部件的操作的概念上的流程图1700。装置1702可以是诸如图1中所示的光学设备100那样的光学设备。装置1702包括眼睛凝视检测模块1703、边界设置模块1704、对象识别模块1706、对象识别禁止模块1708、接收模块1710、放大率调节模块1712、照片编辑工具显示模块1714、编辑模块1716、门限设置模块1718、确定模块1720、存储模块1722、比较模块1724、加亮模块1726、图标显示模块1728和操作执行模块1730。
在一个方面，眼睛凝视检测模块1703检测真实世界场景中的区域上的用户的眼睛凝视。边界设置模块1704设施包围真实世界场景的区域的边界。对象识别模块1706在边界内的区域上执行对象识别过程。在一种配置中，对象识别过程可以在针对真实世界场景中的多个图像帧中的一个或多个图像帧的边界内的第一区域上执行。对象识别禁止模块1708禁止在边界外的区域执行对象识别过程。眼睛凝视检测模块1703可以检测真实世界场景中的第三区域上的眼睛凝视，而边界设置模块1704可以设置包围第三区域而不包括真实世界场景中的至少第四区域的边界。
在一个方面，存储模块1722存储对象在边界内已被识别的连续次数的第一计数或对象在边界内已被识别的次数的第二计数。确定模块1720确定第一计数或第二计数是否超过门限。加亮模块1726在第一计数或第二计数超过门限时加亮该对象。图标显示模块1728在第一计数或第二计数超过门限时显示接近该对象的图标。
在另一方面，存储模块1722响应于第一语音命令和第一姿势命令中的至少一项，来存储至少第一被识别的对象，并且响应于第二语音命令和第二姿势命令中的至少一项，来存储至少第二被识别的对象。比较模块1724然后对至少第一被识别的对象和第二被识别的对象进行比较，以确定第一被识别的对象与第二被识别的对象是相同的还是不同的。
在一个方面，对象识别过程被执行在真实世界场景的多个图像帧中的一个或多个图像帧的边界内的第一区域上，而存储模块1722存储对象在边界内已被识别的次数。门限设置模块1718基于对象的类型、历史和用户偏好中的至少一项来动态地设置门限。确定模块1720确定计数是否超过门限。加亮模块1726在计数超过门限时加亮对象。图标显示模块1728在计数超过门限时显示接近对象的图标。
如果在边界内的第一区域中没有对象被识别出来，则操作执行模块1730执行以下操作的至少一项：用于缩放到边界内的第一区域的中心的操作、用于扩大边界的操作、或者用于进入节电状态的操作。
接收模块1710接收语音命令和姿势命令中的至少一项。放大率调节模块1712响应于语音命令和姿势命令中的至少一项，来调节边界内的第一区域的放大率。
照片编辑工具显示模块1714显示至少一个照片编辑工具。编辑模块1716基于语音命令和姿势命令中的至少一项使用至少一个照片编辑工具来编辑边界内的第一区域。存储模块1722存储所编辑的第一区域的图像。
装置可以包括执行图11-16的前述流程图中的算法的步骤中的每个步骤的另外的模块。因此，图11-16的前述流程图中的每个步骤可以由模块来执行，并且该装置可以包括一个或多个那样的模块。模块可以是明确地被配置为实施所述的过程/算法的一个或多个硬件部件，由被配置为执行所述的过程/算法的处理器来实现，被存储在用于由处理器实现的计算机可读介质内，或其某种组合。
图18是示出了采用处理系统1814的装置1702’的硬件实现方式的示例的图。处理系统1814可以利用总线架构来实现，所述总线架构通常由总线1824来表示。取决于处理系统1814的特定应用和总体设计约束，总线1824可以包括任意数量的互连总线和桥接器。总线1824将包括一个或多个处理器和/或硬件模块的各种电路链接在一起，所述一个或多个处理器和/或硬件模块由处理器1804、模块1703、1704、1706、1708、1710、1712、1714、1716、1718、1720、1722、1724、1726、1728和1730，以及计算机可读介质1806表示。总线1824还可以链接各种其它的电路，例如，定时源、外围设备、电压调节器和功率管理电路，这些是本领域所公知的，并因此将不再进一步描述。
处理系统1814包括耦合到计算机可读介质1806的处理器1804。处理器1804负责通用处理，包括存储在计算机可读介质1806上的软件的执行。当处理器1804执行该软件时，使得处理系统1814执行以上针对任何特定装置所描述的各种功能。计算机可读介质1806还可以用于存储由处理器1804在执行软件时所操作的数据。处理系统还包括模块1703、1704、1706、1708、1710、1712、1714、1716、1718、1720、1722、1724、1726、1728和1730中的至少一个。模块可以是在处理器1804中运行的软件模块、在计算机可读介质1806中驻留/存储的软件模块、耦合到处理器1804的一个或多个硬件模块或其某种组合。
在一种配置中，装置1702/1702’包括：用于检测真实世界场景中的第一区域上的眼睛凝视的单元，用于设置包围第一区域的边界的单元，该边界不包括真实世界场景中的至少第二区域，用于在边界内的第一区域上执行对象识别过程的单元，用于禁止在至少第二区域上执行对象识别过程的单元，用于检测在真实世界场景中的第三区域上的眼睛凝视的单元，用于设置包围第三区域而不包括真实世界场景中的至少第四区域的边界的单元，用于存储对象在边界内已被识别的连续次数的第一计数或对象在边界内已被识别的次数的第二计数的单元，用于确定第一计数或第二计数是否超过门限的单元，用于在第一计数或第二计数超过门限时加亮对象的单元，用于在第一计数或第二计数超过门限时显示接近对象的图标的单元，用于如果在边界内的第一区域中没有对象被识别出来则执行至少一个操作的单元，该至少一个操作包括以下操作中的至少一项：用于缩放到边界内的第一区域的中心的操作、用于扩大边界的操作、或者用于进入节电状态的操作，用于存储对象在边界内已被识别的次数的计数的单元，用于基于对象的类型、历史、用户偏好中的至少一项来动态地设定门限的单元，用于确定计数是否超过门限的单元，用于在计数超过门限时加亮对象的单元，用于在计数超过门限时显示接近对象的图标的单元，用于接收语音命令和姿势命令中的至少一项的单元，用于响应于语音命令和姿势命令中的至少一项来调节边界内的第一区域的放大率的单元，用于显示至少一个照片编辑工具的单元，用于基于语音命令和姿势命令中的至少一项使用至少一个照片编辑工具来编辑边界内的第一区域的单元，用于存储所编辑的第一区域的图像的单元，用于响应于第一语音命令和第一姿势命令中的至少一项来存储至少第一被识别的对象的单元，用于响应于第二语音命令和第二姿势命令中的至少一项来存储至少第二被识别的对象的单元，以及用于对至少第一被识别的对象和第二被识别的对象进行比较的单元。
上述单元可以是被配置为执行由上述单元所陈述的功能的装置1702的前述模块中的一个或多个模块和/或装置1702’的处理系统1814。
因此，通过减小边界的大小以及在减小的边界内的区域上执行对象识别过程，光学设备可以减少识别对象所需要的处理的量，并因此可以节约电池电量。此外，本文所公开的方面通过使手势、眼睛/头部跟踪和语音命令相互协调，改进了与增强现实的交互。
应当理解的是，所公开的过程中的步骤的特定顺序或层次是对示例性方法的说明。基于设计偏好，应当理解的是，所述过程中的步骤的特定顺序或层次可以重新排列。此外，可以组合或者省略一些步骤。所附方法权利要求按照样本顺序呈现了各个步骤的要素，而不意味着要受限于所呈现的特定顺序或层次。
提供之前的描述以使本领域任何技术人员能够实践本文中所描述的各个方面。对于本领域技术人员来说，对这些方面的各种修改将是显而易见的，并且本文中定义的一般原理可以被应用于其它方面。因此，权利要求并不旨在限于本文中所示出的方面，而是要符合与权利要求语言相一致的最广范围，其中，以单数形式对要素的引用并不旨在意味着“一个并且仅一个”(除非特别如此说明)，而指的是“一个或多个”。除非另外特别说明，否则术语“一些”指的是一个或多个。贯穿本公开内容来描述的、对于本领域普通技术人员来说是已知的或稍后要知道的各个方面的要素的所有结构等同物和功能等同物，通过引用明确地并入本文，并且旨在由权利要求所包含。另外，本文中公开的所有内容均不是要贡献给公众的，不论这种公开内容是否在权利要求中进行了明确地陈述。权利要求的任何要素都不应当解释为功能模块，除非该要素是明确地使用短语“用于……的单元”来陈述的。

Claims (40)

1.一种用于对被配置为显示内容的光学设备进行控制的方法，所述方法包括：
检测在真实世界场景中的第一区域上的眼睛凝视；
设置包围所述第一区域的边界，所述边界不包括所述真实世界场景中的至少第二区域；
在所述边界内的所述第一区域上执行对象识别过程；以及
禁止在所述至少所述第二区域上执行对象识别过程。
2.根据权利要求1所述的方法，还包括：
检测在所述真实世界场景中的第三区域上的所述眼睛凝视；以及
设置包围所述第三区域而不包括所述真实世界场景中的至少第四区域的所述边界。
3.根据权利要求1所述的方法，其中，执行所述对象识别过程包括针对所述真实世界场景的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程，所述方法还包括：
将对象在所述边界内已被识别的连续次数的第一计数或对象在所述边界内已被识别的次数的第二计数存储在存储器中。
4.根据权利要求3所述的方法，还包括：
确定所述第一计数或所述第二计数是否超过门限；
当所述第一计数或所述第二计数超过所述门限时，加亮所述对象；以及
当所述第一计数或所述第二计数超过所述门限时，显示接近所述对象的图标。
5.根据权利要求1所述的方法，其中，如果在所述边界内的所述第一区域中没有识别到对象，则所述方法还包括执行以下操作中的至少一项：缩放到所述边界内的所述第一区域的中心的操作，扩大所述边界的操作或进入节电状态的操作。
6.根据权利要求1所述的方法，其中，执行所述对象识别过程包括针对所述真实世界场景中的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程，所述方法还包括：
将对象在所述边界内已被识别的次数的计数存储在存储器中。
7.根据权利要求6所述的方法，还包括：
基于对象的类型、历史和用户偏好中的至少一项，动态地设置门限；
确定所述计数是否超过所述门限；
当所述计数超过所述门限时加亮所述对象；以及
当所述计数超过所述门限时显示接近所述对象的图标。
8.根据权利要求1所述的方法，还包括：
接收语音命令和姿势命令中的至少一项；以及
响应于所述语音命令和所述姿势命令中的所述至少一项，调节所述边界内的所述第一区域的放大率。
9.根据权利要求1所述的方法，还包括：
显示至少一个照片编辑工具；
基于语音命令和姿势命令中的至少一项，使用所述至少一个照片编辑工具，编辑所述边界内的所述第一区域；以及
存储所编辑的第一区域的图像。
10.根据权利要求1所述的方法，还包括：
响应于第一语音命令和第一姿势命令中的至少一项，存储至少第一被识别的对象；
响应于第二语音命令和第二姿势命令中的至少一项，存储至少第二被识别的对象；以及
比较所述至少所述第一被识别的对象和所述第二被识别的对象。
11.一种用于对被配置为显示内容的光学设备进行控制的装置，所述装置包括：
用于检测在真实世界场景中的第一区域上的眼睛凝视的单元；
用于设置包围所述第一区域的边界的单元，所述边界不包括所述真实世界场景中的至少第二区域；
用于在所述边界内的所述第一区域上执行对象识别过程的单元；以及
用于禁止在所述至少所述第二区域上执行对象识别过程的单元。
12.根据权利要求11所述的装置，还包括：
用于检测在所述真实世界场景中的第三区域上的所述眼睛凝视的单元；以及
用于设置包围所述第三区域而不包括所述真实世界场景中的至少第四区域的所述边界的单元。
13.根据权利要求11所述的装置，其中，所述用于执行所述对象识别过程的单元被配置为针对所述真实世界场景的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程，所述装置还包括：
用于存储对象在所述边界内已被识别的连续次数的第一计数或对象在所述边界内已被识别的次数的第二计数的单元。
14.根据权利要求11所述的装置，还包括：
用于确定所述第一计数或所述第二计数是否超过门限的单元；
用于当所述第一计数或所述第二计数超过所述门限时，加亮所述对象的单元；以及
用于当所述第一计数或所述第二计数超过所述门限时，显示接近所述对象的图标的单元。
15.根据权利要求11所述的装置，还包括：用于如果在所述边界内的所述第一区域中没有识别到对象，则执行至少一个操作的单元，所述至少一个操作包括以下各项中的至少一项：缩放到所述边界内的所述第一区域的中心的操作，扩大所述边界的操作或进入节电状态的操作。
16.根据权利要求11所述的装置，其中，所述用于执行所述对象识别过程的单元被配置为针对所述真实世界场景中的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程，所述装置还包括：
用于存储对象在所述边界内已被识别的次数的计数的单元。
17.根据权利要求16所述的装置，还包括：
用于基于对象的类型、历史和用户偏好中的至少一项，动态地设置门限的单元；
用于确定所述计数是否超过所述门限的单元；
用于当所述计数超过所述门限时加亮所述对象的单元；以及
用于当所述计数超过所述门限时显示接近所述对象的图标的单元。
18.根据权利要求11所述的装置，还包括：
用于接收语音命令和姿势命令中的至少一项的单元；以及
用于响应于所述语音命令和所述姿势命令中的所述至少一项，调节所述边界内的所述第一区域的放大率的单元。
19.根据权利要求11所述的装置，还包括：
用于显示至少一个照片编辑工具的单元；
用于基于语音命令和姿势命令中的至少一项，使用所述至少一个照片编辑工具，编辑所述边界内的所述第一区域的单元；以及
用于存储所编辑的第一区域的图像的单元。
20.根据权利要求11所述的装置，还包括：
用于响应于第一语音命令和第一姿势命令中的至少一项，存储至少第一被识别的对象的单元；
用于响应于第二语音命令和第二姿势命令中的至少一项，存储至少第二被识别的对象的单元；以及
用于比较所述至少所述第一被识别的对象和所述第二被识别的对象的单元。
21.一种用于对被配置为显示内容的光学设备进行控制的装置，所述装置包括：
处理系统，其被配置为：
检测在真实世界场景中的第一区域上的眼睛凝视；
设置包围所述第一区域的边界，所述边界不包括所述真实世界场景中的至少第二区域；
在所述边界内的所述第一区域上执行对象识别过程；以及
禁止在所述至少所述第二区域上执行对象识别过程。
22.根据权利要求21所述的装置，其中，所述处理系统还被配置为：
检测在所述真实世界场景中的第三区域上的所述眼睛凝视；以及
设置包围所述第三区域而不包括所述真实世界场景中的至少第四区域的所述边界。
23.根据权利要求21所述的装置，其中，所述对象识别过程是通过针对所述真实世界场景的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程来执行的，所述处理系统还被配置为：
将对象在所述边界内已被识别的连续次数的第一计数或对象在所述边界内已被识别的次数的第二计数存储在存储器中。
24.根据权利要求23所述的装置，其中，所述处理系统还被配置为：
确定所述第一计数或所述第二计数是否超过门限；
当所述第一计数或所述第二计数超过所述门限时，加亮所述对象；以及
当所述第一计数或所述第二计数超过所述门限时，显示接近所述对象的图标。
25.根据权利要求21所述的装置，其中，所述处理系统还被配置为：如果在所述边界内的所述第一区域中没有识别到对象，则执行以下操作中的至少一项：缩放到所述边界内的所述第一区域的中心的操作，扩大所述边界的操作或进入节电状态的操作。
26.根据权利要求21所述的装置，其中，所述对象识别过程是通过针对所述真实世界场景中的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程来执行的，所述处理系统还被配置为：
将对象在所述边界内已被识别的次数的计数存储在存储器中。
27.根据权利要求26所述的装置，其中，所述处理系统还被配置为：
基于对象的类型、历史和用户偏好中的至少一项，动态地设置门限；
确定所述计数是否超过所述门限；
当所述计数超过所述门限时加亮所述对象；以及
当所述计数超过所述门限时显示接近所述对象的图标。
28.根据权利要求21所述的装置，其中，所述处理系统还被配置为：
接收语音命令和姿势命令中的至少一项；以及
响应于所述语音命令和所述姿势命令中的所述至少一项，调节所述边界内的所述第一区域的放大率。
29.根据权利要求21所述的装置，其中，所述处理系统还被配置为：
显示至少一个照片编辑工具；
基于语音命令和姿势命令中的至少一项，使用所述至少一个照片编辑工具，编辑所述边界内的所述第一区域；以及
存储所编辑的第一区域的图像。
30.根据权利要求21所述的装置，其中，所述处理系统还被配置为：
响应于第一语音命令和第一姿势命令中的至少一项，存储至少第一被识别的对象；
响应于第二语音命令和第二姿势命令中的至少一项，存储至少第二被识别的对象；以及
比较所述至少所述第一被识别的对象和所述第二被识别的对象。
31.一种计算机程序产品，包括：
计算机可读介质，其包括用于进行以下操作的代码：
检测在真实世界场景中的第一区域上的眼睛凝视；
设置包围所述第一区域的边界，所述边界不包括所述真实世界场景中的至少第二区域；
在所述边界内的所述第一区域上执行对象识别过程；以及
禁止在所述至少所述第二区域上执行对象识别过程。
32.根据权利要求31所述的计算机程序产品，所述计算机可读介质还包括用于进行以下操作的代码：
检测在所述真实世界场景中的第三区域上的所述眼睛凝视；以及
设置包围所述第三区域而不包括所述真实世界场景中的至少第四区域的所述边界。
33.根据权利要求31所述的计算机程序产品，其中，执行所述对象识别过程包括针对所述真实世界场景的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程，所述计算机可读介质还包括用于进行以下操作的代码：
将对象在所述边界内已被识别的连续次数的第一计数或对象在所述边界内已被识别的次数的第二计数存储在存储器中。
34.根据权利要求33所述的计算机程序产品，所述计算机可读介质还包括用于进行以下操作的代码：
确定所述第一计数或所述第二计数是否超过门限；
当所述第一计数或所述第二计数超过所述门限时，加亮所述对象；以及
当所述第一计数或所述第二计数超过所述门限时，显示接近所述对象的图标。
35.根据权利要求31所述的计算机程序产品，所述计算机可读介质还包括用于进行以下操作的代码：如果在所述边界内的所述第一区域中没有识别到对象，则执行以下操作中的至少一项：缩放到所述边界内的所述第一区域的中心的操作，扩大所述边界的操作或进入节电状态的操作。
36.根据权利要求31所述的计算机程序产品，其中，执行所述对象识别过程包括针对所述真实世界场景中的多个图像帧中的一个或多个图像帧在所述边界内的所述第一区域上执行所述对象识别过程，所述计算机可读介质还包括用于进行以下操作的代码：
将对象在所述边界内已被识别的次数的计数存储在存储器中。
37.根据权利要求36所述的计算机程序产品，所述计算机可读介质还包括用于进行以下操作的代码：
基于对象的类型、历史和用户偏好中的至少一项，动态地设置门限；
确定所述计数是否超过所述门限；
当所述计数超过所述门限时加亮所述对象；以及
当所述计数超过所述门限时显示接近所述对象的图标。
38.根据权利要求31所述的计算机程序产品，所述计算机可读介质还包括用于进行以下操作的代码：
接收语音命令和姿势命令中的至少一项；以及
响应于所述语音命令和所述姿势命令中的所述至少一项，调节所述边界内的所述第一区域的放大率。
39.根据权利要求31所述的计算机程序产品，所述计算机可读介质还包括用于进行以下操作的代码：
显示至少一个照片编辑工具；
基于语音命令和姿势命令中的至少一项，使用所述至少一个照片编辑工具，编辑所述边界内的所述第一区域；以及
存储所编辑的第一区域的图像。
40.根据权利要求31所述的计算机程序产品，所述计算机可读介质还包括用于进行以下操作的代码：
响应于第一语音命令和第一姿势命令中的至少一项，存储至少第一被识别的对象；
响应于第二语音命令和第二姿势命令中的至少一项，存储至少第二被识别的对象；以及
比较所述至少所述第一被识别的对象和所述第二被识别的对象。
CN201480004545.8A 2013-01-13 2014-01-10 用于控制增强现实设备的装置和方法 Active CN104937519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910302542.7A CN109901722B (zh) 2013-01-13 2014-01-10 用于控制增强现实设备的装置和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/740,256 US10359841B2 (en) 2013-01-13 2013-01-13 Apparatus and method for controlling an augmented reality device
US13/740,256 2013-01-13
PCT/US2014/011134 WO2014110437A1 (en) 2013-01-13 2014-01-10 Apparatus and method for controlling an augmented reality device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910302542.7A Division CN109901722B (zh) 2013-01-13 2014-01-10 用于控制增强现实设备的装置和方法

Publications (2)

Publication Number Publication Date
CN104937519A true CN104937519A (zh) 2015-09-23
CN104937519B CN104937519B (zh) 2019-05-10

Family

ID=50033807

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910302542.7A Active CN109901722B (zh) 2013-01-13 2014-01-10 用于控制增强现实设备的装置和方法
CN201480004545.8A Active CN104937519B (zh) 2013-01-13 2014-01-10 用于控制增强现实设备的装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910302542.7A Active CN109901722B (zh) 2013-01-13 2014-01-10 用于控制增强现实设备的装置和方法

Country Status (7)

Country Link
US (2) US10359841B2 (zh)
EP (1) EP2943853B1 (zh)
JP (1) JP6254193B2 (zh)
KR (1) KR102159313B1 (zh)
CN (2) CN109901722B (zh)
ES (1) ES2899753T3 (zh)
WO (1) WO2014110437A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193297A1 (en) * 2016-05-11 2017-11-16 Intel Corporation Movement mapping based control of telerobot
CN107728776A (zh) * 2016-08-11 2018-02-23 成都五维译鼎科技有限公司 信息采集的方法、装置、终端及系统及用户终端
CN108089701A (zh) * 2017-12-07 2018-05-29 北京奇虎科技有限公司 一种虚拟现实vr场景的展示方法和装置
CN108280434A (zh) * 2018-01-25 2018-07-13 北京小米移动软件有限公司 显示信息的方法和装置
CN108347520A (zh) * 2017-01-23 2018-07-31 阿里巴巴集团控股有限公司 情景模式的发送方法及装置、应用的启动方法及装置
CN112114659A (zh) * 2019-06-19 2020-12-22 托比股份公司 用于确定用户的精细的注视点的方法和系统
CN113359996A (zh) * 2021-08-09 2021-09-07 季华实验室 生活辅助机器人控制系统、方法、装置及电子设备
US11594075B2 (en) 2019-03-29 2023-02-28 Tobii Ab Holographic eye imaging device

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
JP6205189B2 (ja) * 2013-06-28 2017-09-27 オリンパス株式会社 情報提示システム及び情報提示システムの制御方法
JP6221535B2 (ja) * 2013-09-11 2017-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3055754B1 (en) * 2013-10-11 2023-08-02 InterDigital Patent Holdings, Inc. Gaze-driven augmented reality
KR102173123B1 (ko) 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US10282057B1 (en) * 2014-07-29 2019-05-07 Google Llc Image editing on a wearable device
US9959591B2 (en) 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
JP2016033763A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6421543B2 (ja) * 2014-10-17 2018-11-14 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6358038B2 (ja) * 2014-10-17 2018-07-18 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10140768B2 (en) 2014-10-17 2018-11-27 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, and computer program
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
CN104598138B (zh) * 2014-12-24 2017-10-17 三星电子（中国）研发中心 电子地图控制方法及装置
KR20160080851A (ko) * 2014-12-29 2016-07-08 엘지전자 주식회사 디스플레이 장치 및 제어 방법
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2016190773A1 (en) 2015-05-28 2016-12-01 Motorola Solutions, Inc. Virtual push-to-talk button
EP3109733B1 (en) * 2015-06-22 2020-07-22 Nokia Technologies Oy Content delivery
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
IL241446B (en) * 2015-09-10 2018-05-31 Elbit Systems Ltd Display adjustments on user screens and guiding users' attention
CN106372095B (zh) * 2015-10-16 2020-02-07 北京智谷睿拓技术服务有限公司 电子地图显示方法、装置及车载设备
IL243422B (en) * 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US9939635B2 (en) * 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
US20170286785A1 (en) * 2016-04-05 2017-10-05 Ford Global Technologies, Llc Interactive display based on interpreting driver actions
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US10339708B2 (en) * 2016-11-01 2019-07-02 Google Inc. Map summarization and localization
WO2018097632A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
JP6711379B2 (ja) * 2018-08-22 2020-06-17 セイコーエプソン株式会社 頭部装着型表示装置、コンピュータープログラム
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11275889B2 (en) * 2019-04-04 2022-03-15 International Business Machines Corporation Artificial intelligence for interactive preparation of electronic documents
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
JP2021140085A (ja) * 2020-03-06 2021-09-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN113836973A (zh) * 2020-06-23 2021-12-24 中兴通讯股份有限公司 终端控制方法、装置、终端及存储介质
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN114971764A (zh) * 2022-04-08 2022-08-30 浙江赟燊商业信息系统科技有限公司 一种基于HoloLens的存储和匹配系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182512A1 (en) * 2009-08-20 2011-07-28 Nikon Corporation Image processing device and computer program product
US20120236031A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. System and method for delivering content to a group of see-through near eye display eyepieces
US20120242838A1 (en) * 2008-08-26 2012-09-27 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
US20120290401A1 (en) * 2011-05-11 2012-11-15 Google Inc. Gaze tracking system
US20120320224A1 (en) * 2011-06-14 2012-12-20 Olympus Corporation Information processing device, server system, image processing system, and information storage device

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372096B2 (ja) 1993-12-28 2003-01-27 株式会社東芝 画像情報アクセス装置
JPH11242733A (ja) 1998-02-24 1999-09-07 Sanyo Electric Co Ltd 省電力制御装置
GB0011438D0 (en) 2000-05-12 2000-06-28 Koninkl Philips Electronics Nv Memory aid
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6707418B2 (en) * 2002-07-12 2004-03-16 Itt Manufacturing Enterprises, Inc. Correlating single continuous wave radar space object observation for initial orbit determination
JP4604597B2 (ja) 2004-07-30 2011-01-05 トヨタ自動車株式会社 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
EP1775712A1 (en) * 2005-10-13 2007-04-18 Sony Ericsson Mobile Communications AB Automatic theme creator
JP2007184683A (ja) 2006-01-04 2007-07-19 Eastman Kodak Co 画像データ処理装置及び方法
JP4984640B2 (ja) 2006-05-17 2012-07-25 トヨタ自動車株式会社 認識装置、地図データ作成装置および認識方法
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
JP4810440B2 (ja) 2007-01-09 2011-11-09 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
US7954067B2 (en) * 2007-03-16 2011-05-31 Apple Inc. Parameter setting superimposed upon an image
US20080229232A1 (en) * 2007-03-16 2008-09-18 Apple Inc. Full screen editing of visual media
KR20100028344A (ko) * 2008-09-04 2010-03-12 삼성전자주식회사 휴대단말의 영상 편집 방법 및 장치
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101598632B1 (ko) * 2009-10-01 2016-02-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 단말기 및 그의 태그 편집 방법
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120212499A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20110273466A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
JP5751898B2 (ja) 2011-04-05 2015-07-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム及び記憶媒体
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9131192B2 (en) * 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US9279983B1 (en) * 2012-10-30 2016-03-08 Google Inc. Image cropping
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242838A1 (en) * 2008-08-26 2012-09-27 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
US20110182512A1 (en) * 2009-08-20 2011-07-28 Nikon Corporation Image processing device and computer program product
US20120236031A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. System and method for delivering content to a group of see-through near eye display eyepieces
US20120290401A1 (en) * 2011-05-11 2012-11-15 Google Inc. Gaze tracking system
US20120320224A1 (en) * 2011-06-14 2012-12-20 Olympus Corporation Information processing device, server system, image processing system, and information storage device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193297A1 (en) * 2016-05-11 2017-11-16 Intel Corporation Movement mapping based control of telerobot
US10434653B2 (en) 2016-05-11 2019-10-08 Intel Corporation Movement mapping based control of telerobot
CN107728776A (zh) * 2016-08-11 2018-02-23 成都五维译鼎科技有限公司 信息采集的方法、装置、终端及系统及用户终端
CN108347520A (zh) * 2017-01-23 2018-07-31 阿里巴巴集团控股有限公司 情景模式的发送方法及装置、应用的启动方法及装置
CN108089701A (zh) * 2017-12-07 2018-05-29 北京奇虎科技有限公司 一种虚拟现实vr场景的展示方法和装置
CN108280434A (zh) * 2018-01-25 2018-07-13 北京小米移动软件有限公司 显示信息的方法和装置
US11594075B2 (en) 2019-03-29 2023-02-28 Tobii Ab Holographic eye imaging device
CN112114659A (zh) * 2019-06-19 2020-12-22 托比股份公司 用于确定用户的精细的注视点的方法和系统
CN113359996A (zh) * 2021-08-09 2021-09-07 季华实验室 生活辅助机器人控制系统、方法、装置及电子设备

Also Published As

Publication number Publication date
KR20150107781A (ko) 2015-09-23
CN109901722B (zh) 2022-07-29
US11366515B2 (en) 2022-06-21
CN109901722A (zh) 2019-06-18
CN104937519B (zh) 2019-05-10
WO2014110437A1 (en) 2014-07-17
EP2943853B1 (en) 2021-11-17
EP2943853A1 (en) 2015-11-18
US20190278367A1 (en) 2019-09-12
ES2899753T3 (es) 2022-03-14
JP2016503217A (ja) 2016-02-01
US20140198129A1 (en) 2014-07-17
KR102159313B1 (ko) 2020-09-23
JP6254193B2 (ja) 2017-12-27
US10359841B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
CN104937519A (zh) 用于控制增强现实设备的装置和方法
US11354825B2 (en) Method, apparatus for generating special effect based on face, and electronic device
KR102142232B1 (ko) 얼굴 라이브니스 검출 방법 및 장치, 그리고 전자 디바이스
CN112070015B (zh) 一种融合遮挡场景的人脸识别方法、系统、设备及介质
US11749020B2 (en) Method and apparatus for multi-face tracking of a face effect, and electronic device
US10255690B2 (en) System and method to modify display of augmented reality content
CN108629220A (zh) 一种二维码识读方法、装置及设备
TW201947528A (zh) 車輛損傷識別的處理方法、處理設備、客戶端及伺服器
US20150042837A1 (en) Image acquiring method and electronic device
CN105426867A (zh) 人脸识别验证方法及装置
CN105095881A (zh) 人脸识别方法、装置及终端
CN104854536A (zh) 用于红外线无接触手势系统的装置和方法
US20160267634A1 (en) Methods, systems and computer-readable mediums for efficient creation of image collages
CN104461717B (zh) 一种信息处理方法及电子设备
CN111160187A (zh) 一种遗留物体检测的方法、装置及系统
CN112445341A (zh) 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
CN104317392A (zh) 一种信息控制方法及电子设备
CN106155513B (zh) 一种投影触屏的控制方法及装置
CN103984415A (zh) 一种信息处理方法及电子设备
CN107340962B (zh) 基于虚拟现实设备的输入方法、装置及虚拟现实设备
CN110598555A (zh) 一种图像的处理方法、装置及设备
CN113627263B (zh) 一种基于人脸检测的曝光方法、装置以及设备
CN115862668B (zh) 机器人基于声源定位判断交互对象的方法和系统
CN107765936A (zh) 一种页面处理方法、装置和智能终端
KR101415718B1 (ko) 부분 이미지 생성 방법 및 그 단말 장치

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant