CN105027033B - 用于选择扩增现实对象的方法、装置和计算机可读媒体 - Google Patents

用于选择扩增现实对象的方法、装置和计算机可读媒体 Download PDF

Info

Publication number
CN105027033B
CN105027033B CN201480008261.6A CN201480008261A CN105027033B CN 105027033 B CN105027033 B CN 105027033B CN 201480008261 A CN201480008261 A CN 201480008261A CN 105027033 B CN105027033 B CN 105027033B
Authority
CN
China
Prior art keywords
roi
user
hmd
objects
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480008261.6A
Other languages
English (en)
Other versions
CN105027033A (zh
Inventor
阿尔皮特·米塔尔
朱利亚诺·马乔奇
迈克尔·L·图恩梅尔
保罗·马步特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105027033A publication Critical patent/CN105027033A/zh
Application granted granted Critical
Publication of CN105027033B publication Critical patent/CN105027033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)

Abstract

本发明提出用于在头部安装装置HMD上选择扩增现实AR对象的方法、系统、计算机可读媒体和设备。在一些实施例中，HMD可基于由用户的至少一只手形成的手势而界定感兴趣区域ROI。随后，所述HMD可在所述HMD上向所述用户显示一形状。在至少一个布置中，所述形状描画所述ROI的轮廓。另外，所述HMD可向所述用户显示多个AR对象，所述多个AR对象中的每一者与所述ROI内部的目标相关联。此外，所述HMD可基于所述用户的所述至少一只手的第一移动而减小所述ROI的大小以形成减小大小ROI。在至少一个布置中，所述减小大小ROI用以从所述多个AR对象选择特定AR对象。

Description

用于选择扩增现实对象的方法、装置和计算机可读媒体
背景技术
本发明的方面涉及使用人体手势在头部安装显示器(HMD)上选择扩增现实(AR)对象。
HMD现可发展为具有内附的或由连接到HMD的主机装置(例如，智能型手机)提供的某一程度的计算能力的重量轻、可买得起的装置。
HMD可包括安装于眼镜框架上的一或多个自我中心相机。HMD还可包括光学传感器、加速计、GPS、回转仪、固态罗盘、RFID和无线传感器。HMD可具有在用户的视野内的透明显示区，用户在透明显示区中可在显示器上观看实体对象和虚拟对象。
使用内建相机，HMD可根据用户的输入而俘获图像和视频。常规方法包括用户触碰HMD上的按钮以俘获用户的视野中的图像。
发明内容
描述特定实施例，所述特定实施例允许用户在头部安装显示器(HMD)上选择一或多个扩增现实(AR)对象而无需用户实体触碰所述HMD。
在一些实施例中，HMD可基于由用户的至少一只手形成的手势而界定感兴趣区域(ROI)。随后，所述HMD可在所述HMD上向所述用户显示一形状。在至少一个布置中，所述形状描画所述ROI的轮廓。另外，所述HMD可向所述用户显示多个AR对象，所述多个AR对象中的每一者与所述ROI内的目标相关联。此外，所述HMD可基于所述用户的所述至少一只手的第一移动而减小所述ROI的大小以形成减小大小ROI。在至少一个布置中，所述减小大小ROI用以从所述多个AR对象选择特定AR对象。在一或多个配置中，用于减小所述ROI的大小的方法包含使所述用户的手移动得更靠近彼此。另外，所述HMD可基于放开事件而放开所述减小大小ROI。举例来说，所述放开事件可在所述用户的所述至少一只手远离所述ROI时、在所述用户的至少一手指和拇指靠拢时或在所述用户发出语音命令时出现。
在另一配置中，其中多个扩增与所述特定AR对象相关联，所述HMD可进一步基于所述用户的所述至少一只手在所述特定AR对象的方向上的第二移动而向所述用户显示来自与所述特定AR对象相关联的所述多个扩增的对应扩增。
在另一配置中，所述HMD可进一步：俘获所述减小大小ROI内的文字；且基于所述俘获文字而初始化翻译。所述HMD还可执行所述ROI或所述减小大小ROI的自动视觉辨识和视觉搜索。
在另一配置中，所述HMD可在与一或多个其他用户共享的视频期间使用所述减小大小ROI来使视野变窄。
在一些实施例中，一种用于选择扩增现实(AR)对象的头部安装装置(HMD)可包含：一或多个处理器；以及存储计算机可读指令的存储器，所述计算机可读指令在由所述一或多个处理器执行时使所述HMD：基于由用户的至少一只手形成的手势而界定感兴趣区域(ROI)；在所述HMD上向所述用户显示一形状，其中所述形状描画所述ROI的轮廓；向所述用户显示多个AR对象，所述多个AR对象中的每一者与所述ROI内的目标相关联；且基于所述用户的所述至少一只手的第一移动而减小所述ROI的大小以形成减小大小ROI，其中所述减小大小ROI用以从所述多个AR对象选择特定AR对象。
在一些实施例中，一或多个计算机可读媒体，所述一或多个计算机可读媒体存储用于在头部安装装置(HMD)上选择扩增现实(AR)对象的计算机可执行指令，所述计算机可执行指令在执行时使包括于HMD中的一或多个计算装置：基于由用户的至少一只手形成的手势而界定感兴趣区域(ROI)；在所述HMD上向所述用户显示一形状，其中所述形状描画所述ROI的轮廓；向所述用户显示多个AR对象，所述多个AR对象中的每一者与所述ROI内的目标相关联；且基于所述用户的所述至少一只手的第一移动而减小所述ROI的大小以形成减小大小ROI，其中所述减小大小ROI用以从所述多个AR对象选择特定AR对象。
在一些实施例中，一种用于选择扩增现实(AR)对象的头部安装装置(HMD)可包含：用于基于由用户的至少一只手形成的手势而界定感兴趣区域(ROI)的装置；用于在所述HMD上向所述用户显示一形状的装置，其中所述形状描画所述ROI的轮廓；用于向所述用户显示多个AR对象的装置，所述多个AR对象中的每一者与所述ROI内的目标相关联；以及用于基于所述用户的所述至少一只手的第一移动而减小所述ROI的大小以形成减小大小ROI的装置，其中所述减小大小ROI用以从所述多个AR对象选择特定AR对象。
附图说明
本发明的方面以举例方式说明。在附图中，相似参考数字指示类似元件，且：
图1A和1B说明可并入有一或多个实施例的HMD的简化图；
图2根据一实施例说明描述与HMD交互以选择AR目标的无触碰方法的流程图；
图3A和3B根据一实施例说明用于选择感兴趣区域(ROI)的方法；
图4根据一实施例说明显示于HMD上的具有五个目标的ROI；
图5根据一实施例说明显示于HMD上的具有三个目标的减小大小ROI；
图6说明用于选择AR目标的特定扩增层的流程图；
图7说明用户通过使用VOI在目标的方向上滚动而浏览多个扩增；
图8说明用于基于ROI起始智能应用程序(例如，翻译、视觉搜索)的流程图；以及
图9说明可在其中实施一或多个实施例的计算系统的实例。
具体实施方式
现将参看形成实施例的部分的附图来描述若干说明性实施例。虽然下文描述了其中可实施本发明的一或多个方面的特定实施例，但在不脱离本发明的范围和所附权利要求书的精神的情况下，可使用其它实施例且可作出各种修改。
本发明的实施例涉及使用人体手势在头部安装显示器(HMD)上选择扩增现实(AR)对象。一些实施例揭示用于在头部安装显示器(HMD)上选择一或多个扩增现实(AR)对象而无需用户实体触碰所述HMD的方法。
HMD可通过将用户所观看的实体对象与(例如)相关联于实体对象或相关联于用户的位置和/或环境的数字内容(例如，文字、图片、视频)重叠而提供扩增现实(AR)功能性。举例来说，具有扩增现实(AR)能力的HMD可将实体世界和虚拟对象两者的图像放置于用户的视野上方。结果，HMD可为用户提供移动和合作式AR体验。
如本文中所使用，术语HMD是指链接到移动处理器的俘获距离传感器数据且具有显示能力的装置，其可为相对于头部安装装置分离的装置。在一实施例中，HMD 120可为移动装置CPU(例如，移动电话、平板计算机、智能型手机等处理器)的配件，其中HMD控制系统的主要处理在移动装置的处理器上执行。在另一实施例中，HMD 120可包含处理器、存储器、显示器和相机。
在另一实施例中，HMD可包括用于与因特网、本地无线网络或另一计算装置连接的无线接口。在另一实施例中，投影仪可关联于HMD中以实现图像到表面上的投影。HMD有选为轻量的且构造成避免使用可使装置佩戴起来不舒适的沉重组件。HMD还可操作以从用户接收音频/手势输入。此等手势或音频输入可为所说的语音命令或经辨识的用户手势，所述输入在由计算装置辨识后可使所述装置执行对应命令。
扩增现实(AR)可为要素通过计算机产生的感测输入(例如，但不限于，声音、文字、图形、视频和GPS数据)扩增的实体真实世界环境的实况的直接或非直接视图。
通过使用例如对象辨识等AR技术，关于用户的周围真实世界的信息变为交互性的且数字可操纵的。关于用户的环境及其对象的人工信息可覆盖于真实世界上方。
此外，虽然本文中相对于HMD来描述实施例，但所属领域的技术人员将了解，可利用其它形式的头部安装显示器。举例来说，本文中所描述的实施例可相对于用户可佩戴的一或多个隐形眼镜而实施和/或可以用户可借以感觉视野的另一形式的显示器而实施。
一些实施例允许与HMD交互以选择地理定位兴趣点(POI)和AR目标。通过检测自然人体手势，系统可触发HMD选择经由眼镜看到的ROI内的POI或AR目标的子集。
各种实施例包括在扩增现实系统中选择AR目标的方法，所述方法包括：基于通过用一或多个头部安装传感器俘获空间数据的用户的手势而界定ROI；在HMD的显示器上显示描画所述ROI的轮廓的形状；计算包括对应于AR目标的相对于HMD的距离的参数，在所述ROI内显示多个AR对象；基于用户的手部移动而减小所述ROI的大小；以及使用减小大小的ROI选择特定AR目标。在一实施例中，所述方法可包括连续更新产生的虚拟对象的显示，使得虚拟对象随着用户转动其头部而以固定显示的方式出现。
图1A到1B说明可并入有一或多个实施例的HMD 120的简化图。
图2所描述的流程图根据一实施例说明与HMD交互以选择地理定位兴趣点(pointof interest，POI)和AR目标的无触碰方法。通过检测自然人体手势，HMD可选择经由眼镜看到的所述POI或AR目标的子集。图3A说明使用图2中所描述的方法与HMD交互以选择AR目标的例示性方法。手势可涉及使双手的食指和拇指在正交方向上指向，如图3A和图4所示。在ROI已由HMD辨识之后，用户可通过进一步指定ROI或注意空间(volume-of-interest，VOI)而选择二维或三维空间中的地理定位POI或AR目标，如图3B、图5和图7所示。
根据另一实施例，HMD上的具有深度测量功能的相机(例如，立体相机)可用于在AR具有与之相关联的多个扩增时使用VOI来选择扩增。具备深度测量功能的相机可辨识手部在用户前面或在相机视界中的移动。利用此等相机，HMD可辨识用户的手相对于目标的位置，且因此基于所述位置而显示不同扩增。
举例来说，用户可选择AR目标的特定扩增层，如图6所说明的流程图中所进一步描述。首先，用户可通过选择ROI而选择特定AR目标。此外，如果多个扩增与给定AR目标相关联，那么用户可通过使用VOI在目标的方向上卷定而浏览所述扩增。举例来说，在图7中，关于电影海报720，用户可浏览展示以下各者的三个不同扩增705、710、715：电影的名称(带评论)；预告片；以及相关联于电影的放映时间。视手部位置而定，向用户展示对应AR扩增。
根据另一实施例，系统可基于所述ROI而起始智能应用程序(例如，翻译、视觉搜索)，如图8所说明的流程图中所进一步描述。举例来说，可将ROI馈送到视觉搜索系统或基于光学字符辨识(optical character recognition，OCR)的翻译器，且结果可显示于HMD上。
根据另一实施例，ROI可用以使视野变窄以用于视频共享。举例来说，将ROI视为用于基于视频的通信的共享视界，因此，仅用户的视野的部分(例如，呈现、文档)与远程用户共享。
使用手势界定感兴趣区域
图1A为根据一个实施例的经配置以基于用户的手势而界定感兴趣区域(ROI)的HMD 120的简化说明100。在此实施例中，由用户110佩戴的HMD 120具有经配置以追踪用户的手130以便界定ROI的相机和/或其它传感器。在此情况下，HMD 120能够在HMD 120的显示器140上显示描画ROI的轮廓的形状。此可允许用户给出实时反馈以视需要调整ROI，从而移除对用以接收用户输入的单独接口(例如，触控板、按钮)的需要。其它接口可视所要功能性而并入到HMD 120中。HMD 120可利用一或多个预先安装的相机150来追踪用户的手130以便确定ROI。
图1B为可利用本文中所提供的技术的HMD 120的一实施例的说明。所展示的实施例包括显示器140和一或多个相机150。此实施例包括类似于可搁置在用户110的鼻子和耳朵上的眼镜的框架，从而使显示器140定位于用户的眼睛前面。
各种实施例使HMD 120能够使用HMD 120上的传感器来俘获用户的手130的手势。在一实施例中，相机150可为头部安装相机，其可产生处理器可分析以经由对图像的三角分析来估计图像中的到对象的距离的图像数据。替代地或另外，HMD 120可包括可测量图像内的到各种表面的距离的一或多个距离测量传感器(例如，激光或音波测距器)。在各种实施例中，多种不同类型的距离测量传感器和算法可使用成像场景进行测量以用于测量到用户110观看到的场景内的对象的距离。并且，在HMD 120中可使用一个以上传感器和传感器类型。
此外，HMD 120可包括定向传感器，例如加速计、回转仪、磁传感器、光学传感器、机械或电子电平传感器和惯性传感器，单独地或组合地，所述传感器可将关于装置的上/下电平定向(例如，通过感测重力定向)且因此用户的头部位置定向(且从所述观看视点)的数据提供到装置的处理器。此外，HMD 120可包括旋转定向传感器，例如，可将关于左/右定向和移动的数据提供到装置的处理器的电子罗盘和加速计。总之，传感器(包括加速计、回转仪、磁传感器、光学传感器、机械或电子电平传感器、惯性传感器和电子罗盘)经配置以提供关于HMD 120的上/下和旋转定向(且因此用户的观看视点)的数据。
HMD 120可经配置以辨识用户输入，所述用户输入可经由可由相机成像的手势形成。到图像内的经辨识对象的距离可从收集自所俘获图像和距离传感器的数据来确定。HMD120可将图像和距离传感器数据提供到移动处理器和从移动处理器接收显示信息，移动处理器可与HMD 120分离，例如，在智能型手机或其它移动装置中。
显示器140的至少一部分是透明的，从而提供允许用户不仅观看显示于显示器140上的图像，而且观看用户的周围环境中的实体对象的透明显示区。显示于显示器140上的图像的透明程度可视显示器140的所要功能性、显示于显示器140上的图形用户接口(GUI)的设定和/或由HMD 120执行的软件应用程序(例如，视频、地图、因特网浏览器)而改变。虽然图1A到B所示的实施例说明定位于类似眼镜的框架中的显示器140，但在其它实施例中可利用能够提供透明显示区的其它技术(例如，视网膜投影仪或其它光学系统)。
此外，相机150(例如，面向外的相机)可俘获用户的周围环境(包括可由用户110控制以提供输入到HMD 120的用户的手130和/或其它对象)的图像。所述相机可包括将图像和/或其它信息提供到使HMD 120能够追踪在用户前面的实体对象(例如，POI)的处理单元的其它类型的传感器。在一个实施例中，HMD 120还可使用能够确定深度的相机150(例如，立体相机)来追踪对象的深度。根据一个实施例，深度相机可在使用VOI来显示多个扩增时使用，如图7所示。
相机150可具有使HMD 120能够追踪从用户角度看出现在透明显示区内的对象(例如，手势)的视野。当实体对象从用户110的视点看不在透明显示区内时，实施例可切换到低功率模式。在一些实施例中，相机150可具有比透明显示区宽的视野，以允许HMD 120在HMD120确定实体对象正在接近透明显示区(从用户110的角度看)时开始执行和/或按比例增大对象追踪算法。
从多个AR目标选择特定AR目标
图2为说明在头部安装显示器(HMD)上选择扩增现实(AR)对象的方法200的一实施例的流程图。在框205，HMD基于用户的手势界定感兴趣区域(ROI)。
检测算法可用以检测用户的手势。HMD可检测用户的预定手势且基于所述用户的手势而界定ROI。举例来说，用户的手势可包括使双手的食指和拇指在正交方向上指向以建立如图3A和3B中所说明的矩形形状。在其它例子中，用户的手势可包括拳头、张开手、用手指指向、手旋转、挥手、一或多个手指的移动及其任何组合。
另外，根据另一实施例，后续用户手势可在ROI经界定之后发生。举例来说，手势可包括分开/拉近用户的手以用于对ROI调整大小。在其它例子中，后续用户手势可包括用于拍照的轻拍手势、用于跨屏幕导引AR对象的推送手势、用于移动AR对象的轻弹手势、用于旋转AR对象的翻转手势、用于放缩操作的抓放手势、用于滚动通过媒体的拨动手势。
如上文所指示，透明显示区可为HMD 120的显示器和/或显示装置的至少一部分，其经配置以允许用户观看展示于显示器上的图像以及用户的周围环境中的实体对象。用户可基于用户的手势而选择ROI。图3A进一步说明HMD 120如何识别ROI。
在框210，界定在透明显示区内描画所述ROI的轮廓的形状且向用户显示所述形状。所述形状可为(例如)在HMD 120上描画所述ROI的轮廓的矩形覆叠。所述形状可给予用户所述ROI的位置的视觉反馈。所述形状本身在透明显示区中可或可不反白显示和/或另外指示。界定所述形状可(例如)由可为并入到HMD中和/或以通信方式与HMD耦合的计算系统的部分的处理单元、存储器和/或其它计算装置来执行。所述形状可显示为从显示元件(例如，从显示屏的边缘)延伸。此外，如下文更详细论述，所述形状可与AR或其它软件应用程序中的交互要素、数字内容和/或实体对象相关联。随着(例如)用户相对于实体对象移动，此形状可在大小、形状和在显示区内的位置上有变化。结果，展示与所选对象相关联的形状的反白显示可或可不一直显示。
各种实施例使HMD 120能够在显示器140上显现描画ROI的轮廓的虚拟形状。此使HMD 120能够提供可促进与计算装置的交互的扩增现实体验以及来自用户的实时合作和反馈。
在一些实施例中，HMD 120可将经辨识手势作为在HMD 120上执行任务的输入命令来处理。方法可在具有以处理器可执行指令配置以执行操作的处理器的计算装置中实施。所述处理器可通过接收关于HMD 120的定向的传感器数据而开始操作。另外，所述处理器可接收来自相机150的数据，以及来自上述的包括于HMD 120中的其它传感器的数据。因此，所述处理器可获得由HMD 120收集的关于图像和到相机150的视野内的对象的距离的所有信息。所述处理器可计算对象在ROI内的距离和定向数据。此等计算在图像是以块提供时可使用众所周知的三角方法，在使用距离传感器提供距离数据时使用直接测量，且使用从传感器获得和从图像计算的距离信息的组合。此外，所述处理器可使用距离传感器数据、相机数据以及距离和定向数据来处理图像。
此外，所述处理器可在一时间间隔上追踪用户的手130以确定预定手势是否经辨识。在此确定中，所述处理器可确定任何手势在视野中是否经辨识。如果手势经辨识，那么所述处理器可实质上使经辨识手势与存储于HMD 120的存储器中的输入命令匹配。所述处理器可执行对应于经辨识手势的输入命令。
根据一个实施例，一旦ROI经识别，当用户110放开时，即可俘获ROI内的图像的图片和/或视频。举例来说，如果用户在接收到描画ROI的轮廓的形状后继续维持手势(例如，相机拍摄姿势)，那么HMD 120可设置在用户放开之后俘获由ROI描画轮廓的图像。放开事件的实例可为当用户的手快速地从ROI离开时。因此，不同于常规HMD，用户无需实际上触碰常规HMD上的按钮以拍照。
根据另一实施例，HMD 120可俘获具有固定缓冲大小的视频。在此例子中，手势机制可用作触发器以向HMD指示保存来自上一预定持续时间(例如，30秒)的所有帧。举例来说，佩戴HMD 120的用户可能已恰好见到鲸鱼跳出海面，且口头请求HMD 120记录过去的30秒。因此，HMD 120可具有以下功能性：其中HMD正在缓冲帧且基于经辨识手势或语音命令，HMD 120可将所述帧存储到存储器内。
在框215，在ROI已被辨识之后，HMD 120向用户110显示与ROI内的目标相关联的多个AR目标(例如，图4中的Rita's Fashion 405)。另外，最初在ROI内的目标可随着用户移动ROI或用户的视野而加以追踪。用于追踪的装置可由经配置以俘获图像和/或位置测量、以通信方式与经配置以基于图像和/或位置测量来确定位置的处理单元、存储器和/或其它计算装置连接的相机、传感器和/或其它组件来执行。用于追踪目标的组件可用用于在透明显示区中显示图像的组件来校准，从而使HMD能够确定用户看到了什么。
追踪装置可使用多种追踪算法中的任一者。特定算法可仅追踪单一点(例如，透明显示区上的坐标)和/或相关联于对象和/或对象上的位置的区域(例如，用户的手)。较复杂追踪算法可追踪例如对象的距离等其它特征。实施例可能能够为了AR交互而追踪多个和/或不同目标。
一旦使用框215向用户显示所述多个AR对象，用户就可能接着想要如框220中所描述选择特定AR对象以用于所选对象的进一步操纵。
举例来说，当用户佩戴着HMD且与多个AR对象相关联的广告和横幅可弹出时。如果所有功能性在同一时间活跃起来，那么此可使人分心且令人讨厌。通过减小ROI的大小，用户可减小用于交互的AR对象的数目。
在框220，用户可基于用户的手的移动而减小或扩大ROI的大小，如图3A到3B中所进一步说明。通过使用实时用户反馈来操纵ROI，用户110可实时地选择特定AR对象。再次，用于减小或扩大ROI的大小的装置可包括耦合到展示ROI的显示器的处理单元、存储器和/或其它计算装置。
在框225，HMD 120使用来自框220的减小大小ROI而从框215中的所述多个AR对象选择特定AR对象。举例来说，使用Qualcomm的Vuforia，AR目标可由HMD 120显示于HMD显示器140上。
扩增现实功能性可用于无数情境中以使用户能够更多地了解用户的周围环境。举例来说，如图6和7中稍后所描述，HMD 120可辨识具有相关联于电影海报的AR的电影海报，接着HMD 120可显示虚拟“播放预告片”按钮，所述按钮可用另一手势启动。预期无数其它情境。因此，本文中所提供的技术可扩展到扩增现实情境，从而实现与数字内容的要素(从用户的角度看，到所选对象)的交互。因为此等交互要素限于用户的周围环境中的所选对象，所以HMD的显示器140上的对应ROI可相对于所选对象的位置移动且缩放。另外，根据一些实施例，可接收使用图6和8中所描述的方法来进一步操纵所选AR对象。
AR平台的实例为Qualcomm VuforiaTM扩增现实平台，其可在用户已经由使用扩增现实选择目标后立即将更多信息提供到HMD的显示器140和/或移动装置。举例来说，Vuforia的计算机视觉功能性可辨识多种2D和3D视觉目标，且显示与经辨识目标相关联的AR。因此，用户可选择真实世界目标，且与所选目标相关联的AR可显示于HMD 120的显示器140上。在一些例子中，广告可开始印刷页面，或产品包装在零售货架可活跃起来。另外，产品本身可提供增强交互性以提供说明。
因此，AR可增强印刷媒体和广告、消费型产品和包装以及教育材料的价值。框225中的与所选目标相关联的AR可实现真实世界交互性。举例来说，AR可相关联于印刷广告、产品和包装以及在零售环境中。
应了解，图2中所说明的特定步骤提供实现用户与HMD 120的交互的方法200的实例。替代实施例可包括所展示的所述实施例的替代。举例来说，替代实施例可包括界定透明显示区内的形状、显示描画ROI的轮廓的形状、在方法200期间的不同点处显示AR。另外其它实施例可包括执行数个动作以用HMD 120的显示组件来校准界定ROI、显示形状和追踪组件。此外，视特定应用而定，可添加、移除或组合额外特征。所属领域的一般技术人员可辨识许多变型、修改和替代。
基于用户的手势而界定ROI
图3A和3B说明与HMD交互以选择特定AR对象320的无触碰方法。通过检测自然人体手势，HMD 120可被触发以俘获经由眼镜看到的图像或视频。如图3A中所说明，以形成以手指和拇指为边缘的矩形的方式来放置手。可将此矩形内的区视为用户110的感兴趣区域(ROI)。
图3A说明用于基于用户的手势来界定ROI 305的方法，如框205中先前所描述。举例来说，手势可涉及使双手的食指350和拇指355在正交方向上指向。
如图3A中所说明，手势可包括使双手的食指和拇指在正交方向上指向以建立矩形。在一个例子中，手势可包括使用拇指355和手指360形成C形。在其它例子中，手势可包括拳头、张开手、用手指指向、手旋转、挥手、一或多个手指的移动及其任何组合。
图3B说明用于减小或扩大ROI 305的大小以选择特定AR对象320的方法。举例来说，手势可涉及合拢手部以减小ROI的大小。替代地，手势可涉及向外移动手以扩大ROI的大小。
根据其它实施例，一旦ROI已界定，用户就可使用后续用户手势来操纵ROI内的AR对象。举例来说，手势可包括分开/拉近用户的手以用于对ROI调整大小。在其它例子中，后续用户手势可包括用于拍照的轻拍手势、用于跨屏幕导引AR对象的推送手势、用于移动AR对象的轻弹手势、用于旋转AR对象的翻转手势、用于放缩操作的抓放手势、用于滚动通过媒体的拨动手势，及其任何组合。
HMD 120可追踪用户的手130，从而使用户110能够交互且界定ROI 305。举例来说，用户可以各种方式作出手势，例如，通过移动用户的手130以形成矩形、以相机拍摄姿势合拢手部、指定预定移动或使手部形状保持在元件附件达阈值时间量。
相机拍摄姿势的实例对用户110来说为使用用户的手建立两个C形。然而，关于相机拍摄信息，手仅可水平地而不能对角线地移动分开，且因此，ROI的调整大小不能重新界定较大矩形区，而仅重新界定较宽矩形区。
在另一实施例中，ROI可基于L形状的一只手，以ROI相对于相机视界的中心与用户的手130之间的距离为底。在此实例中，HMD 120中的用户的视野和由手界定的“L”形状的拐角的所在可用以界定ROI。来自HMD 120的反馈可为标记显示器140的中心的小红点和标记ROI的边界的所在的矩形。ROI可视相对于中心视野的用户的手130而变得更大或更小。
HMD 120在辨识手势的选择之后，可在HMD上向用户显示形状315。形状315(例如，矩形覆叠)可描画ROI 305的轮廓。用户可通过向内或向外移动手来调整ROI 305。视所要功能性而定，如果仅使用一只手，那么显示于HMD 120上的形状可锚定到显示器上的点(例如，显示器的中间的点)，使得用户可相应地调整形状而无需双手描画形状的边界的轮廓。
举例来说，HMD 120通过追踪指尖或由手的形状形成的轮廓来识别ROI 305(例如，矩形)。一旦检测到ROI 305，HMD 120在HMD眼镜上向用户显示形状315的覆叠投影，如框210中先前所描述。接着，用户可通过在放开之前移动手而如框220中先前所描述调整ROI的大小，如图3B所示。
图3B说明可如何基于实时用户输入来调整所选ROI。举例来说，在图3A中，ROI 305最初由用户选择。在图3B中，可通过使手更靠拢或分开更远来选择AR对象320。使用对象辨识技术，HMD可基于用户的手移动而确定ROI 305在减小或扩大。
根据另一实施例，系统可使用手势和/或语音命令来启动HMD上的相机。一旦减小大小ROI经识别，就可俘获ROI 305内的图像的图片和/或视频。替代地，手势机制和语音命令可用作为触发器以向HMD指示保存来自上一预定持续时间(例如，30秒)的所有帧。
此外，放开事件可在手离开目标的视野足够远时发生。放开事件还可在手指和拇指更靠近的情况下或通过语音驱动命令而发生。放开事件可将ROI 305的检测和完成发信号到HMD 120。因此，根据一个实施例，HMD 120可关闭一些传感器且进入低功率模式中。
放开事件可包括当手不够靠近时。HMD 120可连续地追踪手和由手的边缘形成的形状；因此，HMD 120可确定何时手分开预定距离。
因此，HMD 120可确定手是否已移动分开大于阈值，HMD接着可假设放开已发生。举例来说，用户可移动分开他的手，使得手不接近ROI。
然而，HMD 120可实施可在用户正试着使感兴趣区域变大时或在用户正试着在手移动分开时放开的情况下区别的特征。举例来说，HMD 120可基于手相对于ROI的位置和手移动的速度而区别ROI调整大小与放开事件。
替代地，仅握紧一只手可为放开事件。举例来说，当HMD 120确定其不能从手的轮廓检测八边形框架时，HMD 120可认为用户放开。
显示多个AR对象
图4说明经由HMD 120的显示器140的用户的视界的实例。如图4中所说明，ROI 305内与目标相关联的多个AR对象显示于显示器140上。如框215中先前所提及，在用户选择ROI305之后，HMD 120向所述用户显示与所述ROI内的目标(例如，兴趣点(POI))相关联的多个AR对象。另外，最初在ROI内的目标可随着用户移动ROI 305或用户的视野而加以追踪。
一旦ROI 305已界定，HMD 120就可向用户显示具有相关联AR应用程序的目标。一旦HMD已检测ROI 305和/或向用户显示描画ROI的轮廓的形状315，HMD就可起始AR应用程序。在HMD检测ROI 305之后，HMD可起始ROI 305内的相关联AR应用程序。举例来说，在图4中，用户经显示具有相关联AR应用程序的五个对象(例如，POI)。在此实例中，以下五个对象在ROI内：50米外的丽塔时尚(Rita's Fashion)405；星巴克(Starbucks)410；亨利餐厅(Henry's diner)415；亨利餐厅(Henry's diner)420；和电影院425。根据一个实施例，显示器140还可展示关于所述对象的其它相关信息(例如，评论、与用户的距离)。
在一些例子中，广告商可将其项目横幅/标志/包装物注册为AR目标。举例来说，使用Qualcomm的Vuforia，目标可具有可使用AR而显示于HMD显示器140上的额外信息。因此，当用户减小ROI 305以选择AR目标320时，与所选目标相关联的AR动画可给出额外信息。
图5说明ROI 305由用户减小的实例，减小导致较少AR目标或POI展示于显示器140上。如框220中所描述，用户可使用手势(例如，通过使手移动靠近)来减小ROI 305的大小。使用减小大小ROI，图5中的显示器140在ROI内现仅具有3个POI(星巴克505、亨利餐厅510、亨利餐厅515)。通过减小ROI的大小，ROI内的目标的数目已从图4中的五个POI减小到图5中的三个POI。根据另一实施例，用户可进一步减小ROI的大小，使得仅一个AR目标320在ROI305内。
根据一些实施例，所选AR目标320可具有与之相关联的多个扩增。在此情境期间，用户可使用如图6和7中所进一步描述的注意空间(VOI)技术来选择所选AR目标320的特定扩增层。
在所选目标具有多个扩增时使用注意空间
图6为说明沿着目标的方向(例如，z轴)使用手势界定注意空间(VOI)的方法600的实施例的流程图。举例来说，用户可通过沿着z轴滚动一或多只手来浏览同一目标的地理定位点或不同扩增。如图2所示，用户可减小ROI的大小以选择目标。在选择目标之后，在一些例子中，所选目标可具有与之相关联的多个扩增。
在框605，如图2中先前所描述，HMD已基于用户的手势界定ROI。通过使用实时用户反馈来操纵ROI，用户可实时地选择特定AR，类似于框225。此外，如果多个扩增与给定AR目标相关联，那么用户可使用框610中所描述的方法来规定特定层。
在框610中，用户可通过在所选目标的方向(例如，z轴)上滚动来浏览多个扩增。举例来说，用户可通过使用VOI在目标的方向上滚动来浏览扩增层的方式而选择AR目标320的特定扩增层，如图7中所说明。
在框615，系统基于用户的手位置(例如，沿着z轴，如图7中所说明)而向用户显示与所选目标相关联的不同扩增。
图7说明基于用户的手部位置的不同扩增的实时交互和显示。举例来说，用户可使用图2中所描述的方法来选择电影海报。在一些例子中，可存在与所选电影海报相关联的多个扩增。使用图6中所描述的方法，用户可浏览与电影海报相关联的不同扩增。
如图7中的不同位置所说明，可基于用户的手位置而向用户显示不同扩增。举例来说，当用户的手位置在705时，HMD 120的显示器140展示电影的名称和评论。位置710可在用户的手位置在目标720的方向(例如，z轴)上相对于位置705接近移动时出现。在位置710，在此实例中，用于播放电影的预告片的扩增展示于显示器140上。随着用户的手位置移动接近目标，在位置715，可显示电影的放映时间以及线上购票的选项。最后，在此实例中，在最接近目标720的位置，HMD 120可显示与电影相关联的图像。
如图6和7中的实例所说明，HMD 120可使用手位置和/或手势来界定VOI。基于VOI，HMD 120可显示与所选目标相关联的不同扩增。替代地，一旦目标经选择，HMD 120就可基于用户的偏好或预定手势辨识功能而实施其它模式，如图8中所说明。
目标经选择后的其它实施方案的实例
图8为说明基于所选ROI而起始智能应用程序的方法800的实施例的流程图。智能应用程序的一个实例可包括视觉翻译器。举例来说，可将在ROI内俘获的图像馈送到视觉搜索系统或(OCR)。在此实例中，OCR可用以确定和辨识来自图像的文字。基于经辨识字符，翻译器可自动地翻译且结果可显示于显示器140上。
为了说明此实施例，在框805，用户可选择供翻译的特定目标或文字。类似于图2中所描述的方法，用户可使用手势来描画用于选择用于翻译的文字的ROI 305的轮廓。
在框810，用户可请求ROI 305中的特定文字的翻译。举例来说，用户可使用语音命令或预定手势来起始翻译。替代地，HMD 120可自动地辨识外语且在无来自用户的请求的情况下起始翻译。
在框815，HMD 120可使用视觉搜索系统或OCR来辨识ROI 305中的文字。用于文字辨识的常规方法可由HMD 120利用。
在框820，HMD 120可将经辨识文字翻译成用户规定的语言且在显示器140上显示经翻译文字。举例来说，语言可为基于先前使用而预定或由用户实时地规定的预设语言。另外，HMD 120可为用户110大声读出经翻译文字。用于文字翻译的常规方法可由HMD 120利用。
图8说明在使用手势选择目标后的一个实施方案的实例。替代实施例可包括所展示的所述实施例的替代。举例来说，替代实施例可包括HMD自动地辨识外语且在无来自用户的请求的情况下翻译文字。此外，视特定应用而定，可添加、移除或组合额外特征。所属领域的一般技术人员可辨识许多变型、修改和替代。
根据另一实施例，ROI可用以使视野变窄以用于视频共享。HMD 120可在合作期间使用ROI作为共享视界。当用户想要共享其视野的部分时，用户可使用图2中所描述的方法来选择ROI 305。在合作模式期间，HMD 120可将ROI 305视为用于基于视频的通信的共享视界，因此，仅用户的视野的部分(例如，呈现、文档)与远程用户共享。根据一个实施例，共享视界可在放开事件发生后立即结束。替代实施例可包括所展示的所述实施例的替代。此外，视特定应用而定，可添加、移除或组合额外特征。
图9说明可在其中实施一或多个实施例的计算系统的实例。
计算机系统900可进一步包括一或多个非暂时性存储装置925(和/或与之通信)，所述一或多个非暂时性存储装置可包含(但不限于)区域和/或网络可存取存储器，且/或可包括(但不限于)硬盘驱动器、驱动阵列、光学存储装置、可为可编程、可快闪更新的固态存储装置(例如，随机存取存储器“RAM”和/或只读存储器“ROM”)和/或其类似者。此等存储装置可经配置以实施任何适当数据存储，包括(但不限于)各种文件系统、数据库结构和/或其类似者。举例来说，在用户想要俘获来自上一预定持续时间的所有帧的情况下，存储装置925可用以缓冲从HMD 120的相机150俘获的视频。
计算机系统900还可包括通信子系统930，所述通信子系统可包括(但不限于)调制解调器、网卡(无线或有线的)、红外线通信装置、无线通信装置和/或芯片组(例如，BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或其类似者。通信子系统930可包括一或多个输入和/或输出通信接口以准许与网络、其它计算机系统和/或任何其它电装置/外围设备交换数据。在许多实施例中，计算机系统900将进一步包含工作存储器935，所述工作存储器可包括RAM或ROM装置，如上所述。通信子系统930可用以将HMD 120链接到用户的智能型手机。
如本文中所描述，计算机系统900还可包含软件元件，展示为当前位于工作存储器935内，所述软件元件包括操作系统940、装置驱动程序、可执行程序库和/或其它代码，例如，由其它实施例提供的一或多个应用程序945，所述一或多个应用程序可包含由各种实施例提供的计算机程序和/或可经设计以实施方法和/或配置系统。仅举例来说，关于上文所论述的方法所描述的一或多个程序的一部分(例如，关于图2所描述的方法200)可实施为可由计算机(和/或计算机内的处理单元)执行的代码和/或指令；因而，在一方面中，此代码和/或此等指令可用以配置和/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。
此等指令和/或代码的一集合可存储于非暂时性计算机可读存储媒体(例如，上文描述的存储装置925)上。在一些情况下，存储媒体可并入在计算机系统(例如，计算机系统900)内。在其它实施例中，存储媒体可与计算机系统分离(例如，可装卸式媒体，例如光盘)和/或以安装封装来提供，以使得存储媒体可用以用存储于其上的指令/代码来编程、配置和/或调适通用计算机。此等指令可采用可由计算机系统900执行的可执行代码的形式和/或可采用原始和/或可安装代码的形式，原始和/或可安装代码在(例如，使用多种通常可获得编译器、安装程序、压缩/解压缩公用程序等中的任一者)在计算机系统900上编译和/或安装后，接着采用可执行代码的形式。
所属领域的技术人员应了解，可根据特定要求作出实质改变。举例来说，还可使用定制硬件，且/或可以硬件、软件(包括便携式软件，例如小程序(applet)等)或其两者来实施特定元件。此外，可使用到例如网络输入/输出装置的其它计算装置的连接。
如上文所提及，在一个方面中，一些实施例可使用计算机系统(例如，计算机系统900)来执行根据本发明的各种实施例的方法。根据实施例的一集合，此等方法的程序的一些或全部由计算机系统900响应于处理器910执行含于工作存储器935中的一或多个指令(所述一或多个指令可并入到操作系统940和/或例如应用程序945等其它代码中)的一或多个序列而执行。可将此等指令从另一计算机可读媒体(例如，存储装置925中的一或多者)读取到工作存储器935中。仅举例来说，含于工作存储器935中的指令的序列的执行可使处理器910执行本文中所描述的方法的一或多个程序。另外或替代地，本文中所描述的方法的部分可经由专门硬件来执行。仅举例来说，关于上文所论述的方法(例如，关于图2所描述的方法200)所描述的一或多个程序的一部分可由HMD 120中的处理器910来实施。替代地，HMD120可经由通信子系统930链接到智能型手机，且图2的方法可由智能型手机中的处理器910来实施。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供使机器以特定方式操作的数据的任何媒体。在使用计算机系统900实施的一实施例中，各种计算机可读媒体可在将指令/代码提供到处理器910以供执行中涉及和/或可用以存储和/或载运此等指令/代码。在许多实施方案中，计算机可读媒体为实体和/或有形存储媒体。此媒体可采用非易失性媒体或易失性媒体的形式。非易失性媒体包括(例如)光盘和/或磁盘，例如存储装置925。易失性媒体包括(但不限于)动态存储器，例如工作存储器935。
有形计算机可读媒体的一般形式包括(例如)软盘、软性磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体、具有孔图案的任何其它实体媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或匣，或任何其它媒体(计算机可从其读取指令和/或代码)。
各种形式的计算机可读媒体可在将一或多个指令的一或多个序列载运到处理器910以供执行的过程中涉及。仅举例来说，所述指令最初可载运于远程计算机的磁盘和/或光盘上。远程计算机可将所述指令载入到其动态存储器中且将所述指令作为信号经由发射媒体发送以待由计算机系统900接收和/或执行。
通信子系统930(和/或其组件)通常将接收信号，且总线905接着可将所述信号(和/或由所述信号载运的数据、指令等)载运到工作存储器935，处理器910从工作存储器检索所述指令且执行所述指令。由工作存储器935接收的所述指令可视情况在由处理器910执行之前或之后而存储于非暂时性存储装置925上。
上文所论述的方法、系统和装置是实例。各种配置可适当地省略、取代或添加各种程序或组件。举例来说，在替代配置中，方法可以不同于所描述的次序的次序来执行，且/或可添加、省略和/或组合各种阶段。并且，关于特定配置所描述的特征在各种其它配置中可组合。配置的不同方面和元件可以类似方式组合。并且，技术发展且因此元件中的多者是实例且不限制本发明或权利要求书的范围。
在描述中给出了特定细节以提供对实例配置(包括实施方案)的透彻理解。然而，在不具有此等特定细节的情况下，可实践配置。举例来说，已经以不具有非必要细节的方式展示众所周知的电路、程序、算法、结构和技术，以避免使配置不清楚。此描述仅提供实例配置，且不限制权利要求书的范围、适用性或配置。实际上，配置的先前描述将为所属领域的技术人员提供用于实施所描述技术的可实现描述。在不脱离本发明的精神或范围的情况下，可对元件的功能和配置作出各种改变。
并且，配置可描述为经描绘为流程图或框图的程序。虽然流程图或框图可将操作描述为循序程序，但所述操作中的多者可并行或同时执行。另外，所述操作的次序可重新配置。程序可具有图中未包括的额外步骤。此外，方法的实例可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序码或码段可存储于例如存储媒体等非暂时性计算机可读媒体中。处理器可执行所描述的任务。
由于已描述若干实例配置，在不脱离本发明的精神的情况下，可使用各种修改、替代构造和均等物。举例来说，以上元件可为较大系统的组件，其中其它规则可优先于本发明的申请案或另外修改本发明的申请案。并且，许多步骤可在考虑以上元件之前、期间或之后开始。因此，以上描述并不约束权利要求书的范围。

Claims (32)

1.一种用于在头部安装装置HMD(120)上选择扩增现实AR对象的方法，其包含：
基于由提供感兴趣区域ROI的至少部分轮廓的用户的至少一只手的形状(315)形成的第一手势而界定(205)所述ROI(305)；
在所述HMD上向所述用户显示(210)所述形状，其中所述形状描画所述ROI的轮廓；
向所述用户显示(215)多个AR对象(405、410、415、420、425、505、510、515)，所述多个AR对象中的每一者与所述ROI内的多个目标的一者相关联；
基于第二手势而减小(220)所述ROI的大小以形成减小大小ROI，所述第二手势由所述用户的所述至少一只手的第一移动执行；以及
从所述多个AR对象选择(225)特定AR对象，所述特定AR对象与所述减小大小ROI内的第一目标相关联，所述第一目标包括所述ROI内的所述多个目标的一者。
2.根据权利要求1所述的方法，其中所述第一手势由所述用户的双手的形状形成。
3.根据权利要求2所述的方法，其中用于减小所述ROI的所述大小的所述第一移动包含使所述用户的两只手移动得更靠近彼此。
4.根据权利要求1所述的方法，其中多个扩增与所述特定AR对象相关联，所述方法进一步包含：
基于所述用户的所述至少一只手在所述特定AR对象的方向上的第二移动而向所述用户显示来自与所述特定AR对象相关联的所述多个扩增的对应扩增。
5.根据权利要求1所述的方法，其进一步包含：
俘获所述减小大小ROI内的文字；以及
基于所述俘获文字而初始化翻译。
6.根据权利要求1所述的方法，其进一步包含：
在所述减小大小ROI内执行视觉辨识搜索。
7.根据权利要求1所述的方法，所述方法进一步包含：
基于放开事件而放开所述减小大小ROI。
8.根据权利要求7所述的方法，其中所述放开事件在所述用户的所述至少一只手远离所述ROI时、在所述用户的至少一手指和拇指靠拢时或在所述用户发出放开的语音命令时发生。
9.一种用于选择扩增现实AR对象的头部安装装置HMD，其包含：
一或多个处理器；以及
存储计算机可读指令的存储器，所述计算机可读指令在由所述一或多个处理器执行时使所述HMD执行以下操作：
基于由提供感兴趣区域ROI的至少部分轮廓的用户的至少一只手的形状形成的第一手势而界定所述ROI；
在所述HMD上向所述用户显示所述形状，其中所述形状描画所述ROI的轮廓；
向所述用户显示多个AR对象，所述多个AR对象中的每一者与所述ROI内的多个目标的一者相关联；
基于第二手势而减小所述ROI的大小以形成减小大小ROI，所述第二手势由所述用户的所述至少一只手的第一移动执行；以及
从所述多个AR对象选择特定AR对象，所述特定AR对象与所述减小大小ROI内的第一目标相关联，所述第一目标包括所述ROI内的所述多个目标的一者。
10.根据权利要求9所述的HMD，其中所述第一手势由所述用户的双手的形状形成。
11.根据权利要求10所述的HMD，其中用于减小所述ROI的大小的所述第一移动包含使所述用户的两只手移动得更靠近彼此。
12.根据权利要求9所述的HMD，其中多个扩增与所述特定AR对象相关联，且其中所述计算机可读指令进一步使所述HMD执行以下操作：
基于所述用户的所述至少一只手在所述特定AR对象的方向上的第二移动而向所述用户显示来自与所述特定AR对象相关联的所述多个扩增的对应扩增。
13.根据权利要求9所述的HMD，其中所述计算机可读指令进一步使所述HMD执行以下操作：
俘获所述减小大小ROI内的文字；以及
基于所述俘获文字而初始化翻译。
14.根据权利要求9所述的HMD，其中所述计算机可读指令进一步使所述HMD执行以下操作：
在所述减小大小ROI内执行视觉辨识搜索。
15.根据权利要求9所述的HMD，其中所述计算机可读指令进一步使所述HMD执行以下操作：
基于放开事件而放开所述减小大小ROI。
16.根据权利要求15所述的HMD，其中所述放开事件在所述用户的所述至少一只手远离所述ROI时、在所述用户的至少一手指和拇指靠拢时或在所述用户发出放开的语音命令时发生。
17.一或多个计算机可读媒体，所述一或多个计算机可读媒体存储用于在头部安装装置HMD上选择扩增现实AR对象的计算机可执行指令，所述计算机可执行指令在执行时使包括于HMD中的一或多个计算装置执行以下操作：
基于由提供感兴趣区域ROI的至少部分轮廓的用户的至少一只手的形状形成的第一手势而界定所述ROI；
在所述HMD上向所述用户显示所述形状，其中所述形状描画所述ROI的轮廓；
向所述用户显示多个AR对象，所述多个AR对象中的每一者与所述ROI内的多个目标的一者相关联；
基于第二手势而减小所述ROI的大小以形成减小大小ROI，所述第二手势由所述用户的所述至少一只手的第一移动执行；以及
从所述多个AR对象选择特定AR对象，所述特定AR对象与所述减小大小ROI内的第一目标相关联，所述第一目标包括所述ROI内的所述多个目标的一者。
18.根据权利要求17所述的一或多个计算机可读媒体，其中所述第一手势由所述用户的双手的形状形成。
19.根据权利要求18所述的一或多个计算机可读媒体，其中用于减小所述ROI的所述大小的所述第一移动包含使所述用户的两只手移动得更靠近彼此。
20.根据权利要求17所述的一或多个计算机可读媒体，其中多个扩增与所述特定AR对象相关联，且其中所述计算机可执行指令进一步使所述一或多个计算装置执行以下操作：
基于所述用户的所述至少一只手在所述特定AR对象的方向上的第二移动而向所述用户显示来自与所述特定AR对象相关联的所述多个扩增的对应扩增。
21.根据权利要求17所述的一或多个计算机可读媒体，其中所述计算机可执行指令进一步使所述一或多个计算装置执行以下操作：
俘获所述减小大小ROI内的文字；以及
基于所述俘获文字而初始化翻译。
22.根据权利要求17所述的一或多个计算机可读媒体，其中所述计算机可执行指令进一步使所述一或多个计算装置执行以下操作：
在所述减小大小ROI内执行视觉辨识搜索。
23.根据权利要求17所述的一或多个计算机可读媒体，其中所述计算机可执行指令进一步使所述一或多个计算装置执行以下操作：
基于放开事件而放开所述减小大小ROI。
24.根据权利要求23所述的一或多个计算机可读媒体，其中所述放开事件在所述用户的所述至少一只手远离所述ROI时、在所述用户的至少一手指和拇指靠拢时或在所述用户发出放开的语音命令时发生。
25.一种用于选择扩增现实AR对象的头部安装装置HMD，其包含：
用于基于由提供感兴趣区域ROI的至少部分轮廓的用户的至少一只手的形状形成的第一手势而界定所述ROI的装置；
用于在所述HMD上向所述用户显示所述形状的装置，其中所述形状描画所述ROI的轮廓；
用于向所述用户显示多个AR对象的装置，所述多个AR对象中的每一者与所述ROI内的多个目标的一者相关联；
用于基于第二手势而减小所述ROI的大小以形成减小大小ROI的装置，所述第二手势由所述用户的所述至少一只手的第一移动执行；以及
用于从所述多个AR对象选择特定AR对象的装置，所述特定AR对象与所述减小大小ROI内的第一目标相关联，所述第一目标包括所述ROI内的所述多个目标的一者。
26.根据权利要求25所述的HMD，其中所述第一手势由所述用户的双手的形状形成。
27.根据权利要求26所述的HMD，其中用于减小所述ROI的大小的所述第一移动包含使所述用户的两只手移动得更靠近彼此。
28.根据权利要求25所述的HMD，其中多个扩增与所述特定AR对象相关联，所述HMD进一步包含：
用于基于所述用户的所述至少一只手在所述特定AR对象的方向上的第二移动而向所述用户显示来自与所述特定AR对象相关联的所述多个扩增的对应扩增的装置。
29.根据权利要求25所述的HMD，其进一步包含：
用于俘获所述减小大小ROI内的文字的装置；以及
用于基于所述俘获文字而初始化翻译的装置。
30.根据权利要求25所述的HMD，其进一步包含：
用于在所述减小大小ROI内执行视觉辨识搜索的装置。
31.根据权利要求25所述的HMD，其进一步包含：
用于基于放开事件而放开所述减小大小ROI的装置。
32.根据权利要求31所述的HMD，其中所述放开事件在所述用户的所述至少一只手远离所述ROI时、在所述用户的至少一手指和拇指靠拢时或在所述用户发出放开的语音命令时发生。
CN201480008261.6A 2013-02-14 2014-02-12 用于选择扩增现实对象的方法、装置和计算机可读媒体 Active CN105027033B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/767,820 US10133342B2 (en) 2013-02-14 2013-02-14 Human-body-gesture-based region and volume selection for HMD
US13/767,820 2013-02-14
PCT/US2014/015946 WO2014126966A1 (en) 2013-02-14 2014-02-12 Human-body-gesture-based region and volume selection for hmd

Publications (2)

Publication Number Publication Date
CN105027033A CN105027033A (zh) 2015-11-04
CN105027033B true CN105027033B (zh) 2017-10-31

Family

ID=50336489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480008261.6A Active CN105027033B (zh) 2013-02-14 2014-02-12 用于选择扩增现实对象的方法、装置和计算机可读媒体

Country Status (9)

Country Link
US (2) US10133342B2 (zh)
EP (2) EP3518080A1 (zh)
JP (1) JP6356157B2 (zh)
KR (1) KR102358983B1 (zh)
CN (1) CN105027033B (zh)
ES (1) ES2759054T3 (zh)
HU (1) HUE047027T2 (zh)
TW (1) TWI534654B (zh)
WO (1) WO2014126966A1 (zh)

Families Citing this family (210)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2013078345A1 (en) 2011-11-21 2013-05-30 Nant Holdings Ip, Llc Subscription bill service, systems and methods
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US10171800B2 (en) * 2013-02-19 2019-01-01 Mirama Service Inc. Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
WO2014128810A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ及び画像表示装置
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
US9619939B2 (en) * 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
KR102154912B1 (ko) 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9466150B2 (en) * 2013-11-06 2016-10-11 Google Inc. Composite image associated with a head-mountable device
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
JP2017508229A (ja) * 2014-02-28 2017-03-23 グプタ ヴィカスＧＵＰＴＡ， Ｖｉｋａｓ ジェスチャによって操作する手首装着型カメラシステム
WO2015136250A1 (en) * 2014-03-10 2015-09-17 Bae Systems Plc Interactive information display
US10613642B2 (en) * 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
KR20150110032A (ko) 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US9552074B2 (en) * 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device
US20150346932A1 (en) * 2014-06-03 2015-12-03 Praveen Nuthulapati Methods and systems for snapshotting events with mobile devices
US9646201B1 (en) 2014-06-05 2017-05-09 Leap Motion, Inc. Three dimensional (3D) modeling of a complex control object
KR102303115B1 (ko) * 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
US10725533B2 (en) * 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
US9354711B2 (en) * 2014-09-30 2016-05-31 Xerox Corporation Dynamic hand-gesture-based region of interest localization
US10943395B1 (en) * 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
JP2016110177A (ja) * 2014-12-02 2016-06-20 株式会社トプコン ３次元入力装置及び入力システム
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
CN107209561A (zh) * 2014-12-18 2017-09-26 脸谱公司 用于在虚拟现实环境中导航的方法、系统及设备
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US20160178905A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Facilitating improved viewing capabitlies for glass displays
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
GB201504362D0 (en) * 2015-03-16 2015-04-29 Elliptic Laboratories As Touchless user interfaces for electronic devices
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
JP6439566B2 (ja) * 2015-04-23 2018-12-19 大日本印刷株式会社 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム
KR102357741B1 (ko) * 2015-05-06 2022-02-03 삼성전자주식회사 가스 처리 방법 빛 그 전자 장치
EP3096303B1 (en) * 2015-05-18 2020-04-08 Nokia Technologies Oy Sensor data conveyance
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
EP3101629B1 (en) * 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20160378296A1 (en) * 2015-06-25 2016-12-29 Ashok Mishra Augmented Reality Electronic Book Mechanism
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10705595B2 (en) * 2015-08-06 2020-07-07 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3D objects
JP2017041002A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
WO2017098822A1 (ja) * 2015-12-10 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10229540B2 (en) 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US10140507B2 (en) * 2015-12-29 2018-11-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand gestures in a virtual reality headset
CN105700684A (zh) * 2016-01-12 2016-06-22 深圳多哚新技术有限责任公司 一种头显设备传感器数据中断的处理方法和装置
KR20180103866A (ko) 2016-01-18 2018-09-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10168768B1 (en) 2016-03-02 2019-01-01 Meta Company Systems and methods to facilitate interactions in an interactive space
US10133345B2 (en) 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10198861B2 (en) * 2016-03-31 2019-02-05 Intel Corporation User interactive controls for a priori path navigation in virtual environment
JP6275185B2 (ja) * 2016-04-06 2018-02-07 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
KR102474088B1 (ko) * 2016-04-22 2022-12-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 이미지를 합성하기 위한 방법 및 디바이스
US9990779B2 (en) 2016-05-13 2018-06-05 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
US10186088B2 (en) 2016-05-13 2019-01-22 Meta Company System and method for managing interactive virtual frames for virtual objects in a virtual environment
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10268266B2 (en) * 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
CN106249882B (zh) 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN106155326A (zh) 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
US10529135B2 (en) * 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP6694637B2 (ja) 2016-08-30 2020-05-20 株式会社アルファコード 注目対象物に関する情報提供システムおよび情報提供方法
EP3291531A1 (en) * 2016-09-06 2018-03-07 Thomson Licensing Methods, devices and systems for automatic zoom when playing an augmented reality scene
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US20180122134A1 (en) * 2016-11-02 2018-05-03 Htc Corporation Three-dimensional model construction system and three-dimensional model construction method
US20180129254A1 (en) * 2016-11-07 2018-05-10 Toyota Motor Engineering & Manufacturing North Ame rica, Inc. Wearable device programmed to record messages and moments in time
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
KR20190093624A (ko) * 2016-12-06 2019-08-09 돈 엠. 구룰 연대기-기반 검색 엔진을 위한 시스템 및 방법
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10620779B2 (en) 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
EP3407296A1 (en) * 2017-05-23 2018-11-28 Thomson Licensing Method and device for determining a characteristic of a display device
EP3432204B1 (en) * 2017-07-20 2024-01-17 Tata Consultancy Services Limited Telepresence framework for region of interest marking using headmount devices
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
CN111629653B (zh) 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
US20190079288A1 (en) * 2017-09-13 2019-03-14 Htc Corporation Head mounted display system and image display method thereof
US10621746B2 (en) * 2017-11-07 2020-04-14 Symbol Technologies, Llc Methods and apparatus for rapidly dimensioning an object
WO2019094953A1 (en) 2017-11-13 2019-05-16 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
CN111712192B (zh) 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
CN108304075B (zh) * 2018-02-11 2021-08-06 亮风台（上海）信息科技有限公司 一种在增强现实设备进行人机交互的方法与设备
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10948993B2 (en) * 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US10897577B2 (en) * 2018-06-26 2021-01-19 Canon Kabushiki Kaisha Image capturing system, image capturing apparatus, illumination apparatus, and control method
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
CN108882025B (zh) * 2018-08-07 2019-12-10 北京字节跳动网络技术有限公司 视频帧处理方法和装置
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US10740918B2 (en) * 2018-09-12 2020-08-11 Dell Products, L.P. Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
WO2020076715A1 (en) * 2018-10-08 2020-04-16 Google Llc Hybrid placement of objects in an augmented reality environment
US11354787B2 (en) 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
CN110276251B (zh) * 2019-05-13 2023-07-25 联想（上海）信息技术有限公司 一种图像识别方法、装置、设备及存储介质
US10620713B1 (en) 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
US11043192B2 (en) * 2019-06-07 2021-06-22 Facebook Technologies, Llc Corner-identifiying gesture-driven user interface element gating for artificial reality systems
DE102019210383A1 (de) * 2019-07-15 2021-01-21 Audi Ag Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung
EP3792817A1 (en) * 2019-09-10 2021-03-17 XRSpace CO., LTD. Method and system for human behavior identification
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
US11175730B2 (en) * 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11348373B2 (en) * 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
JP2021163287A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
US11333892B2 (en) * 2020-04-24 2022-05-17 Hitachi, Ltd. Display apparatus, display system, and display method
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11768535B1 (en) * 2020-05-18 2023-09-26 Apple Inc. Presenting computer-generated content based on extremity tracking
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
JP7057393B2 (ja) 2020-06-24 2022-04-19 株式会社電通 プログラム、ヘッドマウントディスプレイ及び情報処理装置
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
WO2022005579A1 (en) * 2020-06-29 2022-01-06 Sterling Labs Llc Ambience-driven user experience
KR102305403B1 (ko) * 2020-09-02 2021-09-29 주식회사 피앤씨솔루션 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
KR102305404B1 (ko) * 2020-09-03 2021-09-29 주식회사 피앤씨솔루션 적외선 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 적외선 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US20220100265A1 (en) * 2020-09-30 2022-03-31 Qualcomm Incorporated Dynamic configuration of user interface layouts and inputs for extended reality systems
US12086324B2 (en) * 2020-12-29 2024-09-10 Snap Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) * 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
WO2022146673A1 (en) 2020-12-30 2022-07-07 Snap Inc. Augmented reality precision tracking and display
KR102580559B1 (ko) * 2021-01-08 2023-09-21 한국전자통신연구원 시각적 정보를 이용한 통역 결과 제공 방법, 장치 및 시스템
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US11640700B2 (en) * 2021-02-26 2023-05-02 Huawei Technologies Co., Ltd. Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
WO2022212144A1 (en) * 2021-03-31 2022-10-06 Snap Inc. User-defined contextual spaces
US20220319125A1 (en) * 2021-03-31 2022-10-06 Snap Inc. User-aligned spatial volumes
CN117120962A (zh) * 2021-04-08 2023-11-24 斯纳普公司 用于控制虚拟和图形元素的映射手部区域之间的双手交互
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
US12118790B2 (en) 2021-04-21 2024-10-15 Meta Platforms, Inc. Auto-capture of interesting moments by assistant systems
US11861315B2 (en) * 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US11874969B2 (en) * 2021-09-15 2024-01-16 Htc Corporation Method for determining two-handed gesture, host, and computer readable medium
KR20230072757A (ko) * 2021-11-18 2023-05-25 삼성전자주식회사 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
CN118575204A (zh) * 2022-01-25 2024-08-30 谷歌有限责任公司 防呆产品识别
WO2024050460A1 (en) * 2022-09-01 2024-03-07 Snap Inc. 3d space carving using hands for object capture
WO2024053405A1 (ja) * 2022-09-07 2024-03-14 ソニーグループ株式会社 情報処理装置および情報処理方法
WO2024122984A1 (ko) * 2022-12-06 2024-06-13 삼성전자주식회사 복수의 어플리케이션들이 그룹핑된 영역을 이용하여 복수의 어플리케이션들을 제어하기 위한 웨어러블 장치 및 그 방법
JP2024131046A (ja) * 2023-03-15 2024-09-30 富士フイルムビジネスイノベーション株式会社 表示制御装置、表示システムおよびプログラム
WO2024196208A1 (ko) * 2023-03-21 2024-09-26 삼성전자주식회사 이미지를 표시하기 위한 영역을 식별하는 웨어러블 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1648840A (zh) * 2005-01-27 2005-08-03 北京理工大学 一种头戴式立体视觉手势识别装置
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148913B2 (en) 2001-10-12 2006-12-12 Hrl Laboratories, Llc Vision-based pointer tracking and object classification method and apparatus
US20030202683A1 (en) * 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
GB2407635B (en) 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
JP4408794B2 (ja) * 2004-11-18 2010-02-03 ザイオソフト株式会社 画像処理プログラム
WO2008153599A1 (en) 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
JP4203863B2 (ja) 2007-07-27 2009-01-07 富士フイルム株式会社 電子カメラ
US8073198B2 (en) 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
JP5104679B2 (ja) 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9824495B2 (en) * 2008-09-11 2017-11-21 Apple Inc. Method and system for compositing an augmented reality scene
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP5304329B2 (ja) 2009-03-05 2013-10-02 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
KR20110054256A (ko) * 2009-11-17 2011-05-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
KR101329882B1 (ko) * 2010-08-12 2013-11-15 주식회사 팬택 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US20120092329A1 (en) * 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120139907A1 (en) * 2010-12-06 2012-06-07 Samsung Electronics Co., Ltd. 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
GB2490199B (en) 2011-01-06 2013-08-21 Pointgrab Ltd Computer vision based two hand control of content
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) * 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
KR20140069124A (ko) * 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20130088514A1 (en) * 2011-10-05 2013-04-11 Wikitude GmbH Mobile electronic device, method and webpage for visualizing location-based augmented reality content
WO2013121807A1 (ja) * 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1648840A (zh) * 2005-01-27 2005-08-03 北京理工大学 一种头戴式立体视觉手势识别装置
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容

Also Published As

Publication number Publication date
EP2956843A1 (en) 2015-12-23
EP2956843B1 (en) 2019-08-28
HUE047027T2 (hu) 2020-04-28
US10133342B2 (en) 2018-11-20
EP3518080A1 (en) 2019-07-31
TWI534654B (zh) 2016-05-21
WO2014126966A1 (en) 2014-08-21
CN105027033A (zh) 2015-11-04
JP6356157B2 (ja) 2018-07-11
JP2016514298A (ja) 2016-05-19
US11262835B2 (en) 2022-03-01
US20190025909A1 (en) 2019-01-24
ES2759054T3 (es) 2020-05-07
KR20150116871A (ko) 2015-10-16
KR102358983B1 (ko) 2022-02-04
TW201502860A (zh) 2015-01-16
US20140225918A1 (en) 2014-08-14

Similar Documents

Publication Publication Date Title
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11531402B1 (en) Bimanual gestures for controlling virtual and graphical elements
US11494000B2 (en) Touch free interface for augmented reality systems
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
US10037614B2 (en) Minimizing variations in camera height to estimate distance to objects
KR20140070326A (ko) 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법
CN110168615B (zh) 信息处理设备、信息处理方法和存储介质
US20240314461A1 (en) Visual-inertial tracking using rolling shutter cameras
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US20230060150A1 (en) Physical action-based augmented reality communication exchanges
CN108896035A (zh) 通过影像信息实现导航的方法、设备以及导航机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant