CN104603719B - 扩增实境表面显示 - Google Patents

扩增实境表面显示 Download PDF

Info

Publication number
CN104603719B
CN104603719B CN201380045744.9A CN201380045744A CN104603719B CN 104603719 B CN104603719 B CN 104603719B CN 201380045744 A CN201380045744 A CN 201380045744A CN 104603719 B CN104603719 B CN 104603719B
Authority
CN
China
Prior art keywords
user
scene
surface segment
virtual
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380045744.9A
Other languages
English (en)
Other versions
CN104603719A (zh
Inventor
朱利亚诺·马乔奇
詹姆斯·约瑟夫·马尔霍兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104603719A publication Critical patent/CN104603719A/zh
Application granted granted Critical
Publication of CN104603719B publication Critical patent/CN104603719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出用于提供使头戴式显示器单元或另一具有扩增实境功能的装置的用户能够与由此单元或装置提供的各种用户接口和其它特征互动的直观、功能性且方便的方式的方法、系统、计算机可读媒体和设备。在一些实施例中，例如头戴式显示器单元的计算装置可接收场景的摄像机输入。随后，所述计算装置可例如基于检测到所述接收到的摄像机输入中的一或多个矩形而识别所述场景中的至少一个参照物。所述计算装置接着可接收相对于所述至少一个参照物定义表面区段的输入。其后，所述计算装置可呈现所述表面区段。

Description

扩增实境表面显示
技术领域
本发明的方面涉及计算技术，包含计算机软件和计算机硬件。确切地说，本发明的各种方面涉及可提供扩增实境(AR)的技术和装置。
背景技术
人们正日益按许多不同方式将各种类型的现有和新计算装置用于许多不同用途。已被提议且可变得日益流行的一种类型的装置为头戴式显示器(HMD)单元。此头戴式显示器单元可(例如)包含处理组件，或与包含一或多个处理组件的另一装置通信，以对头戴式显示器单元的用户呈现和/或另外提供内容。这些用户接口可(例如)由在由用户戴在其眼睛上的特殊透镜上的头戴式显示器单元呈现，使得内容显得完全或部分覆盖于用户的实际实体环境上，和/或另外相对于用户的实际实体环境显示。
常规和/或当前可用的头戴式显示器单元通常受到处理功率和提供这些功能性所需要的其它资源限制。另外，由这些头戴式显示器单元提供的内容可能为基本的和/或不便利的。
发明内容
描述提供使头戴式显示器单元的用户能够与由头戴式显示器单元提供的各种用户接口和其它特征互动的更直观、更有功能性且更方便的方式的某些实施例。
在一些实施例中，且如下文更详细地论述，可使用矩形追踪技术与利用经由头戴式摄像机接收的输入的指追踪技术的组合将现实世界表面实时地分段。在至少一个布置中，例如智能电话的日常物件可被用作参照物，其亦可被称作用于追踪各种目标和确定表平面对准的“参照物”。此目标追踪和表平面对准确定可(例如)随后用于经由头戴式显示器单元、用户接口或正确地对准其锚定于之上的实际表面的其它虚拟物件呈现中。
根据本发明的各种方面可经由头戴式显示器单元呈现于表面区段上的用户接口和其它虚拟物件的一些实例包含：网页、共享和/或合作工作空间、可导航应用、游戏、虚拟键盘和/或其它虚拟外围装置和输入装置、视频和/或媒体播放应用、统计显像和/或其它资料表示和各种三维物件。虽然此处将这些类型的用户接口和虚拟物件作为可使用头戴式显示器单元所呈现之物的实例列出，但替代以上列出之物和/或除了以上列出之物外，也可同样地呈现和/或另外提供任一其它类型的用户接口或虚拟物件。
在一些实施例中，例如头戴式显示器单元的计算装置可接收场景的摄像机输入。随后，计算装置可(例如)基于检测到接收到的摄像机输入中的一或多个矩形而识别场景中的至少一个参照物。计算装置接着可接收相对于所述至少一个参照物定义表面区段的输入。其后，计算装置可呈现表面区段。
在一些实施例中，一种用于扩增实境表面分段的系统可包括：用于光学感测场景的图像的装置；用于识别所述场景中的至少一个参照物的装置，其中所述参照物为物理物件；用于接收相对于所述至少一个参照物定义表面区段的输入的装置；和用于使所述表面区段被呈现的装置。
在所述系统的一些实施例中，用于识别所述场景中的至少一个参照物的所述装置包含用于检测所述接收到的摄像机输入中的一或多个特征点的装置。
在所述系统的一些实施例中，用于识别所述场景中的至少一个参照物的所述装置包含用于从所述至少一个参照物接收无线通信的装置。
在所述系统的一些实施例中，用于识别所述场景中的至少一个参照物的所述装置包含用于检测所述接收到的摄像机输入中的一或多个矩形的装置。
在一些实施例中，用于扩增实境表面分段的系统可进一步包括：用于基于所述一或多个检测的矩形确定所述场景的当前视角的装置，其中所述表面区段是相对于所述场景的所述当前视角呈现。
在一些实施例中，用于扩增实境表面分段的系统可进一步包括：用于基于确定所述场景的所述当前视角已改变而动态更新所述呈现的表面区段的装置。
在所述系统的一些实施例中，定义所述表面区段的所述输入为定义所述表面区段的形状的手指移动，其中所述手指移动由使所述表面区段被呈现的装置的用户执行。
在所述系统的一些实施例中，用于使所述表面区段被呈现的所述装置包括：用于在虚拟工作空间中按第一角度呈现所述表面区段的装置；和用于在所述虚拟工作空间中按不同于所述第一角度的第二角度呈现由所述用户定义的第二表面区段的装置。
在一些实施例中，用于扩增实境表面分段的系统可进一步包括：用于基于确定已从所述场景去除所述至少一个参照物关闭所述虚拟工作空间的装置。
在一些实施例中，用于扩增实境表面分段的系统可进一步包括：用于基于确定已将所述至少一个参照物再引入到所述场景或另一场景内打开所述虚拟工作空间的装置。
在一些实施例中，用于扩增实境表面分段的系统可进一步包括：用于基于检测到不同于所述至少一个参照物的第二参照物打开不同于所述虚拟工作空间的第二虚拟工作空间的装置。
在所述系统的一些实施例中，检测所述第二参照物包括基于由所述第二参照物显示的代码识别所述第二参照物。
在一些实施例中，用于扩增实境表面分段的系统可进一步包括：用于将包括包含所述表面区段的虚拟工作空间的数据信号传输到至少一个其它装置的装置。
在所述系统的一些实施例中，所述虚拟工作空间由提供定义所述表面区段的所述输入的第一用户定义，且所述至少一个其它装置与不同于所述第一用户的第二用户相关联。
在所述系统的一些实施例中，用于使所述表面区段被呈现的所述装置包括：用于呈现用于所述第一用户的所述虚拟工作空间的装置；和用于基于所述第二用户与所述虚拟工作空间中包含的一或多个虚拟物件互动的互动动态更新用于所述第一用户的所述虚拟工作空间的所述呈现的装置。
在一些实施例中，用于扩增实境表面分段的系统可进一步包括用于至少部分基于所述摄像机输入确定所述至少一个参照物的姿态的装置，和用于至少部分基于所述确定的姿态确定与所述至少一个参照物分开的虚拟表面的装置，其中所述表面区段呈现于所述虚拟表面上。
在一些实施例中，一种用于扩增实境表面分段的系统可包括非暂时性计算机可读媒体，所述非暂时性计算机可读媒体包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：接收场景的摄像机输入；识别所述场景中的至少一个参照物，其中所述参照物为物理物件；接收相对于所述至少一个参照物定义表面区段的输入；和呈现所述表面区段。
在一些实施例中，识别所述场景中的至少一个参照物包含检测所述接收到的摄像机输入中的一或多个特征点。
在一些实施例中，识别所述场景中的至少一个参照物包含从所述至少一个参照物接收无线通信。
在一些实施例中，识别所述场景中的至少一个参照物包含检测所述接收到的摄像机输入中的一或多个矩形。
在一些实施例中，一种用于扩增实境表面分段的系统可进一步包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：基于所述一或多个检测的矩形确定所述场景的当前视角，其中相对于所述场景的所述当前视角呈现所述表面区段。
在一些实施例中，一种用于扩增实境表面分段的系统可进一步包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：基于确定所述场景的所述当前视角已改变动态更新所述呈现的表面区段。
在一些实施例中，定义所述表面区段的所述输入为定义所述表面区段的形状的手指移动，其中所述手指移动由使所述表面区段被呈现的装置的用户执行。
在一些实施例中，呈现所述表面区段包括：在虚拟工作空间中按第一角度呈现所述表面区段；和在所述虚拟工作空间中按不同于所述第一角度的第二角度呈现第二表面区段。
在一些实施例中，一种用于扩增实境表面分段的系统可进一步包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：确定已从所述场景去除所述至少一个参照物，和基于确定已从所述场景去除所述至少一个参照物关闭所述虚拟工作空间。
在一些实施例中，一种用于扩增实境表面分段的系统可进一步包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：确定已将所述至少一个参照物再引入到所述场景或另一场景内，和基于确定已将所述至少一个参照物再引入到所述场景或另一场景内打开所述虚拟工作空间。
在一些实施例中，一种用于扩增实境表面分段的系统可进一步包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：检测不同于所述至少一个参照物的第二参照物，和基于检测不同于所述至少一个参照物的第二参照物打开不同于所述虚拟工作空间的第二虚拟工作空间。
在一些实施例中，检测所述第二参照物包含基于由所述第二参照物显示的代码识别所述第二参照物。
在一些实施例中，一种用于扩增实境表面分段的系统可进一步包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：将包括包含所述表面区段的虚拟工作空间的数据信号传输到至少一个其它装置。
在一些实施例中，所述虚拟工作空间由提供定义所述表面区段的所述输入的第一用户定义，且所述至少一个其它装置与不同于所述第一用户的第二用户相关联。
在一些实施例中，呈现所述表面区段包括：呈现用于所述第一用户的所述虚拟工作空间；和确定所述用户与所述虚拟工作空间中包含的一或多个虚拟物件的互动，和基于所述第二用户与所述虚拟工作空间中包含的一或多个虚拟物件的互动，动态更新用于所述第一用户的所述虚拟工作空间的所述呈现。
在一些实施例中，一种用于扩增实境表面分段的系统可进一步包括在由处理器执行时经配置以使所述处理器进行以下操作的程序代码：至少部分基于所述摄像机输入确定所述至少一个参照物的姿态，和至少部分基于所述确定的姿态确定与所述至少一个参照物分开的虚拟表面，其中所述表面区段呈现于所述虚拟表面上。
在一些实施例中，一种用于供具有扩增实境功能的装置使用的方法可包括检测用户的运动；和基于所述检测的运动定义虚拟工作空间。
在一些实施例中，检测所述运动包括追踪所述用户的视线。
在一些实施例中，检测所述运动包括追踪所述用户的至少一个手指。
在一些实施例中，检测所述运动包括使用至少一个惯性传感器确定所述装置的运动。
在一些实施例中，相对于虚拟物件定义所述虚拟工作空间。
在一些实施例中，所述虚拟工作空间包括用于在所述具有扩增实境功能的装置上的显示器的一或多个窗，所述窗是相对于所述具有扩增实境功能的装置的用户可见的场景中的一或多个表面显示。
在一些实施例中，一种用于供具有扩增实境功能的装置使用的方法可进一步包括节省所述虚拟工作空间的表示以用于传输或未来访问。
在一些实施例中，一种用于供具有扩增实境功能的装置使用的方法可包括获得描述用户定义的虚拟工作空间的信息；识别至少一个锚定物件；至少部分基于所述识别的锚定物件识别表面；和相对于所述表面呈现所述虚拟工作空间的至少一部分。
在一些实施例中，所述获得包括接受来自摄像机的用户输入。
在一些实施例中，所述获得包括从所述锚定物件接收所述信息。
在一些实施例中，所述获得包括从服务器下载所述信息。
在一些实施例中，一种用于供具有扩增实境功能的装置使用的方法可包括接收描述虚拟工作空间的信息以用于对第一用户显示于第一具有扩增实境功能的装置上，所述虚拟工作空间已由第二具有扩增实境功能的装置的远程用户相对于远程物件定义；识别参照物；和使所述虚拟工作空间的至少一部分对所述第一用户显示于所述第一具有扩增实境功能的装置上，所述虚拟工作空间是相对于所述参照物显示。
在一些实施例中，将所述虚拟工作空间对所述第一用户显示，使得其对所述第一用户显得为直立的。
在一些实施例中，直立外观由所述远程用户正查看所述第一具有扩增实境功能的装置上的所述虚拟工作空间的方式定义。
在一些实施例中，所述识别的参照物包括所述远程物件。
在一些实施例中，相对于所述远程物件维持所述虚拟工作空间的元件的绝对位置，而与所述第一用户或所述远程用户的位置无关。
在一些实施例中，所述识别的参照物包括所述远程物件。
在一些实施例中，将所述虚拟工作空间的元件显示于相对于所述远程物件的位置或定向中，所述位置或定向不同于如相对于所述远程物件对所述远程用户显示的所述元件的位置或定向。
在一些实施例中，所述远程物件和所述识别的参照物为不同的物件。
在一些实施例中，一种用于供具有扩增实境功能的装置使用的方法可进一步包括确定所述第一用户是否具有权限来调整所述虚拟工作空间，和如果第一用户具有权限来调整所述虚拟工作空间，那么确定是否局部调整所述虚拟工作空间或是否远程调整所述虚拟工作空间。
在一些实施例中，所述虚拟工作空间的远程调整调整正将所述虚拟工作空间对所述远程用户在所述第二具有扩增实境功能的装置上显示的方式。
附图说明
本发明的方面是作为实例而说明。在附图中，相同参考数字指示类似元件，且：
图1说明可并有一或多个实施例的系统的简化图；
图2到7说明描绘根据一些实施例的使用参照物检测提供扩增实境表面分段的实例的一连串图式；
图8说明描绘根据一些实施例的使用参照物检测提供扩增实境表面分段的实例方法的流程图；
图9说明描绘根据一些实施例的使用参照物检测提供扩增实境表面分段的实例方法的流程图；且
图10说明可实施一或多个实施例的计算系统的实例。
具体实施方式
现将关于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
如上所指出，本发明的各种方面涉及与头戴式显示器单元(确切地说，能够检测例如可解译为与通过头戴式显示器单元显示的虚拟内容的互动的手移动和/或手指移动的手移动的头戴式显示器单元)互动的新方式。使用本文中描述的技术，可提供虚拟桌面，在所述虚拟桌面中，用户可“布局”不同段的数据，且具有通过其头戴式显示器单元呈现的这些数据紧密接近和/或另外相关于存在于用户的实际环境中的实际表面的表示。
在一或多个布置中，头戴式显示器单元可相关于其上放置参照物的实际表面呈现此虚拟桌面，以及可形成虚拟桌面的一或多个表面区段。参照物可(例如)为可由头戴式显示器单元检测的智能电话或其它实际物件(例如，纸垫、一堆便利贴等)，且可进一步在确定头戴式显示器单元的用户正查看参照物放置于其上的实际表面的当前视角和对应地用户正查看正由头戴式显示器单元呈现的虚拟工作空间的视角过程中使用。明确地说，头戴式显示器单元和/或连接到头戴式显示器单元的处理装置可使用一或多个参照物检测算法确定头戴式显示器单元的用户正查看实际表面和虚拟表面的当前视角。这些参照物检测算法可(例如)能够通过识别在由头戴式摄像机俘获的场景可见的一或多个矩形且通过随后基于当平视查看时这(些)矩形将各具有直角和平行边的事实确定识别的矩形的当前查看角度来确定此视角(其也可被称作“摄像机姿态”)。
作为这些和其它特征的结果，本发明的各种方面提供较之现有和常规计算装置的许多优势。举例而言，一些实施例可允许用户在大小比通常可能能够在常规计算机显示屏上显示的工作空间大的虚拟工作空间中置放、定位和/或另外布局数字内容和/或其它虚拟项目。此外，如可经由头戴式显示器单元提供的可变视角和可变物件对准可允许用户体验的更好定制。
此外，可将现实世界物件用作不仅用于定位可经由头戴式显示器单元显示的接口的参照点，且也用作用于在经由头戴式显示器单元提供的一或多个会话的持续时间上访问一或多个特定虚拟工作空间的参考标识符。此功能性又可(例如)允许用户非常快速地打包其数字数据，而不必担心在将来需要再造其虚拟工作空间或数字数据的其它特定布局。
举例而言，根据一些实施例，当头戴式显示器单元的用户拾取正用作参照物的物件(例如，其智能电话)时，由头戴式显示器单元显示的虚拟工作空间中包含的所有窗和 /或其它虚拟物件可自动从呈现的显示器消失。随后，当用户将参照物向下和/或以其它方式放回头戴式显示器单元的视野中时，头戴式显示器单元可呈现与去除参照物时一样的虚拟工作空间，由此允许用户在用户离开会话的时点恢复其会话。头戴式显示器单元可(例如)使用在头戴式显示器单元中包含和/或另外通信耦合到头戴式显示器单元的摄像机检测特定参照物的此引入和/或去除。不仅可在去除参照物与再引入参照物之间维持不同表面区段的相对位置，且也可维持与表面区段中的一或多者相关联的程序或功能性的当前状态。举例而言，可暂停和自动恢复在区段中的一者中播放的电影，或可以其先前状态保存和再显示区段中的一者中的文件。
现将参看附图(从图1开始)更详细地论述各种实施例。
图1说明可并有一或多个实施例的系统100的简化图。如图1中所见，系统100 可包含存储器105以及多个子系统，包含输入/输出子系统110、参照物检测子系统 115、表面区段管理子系统120、控制对象追踪子系统125和呈现子系统140。可提供使一或多个子系统能够相互通信和交换数据的一或多个通信路径。此外，图1中所说明的各种子系统可以软件、硬件或其组合来实施。在一些实施例中，系统100可并入于计算装置中，例如，通信耦合到头戴式显示器(HMD)单元的计算装置。在一些其它实施例中，系统100可直接并入到HMD单元自身或另一类型的抬头显示器内。在一些实施例中，系统100的元件可并入到一类具有扩增实境功能的装置(例如，移动电话、平板计算机和/或不同于HMD的经配置以实施扩增实境的电视)内。在一些实施例中，图1中展示的所有组件可并入到HMD内。在其他实施例中，图1中展示的组件中的一些可并入到HMD内，而其余组件可并入到通信连接到HMD的另一装置内。例如，图 1中展示的一些组件可并入HMD内，且图1中展示的组件中的其余者可并入到通信连接到HMD的例如智能电话的移动装置内。
在各种实施例中，系统100可包含不同于图1中展示的子系统的子系统。另外，图1中展示的实施例仅为可併有一些实施例的系统的一个实例，且在其他实施例中，系统100可具有比图1中说明的子系统多或少的子系统，可组合两个或两个以上子系统，或可具有子系统的不同配置或布置。
在一些实施例中，输入/输出子系统110可提供实现待从系统100的用户接收的输入和/或待提供到系统100的用户的输出的一或多个接口。例如，输入/输出子系统110 可包含一或多个输入装置，例如，一或多个按钮或键、一或多个端口(例如，串口)和/ 或其它输入装置。在至少一个布置中，输入/输出子系统110进一步可包含一或多个摄像机。在一些情况下，输入/输出子系统110中包含的摄像机中的至少一者可(例如)由用户以作为头戴式摄像机操作的此方式戴上，且可进一步经配置以俘获由用户查看的场景的图像。在其它布置中，输入/输出子系统110可另外或替代地包含可经配置以从系统100的用户俘获输入的一或多个其它输入系统和/或传感器，例如，一或多个惯性传感器、一或多个麦克风、一或多个视线追踪传感器、一或多个握力传感器和/或类似者。在其他实施例中，超音波或其它音频、红外线、紫外线、电磁辐射、微机电系统 (MEMS)装置等中的一或多者可形成输入/输出子系统110的组件。此外，输入/输出子系统110可包含一或多个输出装置，例如，一或多个显示屏、一或多个音频扬声器和/ 或其它输出装置。在一些情况下，输入/输出子系统110中包含的显示屏中的至少一者可由用户以全部或部分涵盖用户的视野的方式戴上，此可由此使系统100能够作为头戴式显示器单元操作。
在一些实施例中，参照物检测子系统115可使系统100能够识别和/或另外检测由系统100俘获的场景的图像中的一或多个参照物。此外，参照物检测子系统115可使系统100能够基于一或多个识别的参照物确定系统100的摄像机姿态，或用户对当前正被查看的场景的视角的一些其它描述。如上所指出，摄像机姿态可界定系统100的用户正查看包含一或多个识别的和/或另外检测的参照物的场景的视角。另外，以此方式检测和/或使用一或多个参照物可提供比一些其它技术好的功率效率和/或姿态检测功能性。在一些布置中，参照物检测子系统115可另外或替代地经配置以检测形状并非矩形的其它物件(例如，通过检测由系统100俘获的场景的图像中的其它形状)。另外，在一些情况下，多个物件可经检测和/或用于确定摄像机姿态过程中，且参照物检测子系统115可为用户可配置的，其中用户可能能够设定或选择检测哪些物件和/或形状(例如，基于与这些物件和/或形状相关联的特征点)。例如，参照物检测子系统115可经配置以检测多个形状中的一或多者。另外，参照物检测子系统115可经配置以检测例如矩形、正方形、圆形或三角形的形状。在其他实施例中，参照物检测子系统115可经配置以检测具体物件，例如，装置、艺术品、文具、手绘图或显示于一或多个装置上的图像。在一些实施例中，参照物检测子系统115可经配置以检测移动电话和/或矩形，例如，当参照物为用户的移动电话时。这些实施例可为有益的，因为用户很可能将其电话随身携带且因此可能能够方便地利用此处描述的实施例中的一或多者。另外，如以下更详细地描述，在一些实施例中，可高效地实施矩形检测。
在一些实施例中，表面区段管理子系统120可使系统100能够呈现虚拟工作空间和/或此虚拟工作空间中包含的一或多个表面区段。例如，在一个实施例中，虚拟工作空间可包括与用户应用相关联的一或多个虚拟物件。在其他实施例中，虚拟工作空间可包括与用户的虚拟桌面相关联的虚拟物件。这些虚拟物件可包括用户用来完成各种任务的工具，例如，图形软件、文字软件、演示软件或通常与工作场所相关联的其它类型的软件。在一些实施例中，虚拟工作空间包括用户已定义和/或与特定应用或功能相关联的一或多个区段或区域。例如，一个区段可已由用户指明为包含媒体播放器，而另一区段可已由用户指明用于供例如SMS应用程序或电子邮件程序的消息传递应用程序使用。在一些实施例中，一或多个区段可与二维内容相关联，使得所述区段显得与表面齐平，而一或多个其它区段可与三维内容相关联，例如，使得内容可对用户显得如同其为全息图。可实施任何数目个其它区段或配置。在一些实施例中，表面区段管理子系统120可经配置以产生待由系统100呈现的一或多个用户接口和/或其它虚拟物件，确定这些用户接口和/或虚拟物件应在任一特定时刻呈现的视角(例如，基于由参照物检测子系统115确定的当前视角)，和/或将产生的用户接口和/或虚拟物件与任何相关视角信息一起提供到呈现子系统140。
在一些实施例中，控制对象追踪子系统125可使系统100能够识别和/或另外检测一或多个参照物，例如，可提供一或多个表面区段和/或一或多个虚拟工作空间所关于的一或多个参照物。例如，控制对象追踪子系统125可使系统100能够基于可在包含参照物的实际场景的图像中检测到的参照物的独特特征识别特定参照物。此外，控制对象追踪子系统125可使系统100能够基于发射到和/或接收自参照物的一或多个电子信号识别在系统100附近的特定参照物。另外，仍然，控制对象追踪子系统125可使系统100能够基于参照物的身份和/或唯一地识别待显示(例如，当参照物在系统100的用户的视野中时)的一或多个特定虚拟工作空间和/或表面区段的由参照物显示的代码或与参照物相关联的其它俘获的信息识别和/或载入一或多个特定虚拟工作空间和/或表面区段。例如，例如快速回应(QR)代码的视觉指示符可显示于参照物上和/或由参照物显示，且系统100的控制对象追踪子系统125可经配置以基于视觉指示符识别参照物。在一些实施例中，此视觉指示符可包括另一指示符，例如，已知图案，诸如，条形码、多维条形码或已知图像。在其他情况下，控制对象追踪子系统125可经配置以基于由参照物传输的无线信号(例如，蓝牙信号、近场通信(NFC)信号等)识别参照物。
在一些实施例中，存储器105可经配置以存储和/或检索可由系统100和/或系统100中包含的各种子系统使用的各种类型的信息。例如，存储器105可存储参照物信息 130和虚拟工作空间信息135。参照物信息130可(例如)包含描述和/或定义一或多个参照物的各种性质(例如，唯一地识别特定参照物的性质)的信息。例如，在一个实施例中，移动装置可与HMD或其它具有扩增实境功能的装置通信，且智能电话可为参照物。在此实施例中，移动装置可经配置以将自身辨识为参照物。在另一实施例中，移动装置可显示图像，例如，与参照物相关联的图形或条形码。在此实施例中，此可使 HMD或其它具有扩增实境功能的装置能够检测作为参照物的移动装置。此外，虚拟工作空间信息135可包含描述和/或定义可经由系统100提供的一或多个虚拟工作空间的各种性质(包含可包含于此虚拟工作空间中的一或多个表面区段、一或多个用户接口和/ 或一或多个其它虚拟物件的各种性质)的信息。虽然此处将这些类型的信息作为可由存储器105存储的信息的类型的实例列出，但在一些实施例中，替代此处论述的信息类型和/或除了此处论述的信息类型之外，存储器105也可存储一或多个其它类型的信息。
在一些实施例中，呈现子系统140可使系统100能够绘制、呈现和/或另外显示一或多个虚拟工作空间、一或多个表面区段和/或一或多个其它虚拟物件。例如，系统 100的一或多个其它子系统可给呈现子系统140提供关于待呈现的一或多个虚拟工作空间、一或多个表面区段和/或一或多个其它虚拟物件的信息，且呈现子系统140可因此使所述一或多个虚拟工作空间、一或多个表面区段和/或一或多个其它虚拟物件由系统 100显示。在一些情况下，提供到呈现子系统140和/或另外由呈现子系统140使用的信息可包含摄像机姿态信息和/或其它视角信息，因为此可使呈现子系统140能够以相对于系统100的实际环境的特定定向和/或角度绘制、呈现和/或另外显示各种虚拟物件。
现将关于图2到7更详细地论述可使用例如系统100的装置的方式的实例。明确地说，图2到7说明描绘根据一些实施例的使用参照物检测的扩增实境表面分段的实例的一连串图式。
如图2中所说明，头戴式显示器单元210或其它具有扩增实境功能的装置的用户205可查看实际表面215(其可为台子或桌子)，例如，已将移动装置220放置于所述实际表面上。根据本发明的各种方面，移动装置220可(例如)由头戴式显示器单元210用作在提供虚拟工作空间过程中的参照物。此外，头戴式显示器单元210中包含的摄像机可特征为宽视野，且进一步可由头戴式显示器单元210在追踪视野中的矩形物件的位置和/或移动以及视野中的其它物件的位置和/或移动(例如，用户的手指的位置和/或移动)过程中使用。在一些实施例中，同时执行的分开的算法可用以追踪视野中的矩形物件的位置和/或移动，和视野中的控制对象(例如，用户的手指)的位置和/或移动。此外，在一些实施例中，这些追踪算法可在头戴式显示器单元210自身上执行，而在其他实施例中，这些追踪算法可在无线地连接到头戴式显示器单元210(例如，移动装置220) 的移动计算装置上执行。在一些实施例中，移动装置220包括移动电话或平板计算机。
随后，如图3中所说明，正执行的追踪算法中的一或多者可检测和/或追踪移动装置220的形状。此外，基于移动装置220的形状的检测和/或追踪，可经由头戴式显示器单元210呈现视觉突出显示305(例如，用于由用户205查看)。
其后，如图4中所说明，用户205可将其食指405和410放置于在实际表面215 上最接近移动装置220的开始点415。随后，如图5中所说明，用户205可将其食指 405和410拉开。描绘矩形的突出显示或选取框505可沿着食指405和410的指尖的移动，其中食指405和410的指尖中的每一者对应于由选取框505描绘的矩形的角。在一或多个实施例中，由选取框505描绘的矩形可与其上已放置了移动装置220的实际表面215的平面对准。此外，移动装置220和/或任一其它追踪的参照物可被用作用于由选取框505定义的矩形的参考。在某些内容可能需要固定纵横比的一些情况下，由选取框505描绘的矩形的尺寸可按与由食指405和410的指尖从其开始点415行进的距离成比例的固定比率扩大和/或收缩。另外，在一些实施例中，可使用触摸屏提供到用户接口的输入或定义区段的输入，例如，类似于可使用触控板或轨迹垫的方式，或移动装置220的其它输入，不管移动装置220自身是否为参照物。例如，在一个实施例中，参照物可包括墙壁上的油漆，且在此实施例中，用户可能能够使用移动装置220 上的输入装置防卫虚拟工作空间的区段，即使移动装置220自身并非参照物。
虽然图4中说明且上文所论述的实例涉及在形状上为矩形的突出显示或选取框505，但在一些情况下，突出显示或选取框的形状连同可基于突出显示或选取框形成的表面区段的形状(例如，如下关于图6所论述)可能并非矩形。例如，突出显示或选取框可形状为圆形，或可具有与这些实例中论述的矩形和圆形形状有所变化的一些其它形状。此外，不同于如在上文所论述的实例中将其手指拉开以创造突出显示或选取框的形状，在一些额外和/或替代实施例中，用户可画出待形成的形状的轮廓。在其他情况下，其它输入可由用户提供以经由以上关于系统100的输入/输出子系统110论述的接口中的任何者和/或所有者定义此形状。例如，在一个实施例中，用户可使用光学追踪技术绘制形状的轮廓。在此实施例中，输入/输出子系统110可包括眼睛追踪软件。在此实施例中，用户可通过移动其眼睛以形成形状的轮廓来定义那个形状。在另一实施例中，输入/输出子系统110可包括触摸屏。在此实施例中，用户可通过在触摸屏的表面上绘制形状的轮廓来形成形状。在再一实施例中，输入/输出子系统110可包括惯性传感器。因此，在此实施例中，用户可通过按形成形状的轮廓的图案移动装置来形成形状。惯性传感器可检测此运动，且因此传输与待形成的形状的轮廓相关联的信号。
随后，如图6中所说明，一旦用户205将其食指405和410的指尖提升离开实际表面215，即可在虚拟工作空间中创造矩形605且经由头戴式显示器单元210呈现所述矩形。在用户205提升其指尖远离表面的点处，矩形605的大小可(例如)对应于由选取框505描绘的矩形的大小。此外，矩形605可填充有用户接口610(其可经由头戴式显示器单元210来呈现)，以便使用户205能够查看用户接口和/或与用户接口互动。此外，用户接口610可包含一或多个作用中接触区，用户205可使用其指尖405和410 按类似于用户可与显示于触敏显示屏上的用户接口互动的方式与作用中接触区互动。
现转到图7，在可能需要更精密或独特的参照物(例如，以实现在虚拟工作空间中的多用户合作)的实例中，动态产生的标记705可显示于移动装置220的屏幕上。标记 705可(例如)用可由另一扩增实境或头戴式显示器单元或其它连接的装置解译的独特图案编码，由此使其它扩增实境或头戴式显示器或其它连接的装置能够起始与正呈现的一或多个其它头戴式显示器单元(例如，头戴式显示器单元210)的连接，从而促进与虚拟工作空间的互动和/或另外提供虚拟工作空间。
虽然以上关于图2到7论述的实例说明可完成单一分段任务的方式(例如，以在特定虚拟工作空间中创造单一表面区段，即，矩形605)，但在其他情况下，多个区可类似地由同一用户使用同一参照物(例如，移动装置220，如在以上实例中)分段。以此方式，可描绘许多不同虚拟窗，且跨其上放置参照物的实际表面的较宽区将虚拟窗填充于虚拟工作空间中(例如，在处于用户前的台面或桌面上)。
在一些实施例中，当用户移动其头且因此改变头戴式显示器单元中包含的摄像机的视野时，参照物的追踪可能会失去(例如，如果用户转身面向相反方向且参照物不再在摄像机的视野内)。此时，正由头戴式显示器单元呈现的虚拟工作空间中包含的用户接口和/或其它虚拟物件可消失。然而，一旦参照物由摄像机重新获取(例如，如果且当用户转身以再次面向正经由头戴式显示器单元中包含的摄像机追踪的参照物)，虚拟工作空间(包含其相关联的用户接口和其它虚拟物件)可以相对于参照物的相同相对大小和位置重新呈现。
在一些实施例中，可跨较宽区追踪多个参照物，且此可实现与较大表面的较大互动，且允许在参照物的追踪失去前代表使用者的头移动的较宽范围。另外，可连结两个或两个以上头戴式显示器单元，连同可装备有摄像机且由不同用户戴和/或使用的一或多个其它连接的装置。以此方式，不同用户可共享与各种参照物相关联的签名，且包含一或多个用户接口和/或其它虚拟物件的连结的虚拟工作空间可在连结的装置的各种用户当中共享和/或另外提供至连结的装置的各种用户以允许与虚拟工作空间的合作互动。
图8说明描绘根据一些实施例的使用参照物检测提供扩增实境表面分段的实例方法的流程图。图8中说明的处理可以可由一或多个处理器和/或其它硬件组件执行的软件(例如，计算机可读指令、代码、程序等)实施。另外或替代地，软件可存储于非暂时性计算机可读存储媒体上。在一些实施例中，图8中说明的方法可由头戴式显示器单元执行，而在其他实施例中，图8中说明的方法可由通信耦合到、连接到和/或另外连结到头戴式显示器单元的计算装置执行。在再其它实施例中，图8中说明的方法可由头戴式显示器单元与通信耦合到、连接到和/或另外连结到头戴式显示器单元的计算装置组合地执行。
如图8中所见，可在步骤805中起始方法，其中可接收摄像机输入。例如，在步骤805中，图像和/或视频输入可由头戴式显示器单元和/或连接到头戴式显示器单元的计算装置从头戴式显示器单元中包含的一或多个摄像机接收，作为摄像机输入。摄像机输入可(例如)包含在头戴式显示器单元的用户前的场景的一或多个图像。如在上文所论述的实例中，此场景可包含可放置一或多个参照物的实际表面，且这(些)参照物可由头戴式显示器单元在提供虚拟工作空间过程中使用。在一些实施例中，在步骤805 中，系统100可使用输入/输出子系统110接收摄像机输入。
在步骤810中，可检测一或多个参照物。在一些实施例中，这些参照物可包括一或多个矩形。例如，在步骤810中，头戴式显示器单元和/或连接到头戴式显示器单元的计算装置可分析在步骤805中接收的摄像机输入以便检测摄像机输入中包含的一或多个参照物的存在。在检测一或多个参照物过程中，可使用一或多个参照物检测算法，其可基于在与摄像机输入相关联的匹配参照物的预期概况(例如，例如以下的特性：矩形参照物的平行边和直角，或在其他实施例中，圆角、具体图像等)的图像数据中识别到实际物件来识别场景中包含的一或多个参照物。在一些实施例中，在步骤810 中，系统100可使用参照物检测子系统115检测一或多个参照物。
在一些实施例中，也可基于一或多个检测到的参照物确定场景的当前视角。明确地说，头戴式显示器单元的用户正查看场景的视角可基于一或多个检测到的参照物和这些参照物出现的角度来确定。例如，当参照物包括矩形时，此视角可(例如)鉴于以下事实基于这些参数来确定：当平视查看时，这(些)矩形将具有平行边和直角以及其它特性。
在步骤815中，可识别一或多个参照物。例如，在步骤815中，一或多个参照物可由头戴式显示器单元和/或连接到头戴式显示器单元的计算装置基于描述各种参照物的一或多个独特性质的信息识别。在一些实施例中，各种参照物可在形状上为矩形，且在摄像机输入中识别参照物可基于在步骤810中执行的参照物检测的结果。明确地说，此参照物检测可用以识别可为参照物的现实世界物件的候选者，且随后，头戴式显示器单元和/或连接的计算装置可分析候选物件以便确定候选物件中的哪一者(哪些) 为参照物。在一些实施例中，在步骤815中，系统100可使用控制对象追踪子系统125 识别一或多个参照物。
随后，在步骤820中，可接收定义一或多个表面区段的输入。在一些实施例中，此输入可相对于场景中包含的实际表面和/或相对于可放置于实际表面上的一或多个参照物(例如，在步骤815中识别的一或多个参照物)定义一或多个表面区段。在一些情况下，定义一或多个表面区段的输入可(例如)为描绘和/或另外对应于由用户在实际表面上绘出轮廓的矩形的用户输入。例如，用户可鉴于头戴式显示器上包含的摄像机将其手指放置在开始点处，且接着将其手指向外拉以定义可呈现用户接口和/或其它虚拟物件的矩形的相对角，如在以上关于图2到7中论述的实例中。在一些实施例中，在步骤820中，系统100可使用输入/输出子系统110接收定义一或多个表面区段的输入。
再次参看图8，在步骤825中，可呈现虚拟工作空间的一或多个表面区段。例如，在步骤825中，头戴式显示器单元和/或连接的计算装置可呈现在步骤820中定义的表面区段，连同与包含定义的表面区段的虚拟工作空间相关联的一或多个其它虚拟物件和/或其它用户接口。如上文所论述，此表面区段和/或整个虚拟工作空间可与特定参照物(例如，在步骤815中识别的参照物)相关联，使得参照物的去除和/或替换分别导致虚拟工作空间的关闭和/或打开。在一些实施例中，在步骤825中，系统100可使用表面区段管理子系统120和/或呈现子系统140呈现虚拟工作空间的一或多个表面区段。
如上文所论述，一些实施例提供经配置以执行手指追踪和矩形辨识的头戴式显示器单元，且由此给此头戴式显示器单元的用户提供看现实世界物件与按匹配用户的自身视野(例如，现实世界物件的视野)的视角呈现的虚拟物件的组合的能力。此外，某些实施例可能不需要此头戴式显示器单元的用户在与于虚拟工作空间中呈现的接口一起工作时处置物理装置。
虽然一些常规系统可提供显示信息的其它方式，但这些常规系统通常不便于使用且需要提供大量计算能力细节。例如，一些常规系统可能能够通过分析深度数据来执行实际表面的三维重建。但此方法可能需要以计算方式重建完全三维场景。因此，此方法可能需要使用功率消耗较大的深度传感器，以及大量计算能力来重建三维场景。另外，此些装置可较重且较昂贵，因此减小了用户将快速采用这些技术的可能性。相比之下，本发明提供用于确定表平面的系统和方法，其可避开对这些功率消耗大且昂贵的处理器和传感器的需求。
并不使用可由一些常规系统实施的三维重建技术，一些实施例取而代之可并有参照物检测(例如，当参照物包括矩形时(例如，当参照物包括移动电话时)的矩形检测)和目标追踪功能性(其可比常规技术在计算上更有效率)。此外，通过使用如上文所论述的例如矩形检测的参照物检测技术，头戴式显示器单元可不需要深度数据来正确地呈现虚拟工作空间和/或此工作空间中包含的一或多个虚拟物件。相反地，参照物单独的检测可实现摄像机姿态的判定。明确地说，通过知晓当迎面查看时参照物看起来应像何物、知晓特定物件为(例如)矩形和知晓在当前俘获的摄像机数据中物件看起来像何物，可确定头戴式显示器单元的摄像机姿态或实际视角，且可基于这些虚拟物件应相关于何物已知为参照物而出现的方式来呈现虚拟物件。例如，可基于摄像机姿态或参照物的姿态相对于参照物定义虚拟表面，且可在那个虚拟表面内或相对于那个虚拟表面呈现虚拟工作空间。
在一些实施例中，虚拟工作空间可包含置放于许多不同表面上的区段、用户接口和/或其它虚拟物件。例如，虚拟工作空间中的一个窗可与用户前的桌子对准，且虚拟工作空间中的另一窗可与在用户前且在桌子后的墙壁对准。在此实例中，作为两个窗与不同现实世界物件的对准，可以不同角度显示两个窗。在其他实施例中，虚拟工作空间内的窗可不与任何现实世界物件对准。相反地，此窗可简单地按任一角度且按任何位置相关于一或多个参照物定义于虚拟空间中。
在一些实施例中，用户可能能够使用其手指定义虚拟工作空间中的特定窗的内容。例如，用户可能能够定义虚拟工作空间中包含网络浏览器的第一窗，和虚拟工作空间中包含媒体播放器的第二窗。当用户用其手指定义对应于这些窗的矩形时，头戴式显示器单元可呈现所述窗，且允许用户通过指定应将何应用程序载入于空间中的每一者中来填充每一窗，例如，通过从一列潜在应用程序选择或通过执行指示特定应用的手势。
在一些实施例中，作为输入/输出子系统110的组件，可将一或多个广角摄像机并入到头戴式显示器单元内，以便增强头戴式显示器单元追踪各种参照物的能力。在一些情况下，即使用户不能看到特定参照物(例如，因为参照物不在用户的视野中)，头戴式显示器单元中包含的追踪摄像机中的一者仍可能能够看到参照物，且头戴式显示器单元可因此呈现虚拟工作空间。例如，在一些实施例中，头戴式显示器单元中包含的摄像机中的一或多者可特征为使这(些)摄像机能够具有比可以其他方式所达成宽的视野的鱼眼镜头。
在一些实施例中，由头戴式显示器单元使用的参照物检测算法和/或其它追踪算法可在视野中包含的各种参照物之间转变以便提供较大和扩展的虚拟工作空间。例如，基于两个或两个以上参照物在头戴式显示器单元的一或多个追踪摄像机的视野中的时刻，头戴式显示器单元可能能够确定各种参照物之间的空间关系。此外，头戴式显示器单元可随后在提供虚拟工作空间过程中使用此空间关系。
在一些实施例中，许多不同虚拟工作空间的特定虚拟工作空间可与多个可用参照物的特定参照物相关联。例如，用户可具有相关于其智能电话定义的一个虚拟工作空间，和相关于其平板计算机定义的另一虚拟工作空间。在一些实施例中，用户可将这些参照物中的两者相互紧挨着放置于实际表面(例如，用户的桌子)上，且头戴式显示器单元可将两个虚拟工作空间呈现为相互邻近。在其他实施例中，头戴式显示器单元可提示用户选择虚拟工作空间中的一者显示。在多个虚拟工作空间可用的一些实施例中 (例如，在以上当用户的智能电话和平板计算机是鉴于头戴式显示器单元中包含的追踪摄像机时的实例中)，用户可能能够在各种虚拟工作空间之间移动用户接口和/或其它虚拟物件。
在一些实施例中，可仅当存在多个参照物(例如，在以上实例中，智能电话和桌上型计算机)时产生虚拟工作空间。此外，在一些实施例中，多个工作空间可与单一物件相关联。在一些此类实施例中，可提示用户选择哪一工作空间正确。在其他实施例中，可自动打开最近工作空间，或可使用用户的情境自动确定适当工作空间。例如，如果用户在工作，那么可打开包含电子邮件和文字处理区段的工作空间，但如果用户在家中，那么可打开包含媒体播放器区段和社交媒体区段的工作空间。在一些实施例中，用户滚动通过与物件相关联的不同工作空间(例如，使用具体手势或语音命令)可为可能的。在一些实施例中，可将特殊图标展示于参照物上，或可将其他通知给予用户以对用户警报可针对那个物件打开虚拟工作空间。在此实施例中，用户可执行运动(例如，点头、具体眼睛运动、具体手运动、移动装置的移动等)或“单击”图标以指示用户想要打开可用虚拟工作空间中的具体者。图标可由那个参照物显示，例如，当参照物为移动电话时，或可由HMD显示，以便显得位于参照物上或附近。
在一些实施例中，参照物可显示视觉指示符(例如，快速回应(QR)代码或一些其它种类的可辨识代码或图像)以便使特定虚拟工作空间由头戴式显示器单元的呈现子系统140显示和/或另外呈现。此代码可(例如)包括需要联系另一装置且实现与另一装置的虚拟共享的所有信息。举例来说，此代码可通告某些扩增和/或其它虚拟工作空间可用于由头戴式显示器单元显示，使得在显示代码的参照物附近的其它装置可呈现和/或另外提供虚拟工作空间，且使得此些装置的其它用户可与虚拟工作空间互动和/或在虚拟工作空间中合作。在一些情况下，代码可由参照物作为信号传输，而非作为图像显示。例如，参照物可传输通知附近能够提供虚拟工作空间的装置此虚拟工作空间可用的蓝牙信号(或如可需要的任何其它无线信号)。在一些实施例中，代码可含有描述虚拟工作空间的信息。在一些实施例中，代码可包括指示工作空间的清晰度可从何处检索的信息，或可仅指示虚拟工作空间可用，例如，从已知来源或社会联网功能。
在一些实施例中，用户可通过隐藏可辨识代码而退出虚拟工作空间，使得其不再为参照物检测子系统115可辨识。例如，在用户希望处于私用虚拟工作空间的实施例中，用户可将参照物与其显示一起面向下放置。在此实施例中，当可辨识代码不再可见时，可关闭虚拟工作空间。或在一些其它实施例中，当隐藏视觉指示符时，系统可将用户置于其它用户不能访问的私用虚拟工作空间中。
在一些实施例中，一或多个虚拟工作空间可存储在云中(例如，在远程服务器上)，以便进一步增强在不同用户和不同装置之间共享虚拟工作空间的能力。例如，某人可将特定参照物给予到另一个人，且所述另一个人可接着在使用其自身的头戴式显示器单元时查看与参照物相关联的虚拟工作空间和/或与所述虚拟工作空间互动，其自身的头戴式显示器单元可从远程服务器载入与虚拟工作空间相关联的数据。另外或替代地，多个不同头戴式显示器单元的多个用户可在本地共享情境(例如，所有用户坐在同一台子处且查看同一参照物)中或在远程共享情境(例如，在共享会话中，用户实际上位于不同位置，但与同一虚拟工作空间互动)中同时与同一虚拟工作空间互动。
在于不同用户和/或不同装置之间共享虚拟工作空间的一些情况下，每一个别个别可为其对应的用户调整虚拟工作空间的查看角度。换句话说，虽然可相对于参照物定义虚拟工作空间的不同用户接口和/或其它虚拟物件的内容和布局，但呈现这些用户接口和/或其它虚拟物件的视角或查看角度可针对共享所述虚拟工作空间的不同用户中的每一者变化。另外，在一些实施例中，远程用户(例如，实际上不位于与其它用户和/或参照物相同处的装置的用户，关于所述参照物，正将虚拟工作空间提供到其它用户)可能能够选择在其自身位置处的其自身的参照物用于在提供虚拟工作空间过程中使用。在一些情况下，此参照物可由远程用户手动选择，而在其他情况下，远程用户的扩增实境或头戴式显示器单元可自动选择待在提供共享虚拟工作空间过程中使用的参照物。
在一些实施例中，存储在云中的虚拟工作空间可由例如超链接的链路访问，所述链路可由虚拟工作空间的各种用户和/或在虚拟工作空间的各种用户之间共享(例如，经由电子邮件、经由正文消息、通过QR代码等)。此外，与虚拟工作空间相关的任何和/ 或所有信息可直接传达到各种装置和/或其用户，例如，视觉通过显示的代码、经由传输的信号以无线方式和/或使用其它方式。在一些实施例中，可针对每一工作空间定义权限，且权限可用以确定其它用户是否能够访问和/或编辑相应工作空间。用户可公开地与每个人共享其工作空间，可创造仅用户可访问的私人工作空间，或可将权限授予给社交圈或朋友网络内的每个人。
在一些实施例中，参照物可能并非电子装置。相反地，在一些实施例中，参照物可为另一实际物件，例如，形状为矩形的实际物件(例如，记事本、电子名片、一张纸等)。不管参照物是否为电子装置，根据一或多个实施例，头戴式显示器单元可以上文所论述的各种方式提供一或多个虚拟工作空间。
在再其它实施例中，参照物可为任何形状的实际物件。例如，扩增实境或头戴式显示器单元可经配置以识别物件的独特特征，且根据上文所论述的各种特征将所述物件用作参照物。举例来说，例如杯垫(例如，可置放于咖啡台上的杯垫)的圆形物件可用作参照物，且头戴式显示器单元可经配置以检测所俘获图像中的杯垫的形状，选择所述形状作为参照物，且相关于所述杯垫定义一或多个虚拟工作空间，类似于可在上文所论述的实例中定义这些虚拟工作空间的方式。
图9说明描绘根据一些实施例的使用参照物检测提供扩增实境表面分段的实例方法的流程图。图9中说明的处理可以可由一或多个处理器和/或其它硬件组件执行的软件(例如，计算机可读指令、代码、程序等)来实施。另外或替代地，所述软件可存储在非暂时性计算机可读存储媒体上。在一些实施例中，图9中说明的方法可由头戴式显示器单元执行，而在其他实施例中，图9中说明的方法可由通信耦合到、连接到和/或另外连结到头戴式显示器单元的计算装置执行。在再其它实施例中，图9中说明的方法可由头戴式显示器单元与通信耦合到、连接到和/或另外连结到头戴式显示器单元的计算装置组合地执行。
如图9中所见，方法可起始于步骤905，接收场景的摄像机输入。例如，在步骤 905中，图像和/或视频输入可由头戴式显示器单元和/或连接到头戴式显示器单元的计算装置从头戴式显示器单元中包含的一或多个摄像机接收，作为摄像机输入。摄像机输入可(例如)包含在头戴式显示器单元的用户前的场景的一或多个图像。如在上文所论述的实例中，此场景可包含可放置一或多个参照物的实际表面，且这(些)参照物可由头戴式显示器单元在提供虚拟工作空间过程中使用。在一些实施例中，在步骤905中，系统100可使用输入/输出子系统110接收摄像机输入。
方法继续到步骤910，识别场景中的至少一个参照物。在一些实施例中，这些参照物可为场景中的实际物件。例如，参照物可包括实际三维物件。例如，在步骤910 中，一或多个参照物可由头戴式显示器单元和/或连接到头戴式显示器单元的计算装置基于描述各种参照物的一或多个独特性质的信息识别。在一些实施例中，各种参照物在形状上可为矩形，且识别摄像机输入中的参照物可基于参照物检测步骤(图9中未展示)的结果。明确地说，此参照物检测可用以识别可为参照物的现实世界物件的候选者，且随后，头戴式显示器单元和/或连接的计算装置可分析候选物件以便确定候选物件中的哪一者(哪些)为参照物。在一些实施例中，在步骤910中，系统100可使用控制对象追踪子系统125识别一或多个参照物。
随后，在步骤915中，接收定义表面区段的输入。在一些实施例中，此输入可相对于场景中包含的实际表面和/或相对于可放置于实际表面上的一或多个参照物(例如，在步骤910中识别的一或多个参照物)定义一或多个表面区段。在一些情况下，定义一或多个表面区段的输入可(例如)为描绘和/或另外对应于由用户在实际表面上绘出轮廓的矩形的用户输入。例如，用户可鉴于头戴式显示器上包含的摄像机将其手指放置在开始点处，且接着将其手指向外拉以定义可呈现用户接口和/或其它虚拟物件的矩形的相对角，如在以上关于图2到7中论述的实例中。在一些实施例中，在步骤915中，系统100可使用输入/输出子系统110接收定义一或多个表面区段的输入。
再次参看图9，在步骤920中，使表面区段被呈现。例如，在步骤920中，头戴式显示器单元和/或连接的计算装置可呈现在步骤915中定义的表面区段，连同与包含定义的表面区段的虚拟工作空间相关联的一或多个其它虚拟物件和/或其它用户接口。如上文所论述，此表面区段和/或整个虚拟工作空间可与特定参照物(例如，在步骤910中识别的参照物)相关联，使得参照物的去除和/或替换分别导致虚拟工作空间的关闭和/ 或打开。在一些实施例中，在步骤920中，系统100可使用表面区段管理子系统120 和/或呈现子系统140呈现虚拟工作空间的一或多个表面区段。
图10说明可实施一或多个实施例的计算系统的实例。在一些实施例中，可并入如图10中所说明的计算机系统1000，作为计算装置的部分，所述计算装置可实施、执行和/或施行本文中描述的特征、方法和/或方法步骤中的任何者和/或所有者。例如，计算机系统1000可表示头戴式显示器单元、移动装置或任一其它计算装置(例如，膝上型计算机、平板计算机、智能电话或桌上型计算机)的组件中的一些。此外，计算机系统1000可表示图1的系统100的组件中的一些(例如，存储器1035可表示存储器105；输入装置1015和输出装置1020可表示输入/输出子系统110；处理器1010和/或存储器 1035可提供上文所论述的系统100的各种子系统中的一或多者，例如，参照物检测子系统115、表面区段管理子系统120、控制对象追踪子系统125、呈现子系统140；等)。图10提供如本文中所描述的可执行由各种其它实施例提供的方法的计算机系统 1000的一个实施例的示意性图解。图10仅意味提供对各种组件的一般化说明，可在适当时利用所述组件中的任何者及/或全部。因此，图10大致说明可如何以相对分离或相对更整合的方式实施个别系统元件。
展示计算机系统1000包括可经由总线1005电耦合(或可另外在适当时进行通信)的硬件元件。硬件元件可包含：一或多个处理器1010，包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器和/或类似者)；一或多个输入装置1015，其可包含(但不限于)摄像机、鼠标、键盘和/或类似者；和一或多个输出装置1020，其可包含(但不限于)显示单元、打印机和/或类似者。
计算机系统1000可进一步包含以下各者(和/或与以下各者通信)：一或多个非暂时性存储装置1025，所述非暂时性存储装置可包括(但不限于)本地和/或网络可存取的存储装置，和/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储装置，其可为可编程的、可快闪更新的和/或类似者。这些存储装置可经配置以实施任何适当数据存储，包含(但不限于)各种文件系统、数据库结构和/或类似者。
计算机系统1000还可包含通信子系统1030，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或类似者。通信子系统1030可准许与网络(例如，作为一个实例，下文所描述的网络)、其它计算机系统及/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统1000将进一步包括非暂时性工作存储器1035，其可包含RAM或ROM装置，如上文所描述。
计算机系统1000还可包括展示为当前位于工作存储器1035内的软件元件，包含操作系统1040、装置驱动器、可执行库和/或例如一或多个应用程序1045等其它代码，其可包括由各种实施例提供和/或可经设计以实施方法和/或配置系统、由其它实施例提供的计算机程序，如本文中所描述。仅仅作为实例，关于上文所论述的方法(例如，如关于图8所描述)而描述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；一方面，接着，这些代码和/或指令可用以配置和/或调适通用计算机(或其它装置)以根据描述的方法执行一或多个操作。
一组这些指令和/或代码可存储在计算机可读存储媒体(例如，上文所描述的存储装置1025)上。在一些情况下，存储媒体可并入于例如计算机系统1000和计算机系统内。在其它实施例中，存储媒体可与计算机系统(例如，可去除式媒体，例如，压缩光盘)分开，和/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机系统1000执行的可执行代码形式，和/或可呈源及/或可安装代码的形式，所述源及/或可安装代码在于计算机系统 1000上编译及/或安装于计算机系统1000上(例如，使用多种通常可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)后，接着呈可执行代码的形式。
可根据具体要求进行实质性变化。例如，还可使用定制硬件，和/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可使用到其它计算装置(例如，网络输入/输出装置)的连接。
一些实施例可使用计算机系统(例如，计算机系统1000)来执行根据本发明的方法。例如，所描述方法的程序中的一些程序或全部可由计算机系统1000响应于处理器 1010执行工作存储器1035中所含有的一或多个指令(其可能并入到操作系统1040和/或其它代码中，例如，应用程序1045)的一或多个序列来执行。可将这些指令从另一计算机可读媒体读取到工作存储器1035中，另一计算机可读媒体例如存储装置1025中的一或多者。仅作为实例，工作存储器1035中含有的指令序列的执行可使处理器1010 执行本文中描述的方法的一或多个程序(例如，关于图8描述的方法的一或多个步骤)。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”指参与提供使机器以具体方式操作的数据的任何媒体。在使用计算机系统1000实施的实施例中，在将指令/代码提供到处理器1010以用于执行中可涉及各种计算机可读媒体，和/或各种计算机可读媒体可用以存储及/或携载这些指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体为物理和/或有形存储媒体。此媒体可呈许多形式，包含(但不限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如，存储装置1025。易失性媒体包含(但不限于)例如工作存储器1035的动态存储器。传输媒体包含(但不限于)同轴电缆、铜线及光纤，包含包括总线1005的电线，以及通信子系统1030的各种组件(和/或通信子系统1030借以提供与其它装置的通信的媒体)。因此，传输媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如，在无线电-波和红外线数据通信期间产生的那些波)。
举例来说，常见形式的物理和/或有形的计算机可读媒体包含软盘、软磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带、如下文描述的载波或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器1010以供执行过程中可涉及各种形式的计算机可读媒体。仅作为实例，一开始可将指令携载于远程计算机的磁盘和/或光学光盘上。远程计算机可将指令载入到其动态存储器中，并经由发射媒体将指令作为信号发送以由计算机系统1000接收和/或执行。根据本发明的各种实施例，可呈电磁信号、声学信号、光信号和/或类似形式的这些信号都是可在其上编码指令的载波的实例。
通信子系统1030(和/或其组件)通常将接收信号，且总线1005可接着将信号(和/或由信号所携载的数据、指令等)携载到处理器1010从其检索并执行指令的工作存储器1035。由工作存储器1035接收的指令可任选地在由处理器1010执行之前或之后存储在非暂时性存储装置1025上。
上文所论述的方法、系统和装置为实例。各种实施例可在适当时省略、取代或添加各种程序或组件。例如，在替代配置中，所描述的方法可以不同于所描述的次序来执行，和/或可添加、省略和/或组合各个阶段。并且，可在各种其它实施例中组合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和元件。并且，技术演变，且因此许多元件为实例，其并不将本发明的范围限制于那些具体实例。
在描述中给出具体细节以提供对实施例的透彻理解。然而，可在无这些具体细节的情况下实践实施例。例如，在没有不必要的细节的情况下展示熟知电路、过程、算法、结构和技术以便避免混淆所述实施例。此描述仅提供实例实施例，且不希望限制本发明的范围、适用性或配置。相反地，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对元件的功能和布置做出各种改变。
并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框图可将操作描述为依序过程，但许多操作可并行地或同时执行。此外，可重新排列操作的次序。过程可具有不包含在图中的额外步骤。此外，可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码实施时，执行相关联任务的程序代码或代码段可存储在例如存储媒体的计算机可读媒体中。处理器可执行相关联的任务。
已描述若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。例如，以上元件可仅为较大系统的组件，其中其它规则可优先于本发明的应用或另外修改本发明的应用。并且，可在考虑以上元件之前、期间或之后进行许多步骤。因此，以上描述并不限制本发明的范围。

Claims (29)

1.一种方法，其包括：
接收场景的摄像机输入；
识别所述场景中的至少一个参照物，其中所述至少一个参照物为实际物件；
接收相对于所述至少一个参照物定义表面区段的输入，其中定义所述表面区段的所述输入为定义所述表面区段的形状的手指移动，其中所述手指移动由使所述表面区段被呈现的装置的用户执行；以及
使所述表面区段被呈现。
2.根据权利要求1所述的方法，其中识别所述场景中的至少一个参照物包括检测所述接收到的摄像机输入中的一或多个特征点。
3.根据权利要求1所述的方法，其中识别所述场景中的至少一个参照物包括从所述至少一个参照物接收无线通信。
4.根据权利要求1所述的方法，其中识别所述场景中的至少一个参照物包括检测所述接收到的摄像机输入中的一或多个矩形。
5.根据权利要求4所述的方法，其进一步包括：
基于所述一或多个检测的矩形确定所述场景的当前视角，其中相对于所述场景的所述当前视角呈现所述表面区段。
6.根据权利要求5所述的方法，其进一步包括：
确定所述场景的所述当前视角已改变；以及
动态更新所述呈现的表面区段。
7.根据权利要求1所述的方法，其中使所述表面区段被呈现包含：
在虚拟工作空间中按第一角度呈现所述表面区段；以及
在所述虚拟工作空间中按不同于所述第一角度的第二角度呈现由所述用户定义的第二表面区段。
8.根据权利要求7所述的方法，其进一步包括：
确定所述至少一个参照物已从所述场景去除；以及
关闭所述虚拟工作空间。
9.根据权利要求8所述的方法，其进一步包括：
确定已将所述至少一个参照物再引入到所述场景或另一场景内；以及
打开所述虚拟工作空间。
10.根据权利要求7所述的方法，其进一步包括：
检测不同于所述至少一个参照物的第二参照物；以及
打开不同于所述虚拟工作空间的第二虚拟工作空间。
11.根据权利要求1所述的方法，其中所述识别所述至少一个参照物是基于由所述至少一个参照物显示的图像。
12.根据权利要求1所述的方法，其进一步包括：
将包括包含所述表面区段的虚拟工作空间的数据信号传输到至少一个其它装置，其中所述虚拟工作空间由提供定义所述表面区段的所述输入的第一用户定义，且其中所述至少一个其它装置与不同于所述第一用户的第二用户相关联。
13.根据权利要求12所述的方法，
其中使所述表面区段被呈现包括：
呈现用于所述第一用户的所述虚拟工作空间；以及
基于所述第二用户与所述虚拟工作空间中包含的一或多个虚拟物件的互动，动态更新用于所述第一用户的所述虚拟工作空间的所述呈现。
14.根据权利要求1所述的方法，其进一步包括：
至少部分基于所述摄像机输入确定所述至少一个参照物的姿态；以及
至少部分基于所述确定的姿态确定与所述至少一个参照物分开的虚拟表面，其中所述表面区段呈现于所述虚拟表面上。
15.一种系统，其包括：
光学传感器，其经配置以检测场景的图像；
显示器；
处理器，其经配置以：
识别所述场景中的至少一个参照物，其中所述至少一个参照物为实际物件；
接收相对于所述至少一个参照物定义表面区段的输入，其中定义所述表面区段的所述输入为定义所述表面区段的形状的手指移动，其中所述手指移动由使所述表面区段被呈现的装置的用户执行；以及
在所述显示器中呈现所述表面区段。
16.根据权利要求15所述的系统，其中所述处理器经配置以基于检测到所述场景的所述图像中的一或多个特征点识别所述场景中的所述至少一个参照物。
17.根据权利要求15所述的系统，其中所述处理器经配置以基于从所述至少一个参照物接收到无线通信识别所述场景中的所述至少一个参照物。
18.根据权利要求15所述的系统，其中所述处理器经配置以基于检测到所述场景的所述图像中的一或多个矩形识别所述场景中的所述至少一个参照物。
19.根据权利要求18所述的系统，其中所述处理器进一步经配置以：
基于所述一或多个检测的矩形确定所述场景的当前视角，
其中相对于所述场景的所述当前视角呈现所述表面区段。
20.根据权利要求19所述的系统，其中所述处理器进一步经配置以：
确定所述场景的所述当前视角已改变；以及
动态更新所述呈现的表面区段。
21.根据权利要求15所述的系统，其中呈现所述表面区段包含：
在虚拟工作空间中按第一角度呈现所述表面区段；以及
在所述虚拟工作空间中按不同于所述第一角度的第二角度呈现由所述用户定义的第二表面区段。
22.根据权利要求21所述的系统，其中所述处理器进一步经配置以：
确定所述至少一个参照物已从所述场景去除的时间；以及
响应于确定所述至少一个参照物已被去除关闭所述虚拟工作空间。
23.根据权利要求22所述的系统，其中所述处理器进一步经配置以：
确定已将所述至少一个参照物再引入到所述场景或另一场景内；以及
响应于确定已将所述至少一个参照物再引入到所述场景或另一场景内，打开所述虚拟工作空间。
24.根据权利要求21所述的系统，其中所述处理器进一步经配置以：
检测不同于所述至少一个参照物的第二参照物；以及
打开不同于所述虚拟工作空间的第二虚拟工作空间。
25.根据权利要求15所述的系统，其中所述识别所述至少一个参照物是基于由所述至少一个参照物显示的图像。
26.根据权利要求15所述的系统，其进一步包括：
发射器，其经配置以将包括包含所述表面区段的虚拟工作空间的数据信号发射到至少一个其它装置，
其中所述虚拟工作空间由提供定义所述表面区段的所述输入的第一用户定义，且其中所述至少一个其它装置与不同于所述第一用户的第二用户相关联。
27.根据权利要求26所述的系统，其进一步包括：
接收器，其经配置以接收所述数据信号；且
其中呈现所述表面区段包含：
呈现用于所述第一用户的所述虚拟工作空间；以及
基于所述第二用户与所述虚拟工作空间中包含的一或多个虚拟物件的互动，动态更新用于所述第一用户的所述虚拟工作空间的所述呈现。
28.根据权利要求15所述的系统，其中所述处理器进一步经配置以至少部分基于所述场景的所述图像确定所述至少一个参照物的姿态，和至少部分基于所述确定的姿态确定与所述至少一个参照物分开的虚拟表面，其中所述表面区段呈现于所述虚拟表面上。
29.一种系统，其包括：
用于光学感测场景的图像的装置；
用于识别所述场景中的至少一个参照物的装置，其中所述至少一个参照物为实际物件；
用于接收相对于所述至少一个参照物定义表面区段的输入的装置，其中定义所述表面区段的所述输入为定义所述表面区段的形状的手指移动，其中所述手指移动由使所述表面区段被呈现的装置的用户执行；以及
用于呈现所述表面区段的装置。
CN201380045744.9A 2012-09-04 2013-08-07 扩增实境表面显示 Active CN104603719B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261696761P 2012-09-04 2012-09-04
US61/696,761 2012-09-04
US13/802,194 2013-03-13
US13/802,194 US9530232B2 (en) 2012-09-04 2013-03-13 Augmented reality surface segmentation
PCT/US2013/053954 WO2014039201A1 (en) 2012-09-04 2013-08-07 Augmented reality surface displaying

Publications (2)

Publication Number Publication Date
CN104603719A CN104603719A (zh) 2015-05-06
CN104603719B true CN104603719B (zh) 2017-08-22

Family

ID=50186931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380045744.9A Active CN104603719B (zh) 2012-09-04 2013-08-07 扩增实境表面显示

Country Status (5)

Country Link
US (1) US9530232B2 (zh)
EP (1) EP2893416A1 (zh)
KR (1) KR101784328B1 (zh)
CN (1) CN104603719B (zh)
WO (1) WO2014039201A1 (zh)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9298008B2 (en) * 2012-12-06 2016-03-29 Cherif Atia Algreatly 3D immersion technology
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
EP3058512B1 (en) * 2013-10-16 2022-06-01 3M Innovative Properties Company Organizing digital notes on a user interface
AU2014202574A1 (en) * 2014-05-13 2015-12-03 Canon Kabushiki Kaisha Positioning of projected augmented reality content
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
WO2015185961A1 (en) * 2014-06-03 2015-12-10 Sony Corporation Lifelog camera and method of obtaining a digital image tagged with corrected image direction information
DE102014217961A1 (de) * 2014-09-09 2016-03-10 Bayerische Motoren Werke Aktiengesellschaft Bestimmung der Pose eines HMD
TWI628613B (zh) * 2014-12-09 2018-07-01 財團法人工業技術研究院 擴增實境方法與系統
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
WO2016119868A1 (en) * 2015-01-29 2016-08-04 Aurasma Limited Provide augmented reality content
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP2016194756A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US20160379407A1 (en) * 2015-06-23 2016-12-29 Daryl Foster Virtual Fantasy System and Method of Use
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
KR102601682B1 (ko) * 2015-06-30 2023-11-13 매직 립, 인코포레이티드 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
TWI588672B (zh) * 2015-08-04 2017-06-21 逢甲大學 虛擬園區之體感探索互動系統及方法
US20170062015A1 (en) * 2015-09-01 2017-03-02 Whole Body IQ, Inc. Correlation of media with biometric sensor information
US10304247B2 (en) 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US10163198B2 (en) * 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
CN109071205B (zh) 2016-04-21 2021-12-21 韦恩加油系统有限公司 智能燃料加注机
KR102560558B1 (ko) * 2016-05-20 2023-07-27 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
KR20180041890A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
KR102536546B1 (ko) * 2017-06-29 2023-05-30 애플 인크. 센서들 및 햅틱들을 갖는 핑거 장착형 디바이스
WO2019017900A1 (en) * 2017-07-18 2019-01-24 Hewlett-Packard Development Company, L.P. PROJECTING INPUTS TO REPRESENTATIONS OF THREE-DIMENSIONAL OBJECTS
US10212000B1 (en) 2017-07-25 2019-02-19 Daqri, Llc Computer vision based activation
US10834210B1 (en) * 2017-08-03 2020-11-10 Amazon Technologies, Inc. Synchronizing a personal workspace across multiple computing systems in a coding environment
CN107767417B (zh) * 2017-09-11 2021-06-25 广州慧玥文化传播有限公司 基于特征点确定mr头显设备输出的虚拟景象的方法及系统
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10616033B2 (en) 2017-11-06 2020-04-07 Honda Motor Co., Ltd. Different perspectives from a common virtual environment
US20190188450A1 (en) * 2017-11-06 2019-06-20 Magical Technologies, Llc Systems, Methods and Apparatuses for Deployment of Virtual Objects Based on Content Segment Consumed in a Target Environment
US20190139307A1 (en) * 2017-11-09 2019-05-09 Motorola Mobility Llc Modifying a Simulated Reality Display Based on Object Detection
KR102475188B1 (ko) * 2017-12-15 2022-12-06 텔레폰악티에볼라겟엘엠에릭슨(펍) 하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법
EP3502839A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
US10521662B2 (en) * 2018-01-12 2019-12-31 Microsoft Technology Licensing, Llc Unguided passive biometric enrollment
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
KR102499354B1 (ko) * 2018-02-23 2023-02-13 삼성전자주식회사 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
US10467816B2 (en) * 2018-03-23 2019-11-05 Microsoft Technology Licensing, Llc Mixed reality objects
CN110515452B (zh) * 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
US11315337B2 (en) 2018-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
US10943400B2 (en) * 2019-01-07 2021-03-09 Cerence Operating Company Multimodal user interface for a vehicle
GB2595129A (en) * 2019-01-30 2021-11-17 Buddi Ltd Identification device
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US10996839B2 (en) 2019-05-20 2021-05-04 Microsoft Technology Licensing, Llc Providing consistent interaction models in communication sessions
US11755107B1 (en) 2019-09-23 2023-09-12 Apple Inc. Finger devices with proximity sensors
KR102684612B1 (ko) 2019-09-27 2024-07-15 애플 인크. 가상 객체들 제어
US11049306B2 (en) * 2019-11-06 2021-06-29 Vago Technologies Oy Display apparatus and method for generating and rendering composite images
US11709554B1 (en) 2020-09-14 2023-07-25 Apple Inc. Finger devices with adjustable housing structures
US11287886B1 (en) 2020-09-15 2022-03-29 Apple Inc. Systems for calibrating finger devices
US11720896B1 (en) * 2020-12-10 2023-08-08 Wells Fargo Bank, N.A. Apparatuses, computer-implemented methods, and computer program products for proximate financial transactions
US11699269B2 (en) 2021-08-25 2023-07-11 Bank Of America Corporation User interface with augmented work environments
US11614619B1 (en) * 2022-04-11 2023-03-28 Voyetra Turtle Beach, Inc. Headset dynamic windowing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049234A (zh) * 2012-12-04 2013-04-17 深圳市金立通信设备有限公司 一种终端、系统及双机协同工作的方法
CN103188454A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 用于显示的装置和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US7064742B2 (en) 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP2010512693A (ja) * 2006-12-07 2010-04-22 アダックス，インク． データの付加、記録および通信のためのシステムと方法
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US8289288B2 (en) 2009-01-15 2012-10-16 Microsoft Corporation Virtual object adjustment via physical object detection
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20110151925A1 (en) * 2009-12-18 2011-06-23 Sony Ericsson Mobile Communications Ab Image data generation in a portable electronic device
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8633947B2 (en) * 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
GB2481612A (en) * 2010-06-30 2012-01-04 Skype Ltd Updating image regions in a shared image system
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US10067568B2 (en) * 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
US9720505B2 (en) * 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188454A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 用于显示的装置和方法
CN103049234A (zh) * 2012-12-04 2013-04-17 深圳市金立通信设备有限公司 一种终端、系统及双机协同工作的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Video-Based Tracking of User’s Motion for Augmented Desk Interface;Yoichi Sato等;《Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition》;20040607;论文第1-4节 *

Also Published As

Publication number Publication date
US20140063060A1 (en) 2014-03-06
US9530232B2 (en) 2016-12-27
WO2014039201A1 (en) 2014-03-13
CN104603719A (zh) 2015-05-06
KR101784328B1 (ko) 2017-10-11
KR20150048881A (ko) 2015-05-07
EP2893416A1 (en) 2015-07-15

Similar Documents

Publication Publication Date Title
CN104603719B (zh) 扩增实境表面显示
US11269581B2 (en) Private virtual object handling
CN109952610B (zh) 图像修改器的选择性识别和排序
US12026806B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
US11043031B2 (en) Content display property management
US10192364B2 (en) Augmented reality product preview
WO2019218815A1 (zh) 虚拟场景中的标记元素显示方法、装置、计算机设备及计算机可读存储介质
CN105637564B (zh) 产生未知对象的扩增现实内容
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
EP3090424A1 (en) Assigning virtual user interface to physical object
US20150187137A1 (en) Physical object discovery
US20150187108A1 (en) Augmented reality content adapted to changes in real world space geometry
WO2019150269A1 (en) Method and system for 3d graphical authentication on electronic devices
CN110168586A (zh) 情境生成和对定制的媒体内容的选择
CN104199542A (zh) 一种智能镜实现方法、装置和智能镜
WO2016032899A1 (en) Remote sensor access and queuing
CN113721804A (zh) 一种显示方法、装置、电子设备及计算机可读存储介质
US20210089639A1 (en) Method and system for 3d graphical authentication on electronic devices
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
JP6568246B2 (ja) ゲームプログラム、方法、および情報処理装置
CN116993949A (zh) 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质
CN113144595B (zh) 虚拟道路的生成方法、装置、终端及存储介质
CN107657235A (zh) 基于增强现实的识别方法及装置
US20220270363A1 (en) Image processing apparatus, image processing method, and program
JP6453500B1 (ja) ゲームプログラム、方法、および情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant