CN110581947B - 在虚拟现实内拍照 - Google Patents

在虚拟现实内拍照 Download PDF

Info

Publication number
CN110581947B
CN110581947B CN201910470702.9A CN201910470702A CN110581947B CN 110581947 B CN110581947 B CN 110581947B CN 201910470702 A CN201910470702 A CN 201910470702A CN 110581947 B CN110581947 B CN 110581947B
Authority
CN
China
Prior art keywords
finger
user
hand finger
hand
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910470702.9A
Other languages
English (en)
Other versions
CN110581947A (zh
Inventor
亚历山德罗斯·亚历山大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Meta Platforms Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Inc filed Critical Meta Platforms Inc
Publication of CN110581947A publication Critical patent/CN110581947A/zh
Application granted granted Critical
Publication of CN110581947B publication Critical patent/CN110581947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及在虚拟现实内拍照。在一个实施方式中，一种方法包括接收与人工现实应用程序的用户相关联的手配置数据的计算系统。该系统可以基于手配置数据确定用户的虚拟左手的两个手指和虚拟右手的两个手指是伸出的。该系统可以确定这些手指在虚拟环境中定义了四边形，其中，虚拟左手的两个手指定义了四边形的第一角并且虚拟右手的两个手指定义了四边形的相对角。系统可以基于四边形和用户在虚拟环境中的视点来生成捕获虚拟环境中的场景的图像。系统然后可以在虚拟环境中显示生成的图像。

Description

在虚拟现实内拍照
技术领域
本公开总体上涉及虚拟现实，尤其涉及用于在虚拟现实中拍照的用户界面。
背景技术
虚拟现实(VR)是计算机生成的环境(例如，三维或3D环境)的模拟，其中，用户可以以看似真实的方式与虚拟对象交互。该模拟可以包括图像、声音、触觉反馈和/或其他感觉，以向用户提供沉浸式虚拟环境的真实感知。虚拟环境可以通过头戴式显示器单元可视地呈现给用户，该单元可以包括显示屏和光学透镜。用户可以通过运动传感器和/或手持控制器与虚拟现实中的虚拟对象进行交互。
某些VR应用程序可能支持在虚拟现实中拍照。例如，当用户沉浸在虚拟现实环境中时，用户可能希望拍摄VR场景的照片。为此，用户通常需要选择虚拟相机工具(例如，经由菜单选择)，检索虚拟相机(例如，通过像现实世界中的人一样动作以拿起或取出虚拟相机)，将虚拟相机对准期望的场景，并拍摄该场景的照片。这一系列动作类似于一个人在现实世界中如何拍照。虽然这些动作可能对于用户是熟悉的，但却很麻烦且耗时。对于其输入装置是手控制器的VR装置，要求用户使用不熟悉的手控制器来执行一系列复杂的动作，可能会给用户执行简单的拍照任务带来额外的难度。
发明内容
本文描述的特定实施方式提供了一种改进的用户界面，该用户界面使得用户能够在VR环境中快速且直观地拍照。与要求用户浏览一系列菜单和/或摸索拍照工具(例如，虚拟相机)的传统系统相反，本文描述的实施方式允许用户通过以直观和功能的方式打手势来拍照。例如，用户可以通过以框定感兴趣场景的方式定位他/她的手指(以及VR中相应的虚拟手指)来拍摄VR场景的照片。例如，用户可以用他/她的伸出食指和拇指来框定兴趣场景。一旦期望的场景以这种方式被框定，用户可以按下按钮(或执行任何其他类型的输入命令)来指示系统拍摄框定的场景的照片。
VR拍照用户界面的实施方式允许快速框定和捕获场景，消除了VR中传统拍照方法的单调。本文描述的拍照实施方式的用户可以简单地用他的手框定期望的场景并拍照，而不是浏览菜单、产生虚拟相机、瞄准相机并仅随后拍照的过程。通过简化拍照过程，VR拍照用户界面减少了用户希望拍照时和实际拍照的时间之间的等待时间。拍照过程中延迟的减少使得用户能够更容易地捕获到期望的时刻(这在场景或移动对象快速变化的VR环境中尤其有利)。此外，与具有固定纵横比的传统方法不同，本文描述的VR拍照用户界面允许用户在拍照时基于他/她的手的位置指定期望的纵横比。这种灵活性为用户提供了更大的灵活性，并减少了捕获后图像处理的需求。
本发明的实施方式可以包括或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的内容(例如，现实世界的照片)相结合而生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任何一个都可以在单个频道或多个频道中呈现(例如，向观众产生三维效果的立体视频)。此外，在一些实施方式中，人工现实可以与例如用于在人工现实中创建内容和/或用于(例如，在人工现实中执行活动)人工现实中的应用程序、产品、附件、服务或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动装置或计算系统、或者能够向一个或多个观众提供人工现实内容的任何其他硬件平台。
本文公开的实施方式仅仅是示例，并且本公开的范围不限于此。特定实施方式可以包括以上公开的实施方式的所有、一些或不包括部件、元件、特征、功能、操作或步骤。特别地，在所附权利要求中公开根据本发明的实施方式，涉及一种方法、存储介质、系统和计算机程序产品，其中，可以在另一权利要求类别(例如，系统)中要求保护在一个权利要求类别(例如，方法)中提到的任何特征。仅出于形式原因而选择所附权利要求中的依赖关系或后向引用。然而，可以要求保护从任何先前的权利要求(特别是多个依赖关系)的有意引用产生的任何主题，以便公开并且可以要求保护权利要求及其特征的任何组合，而不管在所附权利要求中选择的依赖关系如何。可以要求保护的主题不仅包括在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或者其他特征的组合相结合。此外，本文描述或描绘的任何实施方式和特征可以以单独的权利要求和/或与本文描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合来要求保护。
附图说明
图1A至图1G示出了根据特定实施方式的用于在人工现实中拍照的用户界面的示例。
图2示出了基于用户限定的框架在人工现实中拍摄的照片的示例。
图3示出了根据特定实施方式的在人工现实中拍照的方法。
图4示出了示例计算机系统。
具体实施方式
虽然传统的人工现实系统可以提供拍照功能，但是这些功能通常需要用户浏览冗长的菜单选项序列。其他类型的传统系统可能需要用户使用用户的虚拟手来定位、产生、举起、指向和启动虚拟相机，以便拍照。对人工现实系统的用户来说，执行这种动作可能特别具有挑战性，因为这种系统的输入装置主要被设计用于感测粗略的运动(例如，手臂、身体和头部运动)，并且不太擅长感测可能需要来执行上述动作序列的精细运动。结果，讽刺的是，用传统系统完成简单的拍照任务是困难的。
本文公开的实施方式使得人工现实系统的用户能够快速直观地拍摄用户正在看到的东西。图1A至图1G示出了根据特定实施方式的用于在人工现实中拍照的用户界面的示例。图1A示出了用户正在观看由人工现实系统生成的虚拟环境100(其可以是更大环境的一部分)的场景。虚拟环境100可以包括任何数量和类型的计算机生成的虚拟对象，例如，虚拟动物120。在人工现实系统是虚拟现实系统的实施方式中，环境100中示出的其他对象(例如，树130、山131和房子132)也将是计算机生成的虚拟对象。在人工现实系统是增强现实系统的实施方式中，所示的一些其他对象可以是物理的、现实世界的对象(例如，山131和房子132可以是真实的，并且树130可以是虚拟的)，虚拟动物120覆盖在这些对象上。
用户可以使用他的手101、105查看虚拟环境100并与之交互。在特定实施方式中，人工现实系统可以向用户提供手持控制器104、108。控制器104、108的位置和定向可以由运动传感器跟踪，运动传感器可以基于例如红外、磁场、加速度计、光学传感器技术或任何其他合适的运动跟踪技术。控制器104、108还可以具有被配置为从用户手指接收输入的输入机构，例如，按钮、触摸传感器、跟踪板、操纵杆等。图1A示出了分别由用户的物理左手101和右手105握持的左控制器104和右控制器108。用户的左拇指102和手指103(虽然示出了食指，但是本文公开的实施方式也考虑了要使用的任何其他手指)被示出为触摸而不是按压左控制器104的输入机构。类似地，用户的右拇指106和右手指107被示为触摸而不是按压右控制器108的输入机构。用户的手101、105的触摸而不是按压的状态可以被称为“中性状态”。在特定实施方式中，当用户的手101、105处于中性状态时，人工现实系统可以渲染近似反映用户的物理手101、105的当前定向的对应的虚拟左手111和相应虚拟右手115。例如，在图1A中，用户的左手101位于右手105的左下角。响应于检测到的用户手101、105的位置和定向，人工现实系统可以将虚拟左手111定位为也在虚拟右手115的左下角。此外，由于用户的手指102、103、106、107均处于中性状态，因此对应的虚拟手指112、113、116、117可以被系统示出并认为处于中性、放松状态(即，既不伸展也不弯曲)。
图1B示出了用户使用手势识别兴趣区域。在此处，用户的左手101定向为手背101面向用户，伸出的食指103指向上方，并且伸出的拇指102指向用户的右侧。用户的右手105朝向左手101的右上角。右手105的背面面向用户，伸出的食指107指向左侧，并且伸出的拇指106指向下方。用户物理伸出的左拇指102、左食指103、右拇指106和右食指107的位置和定向形成框架(在这种情况下是矩形框架)。当用户的手指102、103、106、107如此伸出时，它们不接触控制器104、106。在控制器104、106具有触摸传感器的特定实施方式中，人工现实系统将能够检测到用户的手指102、103、106、107没有触摸控制器104、106，并因此假设(即使不正确)这些手指102、103、106、107是伸出的。在控制器不具有触摸传感器而仅具有按钮的实施方式中，只要没有按下相关联的按钮系统就可以假设手指伸出(例如，如果物理手指搁在无传感器按钮上但没有按下无传感器按钮，则系统将虚拟手指视为伸出以激活拍照模式，即使实际上手指可能是弯曲的)。作为响应，人工现实系统可以配置用户的虚拟手111、115和虚拟手指112、113、116、117，使得它们对应于其物理对应物。如图所示，用户的虚拟手指112、113、116、117伸出，以反映用户真实手指102、103、106、107的检测状态。结果，虚拟手111、115和手指112、113、116、117也将在虚拟环境中形成框架140(框架的图示轮廓可以对用户可见或不可见)。通过由他的虚拟手111、115限定的框架140，用户可以瞄准并选择他希望捕获的视图部分。通过使用户能够通过特定手势直接用手瞄准和框定兴趣区域，该系统为用户提供了直观、直接和快速的机制，以在人工现实中拍照。
当系统检测到以这种方式由用户的虚拟手111、115和手指112、113、116、117形成了框架140时，在特定实施方式中，系统可以向用户提供视觉提示，以指示拍照模式已经被用户的手势激活。例如，系统可以识别框架区域140内的位置(例如，其中心、其一个角等)并在由手势形成框架140时显示图标141或任何其他视觉提示。作为另一示例，用户虚拟手指的部分可以呈现有视觉提示142(例如，发光或改变颜色、图标、动画等)，以通知用户他可以使用这些手指来触发对应的按钮、触发器或控制器104、108的任何其他输入机构，以拍摄框架区域的照片。在所示的示例中，左虚拟食指113和右虚拟食指117被示出具有这样的视觉提示142，以向用户表示对应的物理手指103和107可以用于触发图像捕获。
当不再检测到框架时，系统可以脱离拍照模式，并因此停止显示任何视觉提示。图1C示出了这样的示例。如图所示，用户的左食指103、左拇指102、右食指107和右拇指106继续伸出。然而，现在这些手指102、103、106、107不再形成框架，因为没有上框架边界。用户的虚拟手111、115和手指112、113、116、117反映它们的物理对应物，因此没有检测到框架。在特定实施方式中，在没有检测到框架的时刻，系统停止显示指示启用拍照模式的视觉提示(例如，如图1B所示，触发手指上的图标141和视觉提示142)。
在特定实施方式中，一旦系统再次检测到用户限定的框架，拍照模式将再次启用。图1D示出了用户再次使用手势来框定感兴趣区域的场景。类似于图1B所示，图1D中的用户手势限定了框架140。然而，框架140的限定方式是不同的。在图1B中，框架140的顶部、底部、左侧和右侧框架边界分别由虚拟右食指117、虚拟左拇指112、虚拟左食指113和虚拟右拇指116限定。换言之，左虚拟手111的手指112、113限定框架140的左下角，而右虚拟手115的手指116、117限定框架140的右上角。相反，在图1D中，用户的虚拟手111、115的配置不同于图1B中所示的配置。具体地，图1D示出了用户的虚拟手掌面向用户，并且虚拟左手111位于虚拟右手115的左上角。框架140的顶部、底部、左侧和右侧框架边界分别由虚拟左拇指112、虚拟右食指117、虚拟左食指113和虚拟右拇指116限定。换言之，左虚拟手111的手指112、113限定框架140的右上角，并且右虚拟手115的手指116、117限定框架140的右下角。一旦检测到框架140，系统可以再次显示图标141和/或视觉提示142，以指示用户手势已经启用了拍照模式。
如这些前面的示例所示，特定实施方式可以允许用户使用多种手和手指配置来限定框架。在特定实施方式中，系统可以采用一组规则来限定有效的手和手指位置。只要满足限定框架的规则，用户就可以限定具有任何纵横比和大小的框架。在框架是矩形的实施方式中，系统可以要求框架的每个边界由伸出的手指限定。图1B和图1D示出了虚拟食指113、117和拇指112、116用于限定框架140的不同边界的示例。另外或替代地，边界可以由虚拟食指113、117和中指(或任何其他手指)来限定。在特定实施方式中，伸出的虚拟手指的任意组合可用于限定该框架(例如，虚拟左拇指102、虚拟左中指、虚拟右食指117和虚拟右中指)。在特定实施方式中，虚拟手111、115的手掌可以都面向用户、都背向用户、或者一只手掌面向用户而另一只手掌背向用户的组合。换言之，触发拍照模式的规则可以是当两个虚拟手经由其对应的手指限定框架140的相对角时。例如，在图1B和图1D中，左虚拟手111限定了框架的左下角(使用虚拟左拇指112和食指113)，右虚拟手115限定了框架的右上角(使用虚拟右拇指116和食指117)。然而，在图1C中，左虚拟手111和右虚拟手115均限定下角，而没有限定相对的上角。此外，限定上角的手需要相对于限定下相对角的手定位得更高。例如，在图1D中，如果限定左下角的虚拟左手111向上移动，使得其位置高于虚拟右手115，则即使虚拟右手115限定右上角，也不会限定任何框架。
图1E示出了当启用拍照模式时用户指示系统捕获图像的示例。具体地，图1E示出了用户使用他的右食指107按压控制器108上的相关按钮。响应于检测到手指触摸或按压按钮，虚拟右食指117可以被示出弯曲。此外，系统可以基于由框架140限定的视场(例如，如图1D所示)捕获虚拟环境100的图片。在特定实施方式中，捕获图像的小缩略图150然后可以在虚拟环境100中显示。图1E所示的缩略图150包括虚拟对象120的捕获视图151。
当用户弯曲他的手指，以提供图像捕获命令时，用户的手势可能暂时偏离用于拍照模式的预期手势(例如，用户的手可能暂时停止形成框架)。因此，在特定实施方式中，当启用拍照模式时，系统可以在退出拍照模式之前，在检测到手势已经脱离(例如，不再形成框架)之后，等待预定的时间量(例如，0.5秒、1秒、2秒等)。例如，如果用户按下捕获按钮并在1秒钟内再次伸出手指，则系统可以执行照片捕获，而不退出拍照模式。另一方面，如果用户弯曲他的手指超过1秒钟，则系统可以结束拍照模式，因为不再形成框架手势。
图1F示出了以较大尺寸显示捕获图像160的实施方式。在特定实施方式中，捕获图像160最初可以显示为小缩略图150，如图1E所示，并且尺寸增大，直到其达到预定尺寸，如图1F所示。图1F所示的捕获图像160包括虚拟对象120的捕获视图151。在特定实施方式中，捕获的缩略图150和/或图像160可以与和捕获相关联的框架140对准。因此，在捕获图像之后，将在由用户的虚拟手111、115框定的区域内显示结果缩略图150和/或图像160。
图1G示出了显示捕获图像160成为虚拟现实环境100的一部分的实施方式。在捕获之后，图像160可以成为虚拟环境100中的图片对象。作为对象，用户可以与其交互。例如，图1G示出了用户持有图像160并将其移动到虚拟环境100中的不同位置。在特定实施方式中，用户可以调整它的大小(例如，通过抓住图像160的不同边或角，并且将手移开，以放大或一起缩小图像160)。在特定实施方式中，用户还可以通过例如将图片160物理地交给另一用户，将图片160固定或留在虚拟环境100中，以供其他人查找、发送(例如，经由电子邮件、短信或即时消息)图片160，或者在社交网络平台上共享或张贴图片160，来将图片提供给共享相同虚拟环境100的其他用户。
除了图片之外，本文公开的实施方式还可以使人工现实系统的用户能够快速和直观地捕获用户正在观看的内容的视频。类似于上述内容，用户可以使用手势来构建兴趣场景。对适当手势的检测可以触发图像/视频捕获模式，在该模式期间，用户可以捕获图像或视频。特定实施方式可以允许用户通过按压按钮或弯曲他/她的手指一次(例如，通过按压和释放运动)来捕获图像。为了捕获视频，用户可以按住并且压下捕获按钮。在特定实施方式中，系统可以继续记录视频，直到用户释放按钮。特定实施方式也可以在用户框定兴趣场景的手势脱离或变得无效时停止记录。
由用户的手势和用户在虚拟环境中的视点限定的框架可以用于渲染期望的图片或视频帧。图2示出了用于在虚拟现实环境200中拍照的实施方式。在所示的示例中，虚拟现实环境200包括用户210、虚拟锥形对象220和虚拟环形对象230的虚拟表示。尽管在该示例中仅提供了几个对象，但是应当理解，虚拟现实环境200可以包括任意数量的对象，包括背景对象和表示同时出现在虚拟现实环境200中的其他用户的化身。在特定实施方式中，当激活拍照模式时，用户210可以提供指示期望拍照的输入(例如，通过按压按钮、发出语音命令、为眼睛跟踪器闪烁或任何其他输入机制)。响应于该输入，系统可以基于用户的手势来确定框架240的位置、定向和尺寸，如本文别处更详细描述的。框架240可以对用户210不可见，并且仅用于计算目的，或者可以作为半透明表面或轮廓对用户210可见，以向用户210提供视觉框架指导。基于用户限定的框架240，系统可以渲染用户210通过框架240看到的期望场景的图像。因此，在特定实施方式中，系统可以确定用户210的视点260在虚拟现实环境200中的位置，并从该视点260并通过框架240投射光线，例如，代表性光线250a-d。以这种方式，系统可以确定从用户的视点260通过框架240可以看到什么虚拟对象。在所示的示例中，环形对象230从用户210的视点260可见，但锥形对象220不可见。这样，所生成的图片将从视点260捕获环形对象230的视图，但是锥形对象220将不可见。
系统如何基于用户限定的框架捕获图像的另一示例如下。当检测到框架并且启用拍照模式时，系统可以将虚拟相机(表示用户的视点)放置在虚拟环境内用户头戴设备的位置，并且将相机朝向框架的中心转动。基于虚拟相机和框架之间的相对位置和定向，系统可以计算纵横比和视场，并将其应用于虚拟相机及其目标渲染纹理。虚拟相机然后可以用于提取期望尺寸的渲染图像。
在特定实施方式中，可以预先确定拍摄的照片的分辨率，该分辨率可以对应于用于采样的光线数量。在特定实施方式中，图片的分辨率可以被设置为高于虚拟现实环境200的分辨率。例如，即使虚拟现实环境200以标准清晰度分辨率显示给用户，所拍摄的环境200的照片也不需要限于这种分辨率，而是可以是高清晰度或超高清晰度的，这取决于期望的光线密度。因此，即使场景的标准显示是普通的，捕获的场景的质量也可能显著更好。通过解耦虚拟现实环境200及其图片之间的任何分辨率依赖性，图片质量不限于虚拟现实环境200的分辨率，并且虚拟现实环境200可以针对系统的给定硬件/处理资源以最佳分辨率生成，而不影响图片质量。在其他实施方式中，捕获的图片可以基于虚拟现实环境200的现有的、已经渲染的视图的裁剪来生成。尽管该实施方式可能牺牲图像质量，但其优点是不会导致任何额外的处理成本和更高的速度，这可能是处理资源有限的系统的优选折衷。
特定实施方式还可以提供缩放特征。在用于捕获图片的分辨率(可以都是x乘y像素的设定大小)被设置为特定值，而不管框架240的大小的特定实施方式中，用户210可以通过调整框架240的大小和/或位置来有效地放大和缩小场景。例如，如果要投射的光线的数量是固定的，则穿过位于更靠近用户视点260的框架240的光线密度(例如，由于更宽的视场)将比穿过位于更远的同一框架240的光线密度(例如，由于更窄的视场)更稀疏。类似地，假设投射相同数量的光线，较小框架240的光线密度将高于相同位置的较大框架240的光线密度。结果，较高的采样密度将有效地生成图片(例如，具有x乘y尺寸)，其被缩放到由框架240限定的兴趣区域中。通过该特征，用户210可以通过将他的手(和相应的框架240)推离他的视点260来更远来直观地放大，并且通过将他的手(和相应的框架240)放得更靠近他的视点260来缩小。
在特定实施方式中，为了向用户提供图片将是什么样子的实时反馈，当启用拍照模式时，系统可以显示图片的预览。因此，当用户正在配置他的手来确定如何最好地框定一个场景时，将实时向用户呈现照片在那个时刻拍摄时将是什么样子。在特定实施方式中，一旦系统基于用户的手势确定已经启用了拍照模式，则可以开始投射光线，穿过用户限定的框架，以实时渲染图片的预览。预览可以在框架内、在用户的虚拟手之间显示。因此，如果图片具有比虚拟现实环境更高的分辨率，则框架区域将看起来比场景的其余部分具有更高的分辨率。在特定实施方式中，预览可以呈现有可视边框，以向用户表示边框内的区域是拍照特征将生成的内容的预览。除了提供实时反馈之外，预览功能还有一个额外的好处，即，改善了与通过不同眼睛瞄准图片相关的问题。因为由用户的手限定的框架非常接近用户的视点，所以通过用户的右眼看到的框架场景可能看起来与通过用户的左眼看到的不同。结果，如果系统被配置成从用户的右眼位置投射光线，以生成图像，则对于实际用左眼瞄准的用户来说，所生成的图像可能看起来不同。通过提供图片的预览(可以从用户的右眼位置生成)，在用户期望捕获的内容和最终在图片中捕获的内容之间没有差异。
图3示出了用于使用户能够在虚拟现实环境中拍照的示例方法300。该方法可以从步骤310开始，其中，计算系统可以接收与人工现实应用程序的用户相关联的手配置数据。如前所述，手配置数据可以从控制器(例如，图1A中的控制器104和108)或与计算系统相关联的其他类型的身体和运动跟踪装置接收。例如，配置数据可以包括用户的物理手和手指的相对位置和定向。
在步骤320，系统可以基于手配置数据确定用户的虚拟左手的第一左手手指和第二左手手指以及用户的虚拟右手的第一右手手指和第二右手手指伸出。例如，在图1B中，系统确定用户的虚拟左食指113、虚拟左拇指112、虚拟右食指117和虚拟右拇指116伸出。虚拟手指是否被视为伸出取决于所使用的标准，并且可以反映对应手指的物理状态，也可以不反映对应手指的物理状态。例如，图1B示出了具有触摸传感器的控制器104、108。通过触摸传感器，系统可以知道用户的食指和拇指是否正在触摸控制器。如果这些手指没有接触控制器，系统可以将其视为手指伸出的指示(即使实际上手指可能完全伸出，也可能不完全伸出)。相反，如果这些手指触摸控制器，则系统可以将其视为弯曲的，以便确定框架以及是否启用拍照模式。相反，如果控制器没有触摸传感器，则用于确定手指是否伸出的标准可以基于该手指是否正在按压为该手指设计的相关按钮。因此，只要没有按下按钮，系统可以将对应的虚拟手指视为处于伸出状态，以便确定框架以及是否启用拍照模式。在采用计算机视觉的实施方式中，系统可以基于对象跟踪(在这种情况下，手和手指跟踪)图像处理算法来确定用户的手和手指的配置(例如，特定手指(例如，拇指和食指)是否伸出)。
在步骤330，系统可以确定虚拟手的配置是否限定了框架。在特定实施方式中，当预定的几何图案(例如，四边形、三角形、椭圆形、圆形等)由虚拟手形成时，系统可以确定已经形成框架。例如，系统可以确定前述第一和第二左手手指以及第一和第二右手手指是否在虚拟环境中限定四边形。四边形的每一侧(例如，矩形、正方形等)可以由其中一个手指限定，使得第一左手手指和第二左手手指限定四边形的第一角，第一右手手指和第二右手手指限定四边形的相对角。
在特定实施方式中，用于确定是否已经形成框架的规则可以允许一定的误差余量。由于框架预期由用户的手手动限定，所以用户的手很可能不会精确地形成完美的四边形。这样，可以以这样的方式定义规则：只要所需的手指对准在预定义的阈值内，系统就将认为手指在限定框架。例如，一个规则可以指定用于限定框架的四个伸出的虚拟手指需要充分位于同一平面内。两个左手手指可以限定左手平面，两个右手手指可以限定右手平面。如果左手平面和右手平面之间的距离和旋转角度在阈值量内(例如，平面之间的距离在0.5、1或3厘米内，旋转角度的差异在1°、2°或5°内)，则可以满足要求手指充分位于同一平面内的特定规则。除了要求手指充分位于同一平面内，规则还可能要求左手手指和右手手指限定四边形的相对角。理想情况下，每只手的这两个手指将形成90°角，但是规则可以允许误差的阈值范围(例如，在90°±1°、3°或5°度内)。规则还可以要求框架的相对侧在误差的阈值范围内彼此充分平行(例如，为了彼此平行，两侧之间的角度理想地为0，但是规则可以允许0°±1°、2°或5°)。
在特定实施方式中，系统可以基于确定是否形成框架来决定是否启用拍照模式。如果系统确定用户当前的手和手指配置没有限定框架，则可能不启用拍照模式，并且重复接收和处理手配置数据的过程，直到检测到期望的手势。另一方面，如果系统确定形成了框架，则系统可以在步骤340继续启用拍照模式。如前所述，当启用拍照模式时，系统可以向用户显示某些视觉提示，以指示已经启用拍照模式。在特定实施方式中，在启用拍照模式时，系统还可以通过限定的框架投射光线，以生成预览。
在步骤350，系统可以监听指示想要捕获图像的用户输入。在特定实施方式中，如果没有检测到这样的输入，则系统可以重复步骤310的过程，并且再次确定是否应该继续启用拍照模式。因此，一旦用户停止限定框架，拍照模式将禁用，直到再次检测到该框架。如果用户表示希望在启用拍照模式的同时捕获图片，则系统可以基于所限定的框架继续捕获图像。在特定实施方式中，当启用拍照模式时，系统可以在退出拍照模式之前，在检测到手势已经脱离(例如，不再形成框架)之后，等待预定的时间量(例如，0.5秒、1秒、2秒等)。例如，如果用户按下捕获按钮并在1秒钟内再次伸出手指，则系统可以执行照片捕获，而不退出拍照模式。另一方面，如果用户弯曲他的手指超过1秒钟，则系统可以结束拍照模式，因为不再形成框架手势。
在步骤370，系统可以基于用户限定的框架(可以是四边形)和用户在虚拟环境中的视点，生成捕获虚拟环境中的场景的图像。在特定实施方式中，用户的视点可以与虚拟环境中用户的左眼、右眼或他的左眼和右眼之间的点一致。光线可以从视点通过限定的框架投射到虚拟环境中，以对三维虚拟世界进行采样并确定什么是可见的。在其他实施方式中，当检测到框架并且启用拍照模式时，系统可以将虚拟相机放置在虚拟环境中用户的头戴设备的位置，并且将相机转向框架的中心。基于虚拟相机和框架之间的相对位置和定向，系统可以计算纵横比和视场，并将其应用于虚拟相机及其目标渲染纹理。虚拟相机然后可以用于提取期望尺寸的渲染图像。在步骤380，系统可以在虚拟环境中显示生成的图像。
在适当的情况下，特定实施方式可以重复图3的方法的一个或多个步骤。尽管本公开将图3的方法的特定步骤描述并示出为以特定顺序发生，但是本公开考虑了以任何合适顺序发生的图3的方法的任何合适步骤。此外，尽管本公开描述并示出了用于使用户能够在虚拟现实环境中拍照的示例方法，包括图3的方法的特定步骤，但是本公开考虑了用于这样做的任何合适的方法，包括任何合适的步骤，在适当的情况下，可以包括图3的方法的所有步骤、一些步骤或不包括任何步骤。此外，尽管本公开描述并示出了执行图3的方法的特定步骤的特定组件、装置或系统，但是本公开考虑了执行图3的方法的任何适当步骤的任何适当组件、装置或系统的任何适当组合。
图4示出了示例计算机系统。在特定的实施方式中，一个或多个计算机系统400执行在本文中描述或示出的一个或多个方法的一个或多个步骤。在特定的实施方式中，一个或多个计算机系统400提供在本文中描述或示出的功能。在特定的实施方式中，在一个或多个计算机系统400上运行的软件执行在本文中描述或示出的一个或多个方法的一个或多个步骤，或者提供在本文中描述或示出的功能。特定的实施方式包括一个或多个计算机系统400的一个或多个部分。在本文中，在适当的情况下，计算机系统的引用可以包括计算装置，反之亦然。而且，在适当的情况下，计算机系统的引用可以包括一个或多个计算机系统。
本公开考虑任何适当数量的计算机系统400。本公开考虑采用任何合适的物理形式的计算机系统400。作为示例，并非通过限制的方式，计算机系统400可为嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(例如，计算机模块(COM)或系统模块(SOM))、台式电脑系统、膝上型或笔记本式电脑系统、交互式自助服务机、主机、计算机系统的网格、移动电话、个人数字助理(PDA)、服务器、平板电脑系统、增强/虚拟现实装置、或其中的两个或多个的组合。在适当的情况下，计算机系统400可包括一个或多个计算机系统400；可为单一式或分布式；跨过多个位置；跨过多台机器；或者位于云中，其在一个或多个网络中可包括一个或多个云元件。在适当的情况下，一个或多个计算机系统400可执行在本文中描述或示出的一个或多个方法的一个或多个步骤，无需大量空间或时间限制。作为示例，并非通过限制的方式，一个或多个计算机系统400可实时或以成批的方式执行在本文中描述或示出的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统400可在不同的时间或者在不同的位置执行在本文中描述或示出的一个或多个方法的一个或多个步骤。
在特定的实施方式中，计算机系统400包括处理器402、存储器404、储存器406、输入/输出(I/O)界面408、通信界面410以及总线412。虽然本公开描述和显示了在特定的设置中具有特定数量的特定元件的特定计算机系统，但是本公开预计在任何合适的设置中具有任何合适的数量的任何合适的元件的任何合适的计算机系统。
在特定的实施方式中，处理器402包括用于执行指令的硬件，例如，构成计算机程序的那些指令。作为示例，并非通过限制的方式，为了执行指令，处理器402可从内部寄存器、内部高速缓存、存储器404或储存器406中检索(或提取)指令；将这些指令解码并且执行这些指令；然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器404或储存器406中。在特定的实施方式中，处理器402可以包括用于数据、指令或地址的一个或多个内部高速缓存。本公开预计处理器402在适当的情况下包括任何合适数量的任何合适的内部高速缓存。作为示例，并非通过限制的方式，处理器402可以包括一个或多个指令高速缓存、一个或多个数据高速缓存、以及一个或多个转译后备缓冲器(TLB)。在指令高速缓存内的指令可以是在存储器404或储存器406内的指令的副本，并且指令高速缓存可以加速由处理器402检索那些指令。在数据高速缓存内的数据可以是在存储器404或储存器406内的数据的副本，用于要起作用的的在处理器402上执行的指令；在处理器402上执行的先前指令的结果由在处理器402上执行的后续指令访问或者写入存储器404或储存器406内；或者其他合适的数据。数据高速缓存可以加速处理器402的读取或写入操作。TLB可以加速处理器402的虚拟地址转译。在特定的实施方式中，处理器402可以包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开预计处理器402包括任何合适数量的任何合适的内部寄存器。在适当的情况下，处理器402可以包括一个或多个算术逻辑单元(ALU)；是多核处理器；或者包括一个或多个处理器402。虽然本公开描述和显示了特定的处理器，但是本公开预计任何合适的处理器。
在特定的实施方式中，存储器404包括主存储器，主存储器用于存储处理器402要执行的指令或者处理器402要操作的数据。作为示例，并非通过限制的方式，计算机系统400可将指令从储存器406或另一源(例如，另一计算机系统400)中加载到存储器404中。然后，处理器402可将指令从存储器404中加载到内部寄存器或内部高速缓存中。为了执行这些指令，处理器402可从内部寄存器或内部高速缓存中检索指令，并且将这些指令解码。在执行指令期间或之后，处理器402可将一个或多个结果(这些结果可为中间或最终结果)写入内部寄存器或内部高速缓存中。然后，处理器402可将这些结果中的一个或多个写入存储器404中。在特定的实施方式中，存储器404仅仅执行在一个或多个内部寄存器或内部高速缓存内或者在存储器404内(与储存器406相反或者在别处)的指令，并且仅仅操作在一个或多个内部寄存器或内部高速缓存内或者在存储器404内(与储存器406相反或者在别处)的数据。一个或多个内存总线(这些总线均可包括地址总线和数据总线)可使处理器402与存储器404耦接。如下所述，总线412可包括一个或多个内存总线。在特定的实施方式中，一个或多个内存管理单元(MMU)位于处理器402与存储器404之间，并且有助于访问由处理器402请求的存储器404。在特定的实施方式中，存储器404包括随机存取存储器(RAM)。在适当的情况下，该RAM可为易失性存储器。在适当的情况下，该RAM可为动态RAM(DRAM)或静态RAM(SRAM)。而且，在适当的情况下，该RAM可为单端口或多端口RAM。本公开预计任何合适的RAM。在适当的情况下，存储器404可以包括一个或多个存储器404。虽然本公开描述和显示了特定的存储器，但是本公开预计任何合适的存储器。
在特定的实施方式中，储存器406包括用于数据或指令的大容量储存器。作为示例，并非通过限制的方式，储存器406可包括HDD、软盘驱动器、闪速存储器、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或其中的两个或多个的组合。在适当的情况下，储存器406可包括可移动或固定的(或固定的)介质。在适当的情况下，储存器406可位于计算机系统400的内部或外部。在特定的实施方式中，储存器406是非易失性固态存储器。在特定的实施方式中，储存器406包括只读存储器(ROM)。在适当的情况下，该ROM可为掩膜编程的ROM、可编程的ROM(PROM)、可擦PROM(EPROM)、电可擦PROM(EEPROM)、电可改写ROM(EAROM)、或闪速存储器或其中的两个或多个的组合。本公开预计采用任何合适的物理形式的大容量储存器406。在适当的情况下，储存器406可以包括促进在处理器402与储存器406之间通信的一个或多个储存控制单元。在适当的情况下，储存器406可以包括一个或多个储存器406。虽然本公开描述和显示了特定的储存器，但是本公开预计任何合适的储存器。
在特定的实施方式中，I/O界面408包括硬件和/或软件，其提供用于在计算机系统400与一个或多个I/O装置之间进行通信的一个或多个界面。在适当的情况下，计算机系统400可包括这些I/O装置中的一个或多个。这些I/O装置中的一个或多个能够在个人与计算机系统400之间进行通信。作为示例，并非通过限制的方式，I/O装置可包括键盘、按键、麦克风、显示器、鼠标、打印机、扫描仪、扬声器、静物照相机、唱针、平板电脑、触摸式屏幕、轨迹球、摄影机、另一合适的I/O装置或其中的两个或多个的组合。I/O装置可包括一个或多个传感器。本公开考虑任何合适的I/O装置以及用于这些I/O装置的任何合适的I/O界面408。在适当的情况下，I/O界面408可包括一个或多个装置或软件驱动器，其能够允许处理器402驱动这些I/O装置中的一个或多个。在适当的情况下，I/O界面408可包括一个或多个I/O界面408。虽然本公开描述和显示了特定的I/O界面，但是本公开考虑任何合适的I/O界面。
在特定的实施方式中，通信界面410包括硬件和/或软件，其提供用于在计算机系统400与一个或多个其他计算机系统400或一个或多个网络之间进行通信(例如，基于分组的通信)的一个或多个界面。作为示例，并非通过限制的方式，通信界面410可包括网络界面控制器(NIC)、或用于与以太网或其他有线网络或无线NIC(WNIC)进行通信的网络适配器、或用于与无线网络(例如，WI-FI网络)进行通信的网络适配器。本公开考虑任何合适的网络以及用于该网络的任何合适的通信界面410。作为示例，并非通过限制的方式，计算机系统400可与自组织网络、个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或互联网的一个或多个部分或其中的两个或多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可为有线或无线部分。作为一个示例，计算机系统400可与无线PAN(WPAN)(例如，BLUETOOTH WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如，全球移动通讯系统(GSM)网络)、或其他合适的无线网络或其中的两个或多个的组合进行通信。在适当的情况下，计算机系统400可以包括用于这些网络中的任一个的任何合适的通信界面410。在适当的情况下，通信界面410可以包括一个或多个通信界面410。虽然本公开描述和显示了特定的通信界面，但是本公开考虑任何合适的通信界面。
在特定的实施方式中，总线412包括硬件和/或软件，其使计算机系统400的元件彼此耦接。作为示例，并非通过限制的方式，总线412可包括加速图形端口(AGP)或其他图形总线、增强型工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准结构(ISA)总线、无限带宽互连、低脚位(LPC)总线、内存总线、微通道结构(MCA)总线、外围部件互连(PCI)总线、PCI高速(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线、或另一合适的总线或其中的两个或多个的组合。在适当的情况下，总线412可包括一个或多个总线412。虽然本公开描述和显示了特定的总线，但是本公开考虑任何合适的总线或互连。
在本文中，在适当的情况下，计算机可读非暂时性存储介质可包括基于半导体的或者其他集成电路(IC)(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器HDD、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡、安全数字卡或驱动器、另一合适的计算机可读非暂时性存储介质、或者其中的两项或更多项的任何合适的组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性、非易失性或者易失性和非易失性的组合。
在本文中，除非另有明确规定或者在上下文中另有明确规定，否则“或”具有包括而非排除的意思。因此，在本文中，除非另有明确规定或者在上下文中另有明确规定，否则“A或B”表示“A和/或B”。而且，除非另有明确规定或者在上下文中另有明确规定，否则“和”具有共同和单独的意思。因此，在本文中，除非另有明确规定或者在上下文中另有明确规定，否则“A和B”表示“共同或单独的A和B”。
本公开的范围包括本领域的技术人员会理解的在本文中描述或示出的示例实施方式的所有变化、替换、变动、变更以及修改。本公开的范围不限于在本文中描述或示出的示例实施方式。而且，虽然本公开描述和显示了在本文中相应的实施方式包括特定的部件、元件、特征、功能、操作或步骤，但是这些实施方式中的任一个可以包括本领域的技术人员会理解的在本文中的任何地方描述或示出的任何部件、元件、特征、功能、操作或步骤的任何组合或排列。而且，只要适合于、被设置为、能够、被配置为、启用、可用于或者有效地执行一个特定的功能的设备、系统、或装置或系统的元件被这样适合、设置、使能、配置、启用、可用或者有效，就无论是否激活、打开或开启该设备、系统、部件或该特定的功能，在所附权利要求中引用该设备、或系统、或部件都包括该设备、系统、部件。此外，尽管本公开将特定实施方式描述或示出为提供特定优点，但是特定实施方式可以不提供这些优点，提供某些或全部这些优点。

Claims (20)

1.一种用于在虚拟现实内拍照的方法，包括由计算系统：
在第一时刻处渲染包括至少一个虚拟对象的视觉场景，所述视觉场景以第一分辨率渲染；
使用由用户穿戴的头戴设备向使用人工现实应用程序的所述用户显示所述视觉场景；
在所述第一时刻处接收与所述用户相关联的手配置数据；
基于所述手配置数据，确定所述用户的虚拟左手的第一左手手指和第二左手手指以及所述用户的虚拟右手的第一右手手指和第二右手手指是伸出的；
确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指在虚拟环境中限定四边形，其中，所述第一左手手指和所述第二左手手指限定四边形的第一角，并且所述第一右手手指和所述第二右手手指限定所述四边形的第二角，并且其中，所述第一角和所述第二角是所述四边形的相对角；
基于所述四边形和所述用户在虚拟环境中的视点，以高于所述视觉场景的所述第一分辨率的第二分辨率生成所述视觉场景的一部分的图像，所述视觉场景包括基于投射通过由所述手配置数据限定的框架的光线密度的所述虚拟对象，其中，所生成的所述视觉场景的所述一部分的图像在所述视觉场景当前被渲染的相同时刻处成为所述视觉场景的一部分；并且
用所生成的所述视觉场景的所述一部分的图像重新渲染所述视觉场景，以及
在所述虚拟环境中显示所生成的图像。
2.根据权利要求1所述的方法，还包括：
确定第一左手手指、第二左手手指、第一右手手指和第二右手手指在虚拟环境中的平面中在预定阈值内对准。
3.根据权利要求1所述的方法，其中，基于指示所述用户的对应手指没有触摸计算系统的手持控制器的手配置数据，确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指是伸出的。
4.根据权利要求1所述的方法，其中，所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指分别对应于用户的左食指、左拇指、右食指和右拇指。
5.根据权利要求1所述的方法，还包括：
响应于所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指限定四边形的确定，显示指示启用了拍照模式的视觉指示符。
6.根据权利要求1所述的方法，还包括：
在确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指限定四边形之后，接收来自所述用户的输入；
其中，响应于所述输入而生成图像。
7.根据权利要求6所述的方法，其中，所述输入由所述用户的对应于所述第一左手手指、第二左手手指、第一右手手指和第二右手手指中的一个的手指触发。
8.根据权利要求1所述的方法，其中，所生成的图像的分辨率高于所述虚拟环境的分辨率。
9.一种包含软件的计算机可读非暂时性存储介质，所述软件在被执行时可操作以：
在第一时刻处渲染包括至少一个虚拟对象的视觉场景，所述视觉场景以第一分辨率渲染；
使用由用户穿戴的头戴设备向使用人工现实应用程序的所述用户显示所述视觉场景；
在所述第一时刻处接收与所述用户相关联的手配置数据；
基于所述手配置数据，确定所述用户的虚拟左手的第一左手手指和第二左手手指以及所述用户的虚拟右手的第一右手手指和第二右手手指是伸出的；
确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指在虚拟环境中限定四边形，其中，所述第一左手手指和所述第二左手手指限定所述四边形的第一角，并且所述第一右手手指和所述第二右手手指限定所述四边形的第二角，并且其中，所述第一角和所述第二角是所述四边形的相对角；
基于所述四边形和所述用户在虚拟环境中的视点，以高于所述视觉场景的所述第一分辨率的第二分辨率生成所述视觉场景的一部分的图像，所述视觉场景包括基于投射通过由所述手配置数据限定的框架的光线密度的所述虚拟对象，其中，所生成的所述视觉场景的所述一部分的图像在所述视觉场景当前被渲染的相同时刻处成为所述视觉场景的一部分；并且
用所生成的所述视觉场景的所述一部分的图像重新渲染所述视觉场景，以及
在所述虚拟环境中显示所生成的图像。
10.根据权利要求9所述的介质，其中，所述软件在被执行时还可操作以：
确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指在虚拟环境中的平面中在预定阈值内对准。
11.根据权利要求9所述的介质，其中，基于指示所述用户的对应手指没有触摸计算系统的手持控制器的手配置数据，确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指是伸出的。
12.根据权利要求9所述的介质，其中，所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指分别对应于所述用户的左食指、左拇指、右食指和右拇指。
13.根据权利要求9所述的介质，其中，所述软件在被执行时还可操作以：
响应于所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指限定四边形的确定，显示指示启用了拍照模式的视觉指示符。
14.根据权利要求9所述的介质，其中，所述软件在被执行时还可操作以：
在确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指限定四边形之后，接收来自所述用户的输入；
其中，响应于所述输入而生成图像。
15.一种用于在虚拟现实内拍照的系统，包括：
一个或多个处理器；以及
一个或多个计算机可读非暂时性存储介质，耦接到一个或多个所述处理器并且包括指令，所述指令在由一个或多个所述处理器执行时可操作以使所述系统：
在第一时刻处渲染包括至少一个虚拟对象的视觉场景，所述视觉场景以第一分辨率渲染；
使用由用户穿戴的头戴设备向使用人工现实应用程序的所述用户显示所述视觉场景；
在所述第一时刻处接收与所述用户相关联的手配置数据；
基于所述手配置数据，确定所述用户的虚拟左手的第一左手手指和第二左手手指以及所述用户的虚拟右手的第一右手手指和第二右手手指是伸出的；
确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指在虚拟环境中限定四边形，其中，所述第一左手手指和所述第二左手手指限定所述四边形的第一角，并且所述第一右手手指和所述第二右手手指限定所述四边形的第二角，并且其中，所述第一角和所述第二角是所述四边形的相对角；
基于所述四边形和所述用户在虚拟环境中的视点，以高于所述视觉场景的所述第一分辨率的第二分辨率生成所述视觉场景的一部分的图像，所述视觉场景包括基于投射通过由所述手配置数据限定的框架的光线密度的所述虚拟对象，其中，所生成的所述视觉场景的所述一部分的图像在所述视觉场景当前被渲染的相同时刻处成为所述视觉场景的一部分；并且
用所生成的所述视觉场景的所述一部分的图像重新渲染所述视觉场景，以及
在所述虚拟环境中显示所生成的图像。
16.根据权利要求15所述的系统，其中，所述处理器在执行所述指令时还可操作以：
确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指在所述虚拟环境中的平面中在预定阈值内对准。
17.根据权利要求15所述的系统，其中，基于指示所述用户的对应手指没有触摸计算系统的手持控制器的手配置数据，确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指是伸出的。
18.根据权利要求15所述的系统，其中，所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指分别对应于所述用户的左食指、左拇指、右食指和右拇指。
19.根据权利要求15所述的系统，其中，所述处理器在执行所述指令时还可操作以：
响应于所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指限定四边形的确定，显示指示启用了拍照模式的视觉指示符。
20.根据权利要求15所述的系统，其中，所述处理器在执行所述指令时还可操作以：
在确定所述第一左手手指、所述第二左手手指、所述第一右手手指和所述第二右手手指限定四边形之后，接收来自所述用户的输入；
其中，响应于所述输入而生成图像。
CN201910470702.9A 2018-06-07 2019-05-31 在虚拟现实内拍照 Active CN110581947B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/002,365 2018-06-07
US16/002,365 US10948993B2 (en) 2018-06-07 2018-06-07 Picture-taking within virtual reality

Publications (2)

Publication Number Publication Date
CN110581947A CN110581947A (zh) 2019-12-17
CN110581947B true CN110581947B (zh) 2022-08-16

Family

ID=68764926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910470702.9A Active CN110581947B (zh) 2018-06-07 2019-05-31 在虚拟现实内拍照

Country Status (2)

Country Link
US (1) US10948993B2 (zh)
CN (1) CN110581947B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN114128276A (zh) * 2019-06-19 2022-03-01 Lg 电子株式会社 图像编译中指示变换核集的信息的信令
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
WO2021166717A1 (ja) * 2020-02-17 2021-08-26 ソニーグループ株式会社 表示制御装置、表示制御方法及び記録媒体
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
CN113327312B (zh) * 2021-05-27 2023-09-08 百度在线网络技术（北京）有限公司 虚拟角色的驱动方法、装置、设备以及存储介质
CN113325951B (zh) * 2021-05-27 2024-03-29 百度在线网络技术（北京）有限公司 基于虚拟角色的操作控制方法、装置、设备以及存储介质
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
CN113499219A (zh) * 2021-07-05 2021-10-15 西安交通大学 基于虚拟现实游戏的多感官刺激手功能康复系统及方法
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
WO2023009806A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in smart glasses
US20230031871A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in a smart glass
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US20230367611A1 (en) * 2022-05-10 2023-11-16 Meta Platforms Technologies, Llc World-Controlled and Application-Controlled Augments in an Artificial-Reality Environment
WO2024085397A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US20130194295A1 (en) * 2012-01-27 2013-08-01 Qualcomm Mems Technologies, Inc. System and method for choosing display modes
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9712741B2 (en) * 2014-09-19 2017-07-18 Be Topnotch, Llc Smart vehicle sun visor
US9953216B2 (en) * 2015-01-13 2018-04-24 Google Llc Systems and methods for performing actions in response to user gestures in captured images
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
WO2016187474A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality

Also Published As

Publication number Publication date
US10948993B2 (en) 2021-03-16
CN110581947A (zh) 2019-12-17
US20190377416A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110581947B (zh) 在虚拟现实内拍照
TWI720374B (zh) 相機縮放層級及影像圖框獲取控制
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
KR102098277B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US8997021B2 (en) Parallax and/or three-dimensional effects for thumbnail image displays
US9307153B2 (en) Method and apparatus for previewing a dual-shot image
CN111418202B (zh) 相机缩放级别和图像帧捕获控制
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
WO2020226832A1 (en) Device, method, and computer-readable medium for presenting computer-generated reality files
CN105705993A (zh) 利用面部检测来控制摄像机
US9535493B2 (en) Apparatus, method, computer program and user interface
WO2020226833A1 (en) Device, method, and graphical user interface for composing cgr files
US10126813B2 (en) Omni-directional camera
US20180075294A1 (en) Determining a pointing vector for gestures performed before a depth camera
JP6632681B2 (ja) 制御装置、制御方法、及びプログラム
JP2019174984A (ja) 表示制御装置、その制御方法、プログラム及び記憶媒体
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
Chu et al. Design of a motion-based gestural menu-selection interface for a self-portrait camera
JP6686319B2 (ja) 画像投影装置及び画像表示システム
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
US20240146835A1 (en) Virtual devices in the metaverse
US20230013539A1 (en) Remote landmark rendering for extended reality interfaces
JP2022137023A (ja) プログラム、情報処理装置、および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan platform Co.

Address before: California, USA

Applicant before: Facebook, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant