CN114514493A - 增强设备 - Google Patents

增强设备 Download PDF

Info

Publication number
CN114514493A
CN114514493A CN202080067532.0A CN202080067532A CN114514493A CN 114514493 A CN114514493 A CN 114514493A CN 202080067532 A CN202080067532 A CN 202080067532A CN 114514493 A CN114514493 A CN 114514493A
Authority
CN
China
Prior art keywords
display
content
cgr
environment
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067532.0A
Other languages
English (en)
Inventor
A·M·奥赫恩
E·G·门多萨
M·S·B·希玛纳
T·R·奥里奥尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN114514493A publication Critical patent/CN114514493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04897—Special input arrangements or commands for improving display capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0165—Head-up displays characterised by mechanical features associated with a head-down display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

具体实施使用第一设备(例如，HMD)来提供CGR环境，该CGR环境增强第二设备(例如，膝上型计算机、智能扬声器等)的输入能力和输出能力。在一些具体实施中，第一设备在其接近物理环境中与第二设备通信以交换输入或输出数据。例如，HMD可捕获包括膝上型计算机的物理环境的图像。HMD可检测膝上型计算机，发送对膝上型计算机的内容的请求，接收来自膝上型计算机的内容(例如，膝上型计算机当前正在显示的内容和附加内容)，识别膝上型计算机的位置，并且在膝上型计算机上或附近的CGR环境中显示具有所接收的内容的虚拟对象。虚拟对象(例如，虚拟监测仪或监测仪扩展)的大小、形状、取向或位置也可被配置为提供更好的用户体验。

Description

增强设备
技术领域
本公开整体涉及在电子设备上提供内容，并且具体地涉及提供计算机生成现实(CGR)环境的系统、方法和设备，该CGR环境基于包括其他电子设备的物理环境。
背景技术
许多电子设备都配置有输入和输出能力。例如，膝上型计算设备可包括显示器和键盘，该显示器和键盘分别用于显示内容和接收用户输入。类似地，智能手表可包括触摸屏，该触摸屏既显示内容又接收输入。在另一个示例中，智能家庭扬声器设备可被配置为经由扬声器产生音频输出以及经由麦克风接收可听语音命令作为输入。附加设备可用于补充电子设备的输入和输出能力。例如，用户可将较大监测仪连接到膝上型计算机或使用头戴式设备(HMD)来查看对应于膝上型计算机的输出的虚拟屏幕(例如，虚拟桌面)。然而，使用一个设备来补充另一设备的输出或输入能力的现有技术可能在能力、可用性或效率方面受到限制，并且通常可能无法提供足以增强那些电子设备的输入和输出能力的用户体验。
发明内容
本文公开的具体实施使用第一设备来提供CGR环境，该CGR环境增强第二设备的输入和输出能力。在一些具体实施中，第一设备(例如，头戴式设备(HMD))提供CGR环境，该CGR环境包括物理环境的视图，该物理环境包括一个或多个其他电子设备，例如，膝上型计算机、电视、智能扬声器、移动设备、手表、智能扬声器、物联网(IOT)设备等。HMD增强存在于物理环境中的检测到的内容产生电子设备的输出或输入能力。在一些具体实施中，第一设备(例如，HMD)与物理环境中的设备通信以交换输入或输出数据。例如，HMD可捕获包括膝上型设备的物理环境的图像。HMD可检测膝上型设备，向膝上型计算机发送对内容的请求，从膝上型计算机接收视觉内容(例如，当前处于膝上型计算机的物理显示器上的内容和附加内容)，并且在膝上型计算机视图上或附近显示CGR环境中的虚拟对象。例如，HMD可显示包括该内容或附加内容的虚拟对象。虚拟对象基于膝上型计算机的位置定位在CGR环境中。例如，CGR环境可包括物理环境的视图，其中虚拟监测仪定位在膝上型计算机的真实显示器的位置处、周围或如若不然基于该位置定位。例如，HMD可在虚拟屏幕上显示膝上型计算机的当前内容和附加内容，该虚拟屏幕大于实际屏幕并且基于实际屏幕的位置定位在CGR环境中。
在一些具体实施中，电子设备使用处理器来执行方法，该方法使用第一设备来提供CGR环境，该CGR环境增强第二设备的输入和输出能力。该方法涉及获得物理环境的图像(例如，用于视频透传的视频)以及识别物理环境中的第二设备。例如，可经由基于接近度的检测或计算机视觉来检测第二设备。该方法呈现CGR环境，该CGR环境包括图像的至少一部分的视图并且增强第二设备的输出能力或输入能力。
在一些示例中，该方法可识别与第二设备产生的用于在第二设备的显示器上显示的视觉内容相对应的增强内容，并且可基于第二设备的显示器的位置将具有该增强内容的虚拟屏幕定位在CGR环境中。虚拟屏幕可在大小、形状或取向方面与第二设备的显示器不同，以改善用户体验。
在一些示例中，第二设备显示没有视点依赖外观(例如，没有实际光亮或反射或基于用户或设备移动而出现的其他改变)的内容，并且方法生成或识别对应的增强内容，该对应的增强内容相反具有视点依赖外观(例如，外观会由于用户或设备移动而改变的内容)。例如，金属可基于假设的查看位置而显示在具有固定外观的膝上型计算机监测仪上，并且相反，金属可显示在HMD上的虚拟监测仪上，该HMD提供外观随着用户或膝上型计算机相对于彼此移动(例如基于改变的反射)而变化的CGR环境。
根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作环境的框图。
图2是根据一些具体实施的示例性控制器的框图。
图3是根据一些具体实施的示例性电子设备的框图。
图4是示出了示例性方法的流程图，该方法使用第一设备来提供CGR环境，该CGR环境增强第二设备的输入和输出能力。
图5是示出了包括物理环境的视频透传的CGR环境在内的视图的框图。
图6是示出了CGR环境的视图的框图，该CGR环境包括物理环境的视频透传和增强物理环境的第二设备的输出能力的虚拟内容。
图7是示出了CGR环境的视图的框图，该CGR环境包括物理环境的视频透传和增强物理环境的第二设备的输入能力的虚拟内容。
图8是示出了包括物理环境的视频透传的CGR环境在内的视图的框图。
图9是示出了CGR环境的视图的框图，该CGR环境包括物理环境的视频透传和增强物理环境的第二设备的输出能力的虚拟内容。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。虽然图1至图3描绘了涉及提供计算机生成现实(CGR)环境的手持式设备的示例性具体实施，但是其他具体实施并不一定涉及手持式设备并且可涉及能够提供CGR环境的其他类型的设备，包括但不限于可穿戴电子设备、其他移动设备、膝上型计算机、台式计算机、游戏设备和包括或使用图像捕获设备的其他设备。
图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器110、第一设备120和第二设备130，该控制器、第一设备和第二设备中的一者或两者可处于物理环境105中。物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
在一些具体实施中，控制器110被配置为管理和协调用户的计算机生成现实(CGR)体验。在一些具体实施中，控制器110包括软件、固件或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105处于本地或远程位置的计算设备。
在一个示例中，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与第一设备120通信地耦接。
在一些具体实施中，第一设备120被配置为向用户呈现CGR环境。下文参考图3更详细地描述第一设备120。在一些具体实施中，控制器110的功能由第一设备120提供或与该电子设备组合，例如，在用作独立单元的电子设备的情况下。
根据一些具体实施，当用户存在于物理环境105内时，第一设备120向用户呈现计算机生成现实(CGR)环境。计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)，码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像捕获设备或其他传感器、一个或多个显示器等中的至少一者。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和计算机生成现实(CGR)体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中，计算机生成现实(CGR)模块240包括设备检测器242、输入/输出交换器244和渲染器246。设备检测器242被配置为检测处于与由CGR模块240提供的CGR环境相对应的物理环境内的设备。例如，设备检测器242可包括计算机视觉算法或机器学习模型，该计算机视觉算法或机器学习模型识别物理环境的图像中的一个或多个对象。在另一个示例中，设备检测器242基于设备位置信息来识别处于预定接近度内的设备。在另一个示例中，设备检测器242基于能够经由与有限通信范围相关联的特定通信介质(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)访问的那些设备来识别接近设备。
输入/输出交换器244被配置为例如经由有线或无线通信与第二电子设备130发送消息。例如，输入/输出交换器244可从第二电子设备130接收与第二电子设备130的输出或输入能力相对应的内容，例如，当前处于第二电子设备130的显示器上的视觉内容和相关联的补充内容。在另一个示例中，输入/输出交换器244可辨识CGR环境中的输入(例如，用户的手、身体或用户手持设备的移动)并且将与此类输入相对应的数据提供给第二电子设备130。
渲染器246被配置为提供CGR环境。例如，渲染器可利用来自第一设备120的图像传感器的图像内容(例如，视频内容)和附加虚拟内容来提供CGR环境的视图(例如，从视点描绘3D环境的视图的帧)。在一些具体实施中，渲染器246使用光线跟踪技术来从与第一设备120的当前位置相关联的视点产生3D内容的视图。
尽管这些模块和单元被示出为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，这些模块和单元的任何组合可位于单独的计算设备中。此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
图3是根据一些具体实施的第一设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，第一设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、一个或多个面向内部或面向外部的图像传感器系统314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些具体实施中，一个或多个显示器312被配置为向用户呈现CGR体验。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)或者类似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，第一设备120包括单个显示器。在另一个示例中，第一设备120包括针对用户的每只眼睛的显示器。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和计算机生成现实(CGR)体验模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中，计算机生成现实(CGR)模块340包括设备检测器342、输入/输出交换器344和渲染器346。设备检测器342被配置为检测处于与由CGR模块340提供的CGR环境相对应的物理环境内的设备。例如，设备检测器342可包括计算机视觉算法或机器学习模型，该计算机视觉算法或机器学习模型识别物理环境的图像中的一个或多个对象。在另一个示例中，设备检测器342基于设备位置信息来识别处于预定接近度内的设备。在另一个示例中，设备检测器342基于能够经由与通信范围相关联的特定通信介质(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)访问的那些设备来识别接近设备。
输入/输出交换器344被配置为例如经由有线或无线通信与第二电子设备130发送消息。例如，输入/输出交换器344可从第二电子设备130接收与第二电子设备的输出或输入能力相对应的内容，例如，当前处于第二电子设备130的显示器上的视觉内容和相关联的补充内容。在另一个示例中，输入/输出交换器344可辨识CGR环境中的输入(例如，用户的手、身体或用户手持设备的移动)并且将与此类输入相对应的数据提供给第二电子设备130。
渲染器346被配置为提供CGR环境。例如，渲染器可利用来自第一设备120的图像传感器的图像内容(例如，视频内容)和附加虚拟内容来提供CGR环境的视图(例如，从视点描绘3D环境的视图的帧)。在一些具体实施中，渲染器346使用光线跟踪技术来从与第一设备120的当前位置相关联的视点产生3D内容的视图。
此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。
图4是示出了示例性方法400的流程图，该方法使用第一设备来提供CGR环境，该CGR环境增强第二设备的输入和输出能力。在一些具体实施中，方法400由设备(例如，图1至图3的控制器110或第一设备120)执行。可在移动设备、HMD、台式计算机、膝上型计算机、服务器设备处或由彼此通信的多个设备执行方法400。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
在框402处，方法400涉及获得物理环境的图像。例如，可经由头戴式设备(HMD)、移动设备或提供被配置为捕获物理环境的图像的一个或多个相机的任何其他设备上的相机来捕获图像或视频序列。
在框404处，方法400涉及识别物理环境中的第二设备。第二设备可以是包括输入能力和/或输出能力(例如，能够接收输入和/或产生输出)的任何电子设备。可经由集成设备或外围设备(诸如鼠标、键盘、触摸屏、触笔或用户使用物理接触、手势、语音、注视方向、眼睛移动等与之交互的任何其他设备)来接收输入。可经由集成设备(诸如监测仪、投影仪、触摸屏、扬声器、触觉输出设备或产生用户经由其自然感官中的一种感官而感知的外观、声音、移动或其他改变的任何其他设备)来提供输出。
在一些具体实施中，识别第二设备是基于确定第一设备和第二设备处于彼此的预定接近度内。例如，第一设备和第二设备中的每一者可经由传感器或与外部跟踪器(例如，GPS、基于信号的跟踪等)通信来跟踪它们自身的相应位置，并且可将这些位置进行比较以确定这些设备是否处于彼此的预定接近度内。
在一些具体实施中，识别第二设备是基于：基于计算机视觉识别第二设备。例如，机器学习模型可被训练以识别物理环境的图像中的对象，诸如膝上型计算机、移动设备等。在一些具体实施中，用户与多个特定设备相关联，例如，用户账户可识别移动电话型号、膝上型计算机型号等，并且用户特定设备信息用于识别物理环境的图像中的第二设备。第一设备和第二设备均可经由图像或其他传感器来识别其相应环境中的一个或多个唯一对象。可基于识别相同的唯一对象来推断这些设备的相对位置和取向，例如，两个设备均检测墙壁上的特定绘画。
在一些具体实施中，识别第二设备是基于与第二设备无线通信。例如，第一设备和第二设备可使用具有有限范围的通信介质彼此无线通信。在另一个示例中，这些设备各自与相同设备(例如，相同的WIFI热点等)通信，并且基于该公共通信连接点来推断这些设备相对于彼此的位置或距离。这些设备可彼此交换位置和其他信息，以促进确定这些设备处于相同的物理环境内和这些设备的相对位置。
在一些具体实施中，识别第二设备是基于识别在第二设备的显示器上显示的符号或其他标识符。例如，第二设备可显示条形码、QR码或识别设备的其他符号，并且该显示符号可被辨识和定位在物理环境的图像中。
在一些具体实施中，深度传感器用于确定第二设备的位置和几何形状。例如，RGB-D相机可为物理环境的图像的像素(包括与物理环境中的第二设备的部件(例如，膝上型计算机的键盘键、显示屏等)相对应的像素)提供深度值。其他基于图像的定位技术(例如，即时定位与地图构建(SLAM)技术)可另外或另选地用于确定第二设备及其部件相对于第一设备或在物理环境的图像中的位置。
在框406处，方法400基于图像的至少一部分来呈现CGR环境，其中CGR环境增强第二设备的输出能力或输入能力。这可涉及呈现包括图像的至少一部分的透传的CGR环境，其中CGR环境增强第二设备的输出能力或输入能力。
在一些具体实施中，该方法增强第二设备的显示器。例如，方法400可识别与第二设备产生的用于在第二设备的显示器上显示的视觉内容相对应的增强内容。方法400可基于第二设备的显示器的位置将虚拟屏幕定位在CGR环境中。例如，虚拟屏幕可位于与CGR环境中的第二设备的显示器相同的位置，使得CGR环境的用户看到虚拟屏幕而不是第二设备的显示器。在一些具体实施中，虚拟屏幕不同于第二设备的显示器。例如，虚拟屏幕可在大小、形状、显示能力(例如，颜色、亮度等)或取向方面不同。在一个示例中，虚拟屏幕在一个位置提供比第二设备的显示器更大的屏幕使得用户查看更大的虚拟屏幕，并且可基于其位置(例如，重叠、部分重叠或接近第二设备)来辨识虚拟屏幕显示来自第二设备的内容。
在这些示例中，方法400通过经由虚拟屏幕显示增强内容来增强第二设备的输出能力。虚拟屏幕可显示与第二设备的显示器相同的内容、与虚拟设备的显示器不同的内容、或相同内容和不同内容的组合。在一个示例中，虚拟屏幕显示第二设备的显示器的所有内容和从第二设备接收的附加内容(例如，额外用户界面元素、内容项等)。例如，虚拟屏幕可显示第二设备上所显示的应用程序的内容以及未在第二设备上显示的应用程序的附加控件。
在一些具体实施中，方法400通过提供与第二设备上所显示的内容不同的内容来增强来自第二设备的内容。例如，方法400可针对第二设备上所显示的没有视点依赖外观的内容，显示内容的视点依赖外观。例如，第二设备可以是膝上型计算机，该膝上型计算机显示没有视点依赖外观的金属对象，例如，该金属对象可具有无论观察者的位置如何都是静态的外观，使得当观察者移动或使膝上型计算机移动时，金属中的反射保持静态。在该示例中，方法400可通过在CGR环境内显示具有反射的金属对象的表示来增强膝上型计算机上所显示的内容的此类外观，该反射相反确实会基于观察者自己移动或使膝上型计算机移动而移动和改变。
在一些具体实施中，方法400通过提供具有三维(3D)深度特性的内容来增强来自第二设备的内容，该3D深度特性不同于第二设备上所显示的内容的特性。例如，CGR环境可显示对应于第二设备的显示内容的虚拟对象，该虚拟对象不限于第二设备的显示器的平坦面。相反，虚拟对象可被赋予深度，例如，按钮可“弹出”等，并且虚拟对象的3D外观可通过以下操作而变得逼真：使对象外观取决于视点或使用由HMD的眼睛特定显示器提供的视图中的立体差异。此外，第二设备可具有平坦显示器，该平坦显示器描绘用于例如在用于设计3D打印的3D对象的3D建模应用程序的上下文中创建、编辑或查看3D对象的用户界面。方法400可显示用户界面，该用户界面用以3D形式显示此类3D对象的3D接口来替换第二设备上所显示的用户界面。
在一些具体实施中，方法400增强与由第二设备的扬声器产生的音频内容相对应的内容。例如，用于体验CGR环境的HMD中的扬声器可产生用于增强或改善在第二设备上提供的空间化音频的声音。在另一个示例中，在第二设备附近显示虚拟对象，该虚拟对象提供视觉信息以补充由第二设备产生的音频。例如，方法400可通过经由虚拟对象显示增强内容来增强第二设备的输出能力，该虚拟对象处于第二设备附近并且提供识别正由设备播放的当前歌曲或有声读物的文本或图形。如果多个设备正在产生声音，则方法400可提供识别哪个设备正在产生哪种声音的虚拟对象。
在一些具体实施中，方法400增强与第二设备的输入设备(例如，键盘、鼠标、笔等)相对应的内容。例如，方法400可识别与第二设备的输入设备相对应的增强内容，例如，识别与当前正在第二设备上使用的应用相对应的热键键盘标签。方法400可识别对应输入设备(例如，键盘)及其对应特征(例如，“e”键”)的位置。方法400可基于输入设备的位置将虚拟对象定位在CGR环境中，例如，将虚拟对象定位在识别当前应用程序中的热键的热键功能(例如，“擦除”)的“e”键附近。在另一个示例中，可利用图形指示符来增强电子笔输入设备，该图形指示符识别当前正由电子笔控制的用户界面特征(例如，画笔颜色、大小等)的属性。在另一个示例中，输入设备是轨迹板，并且增强内容被显示在轨迹板上或附近以促进用户对轨迹板的使用。在这些示例中，方法400通过经由虚拟对象显示增强内容来增强第二设备的输出能力，该虚拟对象处于相对于允许用户将增强内容与第二设备的输入设备相关联的输入设备的位置。
在一些具体实施中，400通过提供新的或另外的用户输入模式来增强第二设备的输入能力。例如，在第二设备是具有非触摸显示器的膝上型计算机的情况下，CGR环境可将对膝上型计算机屏幕的触摸辨识为输入并且将这些输入提供给第二设备，使得第二设备可像第二设备具有触摸屏一样作出响应。在该示例中，第一设备(例如，HMD)可解释包括用户(例如，用户的手)和第二设备(例如，其显示器)的图像，并且解释图像以识别用户在第二设备上的触摸位置。在另一个示例中，方法400识别身体输入(例如，手势、注视方向、面部表情等)并且将该输入提供给第二设备。
第二设备上的应用程序可被配置为接收来自第二设备的输入机制的本地输入以及来自其他设备的附加类型的输入。在一些具体实施中，检查算法用于分析现有应用程序，并且自动向该应用程序添加代码或功能以使得该应用程序能够接收来自附加输入类型的输入。在一些具体实施中，应用程序不需要进行更改，并且经由第一设备在CGR环境中以非本地输入类型接收的输入可被翻译成第二设备上的应用程序能辨识的形式。例如，向上移动手势可被翻译成第二设备能辨识的向上翻页按钮输入。
在一些具体实施中，方法400通过促进由第二设备产生或以其他方式提供的内容与CGR环境的其他内容的交互来增强第二设备的内容。例如，来自膝上型计算机上的应用程序的立方体可与来自提供包括膝上型计算机的CGR环境的HMD上的应用程序的虚拟立方体交互。
在一些具体实施中，多个设备涉及提供共享CGR环境。例如，相同物理环境中的两个HMD可彼此或与物理环境中的其他设备协调以提供共享CGR环境。物理环境中的设备(诸如膝上型计算机)的功能可在共享CGR环境中得到增强。例如，HMD可显示扩展的虚拟监测仪，而不是共享CGR环境中的膝上型计算机监测仪。
在一些具体实施中，多个设备提供对在共享CGR环境中使用的数据的处理和存储。在此类环境中，用户可使用一个设备(诸如HMD)来查看包括一个或多个其他设备的物理环境，该一个或多个其他设备提供用户在其体验CGR环境期间使用的处理和存储能力。用户可使用通过HMD查看的膝上型计算机的处理器、应用程序和数据。这可比尝试使CGR提供设备(例如HMD)本身模拟或模仿设备在环境中的处理要更有效、高效和直观。此外，与一种类型的设备相关联的内容可被自动注入CGR环境中并以期望的方式被增强。例如，移动设备可提供用户可使用的游戏，该游戏存储在移动设备上并由移动设备的处理器执行。用户可仅通过使用移动设备，同时使用提供CGR环境的另一设备(例如，HMD)，即可在CGR环境中玩该游戏。例如，用户可在查看周围虚拟现实(例如，在虚拟海滩上)的同时，享受玩移动设备游戏的乐趣。此外，可利用否则不可用的附加输入或输出来增强体验。例如，CGR环境可提供更大的显示器、更好的内容、附加的输入模态等。
示例性增强设备
图5示出了包括物理环境的视频透传在内的CGR环境的视图500。在该示例中，物理的透传视频描绘了墙壁510和桌子520，上面放着膝上型计算机530和书本560。膝上型计算机530包括显示由膝上型计算机530产生的内容的显示器540以及用于接收对膝上型计算机530的输入的键盘550。在图5中，CGR环境中的所有描绘都是物理环境的透传视频。
图6示出了CGR环境的视图600，该CGR环境包括图5的物理环境的视频透传以及增强物理环境的膝上型计算机530的输出能力的虚拟内容。在该示例中，膝上型计算机530的显示器540的透传视频被虚拟显示器640替换。虚拟显示器640包括由膝上型计算机530提供的内容。具体地，虚拟显示器640包括实际显示在显示器530上的内容(图5)，该内容被增强以包括附加特征(例如，用户界面控件630)以使用虚拟显示器640的相对较大区域。此外，虚拟显示器640基于显示器540的位置(图5)定位在CGR环境中以接近显示器540并与之重叠(图5)，从而向用户提供虚拟显示器640对应于膝上型计算机530的视觉指示。
图7示出了CGR环境的视图700，该CGR环境包括图5的物理环境的视频透传以及增强该物理环境的膝上型计算机530的输出能力和输入能力两者的虚拟内容。在该示例中，膝上型计算机530的显示器540的透传视频被虚拟显示器640替换。另外，键盘550的透传视频被增强以提供增强键盘750。增强键盘750将虚拟内容覆盖在键盘550的透传视频上和周围。在该示例中，虚拟内容包括第一文本气泡710和第二文本气泡710，该第一文本气泡以图形方式指示键盘550的特定键与特定热键功能(例如，保存)相关联，该第二文本气泡以图形方式指示键盘550的第二特定键与第二特定热键功能(例如，打开)相关联。此外，虚拟内容包括覆盖键盘550的另一个键的虚拟键标签730，以提供关于该键在正在膝上型计算机550上执行的当前应用程序中的功能的信息。
图8示出了包括物理环境的视频透传在内的CGR环境的视图800。在该示例中，物理的透传视频描绘平板电脑810，该平板电脑包括描绘键盘820和文本窗口830的触摸屏显示器。在该示例中，平板电脑810的用户可在所描绘键盘820的键的位置处触摸触摸屏以输入显示在文本窗口830中的文本。在该示例中，在平板电脑置于平坦的水平面上的情况下，用户可发现能够方便触摸所描绘的键盘820，但是期望文本窗口830具有不同视角。
图9示出了CGR环境的视图，该CGR环境包括图8的物理环境的视频透传以及增强该物理环境的平板电脑810的输出能力的虚拟内容。在该示例中，触摸屏显示器的与文本窗口830相对应的部分的透传视频用具有可能对用户优选的视角的虚拟文本窗口930增强。虚拟文本窗口930包括实际显示在文本窗口830上的内容(图8)。此外，虚拟文本窗口930基于文本窗口830的位置(图8)定位在CGR环境中以接近文本窗口830并与之部分重叠，从而向用户提供虚拟文本窗口930对应于平板电脑810的视觉指示。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他示例中，没有详细地描述普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。
除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。
权利要求书(按照条约第19条的修改)
1.一种方法，包括：
在包括处理器的第一设备处：
获得物理环境的图像；
识别所述物理环境中的第二设备，其中所述第二设备包括非触摸显示器，其中所述显示器上的触摸不会由所述第二设备的所述非触摸显示器检测为对所述第二设备的输入；
基于所述图像的至少一部分呈现计算机生成现实CGR环境，其中所述CGR环境通过基于所述图像识别所述第二设备的所述非触摸显示器上的触摸交互并将所述触摸交互传送到所述第二设备，来增强所述第二设备的输入能力，其中所述第二设备像对作为所述第二设备的输入的所述触摸交互作出响应。
2.根据权利要求1所述的方法，还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕在大小或形状方面不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
3.根据权利要求1所述的方法，还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕在取向方面不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
4.根据权利要求1所述的方法，还包括：
识别具有视点依赖外观的增强内容，所述增强内容与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应，所述视觉内容没有所述视点依赖外观；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
5.根据权利要求1所述的方法，还包括：
识别具有三维3D深度特性的增强内容，所述增强内容与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应，所述视觉内容没有所述3D深度特性；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
6.根据权利要求1所述的方法，还包括：
识别与由所述第二设备的扬声器产生的用以输出的音频内容相对应的增强内容；
基于所述第二设备的位置将虚拟对象定位在所述CGR环境中；以及
通过经由所述虚拟对象显示所述增强内容来增强所述第二设备的所述输出能力。
7.根据权利要求1所述的方法，还包括：
识别与所述第二设备的输入设备相对应的增强内容；
基于所述输入设备的位置将虚拟对象定位在所述CGR环境中；以及
通过经由所述虚拟对象显示所述增强内容来增强所述第二设备的所述输出能力。
8.根据权利要求7所述的方法，其中所述输入设备是键盘，并且所述增强内容包括相对于所述键盘的所述位置显示的热键标签。
9.根据权利要求7所述的方法，其中所述输入设备是电子笔，并且所述增强内容包括图形指示符，所述图形指示符识别当前正由所述电子笔控制的用户界面特征(例如，画笔颜色、大小等)的属性。
10.根据权利要求7所述的方法，其中所述输入设备是轨迹板或电子笔，并且所述增强内容包括基于来自所述轨迹板或电子笔的输入而生成的内容的图形表示。
11.根据权利要求1所述的方法，还包括：
识别用户在所述CGR环境中的交互；以及
将所述交互传送到所述第二设备，其中所述第二设备响应于所述交互而产生附加输出。
12.根据权利要求11所述的方法，其中所述交互是所述第二设备的非触摸屏显示器上的触摸手势。
13.根据权利要求1-12中任一项所述的方法，其中识别所述第二设备包括基于确定所述第一设备和所述第二设备处于彼此的预定接近度内来检测所述第二设备。
14.根据权利要求1-12中任一项所述的方法，其中识别所述第二设备包括基于计算机视觉来识别所述第二设备。
15.根据权利要求1-12中任一项所述的方法，其中识别所述第二设备包括与所述第二设备无线通信。
16.一种系统，包括：
非暂态计算机可读存储介质；和
一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下操作的操作：
获得物理环境的图像；
识别所述物理环境中的第二设备，其中所述第二设备包括输出能力，所述第二设备包括显示器，所述显示器在所述显示器的二维2D平面上显示所显示的对象；以及
基于所述图像的至少一部分呈现计算机生成现实CGR环境，其中所述CGR环境通过包括所述第二设备和与所显示的对象相对应的虚拟对象来增强所述第二设备的所述输出能力，其中所述虚拟对象以三维3D深度进行显示而不是在所述CGR环境中的所述显示器的所述2D平面上显示。
17.根据权利要求16所述的系统，其中所述操作还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
18.根据权利要求16所述的系统，其中所述操作还包括：
识别与所述第二设备的输入设备相对应的增强内容；
基于所述输入设备的位置将虚拟对象定位在所述CGR环境中；以及
通过经由所述虚拟对象显示所述增强内容来增强所述第二设备的所述输出能力。
19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在计算机上由计算机执行的用以执行操作的程序指令，所述操作包括：
获得物理环境的图像；
识别所述物理环境中的第二设备，其中所述第二设备包括输入能力或输出能力；以及
基于所述图像的至少一部分呈现计算机生成现实CGR环境，其中所述CGR环境增强所述第二设备的所述输出能力或所述输入能力。
20.根据权利要求19所述的非暂态计算机可读存储介质，其中所述操作还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。

Claims (20)

1.一种方法，包括：
在包括处理器的第一设备处：
获得物理环境的图像；
识别所述物理环境中的第二设备，其中所述第二设备包括输入能力或输出能力；以及
基于所述图像的至少一部分呈现计算机生成现实CGR环境，其中所述CGR环境增强所述第二设备的所述输出能力或所述输入能力。
2.根据权利要求1所述的方法，还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕在大小或形状方面不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
3.根据权利要求1所述的方法，还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕在取向方面不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
4.根据权利要求1所述的方法，还包括：
识别具有视点依赖外观的增强内容，所述增强内容与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应，所述视觉内容没有所述视点依赖外观；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
5.根据权利要求1所述的方法，还包括：
识别具有三维3D深度特性的增强内容，所述增强内容与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应，所述视觉内容没有所述3D深度特性；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
6.根据权利要求1所述的方法，还包括：
识别与由所述第二设备的扬声器产生的用以输出的音频内容相对应的增强内容；
基于所述第二设备的位置将虚拟对象定位在所述CGR环境中；以及
通过经由所述虚拟对象显示所述增强内容来增强所述第二设备的所述输出能力。
7.根据权利要求1所述的方法，还包括：
识别与所述第二设备的输入设备相对应的增强内容；
基于所述输入设备的位置将虚拟对象定位在所述CGR环境中；以及
通过经由所述虚拟对象显示所述增强内容来增强所述第二设备的所述输出能力。
8.根据权利要求7所述的方法，其中所述输入设备是键盘，并且所述增强内容包括相对于所述键盘的所述位置显示的热键标签。
9.根据权利要求7所述的方法，其中所述输入设备是电子笔，并且所述增强内容包括图形指示符，所述图形指示符识别当前正由所述电子笔控制的用户界面特征(例如，画笔颜色、大小等)的属性。
10.根据权利要求7所述的方法，其中所述输入设备是轨迹板或电子笔，并且所述增强内容包括基于来自所述轨迹板或电子笔的输入而生成的内容的图形表示。
11.根据权利要求1所述的方法，还包括：
识别用户在所述CGR环境中的交互；以及
将所述交互传送到所述第二设备，其中所述第二设备响应于所述交互而产生附加输出。
12.根据权利要求11所述的方法，其中所述交互是所述第二设备的非触摸屏显示器上的触摸手势。
13.根据权利要求1至12中任一项所述的方法，其中识别所述第二设备包括基于确定所述第一设备和所述第二设备处于彼此的预定接近度内来检测所述第二设备。
14.根据权利要求1至12中任一项所述的方法，其中识别所述第二设备包括基于计算机视觉来识别所述第二设备。
15.根据权利要求1至12中任一项所述的方法，其中识别所述第二设备包括与所述第二设备无线通信。
16.一种系统，包括：
非暂态计算机可读存储介质；和
一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下操作的操作：
获得物理环境的图像；
识别所述物理环境中的第二设备，其中所述第二设备包括输入能力或输出能力；以及
基于所述图像的至少一部分呈现计算机生成现实CGR环境，其中所述CGR环境增强所述第二设备的所述输出能力或所述输入能力。
17.根据权利要求16所述的系统，其中所述操作还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
18.根据权利要求16所述的系统，其中所述操作还包括：
识别与所述第二设备的输入设备相对应的增强内容；
基于所述输入设备的位置将虚拟对象定位在所述CGR环境中；以及
通过经由所述虚拟对象显示所述增强内容来增强所述第二设备的所述输出能力。
19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在计算机上由计算机执行的用以执行操作的程序指令，所述操作包括：
获得物理环境的图像；
识别所述物理环境中的第二设备，其中所述第二设备包括输入能力或输出能力；以及
基于所述图像的至少一部分呈现计算机生成现实CGR环境，其中所述CGR环境增强所述第二设备的所述输出能力或所述输入能力。
20.根据权利要求19所述的非暂态计算机可读存储介质，其中所述操作还包括：
识别与所述第二设备产生的用于在所述第二设备的显示器上显示的视觉内容相对应的增强内容；
基于所述第二设备的所述显示器的位置将虚拟屏幕定位在所述CGR环境中，其中所述虚拟屏幕不同于所述第二设备的所述显示器；以及
通过经由所述虚拟屏幕显示所述增强内容来增强所述第二设备的所述输出能力。
CN202080067532.0A 2019-09-26 2020-09-15 增强设备 Pending CN114514493A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962906379P 2019-09-26 2019-09-26
US62/906,379 2019-09-26
PCT/US2020/050825 WO2021061441A1 (en) 2019-09-26 2020-09-15 Augmented devices

Publications (1)

Publication Number Publication Date
CN114514493A true CN114514493A (zh) 2022-05-17

Family

ID=72659935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067532.0A Pending CN114514493A (zh) 2019-09-26 2020-09-15 增强设备

Country Status (3)

Country Link
US (2) US11379033B2 (zh)
CN (1) CN114514493A (zh)
WO (1) WO2021061441A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275945B2 (en) * 2020-03-26 2022-03-15 Varjo Technologies Oy Imaging system and method for producing images with virtually-superimposed functional elements
DE102021206568A1 (de) 2021-06-24 2022-12-29 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
DE102021206565A1 (de) 2021-06-24 2022-12-29 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
US20240054690A1 (en) * 2022-08-15 2024-02-15 Disney Enterprises, Inc. User Responsive Augmented Reality Enhancement of Moving Images
US20240087251A1 (en) * 2022-09-09 2024-03-14 Shopify Inc. Methods for calibrating augmented reality scenes
CN116932119B (zh) * 2023-09-15 2024-01-02 深圳市其域创新科技有限公司 虚拟屏幕显示方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307875A1 (en) * 2012-02-08 2013-11-21 Glen J. Anderson Augmented reality creation using a real scene
US20140035819A1 (en) * 2012-08-03 2014-02-06 Research In Motion Limited Method and Apparatus Pertaining to an Augmented-Reality Keyboard
US20180164589A1 (en) * 2015-05-29 2018-06-14 Kyocera Corporation Wearable device
US20190212901A1 (en) * 2018-01-08 2019-07-11 Cisco Technology, Inc. Manipulation of content on display surfaces via augmented reality

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5158006B2 (ja) 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR101591579B1 (ko) 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
JPWO2014188798A1 (ja) * 2013-05-21 2017-02-23 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
BR112016012076A2 (pt) 2013-12-27 2017-08-08 Intel Corp Dispositivo, método e sistema de fornecer visor estendido com visor montado na cabeça
EP3108330B1 (en) * 2014-02-17 2021-10-20 Apple Inc. Method and device for detecting a touch between a first object and a second object
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
CN105988567B (zh) * 2015-02-12 2023-03-28 北京三星通信技术研究有限公司 手写信息的识别方法和装置
US9740011B2 (en) * 2015-08-19 2017-08-22 Microsoft Technology Licensing, Llc Mapping input to hologram or two-dimensional display
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
KR102471977B1 (ko) * 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
JP2020521217A (ja) 2017-05-19 2020-07-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US10529136B2 (en) * 2017-08-16 2020-01-07 Dell Products L.P. Augmented reality workspace system
WO2019067642A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc APPLICATION PRESENTATION BASED ON AN ENVIRONMENT
CN108154864B (zh) 2017-12-22 2020-02-21 联想(北京)有限公司 显示屏处理方法、第一电子设备以及第二电子设备
US11049322B2 (en) * 2018-06-18 2021-06-29 Ptc Inc. Transferring graphic objects between non-augmented reality and augmented reality media domains
US20200201515A1 (en) * 2018-12-19 2020-06-25 Samsung Electronics Co., Ltd. Method and electronic device for controlling augmented reality device
US11521512B2 (en) * 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
CN110069230A (zh) 2019-04-24 2019-07-30 北京小米移动软件有限公司 扩展内容显示方法、装置及存储介质
US11023035B1 (en) * 2019-07-09 2021-06-01 Facebook Technologies, Llc Virtual pinboard interaction using a peripheral device in artificial reality environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307875A1 (en) * 2012-02-08 2013-11-21 Glen J. Anderson Augmented reality creation using a real scene
US20140035819A1 (en) * 2012-08-03 2014-02-06 Research In Motion Limited Method and Apparatus Pertaining to an Augmented-Reality Keyboard
US20180164589A1 (en) * 2015-05-29 2018-06-14 Kyocera Corporation Wearable device
US20190212901A1 (en) * 2018-01-08 2019-07-11 Cisco Technology, Inc. Manipulation of content on display surfaces via augmented reality

Also Published As

Publication number Publication date
US20210096638A1 (en) 2021-04-01
US11379033B2 (en) 2022-07-05
US20220269338A1 (en) 2022-08-25
WO2021061441A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
KR102322589B1 (ko) 3차원 콘텐츠 내의 위치-기반 가상 요소 양식
JP7561804B2 (ja) ２ｄ／３ｄ混在コンテンツの検出及び表示
CN110633008B (zh) 用户交互解释器
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
US20190371072A1 (en) Static occluder
US11379033B2 (en) Augmented devices
CN111880644A (zh) 多用户即时定位与地图构建（slam）
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
US11710310B2 (en) Virtual content positioned based on detected object
CN110715647A (zh) 使用多次三维扫描进行对象检测
US10984607B1 (en) Displaying 3D content shared from other devices
US11961195B2 (en) Method and device for sketch-based placement of virtual objects
US11430198B1 (en) Method and device for orientation-based view switching
US11468611B1 (en) Method and device for supplementing a virtual environment
CN112561071A (zh) 根据3d语义网格的对象关系估计
US12002165B1 (en) Light probe placement for displaying objects in 3D environments on electronic devices
US11087528B1 (en) 3D object generation
US11442549B1 (en) Placement of 3D effects based on 2D paintings
US10964056B1 (en) Dense-based object tracking using multiple reference images
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
CN112581628A (zh) 用于解决焦点冲突的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination