CN115857173A - 用于包括传感器集成电路的头戴式显示器的位置跟踪系统 - Google Patents

用于包括传感器集成电路的头戴式显示器的位置跟踪系统 Download PDF

Info

Publication number
CN115857173A
CN115857173A CN202211683430.9A CN202211683430A CN115857173A CN 115857173 A CN115857173 A CN 115857173A CN 202211683430 A CN202211683430 A CN 202211683430A CN 115857173 A CN115857173 A CN 115857173A
Authority
CN
China
Prior art keywords
sensor data
mounted display
image sensor
camera
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211683430.9A
Other languages
English (en)
Inventor
约书亚·马克·哈德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN115857173A publication Critical patent/CN115857173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

用于跟踪头戴式显示器(HMD)的位置的系统和方法。HMD可包括承载面向前相机和多个光学流量传感器集成电路(IC)的支承结构。前置相机以第一帧速率在前置相机视场(FOV)中捕获图像传感器数据，并且多个传感器IC中的每一个以第二帧速率在相应的多个传感器IC FOV中捕获图像传感器数据。传感器IC FOV可共同地覆盖前置相机FOV的至少大部分。处理器可从相机和多个传感器IC接收图像传感器数据。处理器可处理所接收的图像传感器数据和/或其它传感器数据(例如，IMU数据)以基于对所接收的传感器数据的处理来跟踪头戴式显示器的位置。

Description

用于包括传感器集成电路的头戴式显示器的位置跟踪系统
本申请是申请日为2019年1月17日、申请号201980008361.1、发明名称为“用于包括传感器集成电路的头戴式显示器的位置跟踪系统”的分案申请。
技术领域
本公开总体涉及用于头戴式显示器的位置跟踪。
背景技术
当前一代的虚拟现实(“VR”)或增强现实(“AR”)体验使用头戴式显示器(“HMD”)创建，头戴式显示器可连接至固定计算机(诸如个人计算机(“PC”)、膝上型计算机或游戏控制台)、可与智能电话和/或其相关联的显示器组合和/或集成，或者可以是独立的。通常，HMD是穿戴在用户的头部上的显示设备，该显示设备在一只眼睛(单目HMD)或每只眼睛(双目HMD)的前面具有小的显示设备。显示单元通常是小型化的，并且可包括例如CRT、LCD、硅上液晶(LCos)或OLED技术。双目HMD具有向每只眼睛显示不同图像的潜力。该功能用于显示立体图像。
随着智能电话、高清电视以及其它电子设备的发展，对具有更高性能的显示器的需求也在增加。虚拟现实系统和增强现实系统(特别是那些使用HMD的系统)的日益普及进一步增加了这种需求。虚拟现实系统通常完全包围穿戴者的眼睛并用“虚拟”现实替代穿戴者面前的实际或物理视图(或实际现实)，而增强现实系统通常在穿戴者的眼睛前面提供一个或多个屏幕的半透明或透明覆盖，使得实际视图通过附加信息得到增强，并且介导现实系统可类似地向观看者呈现信息，将现实世界元素与虚拟元素结合在一起。在许多虚拟现实系统和增强现实系统中，可通过各种方式(诸如经由头戴式显示器中和/或在头戴式显示器外部的传感器)来跟踪这种头戴式显示器的穿戴者的移动，以使得所示出的图像能够反映用户的移动。
位置跟踪允许HMD估计其相对于其周围环境的位置。位置跟踪可利用硬件和软件的组合来实现HMD的绝对位置的检测。位置跟踪是AR系统或VR系统的重要技术，它可以以六个自由度(6DOF)去跟踪HMD(和/或控制器或其它外围设备)的移动。
位置跟踪技术可用于更改用户的视点，以反映不同的动作(例如跳跃或蹲伏)，并可允许在虚拟环境中准确表示用户的手和其它对象。位置跟踪还可通过例如使用手位置通过触摸来移动虚拟对象来增加物理环境与虚拟环境之间的连接。由于视差，位置跟踪差改善了用户对虚拟环境的3D感知，从而有助于距离的感知。另外，位置跟踪可帮助最大程度地减少因眼睛观察到的输入与用户的耳朵前庭系统感觉到的输入之间的断开而导致的晕动症。
有不同的位置跟踪方法。这样的方法可包括声学跟踪、惯性跟踪、磁跟踪、光学跟踪、它们的组合等。
发明内容
头戴式显示器可概括为包括：支承结构，可穿戴在用户的头部上；相机，由支承结构承载，在操作中，相机以第一帧速率在相机视场中捕获图像传感器数据；多个光学流量传感器集成电路(IC)，由支承结构承载，在操作中，多个光学流量传感器IC中的每一个以第二帧速率在相应的多个传感器IC视场中捕获图像传感器数据，传感器IC视场比相机视场窄，以及第二帧速率大于第一帧速率；至少一个非暂时性处理器可读存储介质，存储处理器可执行指令或数据中的至少一个；以及至少一个处理器，操作地联接至相机、多个光学流量传感器IC和至少一个非暂时性处理器可读存储介质，在操作中，至少一个处理器：从相机和多个光学流量传感器IC接收图像传感器数据；处理所接收的图像传感器数据；以及至少部分地基于对所接收的图像传感器数据的处理，跟踪头戴式显示器的位置。至少一个处理器可融合来自相机和多个光学流量传感器IC的图像传感器数据以跟踪头戴式显示器的位置。
头戴式显示器还可包括：惯性测量单元(IMU)传感器，操作地联接至至少一个处理器，其中，在操作中，至少一个处理器：从IMU传感器接收IMU传感器数据；处理IMU传感器数据以及从相机和多个光学流量传感器IC所接收的图像传感器数据；以及至少部分地基于对所接收的IMU传感器数据和所接收的图像传感器数据的处理，跟踪头戴式显示器的位置。多个光学流量传感器IC中的每一个可包括单个裸片，裸片上具有图像感测电路和图像处理电路。第一帧速率可小于或等于每秒100帧，以及第二帧速率可大于或等于每秒1000帧。至少一个处理器可处理所接收的图像传感器数据，以检测在头戴式显示器操作的环境中存在的一个或多个特征。传感器IC视场中的每个视场可与相机视场的一部分重叠。至少一个处理器可将传感器IC视场与相机视场配准。相机视场可大于100度。
头戴式显示器还可包括第一显示子系统和第二显示子系统，第一显示子系统和第二显示子系统各自为用户的一只眼睛提供显示，其中，在操作中，至少一个处理器经由第一显示子系统和第二显示子系统选择性地呈现从相机获得的图像。
操作头戴式显示器的方法，头戴式显示器包括可穿戴在用户的头部上的支承结构，由支承结构承载的相机以及由支承结构承载的多个光学流量传感器集成电路(IC)，该方法可概括为包括：经由相机以第一帧速率在相机视场中捕获图像传感器数据；经由多个光学流量传感器IC以第二帧速率在相应的多个传感器IC视场中捕获图像传感器数据，传感器IC视场比相机视场窄，以及第二帧速率大于第一帧速率；通过至少一个处理器从相机和多个光学流量传感器IC接收图像传感器数据；通过至少一个处理器处理所接收的图像传感器数据；以及通过至少一个处理器至少部分地基于对所接收的图像传感器数据的处理，跟踪头戴式显示器的位置。处理所接收的图像传感器数据可包括融合来自相机和多个光学流量传感器IC的图像传感器数据以跟踪头戴式显示器的位置。
头戴式显示器可包括操作地联接至至少一个处理器的惯性测量单元(IMU)传感器，以及还可包括：通过至少一个处理器从IMU传感器接收IMU传感器数据；通过至少一个处理器处理IMU传感器数据以及从相机和多个光学流量传感器IC接收的图像传感器数据；以及通过至少一个处理器至少部分地基于对所接收的IMU传感器数据和所接收的图像传感器数据的处理，跟踪头戴式显示器的位置。
经由多个光学流量传感器IC捕获图像传感器数据可包括经由多个光学流量传感器IC捕获图像传感器数据，每个光学流量传感器IC包括其上具有图像感测电路和图像处理电路单个裸片。以第一帧速率在相机视场中捕获图像传感器数据可包括以小于或等于每秒100帧的第一帧速率在相机视场中捕获图像传感器数据，以及以第二帧速率在传感器IC视场中捕获图像传感器数据可包括以大于或等于每秒1000帧的第二帧率在传感器IC视场中捕获图像传感器数据。处理所接收的图像传感器数据可包括处理所接收的图像传感器数据以检测在头戴式显示器操作的环境中存在的一个或多个特征。传感器IC视场中的每个视场可与相机视场的一部分重叠。处理所接收的图像传感器数据可包括将传感器IC视场与相机视场配准。相机视场可大于100度。
头戴式显示器还可包括第一显示子系统和第二显示子系统，第一显示子系统和第二显示子系统各自为用户的一只眼睛提供显示，以及该方法还可包括经由第一显示子系统和第二显示子系统选择性地呈现从相机获得的图像。
附图说明
在附图中，相同的附图标记表示相似的元件或动作。附图中元件的尺寸和相对位置不一定按比例绘制。例如，各种元件的形状和角度不一定按比例绘制，并且这些元件中的一些可任意地放大和定位以提高附图易读性。此外，所绘制的元件的特定形状不一定旨在传达关于特定元件的实际形状的任何信息，并且可能仅仅是为了便于在附图中识别而选择的。
图1示出了根据本公开的示例实施方式的包括双目显示子系统、前置相机和多个传感器集成电路的头戴式显示系统的俯视图。
图2是根据本公开的示例实施方式的包括双目显示子系统、前置相机和多个传感器集成电路的头戴式显示系统的主视图。
图3是根据本公开的示例实施方式的图2中所示的头戴式显示系统的俯视图。
图4是根据本公开的示例实施方式的头戴式显示系统的示意性框图。
图5是根据本公开的示例实施方式的用于操作头戴式显示系统的位置跟踪系统以在使用期间跟踪头戴式显示系统的位置、方向和/或移动的方法的流程图。
具体实施方式
在以下描述中，阐述了某些具体细节，以提供对各种公开的实施例的透彻理解。然而，相关领域的技术人员将认识到，可以在没有这些具体细节中的一个或多个的情况下，或者在其它方法、部件、材料等的情况下实践实施例。在其它实例下，未示出或详细描述与计算机系统、服务器计算机和/或通信网络相关联的众所周知的结构，以避免不必要地模糊实施例的描述。
除非上下文另有要求，否则在整个说明书和所附的权利要求书中，词语“包括”与“包含”同义，并且是包含性的或开放性的(即，不排除附加的、未列举的元件或方法动作)。
在整个说明书中，对“一个实施例”或“实施例”的引用意指结合实施例描述的特定特征、结构或特性包括在至少一个实施例中。因此，出现在说明书全文各处的短语“在一个实施例中”或“在实施例中”不一定都指的是相同的实施例。此外，特定特征、结构或特性可以以任何适当的方式结合在一个或多个实施例中。
如在本说明书和所附权利要求书中所使用的，除非上下文另有明确指示，否则单数形式的“一”、“一个”和“该”包括复数指代物。还应注意，除非上下文另有明确指示，否则术语“或”通常以其包括“和/或”的含义使用。
本文中提供的公开内容的标题和摘要仅为方便起见，并不解释实施例的范围或意义。
本公开的一个或多个实施例涉及用于在由HMD的穿戴者使用期间准确跟踪头戴式显示器(HMD)的位置的系统和方法。在至少一些实施例中，HMD包括支承结构，该支承结构承载面向前相机(“前向相机”或“前置相机”)和多个光学流量传感器集成电路(IC)或“传感器IC”。前向相机以第一帧速率(例如，30Hz、90Hz)在前向相机视场中捕获图像传感器数据。多个传感器IC中的每一个以第二帧速率(例如，1000Hz、2000Hz)在相应的多个传感器IC视场中捕获图像传感器数据。在至少一些实施例中，传感器IC视场可以比前向相机视场窄。例如，前向相机可具有90°、120°或150°的相对较宽的前向相机视场，并且传感器IC中的每一个可具有15°、30°、45°等相对较窄的传感器IC视场。在至少一些实施例中，传感器IC视场可共同地覆盖前向相机视场的至少大部分，并且传感器IC视场中的每一个视场与前向相机视场的不同部分重叠。
在操作中，操作地联接至前向相机和多个传感器IC的至少一个处理器可从相机和多个光学流量传感器IC接收图像传感器数据。至少一个处理器可以处理所接收的图像传感器数据以至少部分地基于对所接收的图像传感器数据的处理来跟踪头戴式显示器的位置。例如，至少一个处理器可融合来自前向相机和多个传感器IC的传感器数据，以跟踪环境中存在的一个或多个特征。在至少一些实施例中，图像传感器数据可与来自其它传感器的传感器数据融合，例如来自HMD的惯性测量单元(IMU)的传感器数据。下面参考附图详细讨论本公开的实施例的各种特征。
图1是包括一对近眼显示系统102和104的HMD系统100的简化俯视图。近眼显示系统102和104分别包括显示器106和108(例如OLED微型显示器)，以及各自具有一个或多个光学透镜的相应光学透镜系统110和112。显示系统102和104可被安装到支承结构或包括前部116、左镜腿118和右镜腿120的框架114或其它安装结构。两个显示系统102和104可以以眼镜布置固定至框架114，该眼镜布置可以穿戴在穿戴用户124的头部122上。左镜腿118和右镜腿120可分别地放置在用户的耳朵126和128上，而鼻子组件(未示出)可放置在用户的鼻子130上。框架114的形状和大小可设置成将两个光学系统110和112中的每一个分别定位在用户的眼睛132和134之一的前方。虽然出于说明目的以类似于眼镜的简化方式示出了框架114，但是应当理解，实际上，可以使用更复杂的结构(例如，护目镜、一体式头带、头盔、条带等)来将显示系统102和104支承和定位在用户124的头部122上。
图1的HMD系统100能够例如经由诸如以每秒30帧(或图像)或每秒90帧的显示速率呈现的相应视频向用户124呈现虚拟现实显示，而类似系统的其它实施方式可向用户124呈现增强的现实显示。显示器106和108中的每一个可产生光，该光分别通过相应的光学系统110和112透射并聚焦在用户124的眼睛132和134上。尽管此处未示出，但每只眼睛都包括瞳孔，光可通过瞳孔进入眼睛，其中典型的瞳孔尺寸范围从非常明亮的条件下的直径2mm(毫米)到黑暗条件下的最大直径8毫米，而包含瞳孔的较大虹膜的大小可以约为12mm，当眼球绕其中心(导致瞳孔可在其中移动的三维空间)旋转时，瞳孔(和周围的虹膜)通常可在睁开的眼睑下在眼睛的可见部分内沿水平和/或垂直方向上移动几毫米，这还将使瞳孔从光学透镜或显示器的其它物理元件移动到不同深度，以用于不同的水平和垂直位置。进入用户的瞳孔的光被用户124视为图像和/或视频。在一些实施例中，光学系统110和112中的每一个与用户的眼睛132和134之间的距离可相对较短(例如，小于30mm、小于20mm)，因为光学系统和显示系统的重量相对靠近用户的脸部，这有利于使HMD系统100对用户显得更轻，并且还可为用户提供更大的视场。
HMD系统100还可包括后向或前向相机136。前向相机136可操作地捕获图像数据，该图像数据例如可在增强的现实应用中或结合虚拟现实应用中被选择性地呈现给用户124。如下面进一步讨论的，附加地或可替代地，前向相机136可由HMD系统100的位置跟踪系统用来在使用期间跟踪HMD系统100的位置。作为示例，前向相机136可包括摄像机和相关的透镜系统，该透镜系统在具有相对广角(例如，60°、90°、120°、150°)的前置相机视场中以帧速率(例如，30Hz、60Hz、90Hz)捕获图像。
HMD系统100还可包括多个(示出的六个)光学流量传感器IC138a至138f(统称为“光学IC 138”)。例如，传感器IC 138中的每一个可与在光学鼠标中使用的传感器IC相似或相同。通常，光学流量是由观察者(例如，传感器IC)和场景之间的相对运动引起的视觉场景中的对象、表面和边缘的视在运动的模式。传感器IC 138可利用光学流量数据来提供对HMD系统100的跟踪。
在至少一些实施例中，传感器IC 138中的每一个可以是能够测量光学流量或视觉运动并能够基于光学流量输出测量结果的视觉传感器。传感器IC 138可具有各种配置。一个示例配置是图像传感器芯片，图像传感器芯片连接至被编程为运行光学流量算法的处理器。另一个示例配置可使用视觉芯片，该视觉芯片可以是在同一裸片上具有图像传感器和处理电路两者的集成电路，从而允许实现紧凑。在至少一些实施例中，可使用模拟或混合信号电路来实施处理电路，以使用最小的电流消耗来实现快速的光学流量计算。传感器IC中的每一个可包括光电材料的光电传感器阵列(例如，互补金属氧化物半导体(CMOS))以形成像素阵列，诸如16×16像素、32×32像素等。此外，传感器IC 138中的每一个可包括相关联的透镜系统，以实现期望的光学特征(例如，FOV)。如上所述，与前向相机136的帧速率(例如，30Hz、90Hz)相比，传感器IC 138中的每一个可具有相对较高的帧速率(例如，大于1000Hz)。
尽管在图1中未示出，但是这种HMD系统的一些实施方式可包括各种附加的内部和/或外部传感器，例如，以对每只眼睛132和134分别执行瞳孔跟踪，以跟踪头部的位置和方向(例如，作为头部跟踪的一部分)，以跟踪用户的身体的各种其它类型的移动和位置，其它相机以记录外部图像(例如，环境的图像)等。
此外，尽管所描述的技术可在一些实施方式中使用与图1所示的显示系统相似的显示系统，但是在其它实施方式中，可使用包括单个光学透镜和显示设备、或者多个此类光学透镜和显示设备的其它类型的显示系统。其它此类设备的非排它性示例包括相机、望远镜、显微镜、双筒望远镜、探视镜、测量镜等。另外，所描述的技术可与发光以形成图像的各种各样的显示面板或其它显示设备一起使用，一个或多个用户通过一个或多个光学透镜观看该图像。在其它实施方式中，用户可通过一个或多个光学透镜观看以不同于经由显示面板(例如在部分或全部反射来自另一光源的光的表面上)的方式产生的一个或多个图像。
图2示出了当穿戴在用户202的头部上时的示例HMD系统200的主视图。图3示出了HMD系统200的俯视图，示出了HMD系统200的一些部件的示例视场210和212。HMD系统200包括支承结构204，该支承结构204支承前置面向或前向相机206和多个传感器IC208a至208n(统称为208)。前向相机206和传感器IC 208可分别与以上参考图1讨论的前向相机136和传感器IC 138相似或相同。传感器IC 208的特定数量可比图中描述的传感器IC的数量更少或更多。
如图所示，前向相机206和传感器IC 208被引导向前朝向用户202在其中操作HMD系统200的场景或环境214(图3)。环境214可在其中包括一个或多个对象213(示出了一个)，该对象可包括墙壁、天花板、家具、楼梯、汽车、树木、跟踪标记或任何其它类型的对象。
出于说明目的，图3中仅示出了传感器IC 208a、IC 208d、IC 208j和IC 208l。如图所示，前向相机206包括具有FOV角207(例如，60°、90°、120°、150°)的前向相机FOV 210。如图所示，传感器IC 208a、208d、208j和208l中的每一个具有相应的传感器IC FOV 212a、212d、212j和212l(统称为212)，其具有相应的FOV角209a、209d、209j和209l(统称为209)。在至少一些实施例中，传感器IC 208的FOV角209比前向相机206的FOV角207窄。例如，在至少一些实施例中，传感器IC 208的FOV 212可共同地覆盖前向相机206的FOV 210的至少大部分，其中FOV 212中的每一个覆盖FOV 210的不同部分。
HMD系统200还可包括由支承结构204承载的惯性测量单元(IMU)216。IMU 216可以是结合使用加速度计和陀螺仪以及可选地磁力计来测量和报告HMD系统200的比力、角速率和/或HMD系统周围的磁场的电子设备。相对于前向相机206，IMU 216可具有相对较高的更新或报告速率(例如，每秒500、每秒1000)。
在操作中，HMD系统200可融合或以其它方式组合来自前向相机206、传感器IC 208和可选地IMU 216的数据，以在用户202操作期间跟踪HMD系统200的位置。作为示例，前向相机200可具有基本上低于传感器IC 208的第二帧速率(例如，1000Hz、2000Hz)的第一帧速率(例如，60Hz)。HMD系统200可将光学IC 208的相应FOV212与前向相机206的较宽的FOV 210配准，以在前向相机206的所有或基本上所有的FOV 210上提供高带宽特征跟踪。可选地，HMD系统200还可融合来自IMU 216的传感器数据，以进一步改善HMD系统的位置跟踪。如上所述，像传感器IC一样，IMU 216也可具有相对较高的带宽或更新速率。因此，使用传感器IC或IMU 216，可在来自前向相机206的图像传感器数据的帧之间生成位置数据，这提供了更高的精确位置跟踪。
在至少一些实施例中，前向相机206、传感器IC 208和/或IMU 216可与一个或多个基站或其它技术(例如，标记)结合使用以跟踪HMD系统200的位置。作为示例，这些部件可与Valve公司开发的
Figure BDA0004019029560000101
基站结合使用。更普遍地，本文讨论的特征可与美国专利申请公开第2014/0267667号、美国专利申请公开第2016/0124502号、美国专利申请公开第2016/0131761号、美国专利申请公开第2016/0124502号或美国专利申请公开第2017/0249019号中讨论的任何系统和方法一起使用或组合，这些美国专利申请的内容通过引用以其整体并入本文中。
前向相机206、传感器IC 208和/或IMU 216可用于确定HMD系统200的位置相对于环境216如何改变。当HMD系统200移动时，传感器206、208和216重新调整HMD系统200在环境214中的位置，并且虚拟环境可实时响应。相机206和传感器IC 208观察周围环境214的特征。当使用标记(例如，原始形状、代码、有源基站)时，可将这样的标记设计为易于被跟踪系统检测并放置在特定区域中。利用无标记跟踪，可以跟踪通常存在于环境214中的独特特性或特征，以实时确定HMD系统200的位置、方向和运动。例如，HMD系统200可利用识别特定图像、形状或特征的一种或多种算法，并可使用它们来计算HMD系统在空间中的位置、方向和/或移动。如上所述，来自IMU214或其它传感器的数据也可用于增加HMD系统200的位置跟踪的精度。
图4示出了根据本公开的一个或多个实施例的HMD系统400的示意性框图。HMD系统400可与以上讨论的HMD系统100和200相似或相同。因此，以上关于HMD系统100和200的讨论也可应用于HMD系统400。
HMD系统400包括处理器402、前置面向或前向相机404、多个传感器IC 406、并可选地包括IMU 407。HMD系统400可包括显示子系统408(例如，两个显示器和相应的光学系统)。HMD系统400还可包括非暂时性数据存储器410，非暂时性数据存储器410可存储用于位置跟踪412的指令或数据、用于显示功能414(例如，游戏)的指令或数据、和/或其它程序416。
HMD系统400还可包括各种I/O部件418，I/O部件418可包括一个或多个用户接口(例如，按钮、触摸板、扬声器)、一个或多个有线或无线通信接口等。作为示例，I/O部件418可包括允许HMD系统400通过有线或无线通信链路422与外部设备420通信的通信接口。作为非限制性示例，外部设备420可包括主机、服务器、移动设备(例如，智能电话、可穿戴计算机)等。HMD系统400的各种部件可被容纳在单个壳体(例如，图2和图3的支承结构202)中、可被容纳在单独的壳体(例如，主机)中、或者它们的任意组合。
将理解的是，所示的计算系统和设备仅是说明性的，并未旨在限制本公开的范围。例如，HMD 400和/或外部设备420可连接至未示出的其它设备，包括通过诸如因特网的一个或多个网络或经由Web。更普遍地，这样的计算系统或设备可包括可交互并执行所描述的功能类型的硬件的任何组合，例如当用适当的软件编程或以其它方式配置时，包括但不限于台式计算机、膝上型计算机、平板触摸计算机、平板计算机或其它计算机、智能电话计算设备和其它蜂窝电话、互联网设备、PDA和其它电子管理器、数据库服务器、网络存储设备和其它网络设备、无线电话、寻呼机、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机和/或游戏机和/或媒体服务器)、以及包括适当的内部通信功能的各种其它消费产品。例如，在至少一些实施方式中，示出的系统400和420可包括可执行的软件指令和/或数据结构，当可执行的软件指令和/或数据结构被加载和/或执行在特定的计算系统或设备上时，可被用来对这些系统或设备进行编程或以其它方式配置，例如以配置那些系统或设备的处理器。替代地，在其它实施方式中，软件系统中的一些或全部可在另一设备上的内存中执行，并且经由计算机间通信与所示的计算系统/设备进行通信。另外，尽管示出了各种项目在不同时间(例如，在使用时)存储在内存中或存储在存储器上，但是出于内存管理和/或数据完整性的目的，这些项目或它们的一部分可在内存和存储器之间和/或在存储设备之间(例如，在不同位置处)转移。
因此，在至少一些实施方式中，示出的系统是包括软件指令的基于软件的系统，在由处理器和/或其它处理器装置执行软件指令时，对处理器进行编程以自动执行该系统的所描述的操作。此外，在一些实施方式中，系统的一些或全部可以以其它方式实现或提供，例如至少部分地以固件和/或硬件方式，包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等。系统或数据结构的一些或全部也可存储(例如，作为软件指令内容或结构化数据内容)在非暂时性计算机可读的存储介质上，例如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性内存(例如RAM)、网络存储设备或便携式媒体产品(例如，DVD盘、CD盘、光盘、闪存设备等)，以通过适当的驱动器或经由适当的连接来读取。在一些实施方式中，系统、模块和数据结构也可作为生成的数据信号(例如，作为载波的一部分或其它模拟或数字传播信号)在各种计算机可读传输介质(包括基于无线和基于有线/电缆的介质)上传输，并且可采用多种形式(例如，作为单路或多路复用的模拟信号的一部分，或者作为多个离散数字包或帧)。在其它实施方式中，这样的计算机程序产品也可采用其它形式。因此，本公开可与其它计算机系统配置一起实践。
图5是用于操作HMD系统以在使用期间跟踪其位置的示例方法500的流程图。方法500可由诸如图4所示的HMD系统400的位置跟踪系统或模块412执行。
方法500的图示实现从动作502开始，在动作502处提供了具有前置面向相机和多个传感器IC的HMD系统。前置相机可以以第一帧速率在前置相机视场中捕获图像传感器数据。例如，多个传感器IC可操作以检测光学流量。在操作中，多个传感器IC中的每一个以第二帧速率在相应的多个传感器IC视场中捕获图像传感器数据。在至少一些实施例中，传感器IC视场比前置相机视场窄，并且传感器IC的第二帧速率大于前置相机的第一帧速率。例如，在至少一些实施例中，第一帧速率小于或等于每秒100帧，并且第二帧速率大于或等于每秒1000帧。在至少一些实施例中，传感器IC视场中的每一个视场与前置相机视场的一部分重叠，从而多个传感器IC视场共同覆盖的前置相机视场的至少大部分(例如，50％、80％、90％、100％)。在至少一些实施例中，传感器IC中的每一个可包括其上具有图像感测电路和图像处理电路单个裸片。
在504处，与HMD系统相关联的至少一个处理器可从前置相机和多个传感器IC接收传感器数据。作为示例，至少一个处理器可以以较低的第一速率从前置相机接收传感器数据，并且可以以较高的第二速率从多个传感器IC接收传感器数据。
在506处，与HMD系统相关联的至少一个处理器可以可选地从惯性测量单元(IMU)接收传感器数据，该惯性测量单元操作地以提供惯性跟踪能力。
在508处，与HMD系统相关联的至少一个处理器可以处理所接收的传感器数据。例如，至少一个处理器可以将传感器数据中的一些或全部融合在一起，以跟踪在操作HMD系统的环境中存在的一个或多个特征。传感器数据可包括来自前置相机的传感器数据、来自多个传感器IC中的至少一个的传感器数据、以及可选地来自IMU的传感器数据。
在510处，与HMD系统相关联的至少一个处理器可在环境中用户使用HMD系统期间实时跟踪HMD系统的位置、方向和/或移动。如上所述，方法500可继续在HMD的操作期间以连续地跟踪HMD系统的位置、方向和/或移动。
前述详细描述已经通过使用框图、示意图和示例阐述了设备和/或过程的各种实施例。只要此类框图、示意图和示例包含一个或多个功能和/或操作，本领域技术人员将理解，此类框图、流程图或示例内的每个功能和/或操作可通过广泛的硬件、软件、固件或其实质上的任何组合来单独地和/或共同地实现。在一个实施例中，本主题可经由专用集成电路(ASIC)来实现。然而，本领域技术人员将认识到，本文公开的实施例可全部或部分地等效地在标准集成电路中作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)、作为在一个或多个控制器(例如，微控制器)上运行的一个或多个程序、作为在一个或多个处理器(例如，微处理器)上运行的一个或多个程序、作为固件或实质上其任何组合来实现，并且根据本公开，设计电路和/或编写软件和/或固件的代码将完全在本领域普通技术人员的技能范围内。
本领域技术人员将认识到，本文阐述的许多方法或算法可采用附加动作、可省略一些动作和/或可以以与指定顺序不同的顺序执行动作。
另外，本领域技术人员将理解，本文所教导的机制能够以各种形式作为程序产品来分发，并且示例性实施例同样适用，而与实际用于执行分发的信号承载介质的特定类型无关。信号承载介质的示例包括但不限于以下内容：可记录类型的介质，例如软盘、硬盘驱动器、CD ROM、数字磁带和计算机内存。
可将上述各种实施例组合以提供进一步的实施例。在不与本文的特定教导和定义相抵触的范围内，本说明书中提及的所有美国专利、美国专利申请公开、美国专利申请、外国专利、外国专利申请和非专利出版物，包括于2018年1月18日提交的第62/618,928号美国临时专利申请通过引用以它们的整体并入本文中。如果需要，可以修改实施例的各个方面，以采用各种专利、申请和出版物的系统、电路和概念来提供进一步的实施例。
可根据上述详细描述对实施例进行这些和其它改变。通常，在所附权利要求书中，所使用的术语不应解释为将权利要求书限制为说明书和权利要求书中公开的特定实施例，而应解释为包括所有可能的实施例以及这些权利要求书所享有的等同的全部范围。因此，权利要求不受公开内容的限制。

Claims (18)

1.头戴式显示器系统，包括：
支承结构，可穿戴在用户的头部上；
相机，由所述支承结构承载，在操作中，所述相机以第一帧速率在相机视场中捕获图像传感器数据；
多个光学流量传感器集成电路，测量光学流量，由所述支承结构承载，在操作中，所述多个光学流量传感器集成电路中的每一个均以第二帧速率在相应的多个传感器集成电路视场中捕获图像传感器数据，其中，所述多个传感器集成电路视场中的每一个比所述相机视场窄；以及
控制电路，在操作中：
从所述相机和所述多个光学流量传感器集成电路接收所述图像传感器数据；
处理所接收的图像传感器数据；以及
至少部分地基于对所接收的图像传感器数据的处理，跟踪所述头戴式显示器系统的位置。
2.根据权利要求1所述的头戴式显示器系统，其中，所述控制电路的至少一部分容纳在所述支承结构或单独的壳体中。
3.根据权利要求1所述的头戴式显示器系统，其中，所述控制电路的至少一部分容纳在所述支承结构外部的主机中。
4.根据权利要求1所述的头戴式显示器系统，其中，所述第二帧速率大于所述第一帧速率。
5.根据权利要求1所述的头戴式显示器系统，其中，所述控制电路融合来自所述相机和所述多个光学流量传感器集成电路的图像传感器数据，以跟踪所述头戴式显示器系统的位置。
6.根据权利要求1所述的头戴式显示器系统，还包括：
惯性测量单元传感器，操作地联接至所述控制电路，其中，在操作中，所述控制电路：
从所述惯性测量单元传感器接收惯性测量单元传感器数据；
处理所述惯性测量单元传感器数据以及从所述相机和所述多个光学流量传感器集成电路所接收的图像传感器数据；以及
至少部分地基于对所接收的惯性测量单元传感器数据和所接收的图像传感器数据的处理，跟踪所述头戴式显示器系统的位置。
7.根据权利要求1所述的头戴式显示器系统，其中，所述多个光学流量传感器集成电路中的每一个均包括单个裸片，所述裸片上具有图像感测电路和图像处理电路。
8.根据权利要求1所述的头戴式显示器系统，其中，所述传感器集成电路视场中的一个或多个与所述相机视场的一部分重叠。
9.根据权利要求1所述的头戴式显示器系统，其中，所述控制电路将所述传感器集成电路视场与所述相机视场配准。
10.操作头戴式显示器系统的方法，所述头戴式显示器系统包括可穿戴在用户的头部上的支承结构、由所述支承结构承载的相机以及由所述支承结构承载的测量光学流量的多个光学流量传感器集成电路，所述方法包括：
经由所述相机，以第一帧速率在相机视场中捕获图像传感器数据；
经由所述多个光学流量传感器集成电路，以第二帧速率在相应的多个传感器集成电路视场中捕获图像传感器数据，其中，所述多个传感器集成电路视场中的每一个比所述相机视场窄；
通过控制电路，从所述相机和所述多个光学流量传感器集成电路接收所述图像传感器数据；
通过控制电路，处理所接收的图像传感器数据；以及
通过控制电路，至少部分地基于对所接收的所述图像传感器数据的处理，跟踪所述头戴式显示器系统的位置。
11.根据权利要求10所述的方法，其中，所述第二帧速率大于所述第一帧速率。
12.根据权利要求10所述的方法，其中，处理所接收的图像传感器数据包括：融合来自所述相机和所述多个光学流量传感器集成电路的图像传感器数据，以跟踪所述头戴式显示器系统的位置。
13.根据权利要求10所述的方法，其中，所述头戴式显示器系统包括操作地联接至所述控制电路的惯性测量单元传感器，并且所述方法还包括：
通过所述控制电路，从所述惯性测量单元传感器接收惯性测量单元传感器数据；
通过所述控制电路，处理所述惯性测量单元传感器数据以及从所述相机和所述多个光学流量传感器集成电路所接收的图像传感器数据；以及
通过所述控制电路，至少部分地基于对所接收的惯性测量单元传感器数据和所接收的图像传感器数据的处理，跟踪所述头戴式显示器系统的位置。
14.根据权利要求10所述的方法，其中，经由所述多个光学流量传感器集成电路捕获图像传感器数据包括：经由所述多个光学流量传感器集成电路捕获图像传感器数据，每个所述光学流量传感器集成电路均包括单个裸片，在所述裸片上具有图像感测电路和图像处理电路。
15.根据权利要求10所述的方法，其中，处理所接收的图像传感器数据包括：处理所接收的所述图像传感器数据，以检测在所述头戴式显示器系统操作的环境中存在的一个或多个特征。
16.根据权利要求10所述的方法，其中，所述传感器集成电路视场中的至少一个视场与所述相机视场的部分重叠。
17.根据权利要求10所述的方法，其中，处理所接收的图像传感器数据包括：将所述传感器集成电路视场与所述相机视场配准。
18.根据权利要求10所述的方法，其中，所述头戴式显示器系统还包括第一显示子系统和第二显示子系统，所述第一显示子系统和所述第二显示子系统各自为用户的一只眼睛提供显示，所述方法还包括：
经由所述第一显示子系统和所述第二显示子系统选择性地呈现从所述相机获得的图像。
CN202211683430.9A 2018-01-18 2019-01-17 用于包括传感器集成电路的头戴式显示器的位置跟踪系统 Pending CN115857173A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862618928P 2018-01-18 2018-01-18
US62/618,928 2018-01-18
PCT/US2019/013971 WO2019143793A1 (en) 2018-01-18 2019-01-17 Position tracking system for head-mounted displays that includes sensor integrated circuits
CN201980008361.1A CN111602082B (zh) 2018-01-18 2019-01-17 用于包括传感器集成电路的头戴式显示器的位置跟踪系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980008361.1A Division CN111602082B (zh) 2018-01-18 2019-01-17 用于包括传感器集成电路的头戴式显示器的位置跟踪系统

Publications (1)

Publication Number Publication Date
CN115857173A true CN115857173A (zh) 2023-03-28

Family

ID=67213932

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211683430.9A Pending CN115857173A (zh) 2018-01-18 2019-01-17 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
CN201980008361.1A Active CN111602082B (zh) 2018-01-18 2019-01-17 用于包括传感器集成电路的头戴式显示器的位置跟踪系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980008361.1A Active CN111602082B (zh) 2018-01-18 2019-01-17 用于包括传感器集成电路的头戴式显示器的位置跟踪系统

Country Status (6)

Country Link
US (2) US10921881B2 (zh)
EP (1) EP3714318B1 (zh)
JP (1) JP7207809B2 (zh)
KR (1) KR20200106547A (zh)
CN (2) CN115857173A (zh)
WO (1) WO2019143793A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
GB201819896D0 (en) 2018-12-06 2019-01-23 Bae Systems Plc Tracking system
US11070778B2 (en) * 2019-02-14 2021-07-20 Facebook Technologies, Llc Multi-projector display architecture
US11209657B2 (en) 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
US11467660B2 (en) * 2020-02-06 2022-10-11 Valve Corporation Position tracking system for head-mounted display systems
TWI745924B (zh) 2020-04-10 2021-11-11 宏碁股份有限公司 虛擬實境定位裝置、虛擬實境定位系統以及虛擬實境定位裝置的製作方法
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997011386A1 (en) * 1995-09-21 1997-03-27 Omniplanar, Inc. Method and apparatus for determining position and orientation
JP3902741B2 (ja) * 2002-01-25 2007-04-11 株式会社半導体理工学研究センター 半導体集積回路装置
EP1671258A4 (en) * 2003-09-04 2008-03-19 Sarnoff Corp METHOD AND DEVICE FOR CARRYING OUT AN IRIS DETECTION FROM ONE IMAGE
JP4422777B2 (ja) * 2008-08-05 2010-02-24 オリンパス株式会社 移動体姿勢検出装置
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
CN109116985A (zh) * 2011-05-10 2019-01-01 寇平公司 控制信息显示的方法
US8203605B1 (en) * 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
US8982471B1 (en) * 2012-01-04 2015-03-17 Google Inc. HMD image source as dual-purpose projector/near-eye display
JP2013148745A (ja) 2012-01-20 2013-08-01 Fujitsu Mobile Communications Ltd 電子機器、制御方法及び制御プログラム
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
US9495783B1 (en) * 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
US9041840B2 (en) * 2012-08-21 2015-05-26 Semiconductor Components Industries, Llc Backside illuminated image sensors with stacked dies
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
WO2014160342A1 (en) * 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
WO2014159138A1 (en) 2013-03-14 2014-10-02 Valve Corporation Outward facing camera system with identical camera and eye image picture perspective
US9922253B2 (en) * 2013-10-11 2018-03-20 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
US20150356737A1 (en) * 2014-06-09 2015-12-10 Technical Illusions, Inc. System and method for multiple sensor fiducial tracking
US9541740B2 (en) * 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
KR20170081225A (ko) 2014-11-05 2017-07-11 밸브 코포레이션 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법
US10286308B2 (en) 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US10338186B2 (en) 2014-11-10 2019-07-02 Valve Corporation Positional tracking systems and methods
US10043281B2 (en) * 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
JP6768416B2 (ja) * 2015-09-08 2020-10-14 キヤノン株式会社 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム
CN109477966B (zh) 2016-02-18 2022-06-03 苹果公司 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
US10134192B2 (en) * 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US20190204599A1 (en) * 2017-12-28 2019-07-04 Microsoft Technology Licensing, Llc Head-mounted display device with electromagnetic sensor

Also Published As

Publication number Publication date
EP3714318A1 (en) 2020-09-30
CN111602082A (zh) 2020-08-28
JP2021511699A (ja) 2021-05-06
WO2019143793A1 (en) 2019-07-25
US11314323B2 (en) 2022-04-26
US20210149481A1 (en) 2021-05-20
CN111602082B (zh) 2023-01-17
EP3714318A4 (en) 2021-06-09
KR20200106547A (ko) 2020-09-14
EP3714318B1 (en) 2023-08-30
JP7207809B2 (ja) 2023-01-18
US20190220090A1 (en) 2019-07-18
US10921881B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US10591731B2 (en) Ocular video stabilization
US9372348B2 (en) Apparatus and method for a bioptic real time video system
US8970495B1 (en) Image stabilization for color-sequential displays
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
CA2875261C (en) Apparatus and method for a bioptic real time video system
US11442275B2 (en) Eyewear including a push-pull lens set
WO2023113956A1 (en) Eyewear including a non-uniform push-pull lens set
US20220373796A1 (en) Extended field-of-view capture of augmented reality experiences
US20220342222A1 (en) Eyewear having a projector with heat sink shields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination