CN111830714B - 图像显示控制方法、图像显示控制装置及头戴式显示设备 - Google Patents

图像显示控制方法、图像显示控制装置及头戴式显示设备 Download PDF

Info

Publication number
CN111830714B
CN111830714B CN202010721991.8A CN202010721991A CN111830714B CN 111830714 B CN111830714 B CN 111830714B CN 202010721991 A CN202010721991 A CN 202010721991A CN 111830714 B CN111830714 B CN 111830714B
Authority
CN
China
Prior art keywords
image
source
display
displacement
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010721991.8A
Other languages
English (en)
Other versions
CN111830714A (zh
Inventor
肖家胜
肖冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shining Reality Wuxi Technology Co Ltd
Original Assignee
Shining Reality Wuxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shining Reality Wuxi Technology Co Ltd filed Critical Shining Reality Wuxi Technology Co Ltd
Priority to CN202010721991.8A priority Critical patent/CN111830714B/zh
Publication of CN111830714A publication Critical patent/CN111830714A/zh
Priority to US18/003,915 priority patent/US11889050B2/en
Priority to EP21845585.5A priority patent/EP4160299A4/en
Priority to PCT/CN2021/107811 priority patent/WO2022017447A1/zh
Application granted granted Critical
Publication of CN111830714B publication Critical patent/CN111830714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本说明书的实施例提供图像显示控制方法、装置及头戴式显示设备。头戴式显示设备包括光学成像装置、图像源装置、位移装置和图像显示控制装置。图像源装置与光学成像装置光学对准，并且具有多个源图像，各个源图像具有不同的虚拟场景深度。在该图像显示控制方法中，基于虚拟场景显示深度范围确定位移装置的位移序列和图像源装置的源图像显示序列，控制位移装置来根据位移序列将图像源装置移动到对应的目标位置，以及在图像源装置到达各个目标位置后，根据源图像显示序列控制图像源装置进行源图像投射，以显示源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。利用该方法，可以实现虚拟图像在虚拟场景深度平面上的动态显示。

Description

图像显示控制方法、图像显示控制装置及头戴式显示设备
技术领域
本说明书的实施例涉及计算机视觉领域，具体地，涉及一种图像显示控制方法、图像显示控制装置及头戴式显示设备。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真技术。它利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，从而通过计算机技术模拟出现实中的世界，使用户沉浸到该环境中。
虚拟现实技术受到了越来越多人的认可，用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉。此外，虚拟现实技术可以真正实现人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈。虚拟现实技术的存在性、多感知性、交互性等特征，使得虚拟现实技术受到许多人的喜爱
在虚拟现实显示时，头戴式显示设备的佩戴者期望能够在观看虚拟场景图像时，能够根据所观看的虚拟场景深度平面的深度变化，动态地调节虚拟图像的深度位置，实现虚拟图像的动态深度显示。针对上述问题，目前业界暂无较佳的解决方案。
发明内容
鉴于上述问题，本说明书的实施例提供一种用于头戴式显示设备的图像显示控制方法、图像显示控制装置及头戴式显示设备。利用该方法及装置，基于虚拟场景深度范围确定图像源装置的位移序列和对应的源图像显示序列，并按照位移序列将图像源装置循环移动到各个目标位置，并且在图像源装置到达各个目标位置时投射对应的源图像，从而实现虚拟图像在虚拟场景深度平面上的动态显示。
根据本说明书实施例的一个方面，提供一种用于头戴式显示设备的图像显示控制方法，所述头戴式显示设备包括光学成像装置、图像源装置、位移装置和图像显示控制装置，所述图像源装置与所述光学成像装置光学对准，所述图像源装置具有多个源图像，各个源图像具有不同的虚拟场景显示深度，所述方法由所述图像显示控制装置执行，所述图像显示控制方法包括：基于虚拟场景显示深度范围，确定所述位移装置的位移序列和所述图像源装置的源图像显示序列，所述位移序列中的每个位移与所述源图像显示序列中的一个源图像以及所述虚拟场景显示深度范围中的一个虚拟场景显示深度对应；控制所述位移装置来根据所述位移序列将所述图像源装置移动到对应的目标位置；以及在所述图像源装置到达各个目标位置后，根据所述源图像显示序列控制所述图像源装置进行源图像投射，以显示所述源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。
可选地，在上述方面的一个示例中，所述虚拟场景显示深度范围可以基于所述头戴式显示设备的用户的人眼注视深度序列而生成。
可选地，在上述方面的一个示例中，所述人眼注视深度可以通过深度采集装置获取。
可选地，在上述方面的一个示例中，在所述图像源装置到达各个目标位置后，根据所述源图像显示序列控制所述图像源装置进行源图像投射可以包括：在所述图像源装置到达各个目标位置后，控制所述图像源装置从所述源图像显示序列中选择与该目标位置对应的源图像；以及控制所述图像源装置投射所选择的源图像，以显示对应的清晰虚拟图像。
可选地，在上述方面的一个示例中，在所述图像源装置到达各个目标位置后，根据所述源图像显示序列控制所述图像源装置进行源图像投射可以包括：在所述图像源装置到达各个目标位置后，控制所述图像源装置对第一源图像集进行图像虚化处理，所述第一源图像集通过从所述多个源图像中去除所述源图像显示序列中的与该目标位置对应的源图像而得到；以及控制所述图像源装置投射经过虚化处理后的所述多个源图像，以显示所述源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。
可选地，在上述方面的一个示例中，所述第一源图像集可以通过从所述多个源图像中去除在前投射的源图像中的部分或全部源图像以及所述源图像显示序列中的与该目标位置对应的源图像而得到。
可选地，在上述方面的一个示例中，控制所述位移装置来根据所述位移序列将所述图像源装置移动到对应的目标位置可以包括：控制所述位移装置来根据所述位移序列将所述图像源装置顺序或循环移动到对应的目标位置。
可选地，在上述方面的一个示例中，在所述图像源装置的循环移动周期大于人眼视觉暂留时间时，所述多个源图像中的指定源图像在每次源图像投射时都处于图像虚化状态。
可选地，在上述方面的一个示例中，所述多个源图像中的所具有的虚拟场景显示深度位于所述虚拟场景显示深度范围之外的各个源图像在每次源图像投射时都处于图像虚化状态。
可选地，在上述方面的一个示例中，所述虚拟场景显示深度范围可以根据所述头戴式显示设备的用户的人眼注视深度范围确定。
可选地，在上述方面的一个示例中，所述虚拟场景显示深度范围可以根据所述图像源设备的可移动范围确定。
根据本说明书的实施例的另一方面，提供一种用于头戴式显示设备的图像显示控制装置，所述头戴式显示设备包括光学成像装置、图像源装置、位移装置和图像显示控制装置，所述图像源装置与所述光学成像装置光学对准，所述图像源装置具有多个源图像，各个源图像具有不同的虚拟场景显示深度，所述图像显示控制装置包括：位移序列确定单元，被配置为基于虚拟场景显示深度范围，确定所述位移装置的位移序列，所述位移序列中的每个位移与所述虚拟场景显示深度范围中的一个虚拟场景显示深度对应；源图像显示序列确定单元，被配置为基于虚拟场景显示深度范围，确定所述图像源装置的源图像显示序列，所述源图像显示序列中的每个源图像与所述位移序列中的一个位移对应；位移控制单元，被配置为控制所述位移装置来根据所述位移序列将所述图像源装置移动到对应的目标位置；以及图像投射控制单元，被配置为在所述图像源装置到达各个目标位置后，根据所述源图像显示序列控制所述图像源装置进行源图像投射，以显示所述源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。
可选地，在上述方面的一个示例中，所述虚拟场景显示深度范围可以基于所述头戴式显示设备的用户的人眼注视深度序列而生成。
可选地，在上述方面的一个示例中，所述图像显示控制装置被配置为：在所述图像源装置到达各个目标位置后，控制所述图像源装置从所述源图像显示序列中选择与该目标位置对应的源图像，以及控制所述图像源装置投射所选择的源图像，以显示对应的清晰虚拟图像。
可选地，在上述方面的一个示例中，所述图像显示控制装置被配置为：在所述图像源装置到达各个目标位置后，控制所述图像源装置对第一源图像集进行图像虚化处理，所述第一源图像集通过从所述多个源图像中去除所述源图像显示序列中的与该目标位置对应的源图像而得到，以及控制所述图像源装置投射经过虚化处理后的所述多个源图像，以显示所述源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。
可选地，在上述方面的一个示例中，所述第一源图像集可以通过从所述多个源图像中去除在前投射的源图像中的部分或全部源图像以及所述源图像显示序列中的与该目标位置对应的源图像而得到。
可选地，在上述方面的一个示例中，所述位移控制单元被配置为控制所述位移装置来根据所述位移序列将所述图像源装置顺序或循环移动到对应的目标位置。
可选地，在上述方面的一个示例中，所述图像显示控制单元被配置为如果所述图像源装置的循环移动周期大于人眼视觉暂留时间，则在每次源图像投射时，控制所述图像源装置对所述多个源图像中的指定源图像进行图像虚化处理。
可选地，在上述方面的一个示例中，所述图像显示控制单元被配置为在每次源图像投射时，控制所述图像源装置对所述多个源图像中的所具有的虚拟场景显示深度位于所述虚拟场景显示深度范围之外的各个源图像进行图像虚化处理。
可选地，在上述方面的一个示例中，所述虚拟场景显示深度范围可以根据所述头戴式显示设备的用户的人眼注视深度范围确定。
可选地，在上述方面的一个示例中，所述虚拟场景显示深度范围可以根据所述图像源设备的可移动范围确定。
根据本说明书的实施例的另一方面，提供一种头戴式显示设备，包括：光学成像装置；图像源装置；位移装置；以及如上所述的图像显示控制装置；其中，所述图像源装置与所述光学成像装置光学对准。
可选地，在上述方面的一个示例中，所述头戴式显示设备可以包括VR设备或者AR设备。
可选地，在上述方面的一个示例中，所述头戴式显示设备还可以包括：深度采集装置，被配置为采集所述头戴式显示设备的用户的人眼注视深度信息。
可选地，在上述方面的一个示例中，所述深度采集装置包括人眼追踪单元，所述人眼追踪单元包括红外照明模块和红外探测模块。
可选地，在上述方面的一个示例中，所述头戴式显示设备包括鼻托和桩头，所述红外照明模块布置在所述鼻托的一侧、所述桩头的内壁处或者所述光学成像装置的外缘，以及所述红外探测模块布置在所述鼻托的一侧或所述桩头的内壁。
可选地，在上述方面的一个示例中，所述红外照明模块包括多个红外光源。
可选地，在上述方面的一个示例中，所述红外照明模块包括红外光源以及多个与所述红外光源耦合的光纤，各个光纤的出光点位置布置在所述鼻托的一侧、所述桩头的内壁处或者所述光学成像装置的外缘。
可选地，在上述方面的一个示例中，所述人眼追踪单元包括用于追踪左眼眼动的第一人眼追踪单元和用于追踪右眼眼动的第二人眼追踪单元。
可选地，在上述方面的一个示例中，所述第一人眼追踪单元和所述第二人眼追踪单元的位置被布置为具有对称性。
根据本说明书的实施例的另一方面，还提供一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于头戴式显示设备的图像显示控制方法。
根据本说明书的实施例的另一方面，还提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于头戴式显示设备的图像显示控制方法。
附图说明
通过参照下面的附图，可以实现对于本说明书的实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本说明书的实施例，但并不构成对本说明书的实施例的限制。在附图中：
图1示出了立体视觉技术的实现示意图。
图2A-2E示出了根据本说明书的实施例的头戴式显示设备的示例结构示意图。
图3示出了被配置成物方远心光路的光学成像装置和图像源装置的示例示意图。
图4示出了视场角随像素点的入射角的变化示意图。
图5示出了像素点的入射角为0时视场角的变化示意图。
图6示出了根据本说明书的实施例的用于头戴式显示设备的图像显示控制方法的流程图。
图7示出了根据本说明书的实施例的虚拟图像深度与图像源装置距光学成像装置物方焦点的距离之间的深度位移之间的关系的示例示意图。
图8示出了根据本说明书的实施例的人眼注视深度序列和虚拟图像显示深度顺序的示意图。
图9示出了根据本说明书的实施例的虚拟图像显示的一个示例的效果示意图。
图10示出了根据本说明书的实施例的虚拟场景显示深度范围和虚拟图像显示深度顺序的示意图。
图11示出了根据本说明书的实施例的虚拟图像显示的另一示例的效果示意图。
图12示出了根据本说明书的实施例的虚拟图像显示的另一示例的效果示意图。
图13示出了根据本说明书的实施例的虚拟图像显示的另一示例的效果示意图。
图14示出了根据本说明书的实施例的人眼追踪单元的一个示例方框图。
图15示出了根据本说明书的实施例的增强现实显示眼镜的示例示意图。
图16A和16B示出了根据本说明书的实施例的红外探测模块在增强现实显示眼镜中的布置示意图。
图17示出了根据本说明书的实施例的红外探测模块位于鼻侧处的参数限制示意图。
图18示出了根据本说明书的实施例的红外探测模块在Y方向的参数限制示意图。
图19示出了根据本说明书的实施例的红外探测模块位于桩头处的参数限制示意图。
图20示出了根据本说明书的实施例的红外探测模块在Y方向的参数限制示意图。
图21示出了根据本说明书的实施例的位于鼻侧处的红外探测模块获取人眼信息的示意图。
图22示出了根据本说明书的实施例的红外探测模块位于鼻侧处的人眼追踪的示例示意图。
图23示出了根据本说明书的实施例的红外探测模块位于桩头处的人眼追踪的示例示意图。
图24示出了根据本说明书的实施例的布置有人眼追踪单元的增强现实显示眼镜的一个示例的示意图。
图25示出了图24中示出的示图的XY截面图以及对应的人眼区域照明示意图。
图26示出了根据本说明书的实施例的红外照明模块的示例示意图。
图27示出了根据本说明书的实施例的布置有人眼追踪单元的增强现实显示眼镜的另一示例的结构示意图。
图28示出了根据本说明书的实施例的基于光纤照明的人眼注视深度信息获取过程的示例流程图。
图29示出了根据本说明书的实施例的图像显示控制装置的方框示意图。
图30示出了根据本说明书的实施例的用于实现头戴式显示设备的图像显示控制的电子设备的示例硬件结构图。
具体实施方式
以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书的实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
术语“头戴式显示设备”可以表示通过光学成像系统(主要是各种精密光学透镜)放大超微显示屏上的源图像来将影像投射于视网膜上，进而在观看者眼中呈现大屏幕虚拟图像。
立体视觉技术是虚拟现实技术中的关键技术，其旨在根据二维形状信息来重构场景的三维几何信息。随着科学技术的不断发展，立体视觉技术也得到突飞猛进的发展，并被广泛应用于人们的日常生活和工作当中。
图1示出了立体视觉技术的实现示意图。如图1所示，首先，分别通过主摄像机A1和副摄像机A2拍摄包括前景目标1’和背景目标2’的目标场景，获取目标场景的图像。两类目标场景的图像被显示为左眼图像和右眼图像的组合，从而使观看者的两眼产生视差，使得观看者能获得三维显示的立体视觉感受。
虽然立体视觉图像较之平面图像可以具有更丰富的表现力，但是观看者双眼视线的交点无法与观看者的聚焦点重合，导致容易出现辐辏调节冲突(Vergence-Accommodation Conflict,VAC)的问题，使得观看者在观看应用上述立体视觉技术的虚拟图像场景时容易出现视觉疲劳现象。
图2示出了根据本说明书的实施例的头戴式显示设备200的示例结构示意图。
如图2所示，头戴式显示设备200包括光学成像装置210、位移装置220、图像源装置230和图像显示控制装置240。
光学成像装置210包括分光元件213和反光元件211。图像源装置230发出的源图像光线(图中使用实线来表示)经过分光元件213和反光元件211的放大处理后到达人眼位置E，从而使得在人眼位置E点处能够看到虚拟图像。
可选地，光学成像装置210中的分光元件213和反光元件211具有视透能力，从而在观看到外界真实场景的同时还能观看到虚拟图像场景，由此将虚拟图像叠加到真实场景中来实现增强现实(Augmented Reality，AR)显示功能，此时头戴式显示设备200可以是AR设备。
需说明的是，还可以对光学成像装置210中的元件进行调整，以实现不同的显示功能。例如，将反光元件211调整为非视透的光学组件，使得头戴式显示设备200可以实现虚拟现实(Virtual Reality，VR)显示功能，此时头戴式显示设备200可以是VR设备。
此外，在本说明书的实施例中，光学成像装置210的结构不限于图2中示出的示例，还可以使用本领域公知的其它合适的结构来实现。例如，光学成像装置210可以采用自由曲面棱镜结构等。
在本说明书的一个示例中，光学成像装置210还可以具有更多的光学元件或更复杂的光学结构。示例性地，光学成像装置210还可以包括至少一个像差补偿元件，以实现光学成像装置的像差补偿，例如，球差、色差、像散、畸变等像差补偿。例如，像差补偿元件可以采用单个透镜或透镜组实现。图2B示出了具有单个透镜215的光学成像装置的实现示例，以及图2C示出了具有透镜组215的光学成像装置的实现示例。
在另一示例中，光学成像装置210可以包括反射式光学结构，如图2D和2E所示。图像源装置230发出的光线经过两组分光元件213和反射元件211作用后进入人眼，其中多个反射元件增加了系统校正系统像差的自由度，无色差。
图像源装置230包括多个源图像。该多个源图像处于同一虚拟场景中，并且每个源图像具有预定的虚拟场景显示深度(也可以称为虚拟图像显示深度)。换言之，该源图像被预先处理为能够被清晰地显示在预定虚拟场景显示深度平面上。图像源装置230被配置为与光学成像装置210光学对准，从而使得图像源装置230发出的光可以经由光学成像装置210来实现正常光学成像。图像源装置230可以布置在位移装置220上，并且与位移装置220一体移动。例如，图像源装置230可以例如通过粘合、夹持等方式绑定在位移装置220上，使得在位移装置220移动时，能够带动图像源装置230移动。
在本说明书的一个示例中，光学成像装置210和图像源装置230可以被配置成物方远心光路，以具有理想或近似物方远心光学架构。图3示出了被配置成物方远心光路的光学成像装置210和图像源装置230的示例示意图，其中，主光线为图像源装置230上的像素点所发射的光经过出瞳中心的光线。边缘主光线相对于人眼的角度为视场角γ。假设每个像素点(如p0，p1，p2)的主光线与图像源装置230的法线的角度(入射角)为(如)，以图4中法线为基准，角度/>可以取值正负，一般选择在±1°，±5°，±10°，±20°，±30°。在位移机构移动范围内，不同的角度/>将使得视场角γ改变，如图4所示。优选地，角度/>为0度，也即是垂直于图像源装置230。
在本说明书中，优选角度为0°，也即是垂直于图像源装置230，在图像源装置230移动前后，每条主光线相对于人眼的角度不变，如图5中的左图所示，γ值不随位移距离改变，视场角保持γ不变，也即是在不同深度下(depth1，depth2)，人眼看到的图像相对于人眼的张角保持一致，如图5中的右图所示。视场角在不同深度下保持一致更加符合人眼的观察习惯。
在光学成像装置210和图像源装置230被配置成物方远心光路的情况下，在位移装置220移动图像源装置230时，图像源装置230所发出的源图像中的各像素点的主光线进入人眼瞳孔时的角度几乎不发生改变，使得在虚拟图像处于不同显示深度时，头戴式显示设备的视场角能够基本保持恒定。
图像显示控制装置240与位移装置220和图像源装置230可通信地连接。图像显示控制装置240被配置为基于虚拟场景显示深度范围确定位移装置220的位移序列以及图像源装置230的源图像显示序列，并且控制位移装置220按照位移序列将图像源装置230移动到各个目标位置，以及在图像源装置230到达各个目标位置后，根据源图像显示序列控制图像源装置230进行源图像投射，以将源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像显示在对应的虚拟场景显示深度平面上。关于图像显示控制装置240的结构和操作将在下面参考附图详细说明。
应理解的是，头戴式显示设备200的结构应当并不局限于图2A-2E中的示例，并可以采用其他方式的结构配置。在本说明书的一个示例中，头戴式显示设备中可以不设置位移装置，而图像源装置具有位移功能，例如图像源装置可以接收图像显示控制装置所发出的位移指令，并根据位移指令所指示的位移信息来进行移动。在本说明书的另一示例中，位移装置中具有位移机构和辅助机构，仅仅位移部分被配置成与图像源装置一体移动。
图6示出了根据本说明书的实施例的用于头戴式显示设备的图像显示控制方法600的流程图。
如图6所示，在块610，图像显示控制装置240基于虚拟场景显示深度范围，确定位移装置220的位移序列和图像源装置230的源图像显示序列。所述位移序列中的每个位移与源图像显示序列中的一个源图像以及虚拟场景显示深度范围中的一个虚拟场景显示深度对应。例如，虚拟场景显示深度范围包括多个虚拟场景显示深度{Depth1,Depth2,……,DepthN}，则可以根据各个虚拟场景显示深度确定出对应的位移和具有该虚拟场景显示深度的源图像。这里，位移可以表示在从一个虚拟场景显示深度变化到另一虚拟场景显示深度时，位移装置需要移动的距离。所确定出的位移依序组成位移序列{x1,x2,……,xn}，以及所确定出的源图像依序组成源图像显示序列{源图像a,源图像b,……,源图像n}，其中，位移序列中的各个位移与源图像显示序列中的一个源图像对应。例如，在一个示例中，位移序列中的各个位移与源图像显示序列中的一个源图像可以依序对应，即，序列中具有相同编号的位移和源图像对应。
虚拟图像显示深度与位移装置的位移之间存在深度位移关系，并且通过该深度位移关系可以确定与不同的虚拟场景显示深度对应的各个位移。具体地，深度位移关系可以是依据物像关系的牛顿公式或物像关系的高斯公式来确定的。
物像关系的高斯公式具体描述如下：
其中，f和f'分别为物方焦距和像方焦距，l和l'分别为图像源距离光学成像装置主点的距离和所成虚拟像距离光学成像装置主点的距离。
物像关系的牛顿公式具体描述如下：
ff'＝xx'
其中，f和f'分别为物方焦距和像方焦距，x和x'分别为图像源装置距离光学成像装置物方焦点的距离和所成虚拟像距离光学成像装置像方焦点的距离。图像源装置距离光学成像装置物方焦点的距离x可以通过位移装置的位移来实现。
这里，不论是通过物像关系的牛顿公式，还是通过物像关系的高斯公式，都可以用来确定上述的深度位移关系。以牛顿公式为例，x'的倒数为当前虚拟图像所在深度平面位置的视度，用变量depth表示。因此，深度位移关系可以被描述为：
因此，可以通过改变图像源装置距离光学成像装置的距离，改变虚拟图像显示深度。
图7示出了根据本说明书的实施例的虚拟图像显示深度与图像源装置距光学成像装置物方焦点的距离之间的深度位移之间的关系的示例示意图。如图7所示，通过位移装置的移动，可以将x在x1和x2之间的位移范围内进行调整，相应地，虚拟图像显示深度信息可以在depth1和depth2之间改变，视度与位移成线性关系。
回到图6，在如上得到位移装置220的位移序列后，在块620，图像显示控制装置240控制位移装置220来根据位移序列将图像源装置230移动到对应的目标位置。例如，在位移序列为{x1,x2,……,xn}时，位移装置220可以先移动位移x1，到达与第一个虚拟场景显示深度对应的第一目标位置。接着，移动位移x2，到达与第二个虚拟场景显示深度对应的第二目标位置。依次类推，最终到达最后一个虚拟场景显示深度。在本说明书的一个示例中，图像显示控制装置240可以控制位移装置220根据位移序列来将图像源装置230顺序移动到对应的目标位置。在这种情况下，在将图像源装置230移动到与最后一个虚拟场景显示深度对应的目标位置后，可以使位移装置220返回到初始位置，或者使得位移装置220反向依次移动图像源装置230。
在本说明书中，图像源装置230设置在光学成像装置210的光轴上，在图像源装置(或位移装置220)移动的过程中，可以沿着光轴的方向进行移动，以保障虚拟图像的成像质量。
在图像源装置230到达各个目标位置后，在块630，图像显示控制装置240根据源图像显示序列控制图像源装置230进行源图像投射，以显示源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。
在本说明书的一个示例中，虚拟场景显示深度范围可以基于头戴式显示设备的用户的人眼注视深度序列而生成。在该示例中，在使用头戴式显示设备时，人眼按照预定的注视深度序列顺序地注视对应的虚拟图像显示深度平面，并且观看在对应的虚拟图像显示深度平台上的虚拟图像。在该示例中，人眼注视深度顺序与虚拟图像显示深度顺序依序对应。
在本说明书中，在一些应用场景中，人眼注视深度序列可以通过深度采集装置来预先获取。或者，在一些应用场景下，人眼注视深度序列可以是通过深度采集装置来实时获取。此时，在深度采集装置工作期间，不间断地实时追踪获取当前人眼注视深度，并根据当前人眼注视深度确定位移以将图像源装置移动到对应的目标位置，并且投射具有对应虚拟场景显示深度的源图像。这里，人眼的注视深度序列(depth 1，depth 2，depth 3，…,depthN)和虚拟场景显示深度顺序(depth 1，depth 2，depth 3，…,depth N)一致，从而完成实时的动态深度显示。如何通过深度采集装置来获取人眼注视深度，将在后面结合附图详细描述。
图8示出了根据本说明书的实施例的人眼注视深度序列和虚拟图像显示深度顺序的示意图。如图8所示，人眼注视深度序列为{depth1,depth2,depth3,……,depthN}，以及虚拟图像显示深度顺序为{深度depth1,深度depth2,深度depth3,……,深度depthN}。这里，人眼注视深度depth1到depthN分别对应于虚拟图像显示深度depth1到深度depthN。
在这种情况下，在图像源装置230到达各个目标位置后，图像显示控制装置240控制图像源装置230从源图像显示序列中选择与该目标位置对应的源图像。然后，图像显示控制装置240控制图像源装置230投射所选择的源图像，以显示对应的清晰虚拟图像。
图9示出了根据本说明书的实施例的虚拟图像显示的一个示例的效果示意图。
如图9所示，虚拟场景“Depth”所对应的虚拟图像包括源图像“Dep”的虚拟图像以及源图像“th”的虚拟图像。源图像“Dep”和源图像“th”分别具有不同的虚拟场景显示深度，即，源图像“Dep”的虚拟图像和源图像“th”的虚拟图像被设置为是不同虚拟场景显示深度下的虚拟图像。在图9中，在人眼注视与源图像“Dep”对应的虚拟场景显示深度平面时，在该虚拟场景显示深度平面上显示源图像“Dep”的虚拟图像，而不显示源图像“th”的虚拟图像。而在人眼注视与源图像“th”对应的虚拟场景显示深度平面时，在该虚拟场景显示深度平面上显示源图像“th”的虚拟图像，而不显示源图像“Dep”的虚拟图像。
如上面所描述的，一次位移移动只会实现针对单深度下的一个或多个虚拟图像进行显示。在本说明书的一个示例中，为了显示具有深度视差效果(或多深度视觉效果)的虚拟场景，可以利用“视觉暂留”的原理，可以通过快速移动位移装置并相应地快速更新显示具有不同深度信息虚拟图像，从而实现深度视差效果。结合如图9的示例，在显示源图像“th”所对应的虚拟图像时，先前已经被显示的源图像“Dep”所对应的虚拟图像在人眼中还存在视觉暂留(人眼暂留的时间一般为0.1-0.4秒)，从而在人眼中可以得到“Depth”的虚拟图像显示结果。
在本说明书的另一示例中，虚拟场景显示深度范围可以根据头戴式显示设备的用户的人眼注视深度范围确定，或者可以根据图像源设备的可移动范围确定。在这种情况下，虚拟场景显示深度范围可以与人眼的实际注视深度无关。
图10示出了根据本说明书的实施例的虚拟场景显示深度范围和虚拟图像显示深度顺序的示意图。
在一个示例中，在图像源装置230到达各个目标位置后，图像显示控制装置240控制图像源装置230对第一源图像集进行图像虚化处理，所述第一源图像集可以通过从图像源装置230中具有的源图像集中去除源图像显示序列中的与该目标位置对应的源图像而得到。例如，假设图像源装置所具有的源图像集包括源图像a-f，以及源图像显示序列中的与该目标位置对应的源图像是源图像b，则第一源图像集包括源图像a以及源图像c-f。然后，图像显示控制装置240控制图像源装置230投射经过虚化处理后的源图像集，以显示源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。要说明的是，在每次将图像源装置移动到一个目标位置并进行源图像投射时，都执行上述处理。
图11示出了上述示例下的虚拟图像效果示意图。如图11所示，针对单个虚拟场景显示深度平面，仅仅单个源图像的虚拟图像被清晰显示，而其它源图像的虚拟图像被模糊显示，从而可以显示出具有视差效果的虚拟场景“Depth Display”。
在本说明书中，可以使用各种图像虚化处理技术来进行虚化处理。例如，可以通过低通滤波平滑处理来将图像渲染出具有离焦显示效果的离焦源图像。
此外，在另一示例中，第一源图像集可以是通过从图像源装置230所具有的源图像集中去除在前投射的源图像中的部分或全部源图像以及源图像显示序列中的与该目标位置对应的源图像而得到。例如，假设图像源装置230所具有的源图像集包括源图像a-f，以及源图像显示序列中的与该目标位置对应的源图像是源图像d，则在先投射的源图像包括a-c，从而第一源图像集可以包括源图像e-f(去除全部在前投射源图像)，或者第一源图像集可以包括源图像a-b和e-f(去除部分在前投射源图像)。然后，图像显示控制装置240控制图像源装置230投射经过虚化处理后的源图像集，以显示源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。同样，在每次将图像源装置移动到一个目标位置并进行源图像投射时，都执行上述处理。图12示出了上述示例下的虚拟图像显示效果示意图。
此外，在另一示例中，在图像源装置230的循环移动周期大于人眼视觉暂留时间时，在每次源图像投射时，图像显示控制装置240控制图像源装置230对所具有的源图像集中的指定源图像进行图像虚化处理，从而使得在每次源图像投射时，指定源图像都不会被清晰显示。在本说明书中，指定源图像可以包括一个或多个源图像。图13示出了该示例下的虚拟图像显示效果示意图。如图13中所示，指定源图像包括源图像“play”，在每次源图像投射时，源图像“play”都被执行图像虚化处理。
此外，在另一示例中，如果图像源装置230所具有的源图像集中存在所具有的虚拟场景显示深度位于虚拟场景显示深度范围之外的源图像，则在每次源图像投射时，都对这些源图像执行图像虚化处理，从而使得在每次源图像投射时，这些图像都不会被清晰显示。
下面将结合附图详细说明深度采集装置获取人眼注视深度的过程。在这种情况下，头戴式显示设备200还包括深度采集装置。深度采集装置的示例可以包括但不限于以下中的任意一种：双目深度传感器、结构光深度传感器、飞行时间深度传感器和人眼追踪传感器。在本说明书中，人眼追踪传感器可以包括至少一个人眼追踪单元。可选地，人眼追踪传感器包括用于追踪左眼眼动的第一人眼追踪单元和用于追踪右眼眼动的第二人眼追踪单元。第一人眼追踪单元和第二人眼追踪单元的位置被布置为具有对称性。
图14示出了根据本说明书的实施例的人眼追踪单元1400的一个示例方框图。如图14所示，人眼追踪单元1400包括红外照明模块1410和红外探测模块1420。红外照明模块1410被配置为发出红外光照射人眼。红外探测模块1120被配置为接收红外图像，并且分析红外图像以获得用户的当前人眼注视点信息，由此得到人眼注视深度。
图15示出了根据本说明书的实施例的增强现实显示(AR)眼镜1500的示例示意图。AR眼镜1500可以具有一般太阳眼镜的结构形态。
如图15所示，AR眼镜1500包括铰链1510、镜腿1520、桩头1530、鼻托1540和光学显示系统(即，光学成像装置)1550。镜腿1520可以通过桩头1530处的铰链1510向内收叠。桩头1530和鼻托1540通常位于人眼视野边缘，难以被人察觉，因此，桩头1530和鼻托1540具有在视野内隐藏部件的功效。
在本说明书实施例中，可以对红外探测模块的设置方位进行适当限制，以保障较佳的红外探测效果和元件隐藏效果。在本说明书实施例的一个示例中，红外探测模块被布置在预设的有效视野范围之外的位置。
图16A和16B示出了根据本说明书的实施例的红外探测模块在增强现实显示眼镜中的布置示意图。
如图16A所示，红外探测模块1610可以被布置在鼻托的远离用户鼻梁的一侧，例如，两个人眼追踪单元可以分别对称地被设置在对应的左鼻托和右鼻托的外侧。如图16B所示，红外探测模块1610可以被布置在桩头的内壁处，例如，两个人眼追踪单元可以分别对称地被设置在对应的左桩头和右桩头的内壁上。由于鼻托和桩头通常位于人眼视野边缘，难以被用户察觉，因此在桩头和鼻托处布置红外探测模块，可以实现在视野内隐藏部件功效。
需说明的是，红外探测模块体积一般在5mm的尺度范围内，较鼻托或者桩头的体积小，能够实现较强的隐蔽性。红外探测模块指向人眼，用于探测人眼反射的红外光信息。如图16A所示，当红外探测模块位于鼻侧时，其距离中心视轴的水平距离为L1。如图16B所示，当红外探测模块位于桩头处时，其距离中心视轴的水平距离为W1。此外，Y方向光学显示系统的尺寸被限制在M1和M2之间。优选地，红外探测模块还可以包括滤光片(例如CMOS、CCD等)，可以提升红外光信息的探测质量。
图17示出了根据本说明书的实施例的红外探测模块位于鼻侧处的参数限制示意图。
如图17所示，在鼻托的外侧对称设置有两个红外探测模块。左右眼的极限视野范围由虚线框决定，即，由α0和β0决定，α0约为62度左右，β0约为95度。
由于人眼很少观测到极限边缘，有效视野范围通常被定义为平时人眼主要活动范围，由α1和β1决定。当α1和β1在10～20°时，人眼可识别文字。当α1和β1在约30°时，人眼可识别字母。当α1和β1在约60°时，人眼可颜色识别。在本说明书中，AR显示的有效视野范围由α1和β1决定，α1和β1在20～60°，优选35°，50°，60°。大于左右眼的α1和β1的区域为有效视野盲区，以及大于左右眼的α0和β0的区域为绝对视野盲区。
当在左右眼的有效视野范围圆上，任意取两点P1_1和P1_2，若左右眼的人眼瞳孔中心分别连接P1_1和P1_2时，其延长线交于P1，则P1为人眼的当前注视点，连线称为注视方向。
为了追踪人眼注视点的变化，红外探测模块位于有效视野盲区内。鼻托与人眼瞳孔中心P的张角为α2，一般约75度。PD为用户双目瞳距，普通人在55～75mm之间，L1为红外探测单元距离人眼瞳孔的水平方向距离。在XZ平面内，红外探测模块的位置需要满足如下约束：
α1≤θ≤α2，
优选，θ为50°，65°或75°，分别对应α1的优选值35°，50°或60°。L1的优选值为：θ为红外探测模块与人眼瞳孔中心P的张角。
图18示出了根据本说明书的实施例的红外探测模块在Y方向的参数限制示意图。如图18所示，在YZ平面，光学系统在Y方向上的尺寸限制在M1和M2之间，其与人眼瞳孔中心P的张角分别为α3和α4。红外探测模块的安装位置只需要满足在光学系统的作用范围内即可，从而红外探测模块的安装位置需满足其中，α3和α4在40°以内，/>优选为0。
图19示出了根据本说明书的实施例的红外探测模块位于桩头处的参数限制示意图。
如图19所示，在桩头处设置有红外探测模块。左眼的α1视野交于右眼的有效视野范围于B点，桩头位于视野中C和D点范围内(桩头位于其中)，其对于人眼瞳孔的角度分别为β1和β2。D到E点的范围为桩头对人眼的最大视场到极限视场β0。在XZ平面内，红外探测模块的位置需要满足如下约束：
β1≤θ≤β2，
L2＝W1。
其中，L2为红外探测单元距离人眼瞳孔的距离。θ为红外探测模块与人眼瞳孔中心P的张角。示例性地，β1在20～60°，优选取值为35°、50°或60°，β2在80～95°之间。优选地，θ的取值为50°、65°、75°，分别对应β1的取值为35、50、60°。在设备设计中，耳侧距W1通常在30～55mm之间，优选40mm，50mm。
图20示出了根据本说明书的实施例的红外探测模块在Y方向的参数限制示意图。
如图20所示，在YZ平面，Y方向桩头与人眼瞳孔中心P的张角分别为β3和β4。因而红外探测模块的位置需满足β3和β4在60°以内。优选地，/>的取值为20、30或40°。
图21示出了根据本说明书的实施例的位于鼻侧处的红外探测模块获取人眼信息的示意图。
如图21所示，红外探测模块1和红外探测模块2分别用于探测左眼和右眼，探测到左眼和右眼图像位于红外探测模块1的图像探测器1和红外探测模块2的图像探测器2上。这里，定义左眼位于注视方向左侧和右侧的区域为E1L和E1R，以及右眼位于注视方向左侧和右侧的区域为E2L和E2R。在图21所示的注视方向，左眼的E1L区域相对于E1R区域更加位于红外探测模块的探测视野边缘，E1L区域的图像被压缩，因而丢掉的信息比E1R区域多。如图21所示，右眼的E2R区域相对于E2L区域更加位于红外探测模块1的探测视野边缘，E2R区域的图像被压缩，因而丢掉的信息比E2L区域多。由于双目在观察物体时，双眼聚焦程度，注视方向具有强相关性，同时双目人眼结构具有相似性，因而E1L的信息可以通过E2L获得，E2R的信息可以通过E1R获得。本说明书实施例中的配置可以实现双目人眼信息的互补，相比较双目同轴放置的方案，可以提高人眼追踪精度，尤其在人眼注视方向严重偏离正前方时或者需要用户进行眼控时，可以通过左右眼补偿方式来实现较佳的人眼追踪效果。
需说明的是，采用左右眼补偿计算方式可以实现较高精度的人眼追踪效果，但是同时也会导致较高的计算量，因此可以仅在部分视场范围内进行左右眼补偿计算方式。
图22示出了根据本说明书的实施例的红外探测模块位于鼻侧处的人眼追踪的示例示意图。在图22示出的示例中，红外探测器位于鼻侧，并且在多深度光场中的某一深度平面下利用人眼追踪单元来对不同区域进行人眼追踪的示意图。
如图22所示，中间区域(即，图中示出的“1或2或3”所代表的区域)可以使用左眼补偿、右眼补偿或者左右眼补偿计算方式。左侧区域(即，图中示出的“1或2”所代表的区域)可以使用左眼补偿或左右眼补偿计算方式。右侧区域(即，图中示出的“1或3”所代表的区域)可以使用右眼补偿或左右眼补偿计算方式。按照这种方式，可以实现高精度的人眼追踪效果。
在本说明书实施例的一个示例中，当检测到头戴式显示设备的用户的人眼聚焦的位置符合设定条件时，触发深度采集装置在预设的用户视场区域内采用左右眼补偿计算的方式来追踪头戴式显示设备的用户人眼。这里，设定条件可以是表示人眼聚焦的位置落入设定范围内时，触发左右眼补偿计算的方式，并且用户视场区域可以根据用户需求而设定，例如仅中间视场区域。
结合应用场景来说，在用户使用设备前，根据是否有高精度人眼追踪的需求，通过人眼的注视实现虚拟按钮的控制，提前规定好各区域的视场大小，分配好计算方法，一方面满足高精度需求，另一方面减小无需高精度追踪下的计算量。通常中间区域的视场大小±15度内，在此区域内，人眼通过转动眼球来观看各场景，而超出此视场范围，用户偏向于转动头部来调整视线，因而中间区域优选水平视场大小±15度，并且在此范围内的优选追踪模式为左右眼补偿计算。
图23示出了根据本说明书的实施例的红外探测模块位于桩头处的人眼追踪的示例示意图。在图23示出的示例中，红外探测器位于桩头，并且在多深度光场中的某一深度平面下利用人眼追踪单元来对不同区域进行人眼追踪的示意图。图23中示出的人眼追踪方案的具体细节可以参照上面结合图22中的相关描述，在此不再赘述。
图24示出了根据本说明书的实施例的布置有人眼追踪单元的增强现实显示眼镜的一个示例的示意图。
如图24所示，增强现实显示眼镜2400包括光学成像装置2410、位移装置2420、图像源装置2430、多个红外光源2440和红外探测模块2450。各个红外光源2440布置在光学成像装置2410的外缘。
在进行人眼追踪时，红外光源发出红外光照射人眼，红外探测模块接收到红外图像，随后分析红外图像获得用户当前的人眼注视点信息。在本说明书中，红外光源优选红外LED，红外LD-EEL(边发射激光二极管)，VCSEL(垂直腔面发射激光器)。
图25示出了图24中示出的示图的XY截面图以及对应的人眼区域照明示意图。如图25所示，红外光源a，b，c，d分别位于分光元件左右两侧，其中，红外光源a位于中间，红外光源b靠近鼻托和红外探测模块，以及红外光源c和d分别位于左上角和左下角，由于人眼存在曲率，其对应的照明人眼区域如图25中的右图所示。通过a，b，c，d的共同照明，可以实现人眼全区域的覆盖，提高离轴探测的精度。
在本说明书的一个示例中，可以采用光纤照明的方式来实现红外照明模块。图26示出了根据本说明书的实施例的红外照明模块的另一示例示意图。如图26所示，红外照明模块2600包括红外光源2610和至少一个光纤2620。对于同一照明光源，光纤端面直径小，光纤2620可以通过分束传输，从不同地方照射人眼，从而形成多光源照射结构。可选地，光纤2620采用850nm光纤。可选地，红外光源2610可以采用VCSEL红外光源。VCSEL红外光源具有小型化，低功耗，可靠性高，发散角小，易与光纤耦合，且光纤耦合效率高等优势。
利用图26中示出的红外照明模块，由于光纤可以对单个光源进行多路耦合输出，因而可以减小红外光源的数量，提高单一红外光源的能量利用效率。
图27示出了根据本说明书的实施例的布置有人眼追踪单元的增强现实显示眼镜的另一示例的结构示意图。
如图27所示，增强现实显示眼镜2700包括光学成像装置2710、位移装置2720、图像源装置2730、红外光源2740、第一光纤2750、第二光纤2760和红外探测模块2770。这里，增强现实显示眼镜2700使用了两路光纤的结构。在其他实施例中，可以使用更多的光纤结构。红外光源2740位于光学成像装置2710顶部及图像源装置2730的侧边。
图28示出了根据本说明书的实施例的基于光纤照明的人眼注视深度信息获取过程的示例流程图。
如图28所示，红外光源发出的红外光耦入光纤。光纤通过分束传输形成多光源照射结构，从不同地方照射人眼(左右眼)。红外探测模块捕获左右眼信息，并且通过左右眼补偿计算来进行图像处理，由此得到高精度的人眼注视深度信息。
如上参照图1到图28描述了根据本说明书的实施例的图像显示控制方法以及头戴式显示设备。
利用该方法，通过基于虚拟场景显示深度范围确定位移装置的位移信息以及图像源装置的对应源图像显示信息，并且根据所确定的位移信息来移动图像源装置，从而使得图像源装置能够将源图像的虚拟图像准确地显示在目标虚拟场景显示深度平面上。此外，通过使得位移装置例如按照位移序列连续移动，可以实现虚拟图像的动态深度显示。
此外，利用该方法，通过在每次源图像投射时投射多个源图像，并且对除了目标源图像之外的部分或全部源图像进行图像虚化处理，可以使得在单个虚拟场景显示深度平面上能够显示目标源图像的清晰虚拟图像以及其它源图像的模糊虚拟图像，这些模糊虚拟图像可以充当当前虚拟场景的背景信息，由此实现具有视差效果的虚拟场景显示。
图29示出了根据本说明书的实施例的图像显示控制装置2900的方框示意图。如图29所示，图像显示控制装置2900包括位移序列确定单元2910、源图像显示序列确定单元2920、位移控制单元2930和图像投射控制单元2940。
位移序列确定单元2910被配置为基于虚拟场景显示深度范围，确定位移装置的位移序列。所述位移序列中的每个位移与虚拟场景显示深度范围中的一个虚拟场景显示深度对应。位移序列确定单元2910的操作可以参考上面参照图6描述的块610的操作。
源图像显示序列确定单元2920被配置为基于虚拟场景显示深度范围，确定图像源装置的源图像显示序列。所述源图像显示序列中的每个源图像与位移序列中的一个位移对应。源图像显示序列确定单元2920的操作可以参考上面参照图6描述的块610的操作。
位移控制单元2930被配置为控制位移装置来根据位移序列将图像源装置移动到对应的目标位置。在一个示例中，位移控制单元2930可以控制位移装置来根据位移序列将图像源装置顺序或循环移动到对应的目标位置。位移控制单元2930的操作可以参考上面参照图6描述的块620的操作。
图像投射控制单元2940被配置为在图像源装置到达各个目标位置后，根据源图像显示序列控制图像源装置进行源图像投射，以显示源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。图像投射控制单元2940的操作可以参考上面参照图6描述的块630的操作。
在一个示例中，虚拟场景显示深度范围可以基于头戴式显示设备的用户的人眼注视深度序列而生成。相应地，图像显示控制单元2940被配置为在图像源装置230到达各个目标位置后，控制图像源装置230从源图像显示序列中选择与该目标位置对应的源图像，并且控制图像源装置230投射所选择的源图像，以显示对应的清晰虚拟图像。
此外，在一个示例中，图像显示控制单元2940被配置为在图像源装置230到达各个目标位置后，控制图像源装置230对第一源图像集进行图像虚化处理，所述第一源图像集通过从多个源图像中去除所述源图像显示序列中的与该目标位置对应的源图像而得到。然后，图像投射控制单元2940控制图像源装置230投射经过虚化处理后的多个源图像，以显示源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。
在另一示例中，第一源图像集可以通过从图像源装置230具有的源图像集中去除在前投射的源图像中的部分或全部源图像以及源图像显示序列中的与该目标位置对应的源图像而得到。
在一个示例中，如果图像源装置的循环移动周期大于人眼视觉暂留时间，则在每次源图像投射时，图像投射控制单元2940被配置为控制图像源装置230对图像源装置230具有的源图像集中的指定源图像进行图像虚化处理。
在另一示例中，在每次源图像投射时，图像投射控制单元2940可以控制图像源装置230对图像源装置具有的源图像集中的所具有的虚拟场景显示深度位于虚拟场景显示深度范围之外的各个源图像进行图像虚化处理。
如上参照图2到图29，对根据本说明书的实施例的图像显示控制方法、图像显示控制装置及头戴式显示设备的实施例进行了描述。在以上对方法实施例的描述中所提及的细节，同样适用于本说明书的装置的实施例。上面的图像显示控制装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。
图30示出了根据本说明书的实施例的用于实现头戴式显示设备的图像显示控制的电子设备的示例硬件结构图。如图30所示，电子设备3000可以包括至少一个处理器3010、存储器(例如非易失性存储器)3020、内存3030和通信接口3040，并且至少一个处理器3010、存储器3020、内存3030和通信接口3040经由总线3060连接在一起。至少一个处理器3010执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器3010：基于虚拟场景显示深度范围，确定位移装置的位移序列和图像源装置的源图像显示序列，位移序列中的每个位移与源图像显示序列中的一个源图像以及虚拟场景显示深度范围中的一个虚拟场景显示深度对应；控制位移装置来根据位移序列将图像源装置移动到对应的目标位置；以及在图像源装置到达各个目标位置后，根据源图像显示序列控制图像源装置进行源图像投射，以显示源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像。
应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器3010进行本说明书的各个实施例中以上结合图2-29描述的各种操作和功能。
在本说明书中，电子设备3000可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动电子设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴电子设备、消费电子设备等等。
根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图2-29描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
本领域技术人员应当理解，上面说明书的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (26)

1.一种用于头戴式显示设备的图像显示控制方法，所述头戴式显示设备包括光学成像装置、图像源装置、位移装置和图像显示控制装置，所述图像源装置与所述光学成像装置光学对准，所述图像源装置具有多个源图像，各个源图像具有不同的虚拟场景显示深度，所述方法由所述图像显示控制装置执行，所述图像显示控制方法包括：
基于虚拟场景显示深度范围，确定所述位移装置的位移序列和所述图像源装置的源图像显示序列，所述位移序列中的每个位移与所述源图像显示序列中的一个源图像以及所述虚拟场景显示深度范围中的一个虚拟场景显示深度对应；
控制所述位移装置来根据所述位移序列将所述图像源装置移动到对应的各个目标位置；以及
在所述图像源装置到达各个目标位置后，根据所述源图像显示序列控制所述图像源装置进行源图像投射，包括：控制所述图像源装置从所述源图像显示序列中选择与该目标位置对应的源图像；控制所述图像源装置对第一源图像集进行图像虚化处理，所述第一源图像集通过以下任一种方式得到：从所述多个源图像中去除所述源图像显示序列中的与该目标位置对应的源图像而得到；从所述多个源图像中去除在前投射的源图像中的部分或全部源图像以及所述源图像显示序列中的与该目标位置对应的源图像而得到；
控制所述图像源装置在该目标位置投射与该目标位置对应的源图像、以及经过虚化处理后的所述第一源图像集，以显示所述源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像以及所述第一源图像集的模糊虚拟图像。
2.如权利要求1所述的图像显示控制方法，其中，所述虚拟场景显示深度范围基于所述头戴式显示设备的用户的人眼注视深度序列而生成。
3.如权利要求2所述的图像显示控制方法，其中，所述人眼注视深度通过深度采集装置获取。
4.如权利要求1所述的图像显示控制方法，其中，控制所述位移装置来根据所述位移序列将所述图像源装置移动到对应的各个目标位置包括：
控制所述位移装置来根据所述位移序列将所述图像源装置顺序或循环移动到各个对应的目标位置。
5.如权利要求4所述的图像显示控制方法，其中，在所述图像源装置的循环移动周期大于人眼视觉暂留时间时，所述多个源图像中的指定源图像在每次源图像投射时都处于图像虚化状态。
6.如权利要求1所述的图像显示控制方法，其中，所述多个源图像中的所具有的虚拟场景显示深度位于所述虚拟场景显示深度范围之外的各个源图像在每次源图像投射时都处于图像虚化状态。
7.如权利要求1所述的图像显示控制方法，其中，所述虚拟场景显示深度范围根据所述头戴式显示设备的用户的人眼注视深度范围确定。
8.如权利要求1所述的图像显示控制方法，其中，所述虚拟场景显示深度范围根据所述图像源装置的可移动范围确定。
9.一种用于头戴式显示设备的图像显示控制装置，所述头戴式显示设备包括光学成像装置、图像源装置、位移装置和图像显示控制装置，所述图像源装置与所述光学成像装置光学对准，所述图像源装置具有多个源图像，各个源图像具有不同的虚拟场景显示深度，所述图像显示控制装置包括：
位移序列确定单元，被配置为基于虚拟场景显示深度范围，确定所述位移装置的位移序列，所述位移序列中的每个位移与所述虚拟场景显示深度范围中的一个虚拟场景显示深度对应；
源图像显示序列确定单元，被配置为基于虚拟场景显示深度范围，确定所述图像源装置的源图像显示序列，所述源图像显示序列中的每个源图像与所述位移序列中的一个位移对应；
位移控制单元，被配置为控制所述位移装置来根据所述位移序列将所述图像源装置移动到对应的各个目标位置；以及
图像投射控制单元，被配置为在所述图像源装置到达各个目标位置后，根据所述源图像显示序列控制所述图像源装置进行源图像投射，具体被配置为控制所述图像源装置从所述源图像显示序列中选择与该目标位置对应的源图像、以及控制所述图像源装置对第一源图像集进行图像虚化处理，所述第一源图像集通过以下任一种方式得到：从所述多个源图像中去除所述源图像显示序列中的与该目标位置对应的源图像而得到，从所述多个源图像中去除在前投射的源图像中的部分或全部源图像以及所述源图像显示序列中的与该目标位置对应的源图像而得到；控制所述图像源装置在该目标位置投射与该目标位置对应的源图像、以及经过虚化处理后的所述第一源图像集，以显示所述源图像显示序列中的与该目标位置对应的源图像的清晰虚拟图像以及所述第一源图像集的模糊虚拟图像。
10.如权利要求9所述的图像显示控制装置，其中，所述虚拟场景显示深度范围基于所述头戴式显示设备的用户的人眼注视深度序列而生成。
11.如权利要求9所述的图像显示控制装置，其中，所述位移控制单元被配置为控制所述位移装置来根据所述位移序列将所述图像源装置顺序或循环移动到对应的各个目标位置。
12.如权利要求11所述的图像显示控制装置，其中，所述图像投射控制单元被配置为：如果所述图像源装置的循环移动周期大于人眼视觉暂留时间，则在每次源图像投射时，控制所述图像源装置对所述多个源图像中的指定源图像进行图像虚化处理。
13.如权利要求9所述的图像显示控制装置，其中，所述图像投射控制单元被配置为：在每次源图像投射时，控制所述图像源装置对所述多个源图像中的所具有的虚拟场景显示深度位于所述虚拟场景显示深度范围之外的各个源图像进行图像虚化处理。
14.如权利要求9所述的图像显示控制装置，其中，所述虚拟场景显示深度范围根据所述头戴式显示设备的用户的人眼注视深度范围确定。
15.如权利要求9所述的图像显示控制装置，其中，所述虚拟场景显示深度范围根据所述图像源装置的可移动范围确定。
16.一种头戴式显示设备，包括：
光学成像装置；
图像源装置；
位移装置；和
如权利要求9到15中任一项所述的图像显示控制装置；
其中，所述图像源装置与所述光学成像装置光学对准。
17.如权利要求16所述的头戴式显示设备，其中，所述头戴式显示设备包括VR设备或者AR设备。
18.如权利要求16所述的头戴式显示设备，还包括：
深度采集装置，被配置为采集所述头戴式显示设备的用户的人眼注视深度信息。
19.如权利要求18所述的头戴式显示设备，其中，所述深度采集装置包括人眼追踪单元，所述人眼追踪单元包括红外照明模块和红外探测模块。
20.如权利要求19所述的头戴式显示设备，其中，所述头戴式显示设备包括鼻托和桩头，所述红外照明模块布置在所述鼻托的一侧、所述桩头的内壁处或者所述光学成像装置的外缘，以及所述红外探测模块布置在所述鼻托的一侧或所述桩头的内壁。
21.如权利要求20所述的头戴式显示设备，其中，所述红外照明模块包括多个红外光源。
22.如权利要求20所述的头戴式显示设备，其中，所述红外照明模块包括红外光源以及多个与所述红外光源耦合的光纤，各个光纤的出光点位置布置在所述鼻托的一侧、所述桩头的内壁处或者所述光学成像装置的外缘。
23.如权利要求20所述的头戴式显示设备，其中，所述人眼追踪单元包括用于追踪左眼眼动的第一人眼追踪单元和用于追踪右眼眼动的第二人眼追踪单元。
24.如权利要求23所述的头戴式显示设备，其中，所述第一人眼追踪单元和所述第二人眼追踪单元的位置被布置为具有对称性。
25.一种电子设备，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到8中任一所述的图像显示控制方法。
26.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到8中任一所述的图像显示控制方法。
CN202010721991.8A 2020-07-24 2020-07-24 图像显示控制方法、图像显示控制装置及头戴式显示设备 Active CN111830714B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010721991.8A CN111830714B (zh) 2020-07-24 2020-07-24 图像显示控制方法、图像显示控制装置及头戴式显示设备
US18/003,915 US11889050B2 (en) 2020-07-24 2021-07-22 Image display control method, image display control apparatus, and head-mounted display device
EP21845585.5A EP4160299A4 (en) 2020-07-24 2021-07-22 IMAGE DISPLAY CONTROL METHOD AND APPARATUS, AND HEAD-MOUNTED DISPLAY
PCT/CN2021/107811 WO2022017447A1 (zh) 2020-07-24 2021-07-22 图像显示控制方法、图像显示控制装置及头戴式显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010721991.8A CN111830714B (zh) 2020-07-24 2020-07-24 图像显示控制方法、图像显示控制装置及头戴式显示设备

Publications (2)

Publication Number Publication Date
CN111830714A CN111830714A (zh) 2020-10-27
CN111830714B true CN111830714B (zh) 2024-03-29

Family

ID=72925418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010721991.8A Active CN111830714B (zh) 2020-07-24 2020-07-24 图像显示控制方法、图像显示控制装置及头戴式显示设备

Country Status (4)

Country Link
US (1) US11889050B2 (zh)
EP (1) EP4160299A4 (zh)
CN (1) CN111830714B (zh)
WO (1) WO2022017447A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111830714B (zh) * 2020-07-24 2024-03-29 闪耀现实(无锡)科技有限公司 图像显示控制方法、图像显示控制装置及头戴式显示设备
CN112488341A (zh) * 2020-12-22 2021-03-12 华能沁北发电有限责任公司 一种电厂安全管理系统及方法
CN114675417A (zh) * 2020-12-24 2022-06-28 华为技术有限公司 一种显示模组、虚像的位置调节方法及装置
CN114879851B (zh) * 2022-07-11 2022-11-01 深圳市中视典数字科技有限公司 一种基于虚拟现实的数据采集方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013861A (ja) * 1996-04-24 1998-01-16 Sony Corp ３次元画像表示方法とその表示装置
US5880711A (en) * 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
CN106681512A (zh) * 2016-12-30 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种虚拟现实设备及对应显示方法
CN107783291A (zh) * 2016-08-30 2018-03-09 北京亮亮视野科技有限公司 真三维全息显示头戴式可视设备
CN110494790A (zh) * 2017-04-26 2019-11-22 华为技术有限公司 用于生成3d光场的设备和方法
CN110727111A (zh) * 2019-10-23 2020-01-24 深圳惠牛科技有限公司 一种头戴显示光学系统及头戴显示设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN103487939B (zh) * 2013-08-28 2016-04-20 成都理想境界科技有限公司 可调头戴显示光学系统及其调节方法
KR20180035934A (ko) 2014-12-23 2018-04-06 메타 컴퍼니 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
US10592739B2 (en) * 2016-12-01 2020-03-17 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
WO2019209647A1 (en) * 2018-04-25 2019-10-31 Sina Fateh Method and apparatus for time-based stereo display of images and video
CN110109260B (zh) 2019-05-30 2022-04-12 京东方科技集团股份有限公司 光场显示系统及光场显示方法
CN110830714B (zh) 2019-10-30 2022-03-01 北京字节跳动网络技术有限公司 信息获取的方法及装置、终端和存储介质
CN212460199U (zh) 2020-07-24 2021-02-02 闪耀现实(无锡)科技有限公司 头戴式显示设备
CN111830714B (zh) * 2020-07-24 2024-03-29 闪耀现实(无锡)科技有限公司 图像显示控制方法、图像显示控制装置及头戴式显示设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013861A (ja) * 1996-04-24 1998-01-16 Sony Corp ３次元画像表示方法とその表示装置
US5880711A (en) * 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
CN107783291A (zh) * 2016-08-30 2018-03-09 北京亮亮视野科技有限公司 真三维全息显示头戴式可视设备
CN106681512A (zh) * 2016-12-30 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种虚拟现实设备及对应显示方法
CN110494790A (zh) * 2017-04-26 2019-11-22 华为技术有限公司 用于生成3d光场的设备和方法
CN110727111A (zh) * 2019-10-23 2020-01-24 深圳惠牛科技有限公司 一种头戴显示光学系统及头戴显示设备

Also Published As

Publication number Publication date
CN111830714A (zh) 2020-10-27
EP4160299A1 (en) 2023-04-05
EP4160299A4 (en) 2023-11-22
US11889050B2 (en) 2024-01-30
WO2022017447A1 (zh) 2022-01-27
US20230319256A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
CN111830714B (zh) 图像显示控制方法、图像显示控制装置及头戴式显示设备
US11762462B2 (en) Eye-tracking using images having different exposure times
KR101912958B1 (ko) 증강 현실 디스플레이를 위한 자동 가변 가상 초점
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
KR101789357B1 (ko) 증강 현실 시스템 및 개선된 초점 제공 방법
US10048750B2 (en) Content projection system and content projection method
US11675432B2 (en) Systems and techniques for estimating eye pose
JP3787939B2 (ja) 立体映像表示装置
US10789782B1 (en) Image plane adjustment in a near-eye display
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
JP6349660B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP4270347B2 (ja) 距離演算装置
CN212460199U (zh) 头戴式显示设备
WO2017081915A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20230239456A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view
WO2023102500A1 (en) Methods for controlling performance of extended reality display systems
WO2023146882A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant