CN109073897A - 用于为电子信息装置提供显示装置的方法 - Google Patents
用于为电子信息装置提供显示装置的方法 Download PDFInfo
- Publication number
- CN109073897A CN109073897A CN201780026648.8A CN201780026648A CN109073897A CN 109073897 A CN109073897 A CN 109073897A CN 201780026648 A CN201780026648 A CN 201780026648A CN 109073897 A CN109073897 A CN 109073897A
- Authority
- CN
- China
- Prior art keywords
- value
- virtual image
- display device
- optical element
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 113
- 210000001508 eye Anatomy 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims description 18
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims description 2
- 238000009738 saturating Methods 0.000 claims description 2
- 201000009310 astigmatism Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 208000001491 myopia Diseases 0.000 description 4
- 230000004379 myopia Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 206010047571 Visual impairment Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- 230000004393 visual impairment Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000036040 emmetropia Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/06—Lenses; Lens systems ; Methods of designing lenses bifocal; multifocal ; progressive
- G02C7/061—Spectacle lenses with progressively varying focal power
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
Abstract
本发明涉及一种用于为旨在向使用者显示虚拟图像的电子信息装置提供显示装置的方法,所述电子信息装置包括光学元件,所述光学元件具有非零光焦度并且被放在所述使用者的眼睛前方。所述显示装置包括光源和导向元件,所述导向元件用于将由所述光源发射的光束导向至所述使用者的眼睛,以允许看到所述虚拟图像。所述方法至少包括以下步骤:提供所述虚拟图像的参数的值的步骤;以及基于所述光学元件在某个点处的至少一个光焦度以及所述虚拟图像的参数的值来确定所述显示装置的显示参数的最佳值的步骤。
Description
技术领域
本发明的主题是一种用于为电子信息装置提供显示装置的方法、以及一种包括这样的显示装置的电子信息装置。
本发明的领域是电子信息装置、尤其是增强现实装置的领域。
背景技术
众所周知,为人类配备增强现实观察设备能够让其同时看到所处周围环境以及加到其视野中的图像,由此来增强使用者在视觉上感知到的现实。
这样的设备包括半透明屏幕,所述半透明屏幕放置在使用者的视野中并且增强现实图像被投影到其上。这个屏幕例如是由使用者配戴的一副眼镜的镜片形成。
所述设备可以配备有取向传感器,所述取向传感器使得能够确定使用者的注视方向、尤其是其头部相对于周围环境的位置。因此,叠加到使用者的自然视野中的图像被定位成与使用者在视觉上感知到的周围环境相匹配。
然而,一些使用者需要配戴眼科镜片以矫正其视力缺陷。在这种情况下,将比如眼科镜片等光学元件放置成使得来自位于使用者视野中的现实物体的光束至少透过它一次,信息图像也能透过所述光学元件。添加这种镜片将产生现实物体的特性变化,并且可能引起信息图像的特性变化。这些变化在现实物体与虚拟图像之间可能是不同的,这可能不利于配戴者感知虚拟图像与现实物体的叠加。
在一些情况下,甚至对没有任何视力缺陷的配戴者还优选的是,用位于显示装置上游的光学元件和位于所述显示装置下游的光学元件来封装所述显示装置,以便例如保护显示装置、或者以便经由这些光学元件来提供附加光学功能(光致变色、电致变色、着色、偏振等功能)。
这些光学元件如果具有非零焦度、例如在上游光学元件与下游光学元件之间为非零但相反的焦度,则仍将不同地改变现实物体的和虚拟图像的特性。
因此,需要提供一种适合于配戴者的电子信息装置,尤其这个装置结合了具有非零焦度的光学元件。
配戴者的处方是一组光学特征,尤其是光焦度和散光,这些光学特征是由眼科医师确定的以便例如通过被定位成面向使用者的眼睛的镜片来矫正其视力缺陷。例如,渐变多焦点镜片的处方包括在参照点处的光焦度值和散光值、以及下加光值(在适当情况下)。
发明内容
因此,本发明的一个目的是提出一种用于为根据配戴者、尤其配戴者处方定制的电子信息装置提供显示装置的方法。
为此目的,本发明的一个主题是一种用于为旨在向使用者显示虚拟图像的电子信息装置提供显示装置的方法,所述电子信息装置包括光学元件,所述光学元件具有非零光焦度并且旨在被定位在使用者的眼睛前方,所述显示装置包括光源和导向元件,所述导向元件旨在将由所述光源发射的光束导向至所述使用者的眼睛以允许看到所述虚拟图像,所述方法至少包括以下步骤:
-提供所述虚拟图像的参数的值的步骤;以及
-根据所述光学元件在某个点处的至少一个光焦度以及所述虚拟图像的所述参数的值来确定所述显示装置的显示参数的最佳值的步骤。
有利的是,所述方法使得能够确定光学元件对虚拟图像、尤其对配戴者感知到的虚拟距离(即,虚拟图像的显示距离)、或对所显示的虚拟物体的感知大小的影响。
此外,接着可以改变所述显示装置以补偿光学元件对虚拟图像的影响,使得尤其在图像的清晰度和大小方面,对现实图像的感知和对虚拟图像的感知同时都是正确的。
根据本发明的方法还可以包括以下特征中的一个或多个(单独地或以任何可能的组合来考虑):
-所述虚拟图像的所述参数是从由以下各项组成的清单中选择的参数:所述虚拟图像在显示方向上的距离、所述虚拟图像的位置、以及所述虚拟图像的大小;
-所述显示装置的所述显示参数是从由以下各项组成的清单中选择的参数:待显示图像的位置,例如像素坐标;待显示图像的大小,例如像素数量;所述显示装置的焦面;
-所述方法还包括:提供具有至少一个独特的固有参数的导向元件的步骤,所述固有参数的值等于所确定的最佳值;
-所述导向元件具有可调固有参数,所述方法还包括根据所确定的最佳值来调整所述导向元件的所述固有参数的步骤;
-所述导向元件的所述可调固有参数包括多个预定值,并且根据所述预定值之一来调整所述导向元件的所述固有参数,使得这个值与所确定的最佳值之差最小;
-所述导向元件包括用于使所述光束返回至所述使用者的眼睛的可调系统,并且所述调整所述导向元件的固有参数的步骤包括调整所述返回系统以使得所述导向元件的所述固有参数的值等于所确定的最佳值的步骤;
-所述方法包括:从多个导向元件之中选择所述显示装置的导向元件的步骤,每个导向元件都具有独特的固有参数,所述导向元件被选择成使得其独特的固有参数的值与所确定的最佳值之差最小;
-所述显示装置包括第二光学元件,所述第二光学元件具有光焦度并且旨在由被所述导向元件引导至所述使用者的眼睛的光束透过,并且所述导向元件具有固有参数,并且所述方法包括以下步骤:根据所述显示装置的所述显示参数的最佳值以及所述导向元件的所述固有参数的值来确定所述第二光学元件的至少一个光焦度;
-所述光学元件的光焦度至少部分地取决于使用者的处方;
-所述电子信息装置包括用于跟踪所述使用者的眼睛的注视方向的系统,并且还根据所述使用者的注视方向来确定所述显示装置的所述显示参数的最佳值;
-所述电子信息装置是被配置成用于显示叠加在现实物体上的虚拟图像的增强现实装置、并且包括至少一个传感器,所述传感器被配置成用于确定所述现实物体的与所述虚拟图像的参数相对应的参数的值,并且其中,所提供的所述虚拟图像的参数的值等于透过所述电子信息装置看到的所述现实物体的所述参数的值,所述值由所述传感器确定;
-所述方法包括:更新所述光学元件的光焦度的步骤,并且,还根据所述光学元件的更新后的光焦度来确定所述显示装置的所述显示参数的最佳值;
-所述光学元件的光焦度包括球镜度、和/或柱镜度、和/或棱镜度。
本发明还涉及一种IT程序产品,比如计算机程序产品,所述产品包括一个或多个指令序列,所述指令序列被处理器存储并且是处理器可存取的、并且在被所述处理器执行时引起所述处理器执行根据本发明的方法的至少一个步骤。
本发明还涉及一种能够由计算机装置读取的存储介质,所述存储介质包括至少一个程序,并且其中,所述程序引起计算机执行根据本发明的方法的步骤。
本发明的另一个主题是一种包括处理器的设备,所述处理器被配置成用于存储一个或多个指令序列并执行根据本发明的方法的至少一个步骤。
除非另外指出,否则“计算”、“确定”、“评估”等术语是指计算装置的以下动作:将物理数据(比如寄存器和/或存储器中的电子数据或量)操纵和/或转换成其他物理数据,比如计算机系统、寄存器或其他存储、传输或显示装置的存储器中的量。
此外,本发明的实施例不是参照特定的编程语言来描述的。可以使用各种各样的编程语言来实施根据本发明的方法。
本发明的另一个主题涉及一种旨在向使用者显示虚拟图像的电子信息装置,所述虚拟图像具有预定值的参数,所述电子信息装置包括:
-光学元件,所述光学元件具有非零光焦度并且旨在被定位在使用者的眼睛前方,以及
-显示装置,所述显示装置包括光源和导向元件,所述导向元件旨在将由所述光源发射的光束导向至所述使用者的眼睛以允许看到所述虚拟图像,所述显示装置具有显示参数,所述显示参数的值取决于所述光学元件在某个点处的至少一个光焦度以及所述虚拟图像的所述参数的值。
根据本发明的电子装置还可以包括以下特征中的一个或多个(单独地或以任何可能的组合来考虑):
-所述显示装置包括导光型导向元件或自由空间式导向元件;
-所述显示装置包括光场显示器和导向元件;
-所述导向元件具有固有参数,并且所述显示装置包括第二光学元件,所述第二光学元件具有光焦度并且旨在由被所述导向元件引导至所述使用者的眼睛的光束透过,所述第二光学元件在某个点处的至少一个光焦度取决于所述显示装置的所述显示参数的最佳值以及所述导向元件的所述参数的值;
-所述光学元件是具有单焦点和/或渐变设计的光学镜片、和/或是有源镜片;
-所述光学元件是其中一个表面为球面的光学镜片。
附图说明
本发明的其他特征和优点将通过阅读说明书和以下附图而显现:
-图1展示了根据本发明的一个实施例的电子信息装置,
-图2示出了根据本发明的一个实施例的用于为电子信息装置提供显示装置的方法的步骤的流程图,并且
-图3展示了本发明的示例性实施例,其中根据本发明的电子信息装置包括能够产生显示图像的不同虚拟距离的三个波导。
具体实施方式
应注意的是,这些附图的唯一目的是展示说明书的文字,并且它们不以任何方式构成对本发明范围的限制。
在各个附图中,相似的元件用相同的附图标记来表示。
本发明涉及旨在向使用者显示虚拟图像的电子信息装置、尤其增强现实装置的领域。
特别地,并且参照图1,根据本发明的此类电子信息装置10包括显示装置12,所述显示装置包括光源14和导向元件16,所述导向元件旨在将由光源14发射的光束导向至使用者的至少一只眼睛18以允许看到虚拟图像。
优选地,所述显示装置包括导光型导向元件或自由空间式导向元件。
根据另一个实例,所述显示装置包括光场显示器。
电子信息装置10还包括至少一个光学元件20,所述光学元件具有非零光焦度并且旨在被定位在使用者的眼睛前方、以便接收由光源14发射的光束。在图1中,展示了两个光学元件。第一光学元件(被称为后光学元件20B)放在使用者的眼睛18与显示装置12之间,而第二光学元件(被称为前光学元件20A)被放置成使得显示装置12位于这两个光学元件20A与20B之间。
这些光学元件的光焦度优选地取决于使用者的处方的至少一部分。可能这两个光学元件中的仅一个取决于使用者的处方的至少一部分。
此外,所述光学元件的光焦度有利地包括球镜度、和/或柱镜度、和/或棱镜度。
优选地,光学元件20是具有单焦点和/或渐变设计的光学镜片。光学元件20还可以是有源镜片。
此外,所述光学元件可以是其中一个表面为球面的光学镜片。
根据本发明,虚拟图像具有预定值的参数,并且所述显示装置具有显示参数,所述显示参数的值取决于光学元件在某个点处的至少一个光焦度以及虚拟图像的参数的值。
优选地,虚拟图像的参数是:
-虚拟图像在显示方向上的距离,
-虚拟图像的位置,或
-虚拟图像的大小。
优选地,所述显示装置的显示参数是:
-待显示图像的位置,例如像素坐标,
-待显示图像的大小,例如像素数量,或
-显示装置的焦面。
通过根据本发明的方法来确定显示装置的显示参数的值,如将在下文中描述的。
因此,根据本发明的此类电子信息装置被设计成考虑了(多个)光学元件在棱镜度、焦度、像差等方面对虚拟图像造成的改变。
现在将参照图2来描述根据本发明的用于为旨在向使用者显示虚拟图像的电子信息装置提供这样的显示装置的方法。
所述方法包括:提供所述虚拟图像的参数的值的步骤S2;然后是根据光学元件20A、20B在某个点处的至少一个光焦度以及虚拟图像的参数的值来确定显示装置的显示参数的最佳值的步骤S4。
在步骤S2的过程中,提供虚拟图像的参数的值。
优选地,虚拟图像的参数是:
-虚拟图像在显示方向上的距离,
-虚拟图像的位置,或
-虚拟图像的大小。
在步骤S4的过程中,根据光学元件在某个点处的至少一个光焦度以及虚拟图像的参数的值来确定显示装置12的显示参数的最佳值。
电子信息装置的这些光学元件中的至少一个的光焦度优选地取决于使用者的处方的至少一部分。有利的是,光学元件的光焦度包括球镜度、和/或柱镜度、和/或棱镜度。
优选地,显示装置的显示参数是:
-待显示图像的位置,例如像素坐标,
-待显示图像的大小,例如像素数量,或
-显示装置的焦面。
根据一个优选实施例,所述方法还包括:提供具有至少一个独特的固有参数的导向元件的步骤S6,所述固有参数的值等于所确定的最佳值。
根据另一个实施例,显示装置12的导向元件16具有可调固有参数。根据这个实施例,所述方法还包括根据所确定的最佳值来调整导向元件16的固有参数的步骤S8。
可以连续或分开调整导向元件16的固有参数,也就是说包括多个预定值。在后者的情况下,根据这些预定值之一来调整导向元件16的固有参数,使得这个值与所确定的最佳值之差最小。
如果能够连续地调整导向元件16的固有参数,优选地如果导向元件包括用于使光束返回至使用者的眼睛的可调系统,则根据所确定的最佳值来调整导向元件16的固有参数的步骤S8包括调整返回系统以使得导向元件的固有参数的值等于所确定的最佳值的步骤。
这个返回系统能以固定的方式或主动的方式来调整。例如,能够以固定的方式来调整的返回系统可以是全息记录反光镜、或考虑了由于光学元件20对待显示虚拟图像的影响而产生的矫正的衍射元件。能够以主动的方式来调整的返回系统是例如有源全息反光镜或考虑了由于光学元件20对待显示虚拟图像的影响而产生的矫正的衍射元件。
根据另一个实施例,所述方法包括:从多个导向元件之中选择显示装置的导向元件16的步骤S10,每个导向元件都具有独特的固有参数。接着导向元件被选择成使得其独特的固有参数的值与所确定的最佳值之差最小。
根据另一个实施例,显示装置12包括第二光学元件,所述第二光学元件具有光焦度并且旨在由被导向元件16引导至使用者的眼睛20的光束透过。导向元件还具有固有参数。
根据这个实施例的方法包括以下步骤:根据显示装置的显示参数的最佳值以及导向元件的固有参数的值来确定第二光学元件的至少一个光焦度。
在这个实施例中,这个第二光学元件(被称为矫正元件)补偿电子信息装置的光学元件20的影响。这个元件可以是固定的,例如用于计算光学元件的影响的光学系统;或是可变的,例如基于薄膜、液晶、SLM等镜片的光学系统。这样的可变矫正性元件使得能够补偿所述影响并且实时增加焦距或虚拟图像位置的变化。
有利的是,电子信息装置可以包括用于跟踪使用者的眼睛的注视方向的系统,并且接着还根据使用者的注视方向来确定显示装置的显示参数的最佳值。
根据本发明的可与之前实施例相容的一个优选实施例,所述电子信息装置是被配置成用于显示叠加在现实物体上的虚拟图像的增强现实装置。
所述电子信息装置包括至少一个传感器,所述传感器被配置成用于确定现实物体的与虚拟图像的参数相对应的参数的值。在这种情况下,所提供的虚拟图像的参数的值等于透过所述光学元件看到的现实物体的参数的值,所述值由所述传感器确定。
有利的是,根据本发明的方法可以包括更新光学元件的光焦度的步骤。在这种情况下,还根据光学元件的更新后的光焦度来确定显示装置的显示参数的最佳值。
因此,根据本发明的此类方法使得能够改变虚拟图像的显示,以考虑(多个)光学元件所添加的影响。考虑了以上指示的内容的这种情况可以通过以下来执行:通过添加所谓的矫正元件(所述矫正元件被定位成由被导向元件引导至使用者的眼睛的光束透过)、或者直接通过将图像返回至眼睛的可选系统、或者通过使用例如所谓的相位SLM或光场显示(LFD)型“智能”显示器而直接经由显示器;或通过矫正针对简单情况使用OLED、LCD、投影仪等类型的常规屏幕来显示的文件;或者通过将这两种方法组合。
所有这些实施例可以独立地或组合地实施,每个元件考虑了虚拟图像的全部或部分矫正。
根据一个实例,用于将图像返回的装置可以保留被正确表征且固定的矫正(例如,与系统的几何形状相关的矫正、主要视觉矫正(近视、散光等)),并且可以经由显示器进行其他矫正。
根据另一实例,能够经由用于返回至眼睛的装置来矫正视远(FV),而在使用渐变镜片或在视近(NV)时显示图像的情况下,显示器可以产生下加光。如果配戴者的近视没有变化或变化很小,但其视近发生变化,则这可能足以保证其清楚看到虚拟图像,而不影响他对现实世界的视觉。
通过有源元件,有利地能够执行虚拟图像的矫正的跟踪。然后,配戴者可以经由例如平板电脑或智能手机类型的终端作用于这种矫正,以在必要时改善他对虚拟图像的视觉。在这种情况下,电子信息装置可以通过学习、跟踪配戴者处方的变化等而被更新并因此连续地改善。
现在将考虑包括波导的电子信息装置来介绍本发明的示例性实施例,所述波导能够产生不同的虚拟距离以连续地或分开显示图像,并且至少一个具有非零焦度的无源光学元件粘接至所述电子信息装置上。
案例A:改变虚拟图像的显示距离
在这个实例中,电子信息装置旨在用于正视眼配戴者、并且包括导光型显示装置和具有非零焦度且粘接至导向元件的前面上的光学元件、以及具有相反焦度且粘接至后面上的另一个光学元件。因此,现实光焦度为零,清楚地感知现实世界,并且现实物体的特性没有由于无焦度而被电子信息装置改变。相反,当配戴者感知透过这个光学元件的虚拟图像时,虚拟图像的特性被粘接至后面上的光学元件改变。因此,虚拟图像在使用者感知到的距离、其大小、且可能在其位置方面改变。因此,如果想要显示出位置、大小或距离与所观察的现实物体相关的虚拟图像,则在不实施本发明的情况下,配戴者感知到虚拟图像的位置、大小、或距离不适当。
下文提出了改变与焦面相关的显示参数,使得虚拟图像处于与观看的现实物体的距离相对应的距离处,由此使得能够清楚地看到现实物体和虚拟图像两者。
如果后光学元件的焦度具有值Pwar(以屈光度计),并且该装置必须在接近度Pprox(=1/D,其中D是虚拟物体的显示距离)显示虚拟图像,则必须满足:
P图像=Pprox-Pwar(1a)或P图像=Pprox+Pwav(1b)
其中P图像是在后面上没有光学元件的情况下由显示器产生的虚拟图像的接近度。当然,还可以设想通过光线追踪法来精确地计算P图像。
因此,如果Pwar=-1D并且Pprox=0,即虚拟图像在无限远处,则得到P图像=1D,即虚拟图像位于屏幕后方1m处,并且配戴者在视远时同时清楚地感知到虚拟图像和现实图像。在这种情况下,接近度Pprox对应于使用者感知到的虚拟图像的接近度。这个值可以根据配戴者的应用或使用来选择。例如,如果配戴者想要适合在40cm远处进行视近阅读的虚拟距离,则适合的接近度值Pprox可以为-2.5D。因此,将同时清楚地看到虚拟图像和现实物体(例如,书)。对于需要视远的活动(例如,驾驶),虚拟图像的接近度值Pprox=0D是适合的,这对应于位于驾驶员前方远处的现实物体的接近度。
在距离连续变化的显示装置情况下,则将P图像调整至该精确值,或者从分立的值之中选择接近期望值P图像的值。
作为替代方案,将距离P图像调整成期望值P图像不超过2D以限制调节力。
作为替代方案,如果装置具有仅一个P图像值或有限数量的P图像值,则显示装置可以相应地制造或根据Pwav来选择以符合上述关系1a、1b。
替代性地,根据一组可用显示装置,可以确定旨在粘接至前面上的矫正光学元件的特征以同时使现实物体和虚拟图像清晰。
如果光学元件具有散光,则Pwav随角度而变,并且显示装置的焦度P图像根据取向θ改变。
在自由空间式显示器的情况下,公式(1a)和(1b)不再适用,因为虚拟图像在到达眼睛之前透过后光学元件两次。因此,在一级近似中,可以认为通过显示器看到的焦度具有值2Pwar、并且适用以下公式:P图像=P感知-2.Pwar(1c)。
案例B:根据屈光而改变
在以下两个简化的实例中,配戴者没有散光。
导光型显示装置情况
如果配戴者具有不完全由后光学元件支持的某个屈光,则配戴者将不会同时清楚地看到被补偿了屈光的现实物体、以及虚拟图像。虚拟图像的矫正缺陷等于前光学元件的焦度、并且可以通过改变虚拟图像的距离而被补偿,例如:
-如果想要同时清楚地看到无限远处的现实物体、以及虚拟图像,则Pprox=0D;并且
-如果想要同时清楚地看到33cm外的现实物体、以及虚拟图像,则Pprox=-3D,
其中Pprox是虚拟图像的接近度,也就是说镜片与同时清楚地看到虚拟图像和现实物体的现实平面之间的距离。
P图像由以下关系来确定:
P图像=Pprox+Pwav(2a)=Pprox+P配戴者-Pwar(2b)
因此,配戴者在其现视力和其虚拟视力方面得到矫正。
就像案例A的实例一样,如果能够连续地调整显示装置、或选择最适当的值、或从一组显示装置中选择具有最适合的值的显示装置,则能够采用精确值P图像。
同样,所述装置在前面上可以包括矫正光学元件,根据前光学元件的焦度来确定显示器的参数。
自由空间式显示器情况:
在自由空间式显示器的情况下,公式(2a)和(2b)不再适用,因为虚拟图像在到达眼睛之前透过后光学元件两次。在一级近似中,通过显示器看到的焦度具有值2Pwar,并且于是适用以下公式:P图像=Pprox+P配戴者-2xPwar(2c)。
渐变光学元件位于后面上的情况
如果后光学元件具有渐变表面,则Pwar随注视方向(α,β)而变,并且Pwar具有球镜度和散光:PwarS(α,β)和PwarA(α,β)。上述公式适用于每个注视方向。
因此,能够矫正虚拟图像,使得在没有散光缺陷的情况下清楚地看到整个视野(α,β),现实物体仅在视远、视中、和视近区域中是清楚的。
案例C:改变虚拟图像的大小和/或位置
在这个实例中,配戴者具有非零处方。配戴者根据镜片(远视/近视)的焦度看到具有放大或缩小效果的外部世界。这种效果是由于镜片的焦度以及镜片与眼睛的距离造成的,这个距离是眼睛与电子信息装置之间的距离。
已知G现实=1/(1-DVO.P配戴者)(3),其中DVO是镜片与眼睛的距离,P配戴者是配戴者的处方(如果存在散光,则可以随θ而变)。
例如,对于14mm的DVO,P配戴者=-1D(近视),放大率G现实具有值0.986。
对于位于P图像=0处的虚拟图像,具有:
G现实=1/(1-DVO.Pwar) (4)
例如,对于Pwav=2D并且Pwar=-3D,放大率G虚拟具有值0.96。
因此,现实图像与虚拟图像存在不同的放大率,由此,在期望将虚拟图像与现实物体准确地叠加时产生增强现实的问题。
在这种情况下,改变虚拟物体的大小,使得现实/虚拟放大率相同或非常接近。可以对虚拟图像应用放大率系数,或者改变虚拟图像的大小(以像素计),以减小现实图像与虚拟图像之间的放大率差异,而不补偿整个这种差异。
还能够考虑光学元件的棱镜效应,因为应用于虚像和现实物体的棱镜效应不同,尤其在远离系统的光轴移动时。确切地,对虚拟图像和现实物体的不同棱镜效应影响了增强现实的显示品质,因为虚拟图像的位置不与待突出显示的现实物体的位置相对应。这些棱镜效应如果不被矫正,则还可能阻止在使用双目系统时虚拟图像和现实物体的同时合并。为了执行这种矫正,则能够改变虚拟图像的位置(以像素计)。可以通过光线跟踪模拟来确定虚拟图像的新位置,使得光线离开现实物体并且透过配戴者眼睛的方向、与光线在图像位置处离开显示器并且透过配戴者眼睛的方向是相同的。
现在将参考图3介绍本发明的另一个示例性实施例,该图中展示了包括多个波导的电子信息装置,这些波导能够产生显示图像的不同虚拟距离。
在所展示的实例中,电子信息装置包括各自具有非零焦度的两个光学元件:前面上的凸镜片以及后面上的凹镜片。这些光学元件的光焦度为+1D和-1D,使得电子信息装置被设置用于正视眼(S=0D)。
电子信息装置包括3个波导(表示为G1、G2、G3),允许在位于S1、S2、S3处的距离(表示为d1、d2、d3)处显示图像。
这些波导具有用于“耦合入”的图像注入区(表示为ic1、ic2和ic3)。光束从各个波导的壁反射,每个波导还包括用于提取光束的元件,所述元件称为“耦合出”并表示为mi,j,其中i是波导的折射率,j是元件的折射率。这些提取元件使得能够提取在每个波导中被引导的光束的一部分,而同时使得能够确定输出光束的方向及其曲率。
以此方式,由同一个引导件(m1,1;m1,2;m1,3,例如G1)的各个提取元件提取的各个光束朝向S1汇聚,并且波面的曲率对应于距离d1。因此,观察者在没有光学元件的情况下看到位于距离d1处的光点。
在这种情况下,选择d1=-1m,这意味着当从G1提取的光束透过凹面光学元件时,它们被重新聚焦,因此配戴者看到位于无限远处的光点。
同样,确定距离d2和d3以考虑后光学元件的焦度的影响。
这些提取元件可以是封装在波导内部的经部分反射处理的菲涅耳反光镜型反光镜。它们还可以是全息反光镜,由此使得能够通过标准全息记录和例如在波导内部使用光敏树脂、基于所期望的距离特征来记录每个反光镜。因此,在这种情况下,能够根据将要使用的光学元件对显示器进行编程。
图3示出了耦合到波导的示例性平行光线束的反射和提取。在此没有示出到波导中的注入;这可能涉及在专利US 2015016777或US 20140003762中常规描述的解决方案。
应注意,在图3所示的实例中,反光镜的曲率发生变化:G1为凹面,G2为凸面,G3更凸,与这些反光镜的平均角度一样,以确保所提取的光束朝向点S1、S2、S3汇聚。
Claims (19)
1.一种用于为旨在向使用者显示虚拟图像的电子信息装置提供显示装置的方法,所述电子信息装置包括光学元件,所述光学元件具有非零光焦度并且旨在被定位在使用者的眼睛前方,所述显示装置包括光源和导向元件,所述导向元件旨在将由所述光源发射的光束导向至所述使用者的眼睛以允许看到所述虚拟图像,所述方法至少包括以下步骤:
-提供所述虚拟图像的参数的值的步骤;以及
-根据所述光学元件在某个点处的至少一个光焦度以及所述虚拟图像的所述参数的值来确定所述显示装置的显示参数的最佳值的步骤。
2.如权利要求1所述的方法,其中所述虚拟图像的所述参数是从由以下各项组成的清单中选择的参数:所述虚拟图像在显示方向上的距离、所述虚拟图像的位置、以及所述虚拟图像的大小。
3.如权利要求1或2所述的方法,其中,所述显示装置的所述显示参数是从由以下各项组成的清单中选择的参数:待显示图像的位置,例如像素坐标;待显示图像的大小,例如像素数量;所述显示装置的焦面。
4.如以上权利要求之一所述的方法,还包括提供具有至少一个独特的固有参数的导向元件的步骤,所述固有参数的值等于所确定的最佳值。
5.如以上权利要求中任一项所述的方法,其中,所述导向元件具有可调固有参数,所述方法还包括根据所确定的最佳值来调整所述导向元件的所述固有参数的步骤。
6.如前一项权利要求所述的方法,其中,所述导向元件的所述可调固有参数包括多个预定值,并且根据所述预定值之一来调整所述导向元件的所述固有参数,使得这个值与所确定的最佳值之差最小。
7.如权利要求5所述的方法,其中,所述导向元件包括用于使所述光束返回至所述使用者的眼睛的可调系统,并且其中,所述调整所述导向元件的固有参数的步骤包括调整所述返回系统以使得所述导向元件的所述固有参数的值等于所确定的最佳值的步骤。
8.如以上权利要求中任一项所述的方法,包括从多个导向元件之中选择所述显示装置的导向元件的步骤,每个导向元件都具有独特的固有参数,所述导向元件被选择成使得其独特的固有参数的值与所确定的最佳值之差最小。
9.如以上权利要求中任一项所述的方法,其中,所述显示装置包括第二光学元件,所述第二光学元件具有光焦度并且旨在由被所述导向元件引导至所述使用者的眼睛的光束透过,并且所述导向元件具有固有参数,并且其中,所述方法包括以下步骤:根据所述显示装置的所述显示参数的最佳值以及所述导向元件的所述固有参数的值来确定所述第二光学元件的至少一个光焦度。
10.如以上权利要求中任一项所述的方法,其中,所述光学元件的光焦度取决于所述使用者的处方的至少一部分。
11.如前一项权利要求所述的方法,其中,所述电子信息装置包括用于跟踪所述使用者的眼睛的注视方向的系统,并且其中,还根据所述使用者的注视方向来确定所述显示装置的所述显示参数的最佳值。
12.如以上权利要求中任一项所述的方法,其中,所述电子信息装置是被配置成用于显示叠加在现实物体上的虚拟图像的增强现实装置、并且包括至少一个传感器,所述传感器被配置成用于确定所述现实物体的与所述虚拟图像的参数相对应的参数的值,并且其中,所提供的所述虚拟图像的参数的值等于透过所述电子信息装置看到的所述现实物体的所述参数的值,所述值由所述传感器确定。
13.如以上权利要求中任一项所述的方法,包括更新所述光学元件的光焦度的步骤,并且其中,还根据所述光学元件的更新后的光焦度来确定所述显示装置的所述显示参数的最佳值。
14.如以上权利要求中任一项所述的方法,其中,所述光学元件的光焦度包括球镜度、和/或柱镜度、和/或棱镜度。
15.一种旨在向使用者显示虚拟图像的电子信息装置,所述虚拟图像具有预定值的参数,所述电子信息装置包括:
-光学元件,所述光学元件具有非零光焦度并且旨在被定位在使用者的眼睛前方,以及
-显示装置,所述显示装置包括光源和导向元件,所述导向元件旨在将由所述光源发射的光束导向至所述使用者的眼睛以允许看到所述虚拟图像,所述显示装置具有显示参数,所述显示参数的值取决于所述光学元件在某个点处的至少一个光焦度以及所述虚拟图像的所述参数的值。
16.如权利要求15所述的电子信息装置,其中,所述显示装置包括导光型导向元件或自由空间式导向元件或光场显示器。
17.如权利要求15或16所述的电子信息装置,其中,所述导向元件具有固有参数,并且所述显示装置包括第二光学元件,所述第二光学元件具有光焦度并且旨在由被所述导向元件引导至所述使用者的眼睛的光束透过,所述第二光学元件在某个点处的至少一个光焦度取决于所述显示装置的所述显示参数的最佳值以及所述导向元件的所述参数的值。
18.如权利要求15至17之一所述的电子信息装置,其中,所述光学元件是具有单焦点和/或渐变设计的光学镜片、和/或是有源镜片。
19.如权利要求15至18之一所述的电子信息装置,其中,所述光学元件是其中一个表面为球面的光学镜片。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16305894.4 | 2016-07-12 | ||
EP16305894.4A EP3270208B1 (fr) | 2016-07-12 | 2016-07-12 | Procédé de fourniture d'un dispositif d'affichage pour dispositif électronique informatif |
PCT/EP2017/066749 WO2018011031A1 (fr) | 2016-07-12 | 2017-07-05 | Procédé de fourniture d'un dispositif d'affichage pour dispositif électronique informatif |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109073897A true CN109073897A (zh) | 2018-12-21 |
CN109073897B CN109073897B (zh) | 2022-03-11 |
Family
ID=56801478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780026648.8A Active CN109073897B (zh) | 2016-07-12 | 2017-07-05 | 用于为电子信息装置提供显示装置的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11150476B2 (zh) |
EP (1) | EP3270208B1 (zh) |
CN (1) | CN109073897B (zh) |
WO (1) | WO2018011031A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113316737A (zh) * | 2019-01-17 | 2021-08-27 | 威福光学有限公司 | 增强现实系统 |
WO2022088887A1 (zh) * | 2020-10-29 | 2022-05-05 | 华为技术有限公司 | 镜片及智能眼镜 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11307420B2 (en) | 2017-07-03 | 2022-04-19 | Holovisions LLC | Augmented reality eyewear with “ghost buster” technology |
US11754843B2 (en) | 2017-07-03 | 2023-09-12 | Holovisions LLC | Augmented reality eyewear with “ghost buster” technology |
US11163163B2 (en) | 2017-07-03 | 2021-11-02 | Holovisions | Augmented reality (AR) eyewear with at least one quasi Fresnel reflector (QFR) |
US12013538B2 (en) | 2017-07-03 | 2024-06-18 | Holovisions LLC | Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements |
CN107861247B (zh) * | 2017-12-22 | 2020-08-25 | 联想(北京)有限公司 | 光学部件及增强现实设备 |
CN113168017A (zh) * | 2018-09-21 | 2021-07-23 | 谷歌有限责任公司 | 用于可佩戴平视显示器的光学组合透镜 |
CN113168009A (zh) * | 2018-09-26 | 2021-07-23 | 奇跃公司 | 具有屈光力的衍射光学元件 |
WO2021231789A1 (en) | 2020-05-14 | 2021-11-18 | Magic Leap, Inc. | Method and system for integration of refractive optics with a diffractive eyepiece waveguide display |
JP2021184050A (ja) * | 2020-05-22 | 2021-12-02 | 株式会社日立エルジーデータストレージ | 映像表示装置、ヘッドマウントディスプレイ |
US20230228994A1 (en) * | 2022-01-18 | 2023-07-20 | Google Llc | Integrated vision correction with augmented reality display |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1774661A (zh) * | 2004-03-29 | 2006-05-17 | 索尼株式会社 | 光学装置以及虚像显示装置 |
US20080273246A1 (en) * | 2004-07-16 | 2008-11-06 | Essilor International (Compagnie Generale D'optique | Method of Manufacturing an Ophthalmic Lens for Providing an Optical Display |
US20100045927A1 (en) * | 2006-07-06 | 2010-02-25 | Renaud Moliton | Ophthalmic Lens Incorporating an Optical Insert for Projecting Information |
CN104025158A (zh) * | 2011-11-11 | 2014-09-03 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
US20150016777A1 (en) * | 2012-06-11 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
WO2015158601A1 (en) * | 2014-04-14 | 2015-10-22 | Essilor International (Compagnie Generale D'optique) | Method of calculating an optical system of a progressive addition ophthalmic lens being arranged to output a supplementary image |
WO2015192117A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2866442B1 (fr) * | 2004-02-18 | 2006-08-04 | Essilor Int | Afficheur orphtalmique comportant une lentille optalmique et un imageur optique |
CA2629903C (en) * | 2005-11-15 | 2016-04-12 | Carl Zeiss Vision Australia Holdings Limited | Ophthalmic lens simulation system and method |
DE112008000051A5 (de) * | 2007-01-25 | 2009-11-12 | Rodenstock Gmbh | Brille und Brillenglas zur Dateneinspiegelung |
CN104737061B (zh) | 2012-06-11 | 2018-01-16 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9360658B2 (en) * | 2014-01-31 | 2016-06-07 | Baxter International Inc. | Optical imaging assembly and system with optical distortion correction |
JP6675318B2 (ja) * | 2014-04-01 | 2020-04-01 | エシロール・アンテルナシオナル | 補助画像を出力するように構成された多焦点眼鏡レンズ |
-
2016
- 2016-07-12 EP EP16305894.4A patent/EP3270208B1/fr active Active
-
2017
- 2017-07-05 US US16/316,919 patent/US11150476B2/en active Active
- 2017-07-05 CN CN201780026648.8A patent/CN109073897B/zh active Active
- 2017-07-05 WO PCT/EP2017/066749 patent/WO2018011031A1/fr active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1774661A (zh) * | 2004-03-29 | 2006-05-17 | 索尼株式会社 | 光学装置以及虚像显示装置 |
US20080273246A1 (en) * | 2004-07-16 | 2008-11-06 | Essilor International (Compagnie Generale D'optique | Method of Manufacturing an Ophthalmic Lens for Providing an Optical Display |
US20100045927A1 (en) * | 2006-07-06 | 2010-02-25 | Renaud Moliton | Ophthalmic Lens Incorporating an Optical Insert for Projecting Information |
CN104025158A (zh) * | 2011-11-11 | 2014-09-03 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
US20150016777A1 (en) * | 2012-06-11 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
WO2015158601A1 (en) * | 2014-04-14 | 2015-10-22 | Essilor International (Compagnie Generale D'optique) | Method of calculating an optical system of a progressive addition ophthalmic lens being arranged to output a supplementary image |
WO2015192117A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113316737A (zh) * | 2019-01-17 | 2021-08-27 | 威福光学有限公司 | 增强现实系统 |
CN113316737B (zh) * | 2019-01-17 | 2023-05-16 | 威福光学有限公司 | 增强现实系统 |
WO2022088887A1 (zh) * | 2020-10-29 | 2022-05-05 | 华为技术有限公司 | 镜片及智能眼镜 |
Also Published As
Publication number | Publication date |
---|---|
WO2018011031A1 (fr) | 2018-01-18 |
EP3270208A1 (fr) | 2018-01-17 |
EP3270208B1 (fr) | 2024-03-06 |
US11150476B2 (en) | 2021-10-19 |
CN109073897B (zh) | 2022-03-11 |
US20190293938A1 (en) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109073897A (zh) | 用于为电子信息装置提供显示装置的方法 | |
US11669161B2 (en) | Enhancing the performance of near-to-eye vision systems | |
US10621708B2 (en) | Using pupil location to correct optical lens distortion | |
US10319154B1 (en) | Methods, systems, and computer readable media for dynamic vision correction for in-focus viewing of real and virtual objects | |
Chakravarthula et al. | Focusar: Auto-focus augmented reality eyeglasses for both real world and virtual imagery | |
KR102038379B1 (ko) | 초점 조정 가상 현실 헤드셋 | |
EP3126901B1 (en) | Method of calculating an optical system according to a given spectacle frame | |
KR101443322B1 (ko) | 안경 렌즈의 최적화 및/또는 제조 방법 | |
US11579448B2 (en) | Method and device for refraction adjustment, and augmented reality apparatus | |
EP2649485B1 (en) | Sympathetic optic adaptation for see-through display | |
CN104598180B (zh) | 显示控制方法、装置及近眼显示设备 | |
CN106062616B (zh) | 被安排成用于输出补充图像的多焦点眼科眼镜片 | |
US11914156B1 (en) | System and method for automatic vision correction in near-to-eye displays | |
KR102511897B1 (ko) | 가상 이미지에 대한 교정 광학 기능을 결정하는 방법 | |
CN107111136B (zh) | 包括单眼显示装置的双眼装置 | |
US11221487B2 (en) | Method and device of field sequential imaging for large field of view augmented/virtual reality | |
KR102476727B1 (ko) | 착용자의 시력을 보정할 수 있는 증강현실 광학시스템 | |
US11327313B2 (en) | Method and system for rendering an image with a pupil enhanced accommodation of the eye | |
KR102543452B1 (ko) | 착용자의 시력을 범용적으로 보정하는 증강현실 광학시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |