CN109633904A - 视网膜投影显示方法、系统及装置 - Google Patents
视网膜投影显示方法、系统及装置 Download PDFInfo
- Publication number
- CN109633904A CN109633904A CN201811613896.5A CN201811613896A CN109633904A CN 109633904 A CN109633904 A CN 109633904A CN 201811613896 A CN201811613896 A CN 201811613896A CN 109633904 A CN109633904 A CN 109633904A
- Authority
- CN
- China
- Prior art keywords
- sub
- emergent pupil
- display
- light
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004270 retinal projection Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 24
- 210000001747 pupil Anatomy 0.000 claims abstract description 220
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 210000001525 retina Anatomy 0.000 claims abstract description 18
- 210000005252 bulbus oculi Anatomy 0.000 claims description 43
- 238000009434 installation Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 6
- 230000003447 ipsilateral effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 10
- 210000001508 eye Anatomy 0.000 description 34
- 238000004519 manufacturing process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 238000003892 spreading Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229920006254 polymer film Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
Abstract
本申请公开了一种视网膜投影显示方法、系统及装置，属于显示技术领域。方法包括：通过显示控制器获取初始画面，将初始画面划分为N个子画面，将N个子画面的画面信息传输至视网膜投影光引擎，N为大于或等于2的正整数；视网膜投影光引擎对N个子画面的画面信息进行调制，得到N个显示画面，将N个显示画面的画面信息分别发送至光融合器的N个光学分区，显示画面的画面信息与光融合器的光学分区是一对一的；通过N个光学分区中的每个光学分区分别确定一个子出瞳，得到N个子出瞳，N个子出瞳拼接形成系统的出瞳，出瞳为成像光束的公共出口，出瞳范围内的光束可在视网膜上投影成像。本申请增加了出瞳范围，扩大了人眼观看投影画面的可移动范围。
Description
技术领域
本申请涉及显示技术领域，特别涉及视网膜投影显示方法、系统及装置。
背景技术
视网膜投影显示技术是一种通过光束扫描的方式，向视网膜上投影画面的显示技术，近年来被广泛应用于增强现实(augmented reality，AR)设备中。目前，该技术主要通过光引擎将图像源信息调制为显示画面，通过光融合器将显示画面投影至视网膜，以实现画面的显示。
其中，为保证AR设备的轻便性及实用性，常常使用体积较小的光引擎和光融合器，从而导致形成的出瞳范围也较小；用户的直观感受则是，一旦瞳孔发生较大位移，就会在视觉上产生画面空白，降低了用户的使用体验。
为解决上述问题，相关技术采用多个光引擎调制出多个出瞳，光融合器对生成的多个出瞳进行拼接，以增大出瞳范围。
发明人发现相关技术至少存在以下问题：
相关技术需要将多个光引擎全部集成于AR设备中，增加了AR设备的体积与重量，使得AR设备的实用性降低；并且，多个光引擎同时运行的功耗较大，提高了运行成本。
申请内容
本申请提供了一种视网膜投影显示方法、系统及装置，以解决相关技术中的问题。
第一方面，提供了一种视网膜投影显示方法，所述方法包括：通过显示控制器获取初始画面，将所述初始画面划分为N个子画面。之后，所述显示控制器将所述N个子画面的画面信息传输至视网膜投影光引擎，所述N为大于或等于2的正整数。所述视网膜投影光引擎对所述N个子画面的画面信息进行调制，得到N个显示画面。之后，将所述N个显示画面的画面信息分别发送至光融合器的N个光学分区，所述显示画面的画面信息与所述光融合器的光学分区是一对一的。通过所述N个光学分区中的每个光学分区分别确定一个子出瞳，得到N个子出瞳。所述N个子出瞳拼接形成系统的出瞳，所述出瞳为成像光束的公共出口，所述出瞳范围内的光束可在视网膜上投影成像。
由于系统的出瞳由N个子出瞳共同拼接形成，因此出瞳范围较大，从而扩大了人眼观看投影画面时的可移动范围，提高了用户的使用体验。
根据第一方面，在第一方面的第一种可能的实施方式中，所述得到N个子出瞳之后，还包括：通过显示适配器从所述N个子出瞳中确认主视窗，所述主视窗为被关注的一个子出瞳。通过所述显示控制器控制所述视网膜投影光引擎中的光源，以停止显示所述主视窗之外的子出瞳或降低所述主视窗之外的子出瞳的分辨率。
通过停止显示主视窗之外的子出瞳，或者降低主视窗之外的子出瞳的分辨率的方式，可在不影响用户视觉体验的情况下，降低了系统的功耗及运行成本，提高了系统的实用性。
根据第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述通过显示适配器从所述N个子出瞳中确认主视窗，包括：通过所述显示适配器获取眼球追踪结果。之后，根据所述眼球追踪结果确定眼球中瞳孔的位置，再根据所述眼球中瞳孔的位置确定被关注的一个子出瞳，将所述被关注的一个子出瞳作为主视窗。
通过眼球中瞳孔的位置确定主视窗的方式智能、灵活，一旦用户眼球中瞳孔的位置发生改变，则确定的主视窗也相应的改变，对于用户而言，在移动眼球的过程中，始终能够观看到子出瞳，因而视觉体验较好。
根据第一方面的第一种可能的实施方式，在第一方面的第三种可能的实施方式中，所述通过显示适配器从所述N个子出瞳中确认主视窗，包括：通过所述显示适配器获取反馈结果，将所述反馈结果指示的子出瞳作为主视窗。
通过显示适配器可以获取用户的反馈结果，由于反馈结果由用户直接给出，因而保证了最终确认的主视窗是由用户指定的一个子出瞳，不仅视觉体验较好，且更加能够满足用户的需求。
第二方面，提供了一种视网膜投影显示系统，所述系统包括：显示控制器、视网膜投影光引擎和光融合器。其中，所述视网膜投影光引擎包括光源和扫描调制器。所述光融合器包括多个光学分区。所述显示控制器，用于获取初始画面，将所述初始画面划分为N个子画面，将所述N个子画面的画面信息传输至所述视网膜投影光引擎，所述N为大于或等于2的正整数。所述视网膜投影光引擎，用于通过扫描调制器对所述N个子画面的画面信息进行调制，得到N个显示画面。之后，将所述N个显示画面的画面信息分别发送至光融合器的N个光学分区，所述显示画面的画面信息与所述光融合器的光学分区是一对一的。接收到画面信息的光学分区，用于确定子出瞳。
根据第二方面，在第二方面的第一种可能的实施方式中，所述系统还包括：显示适配器，用于从所述N个子出瞳中确认主视窗，所述主视窗为被关注的一个子出瞳。所述显示控制器，用于控制所述视网膜投影光引擎中的光源，以停止显示所述主视窗之外的子出瞳或降低所述主视窗之外的子出瞳的分辨率。
根据第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述系统还包括：眼球追踪装置，用于进行眼球追踪。所述显示适配器，用于获取眼球追踪结果，根据所述眼球追踪结果确定眼球中瞳孔的位置。之后，再根据所述眼球中瞳孔的位置确定被关注的一个子出瞳，将所述被关注的一个子出瞳作为主视窗。
根据第二方面的第一种可能的实施方式，在第二方面的第三种可能的实施方式中，所述显示适配器，用于获取反馈结果，将所述反馈结果指示的子出瞳作为主视窗。
第三方面，提供了一种视网膜投影显示装置，所述装置包括：镜框和两个镜腿。其中，所述镜框上包括两个镜片安装位。所述镜片安装位内有镜片，所述两个镜腿分别位于所述镜框的同侧的两端。所述镜腿中包括如上第二方面任一所述的显示控制器和视网膜投影光引擎，所述镜片中包括如上第二方面任一所述的光融合器。
根据第三方面，在第三方面的第一种可能的实施方式中，所述镜框中还包括如上第二方面任一所述的显示适配器。
根据第三方面的第一种可能的实施方式，在第三方面的第二种可能的实施方式中，所述装置还包括入瞳位置调节装置，用于将所述显示适配器确认的主视窗调整至目标位置。
附图说明
图1为本申请实施例提供的视网膜投影显示系统的结构示意图；
图2为本申请实施例提供的视网膜投影显示系统的工作流程图；
图3为本申请实施例提供的视网膜投影光引擎的结构示意图；
图4为本申请实施例提供的视网膜投影光引擎的结构示意图；
图5为本申请实施例提供的制作全息反射薄膜的示意图；
图6为本申请实施例提供的全息反射薄膜的波前示意图；
图7为本申请实施例提供的制作全息反射薄膜的示意图；
图8为本申请实施例提供的全息反射薄膜的波前示意图；
图9为本申请实施例提供的相衍面全息反射面的工作示意图；
图10为本申请实施例提供的自由曲面全息反射面的工作示意图；
图11为本申请实施例提供的视网膜投影显示系统的结构示意图；
图12为本申请实施例提供的视网膜投影显示系统的工作流程图；
图13为本申请实施例提供的视网膜投影显示方法的流程图；
图14为本申请实施例提供的视网膜投影显示过程示意图；
图15为本申请实施例提供的视网膜投影显示装置的结构示意图；
图16为本申请实施例提供的视网膜投影显示装置的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
视网膜投影显示技术是一种通过光束扫描的方式，向视网膜上投影画面的显示技术，近年来被广泛应用于AR设备中。目前，该技术主要通过光引擎将信息调制为显示画面，通过光融合器将显示画面投影至视网膜，以实现画面的显示。
其中，为保证AR设备的轻便性及实用性，常常使用体积较小的光引擎和光融合器。由于光引擎是通过根据图像源信息发射光束的方式对显示画面进行调制的，因而体积较小的光引擎其发射的光束也较细，从而造成出瞳范围较小。
对此，本申请实施例提供了一种视网膜投影显示系统，如图1所示，该系统包括：显示控制器101、视网膜投影光引擎102和光融合器103，其中，视网膜投影光引擎102包括光源和扫描调制器，光融合器103包括多个光学分区；
显示控制器101，用于获取初始画面，将初始画面划分为N个子画面，将N个子画面的画面信息传输至视网膜投影光引擎102，N为大于或等于2的正整数；
视网膜投影光引擎102，用于通过扫描调制器对N个子画面的画面信息进行调制，得到N个显示画面，将N个显示画面的画面信息分别发送至N个光融合器103的光学分区，显示画面的画面信息与光融合器103的光学分区是一对一的；
接收到画面信息的光学分区，用于确定子出瞳。
如图2所示，显示控制器101通过解码获取初始画面后，对获取的初始画面进行分割，将初始画面划分为N个子画面，并将N个子画面的画面信息传输至视网膜投影光引擎102；视网膜投影光引擎102接收N个子画面的画面信息后，对N个子画面的画面信息分别进行振幅调制及空间调制，从而根据N个子画面的画面信息得到N个显示画面，并将N个显示画面的画面信息分别发送至N个光融合器103的光学分区，且显示画面的画面信息与光融合器的光学分区是一对一的；通过每个接收到画面信息的光学分区分别确定一个子出瞳，从而最终得到由N个子出瞳拼接形成的系统的出瞳，出瞳为成像光束的公共出口，出瞳范围内的光束可在视网膜上投影成像，则人眼可以观看到投影画面。
需要说明的是，对初始画面进行划分得到的N个子画面的内容既可以不同，也可以相同。当N个子画面的内容不同时，N个子出瞳的画面内容也不同，在这种情况下，若相邻的子出瞳的间距小于用户的瞳孔直径，则用户的瞳孔会分别观看到两个画面内容不同的子出瞳，对于用户而言，两个画面内容不同的子出瞳叠加显示，即用户观看到的是混乱的两个叠加的子出瞳。对于上述问题，本申请实施例提供两种可行的解决方案：解决方案一中，调整相邻的子出瞳的间距至大于用户的瞳孔直径，使得用户在一个时刻只能看到其中一个子出瞳，从而避免了画面的混乱；解决方案二中，通过控制视网膜投影光引擎中的光源可以使得N个子出瞳中仅有一个子出瞳被显示，则用户在一个时刻仅能观看到一个子出瞳，同样避免了画面的混乱，且解决方案二可以降低系统所需的功耗。
相应地，当N个子画面的内容相同时，N个子出瞳的内容也相同，需要说明的是，此时将初始画面划分为N个子画面的内容均相同。在这种情况下，即使相邻的子出瞳的间距小于用户的瞳孔直径，造成了相邻子出瞳的叠加显示，但由于相邻子出瞳的画面内容相同，因而叠加前后的画面内容保持一致，用户仍能看到清晰的子出瞳。不过，在N个子出瞳的内容相同时，也可以采用显示且仅显示N个子出瞳中的一个子出瞳的方式，以降低系统所需的功耗。
在一种可选的实施方式中，本实施例将红绿蓝三原色(red，green，blue，RGB)激光器作为光源，将微型机电系统(micro-electromechanical systems，MEMS)作为扫描调制器，以构成视网膜投影光引擎102。其中，如图3所示，MEMS可以为用于操纵光束偏转的MEMS反射扫描振镜，或者，如图4所示，MEMS也可以为通过光纤与RGB激光器相连的MEMS致动器，MEMS致动器用于驱动光纤，以使光纤完成扫描调制。
当然，本实施例不对视网膜投影光引擎102的结构加以限定，除上述将RGB激光器作为光源、将MEMS作为扫描调制器的实施方式以外，也可以将RGB激光器或发光二极管(light emitting diode，LED)作为光源，将硅基液晶(liquid crystal on silicon，LCoS)或数字光处理(digital light processing，DLP)作为扫描调制器，且光源与扫描调制器可任意组合构成视网膜投影光引擎102。也就是说，本实施还提供RGB激光器+LCoS、RGB激光器+DLP、LED+LCoS以及LED+DLP等多种实施方式；另外，也可以将微型计算发光二级管(MicroLED)或者微型计算有机发光二极管(micro organic light-emitting diode,MicroOLED)直接作为视网膜投影显示光引擎102。
对于光融合器103，本实施例采用全息反射薄膜作为光融合器103。全息反射薄膜是一层透明的聚合物薄膜，对环境光可以有很高的透过率，但同时，对于从特定角度入射、特定波长的显示光线，它又等效为一面凹面反射镜，能够汇聚显示光线入瞳，进行视网膜投影。全息反射薄膜通常采用实验全息的方式加工而成，例如，全息反射薄膜可以有如下两种制作方式：
制作方式一如图5所示，从激光器发出的激光通过分光器分成两路，一路作为照明光，通过凹面反射镜对波前进行调制，并照射到透明基材的一侧上，另一路作为参考光照射到透明基材的另一侧，由于照明光与参考光是由同一激光器发出的相同波长的光，因而两者在该透明基材内部产生干涉，使该透明基材生成干涉条纹，从而将该透明基材制作成全息反射薄膜，制作方式一的波前示意图参见图6；制作方式二如图7所示，与制作方式一相比，制作方式二除将空间光调制器代替凹面反射镜之外，其他制作方式均与制作方式一相同，因而此处不再加以赘述，制作方式二的波前示意图参见图8。
进一步地，全息反射薄膜可以选用相衍面，如图9所示，相衍面全息反射薄膜具有一定的光学能力，能作用于特定波长、特定角度入射的光束。其中，相衍面遵循如下公式：
上式中，M为衍射级次，N为多项式系数的数量，Ai为第i个多项式的系数，Ei为多项式，本实施例中M＝1，N＝14，则相衍面遵循的公式如下，如下公式中的Ai的数值可参见如下的表1：
表1
| A<sub>1</sub> | A<sub>2</sub> | A<sub>3</sub> | A<sub>4</sub> | A<sub>5</sub> | A<sub>6</sub> | A<sub>7</sub> |
| 1.71E+005 | 0 | -1.08E+005 | 0 | -1.31E+005 | -5.4E+003 | 0 |
| A<sub>8</sub> | A<sub>9</sub> | A<sub>10</sub> | A<sub>10</sub> | A<sub>12</sub> | A<sub>13</sub> | A<sub>14</sub> |
| -1.44E+004 | 0 | 1.57E+004 | 0 | 2.77E+004 | 0 | 1.23E+004 |
另外，全息反射薄膜还可以选用曲面，例如，曲面反射光融合器选用自由曲面面型，如图10所示，自由曲面全息反射薄膜具有一定的光学能力，能够汇聚显示光线入瞳，进行视网膜投影。自由曲面遵循如下公式：
其中，c为曲率，r为径向半径，k为二次曲线系数，N为多项式系数的数量，Ai为第i项多项式的系数，Ei为多项式，本实施例中N＝14，则上述自由曲面遵循的公式中的展开如下：
上述公式中Ai的数值可参见如下的表2：
表2
其中，全息反射薄膜能够与普通眼镜镜片完美融合(贴在镜片上，或埋入镜片内)，因此，非常适合极简架构增强现实眼镜场景。也正因为如此，基于上述的全息反射薄膜，在本实施例中，一方面，视网膜投影光引擎102中的光源将特定波长的显示画面光束以特定角度发送给全息反射薄膜上的光学分区，则全息反射薄膜将接收到的显示画面光束反射入人眼，以构成由N个子出瞳拼接形成的系统的出瞳，该出瞳范围内的光束投影在人眼的视网膜上投影成像；另一方面，环境光可以直接透过该全息反射薄膜上的各个光学分区并进入人眼，则人眼除了观看到出瞳范围内的光束形成的像以外，还可以观看到真实环境。
另外，本实施例除了采用全息反射薄膜作为光融合器之外，也可以采用反射波导或者衍射波导作为光融合器，相应地，也需要在采用的反射波导或衍射波导上配置参考数量的光学分区，通过一个光学分区可确定一个子出瞳。
可选地，如图11所示，该系统还包括：显示适配器104，用于从N个子出瞳中确认主视窗，主视窗为被关注的一个子出瞳；
显示控制器101，用于控制视网膜投影光引擎102中的光源，以停止显示主视窗之外的子出瞳或降低主视窗之外的子出瞳的分辨率。
如图12所示，显示适配器104从N个子出瞳中确认主视窗后，将主视窗信息反馈给显示控制器101，显示控制器101根据接收的主视窗信息对视网膜投影光引擎102中的光源进行控制，则视网膜投影光引擎102仅对主视窗对应的画面信息继续进行调制，而停止对主视窗之外的子出瞳的画面信息的调制，从而停止显示主视窗之外的子出瞳；或者，显示控制器101控制视网膜投影光引擎102中的光源仅保持主视窗的分辨率不变，而降低主视窗之外的子出瞳的分辨率。
可选地，该系统还包括：眼球追踪装置，用于进行眼球追踪；
显示适配器104，用于获取眼球追踪结果，根据眼球追踪结果确定眼球中瞳孔的位置，根据眼球中瞳孔的位置确定被关注的一个子出瞳，将被关注的一个子出瞳作为主视窗。
可选地，显示适配器104用于获取反馈结果，将反馈结果指示的子出瞳作为主视窗。
综上所述，本申请实施例通过显示控制器、视网膜投影光引擎和具有参考数量光学分区的光融合器，形成了由N个子出瞳拼接形成的完整的系统的出瞳，出瞳范围内的光束可在人眼视网膜上投影成像。相比于直接基于显示控制器获取的初始画面确定一个子出瞳的显示系统，本实施例将初始画面划分为子画面、将N个显示画面的画面信息发送至光融合器的N个光学分区，通过每个光学分区分别确定子出瞳，增大了系统的出瞳范围，因而扩大了人眼观看投影画面时的可移动范围，提高了用户的使用体验。并且，系统本身的结构简单、体积较小、便于集成，且系统运行所需的功耗较低。
进一步地，本申请实施例通过显示适配器将全部子出瞳中被用户关注的一个子出瞳确认为主视窗，并通过显示控制器控制视网膜投影光引擎中的光源，以停止显示主视窗之外的子出瞳或降低主视窗之外的子出瞳的分辨率，从而在保证用户的使用体验不受影响的前提下，进一步降低了系统运行所需的功耗。
基于上述图1所示的视网膜投影显示系统，参见图13，本申请实施例提供了一种视网膜投影显示方法，该方法可应用于图1所示的视网膜投影显示系统中。基于图1所示的系统实现图13所示的方法时，过程可参见图14。首先，显示控制器101将解码/渲染的增强内容传输到视网膜投影光引擎102，由视网膜投影光引擎102调制成图像，再通过光融合器103进行虚实融合，用户将眼睛置于光融合器所提供的出瞳范围内，看到带有增强内容的现实世界。
接下来，对本申请实施例的各个过程进行详细说明，如图13所示，该方法包括：
步骤1301，通过显示控制器获取初始画面，将初始画面划分为N个子画面，将N个子画面的画面信息传输至视网膜投影光引擎，N为大于或等于2的正整数。
其中，初始画面是指通过计算机生成的虚拟画面，计算机生成初始画面后，将初始画面编码为便于传输、且携带初始画面信息的数码，并将该数码发送给显示控制器；显示控制器接收数码后，对接收的数码进行解码，从而根据数码携带的初始画面信息获取初始画面。
获取初始画面后，显示控制器将初始画面划分为N个子画面，N为大于或等于2的正整数。在本实施例中，显示控制器可以沿水平方向或垂直方向对初始画面进行划分。例如，以将初始画面划分为两个子画面为例，初始画面的水平尺寸为L、垂直尺寸为W，第一子画面的水平尺寸为L1、垂直尺寸为W1，第二子画面的水平尺寸为L2、垂直尺寸为W2，若沿水平方向进行划分，则L＝L1＝L2、W＝W1+W2；若沿垂直方向进行划分，则L＝L1+L2、W＝W1＝W2。
并且，显示控制器还可以在水平方向及垂直方向均对初始画面进行划分，例如，显示控制器可以对初始画面进行十字划分，则显示控制器将初始画面划分为四个子画面，此时每个子画面内容均为初始画面内容的一部分，且N个子画面内容之和为初始画面内容；或者，显示控制器可以对初始画面进行复制，得到与初始画面的内容相同的N个子画面。
另外，显示控制器还可以对获取的初始画面进行渲染，渲染是指对初始画面添加色彩、照明、纹理等特征，其作用在于提升初始画面的真实感。其中，本实施例不对渲染和划分的顺序加以限定，显示控制器可以先对初始画面进行渲染，再将已渲染的初始画面划分为N个子画面；也可以先将初始画面划分为N个子画面，再对每个子画面进行渲染，从而得到N个已渲染的子画面。
进一步地，显示控制器对划分得到的N个子画面进行光电转换，即将N个子画面的光信息转换为用于传输的N个子画面的电信息，将转换的N个子画面的电信息作为N个子画面的画面信息，并将N个子画面的画面信息传输至视网膜投影光引擎。
本实施例中，显示控制器将N个子画面中的每个子画面按照显示需求分解成像素，并将像素逐个转换为电信息，以实现N个子画面的光电转换。其中，显示需求可以是对画面分辨率的需求，画面分辨率是指单位英寸内像素的数量，对画面分辨率的需求越高，则显示控制器对每个子画面进行分解得到的像素数量就越多；像素是对应有位置特征和色彩特征的方格，是构成子画面的单位元素，也就是说，将像素按照参考顺序排列，使每个像素均位于其对应的位置上，即可构成一个完整的子画面。显示控制器将像素逐个转换为电信息后，将每个子画面包含的像素的电信息作为该子画面的画面信息，将N个子画面以同样的方式进行转换，从而将N个子画面的画面信息传输至视网膜投影光引擎。
步骤1302，视网膜投影光引擎对N个子画面的画面信息进行调制，得到N个显示画面，将N个显示画面的画面信息分别发送至光融合器的N个光学分区，显示画面的画面信息与光融合器的光学分区是一对一的。
显示控制器将N个子画面的画面信息发送给视网膜投影光引擎，视网膜投影光引擎接收到N个子画面的画面信息后，对N个子画面的画面信息进行调制，根据N个子画面的画面信息得到N个显示画面。
接下来，对视网膜投影光引擎的调制过程进行说明：视网膜投影光引擎接收N个子画面的电信息，每个子画面的电信息中均包含多个像素的电信息，视网膜投影光引擎根据接收的每个像素的电信息对像素进行还原，并使每个像素均位于其对应的位置上，进而得到N个显示画面，N个显示画面的内容与N个子画面的内容一一对应。
进一步地，视网膜投影光引擎包括光源和扫描调制器。其中，光源用于对接收到的像素的电信息进行振幅调制，振幅调制过程中，光源根据每个像素的电信息改变光束的振幅参数，并通过发射光束的形式还原像素；扫描调制器用于对光源发射的光束进一步进行空间调制，使得像素按照参考顺序排列，从而构成显示画面。需要说明的是，该显示画面以光束形式存在，光束中包含显示画面的画面信息，通过该光束可以对显示画面成像。
得到N个显示画面后，视网膜投影光引擎将N个显示画面的画面信息分别发送至光融合器的N个光学分区，每个光学分区接收且仅接收一个显示画面的画面信息，即显示画面的画面信息与光融合器的光学分区是一对一的。其中，可以对光融合器上的光学分区的数量进行调整，以保证光学分区与显示画面一一对应。例如，预先配置的光学分区的数量为9个，而视网膜投影光引擎将4个显示画面的画面信息分别发送至光融合器，则此时可以在9个光学分区中选择4个光学分区进行使用，而其余的5个光学分区处于空闲状态，并不接收显示画面的画面信息，则视网膜投影光引擎将4个显示画面的画面信息分别发送至选择的4个光学分区，从而保证了显示画面的画面信息与光融合器的光学分区是一对一的。当然，也可以根据显示画面的画面信息数量预先设置光学分区的数量，使得显示画面的画面信息与光学分区的数量一致，则每个光学分区均接收到对应的显示画面的画面信息。
步骤1303，通过N个光学分区中的每个光学分区分别确定一个子出瞳，得到N个子出瞳，N个子出瞳拼接形成系统的出瞳，出瞳为成像光束的公共出口，出瞳范围内的光束可在视网膜上投影成像。
视网膜投影光引擎对N个子画面信息进行调制后，将得到的N个显示画面的画面信息以光束形式分别发送给N个光融合器的光学分区，每个光学分区分别对接收到的光束进行反射，得到成像光束，则N个光学分区共得到N个成像光束，N个成像光束分别落于人眼的视网膜上，从而实现投影成像。在本实施例中，将每个成像光束的出口作为一个子出瞳，则通过N个光学分区共确定N个子出瞳，N个子出瞳按照参考顺序拼接形成系统的出瞳，该出瞳即为成像光束的公共出口。
由于系统的出瞳由N个子出瞳共同拼接形成，因此出瞳范围较大，当人眼的注视方向朝向N个子出瞳中的一个子出瞳时，人眼的余光中仍能看到其他的子出瞳；并且，当人眼发生移动时，人眼的注视方向也会相应地发生改变，由于出瞳范围较大，因而在人眼的各个注视方向上均有对应的子出瞳。可以看出，本实施例在不影响画面内容及质量的情况下，增加了人眼的可移动范围，避免了偏离中心的注视方向上产生的画面空白，提高了人眼的视觉体验。
在本实施例中，采用全息反射薄膜作为光融合器。全息反射薄膜是具有一定光学能力，能作用于特定角度入射、特定波长的光束，而不影响环境光透过的一种薄膜。一方面，在全息反射薄膜上设置参考数量的光学分区，并向将特定波长的显示画面光束以特定角度发送给全息反射薄膜上的光学分区，则全息反射薄膜将接收到的显示画面光束反射入人眼，并投影于人眼的视网膜上，则人眼可以看到投影形成的虚像；另一方面，环境光可以直接透过该全息反射薄膜上的各个光学分区并进入人眼，则人眼除了观看到虚像以外，还可以观看到真实环境。
在一种可选的实施方式中，在得到N个子出瞳之后，当眼球转到不同的方向，看到的是不同的子出瞳；这种模式下，可设置一个主视窗，主视窗为被人眼关注的一个子出瞳，主视窗的设置原则是尽量选取多个单独的子出瞳中靠近中心的一个子出瞳所对应的视窗。例如，基于人眼的结构，当有N个成像光束落于人眼的视网膜上，即人眼能够观看到N个子出瞳时，人眼主要关注的仍为N个子出瞳中的一个子出瞳，因此，可以确定人眼主要关注的子出瞳，并将该子出瞳作为确定的主视窗。
可选地，可通过显示适配器从N个子出瞳中确定主视窗，确定主视窗的方式包括但不限于如下两种：
第一种从N个子出瞳中确认主视窗的确认方式：通过显示适配器获取眼球追踪结果，根据眼球追踪结果确定眼球中瞳孔的位置，根据眼球中瞳孔的位置确定被关注的一个子出瞳，将被关注的一个子出瞳作为主视窗。
例如，通过眼球追踪装置追踪眼球发生的移动，得到的眼球追踪结果可指示眼球中瞳孔的位置，如眼球中瞳孔当前的朝向角度等，不同朝向角度对应不同的子出瞳，则显示适配器获取眼球追踪结果后，可根据眼球追踪结果确定眼球中瞳孔的位置，根据眼球中瞳孔的位置即可确定被关注的一个子出瞳，从而将被关注的一个子出瞳作为主视窗。
第二种从N个子出瞳中确认主视窗的确认方式：通过显示适配器获取反馈结果，将反馈结果指示的子出瞳作为主视窗。
例如，通过显示控制器控制光源逐一点亮N个子出瞳，以便于用户对N个子出瞳进行区分，并从中选择一个子出瞳反馈给显示适配器，则显示适配器将用户的反馈中指示的子出瞳作为主视窗，从而完成主视窗的确定。
进一步地，确定主视窗后，显示适配器将确认的主视窗信息发送给显示控制器，显示控制器根据接收的主视窗信息控制视网膜投影光引擎中的光源，以停止显示主视窗之外的子出瞳，或者，降低主视窗之外的子出瞳的分辨率，从而降低视网膜投影光引擎中的光源所需的功耗，进而降低了系统的运行成本。
例如，以图12所示的场景，且N＝9为例，显示控制器在未接收到主视窗信息之前，人眼能够观看到9个子出瞳，且9个子出瞳以3x3的形式排列；通过显示适配器将位于第二行、第二列的子出瞳确认为主视窗，并将该主视窗的信息发送给显示控制器，从而使得显示控制器根据接收的主视窗信息控制视网膜投影光引擎中的光源，停止显示该主视窗周围的8个子出瞳，或者降低该主视窗周围的8个子出瞳的分辨率。
其中，由于显示控制器是按照参考顺序将N个子画面的画面信息传输至视网膜投影光引擎的，则光源按照同样的参考顺序进行发射光束，从而在光融合器的配合下确定出N个子出瞳。在本实施例中，显示控制器可以控制光源仅根据主视窗对应的子画面的画面信息发射光束，而不根据主视窗以外的子出瞳对应的子画面的画面信息发射光束，则光融合器仅将主视窗对应的光束反射入人眼，人眼仅能观看到主视窗，从而实现了主视窗之外的子出瞳的停止显示。通过停止显示除主视窗之外的子出瞳，在不影响人的视觉体验的情况下，能够降低系统资源需求，节省资源和功耗。
或者，对于主视窗对应的子画面的画面信息，显示控制器控制光源根据该画面信息中包括的所有像素的电信息发光，以还原构成该子画面的所有像素；对于主视窗以外的子出瞳对应的子画面的画面信息，显示控制器控制光源仅根据画面信息中包括的部分像素的电信息发光，使得光源还原出的像素的数量减少，从而降低了主视窗之外的子出瞳的分辨率。由于每个像素均具有色彩特征，因而在具体实施过程中，可以通过控制光源发出的光束颜色来控制光源还原的像素数量。以光源为RGB激光器为例，该激光器可以发射红色、绿色、蓝色共三种颜色的光束，对于主视窗对应的子画面的画面信息，该激光器按照各像素的色彩特征以参考比例发射红色、绿色、蓝色的光束，从而可以还原对应所有色彩特征的像素；对于主视窗以外的子出瞳对应的子画面的画面信息，该激光器可以仅以参考比例发射红色、绿色的光束，则无法还原对应的色彩特征中需要蓝色的像素，从而减少了光源还原出的像素数量，进而实现了主视窗以外的子出瞳的分辨率的降低，以降低系统资源需求，节省资源和功耗。
基于上述对本申请实施例的详细介绍，接下来将本申请实施例提供的技术方案与几种相关的投影显示方式进行对比，对比结果如下面的表3所示。
表3
| 序号 | 几种相关的投影显示方式 | 本申请实施例提供的技术方案改进效果 |
| 1 | 在投影光路上增加透镜 | 无需增加透镜，体积更小 |
| 2 | 在投影光路上增加光学散射体 | 无需增加散射体，体积更小、功耗更低 |
| 3 | 在投影光路上增加微透镜阵列 | 无需增加微透镜阵列，体积更小、功耗更低、易制造 |
| 4 | 在投影光路上增加衍射部件 | 无需增加衍射部件，体积更小、功耗更低、易制造 |
| 5 | 多套光引擎 | 无需多套光引擎，体积小、功耗低、成本低、易制造 |
| 6 | 衍射波导方案 | 光效率更高、可与普通曲面镜片融合、成本低、易制造 |
| 7 | 多套RGB波长全息反射方案 | 无需多套RGB芯片，体积小、功耗和成本低、易制造 |
| 8 | 移动整个光引擎追踪入瞳 | 无需光引擎拖动装置，体积小、功耗和成本低、易制造 |
| 9 | 移动光融合器追踪入瞳 | 无需光融合器拖动装置，体积小、功耗和成本低、易制造 |
综上所述，本实施例通过显示控制器、视网膜投影光引擎和具有参考数量光学分区的光融合器，形成了由N个子出瞳拼接形成系统的出瞳，出瞳范围内的光束可在视网膜上投影成像。相比于直接基于显示控制器获取的初始画面确定一个子出瞳的显示系统，本实施例将初始画面划分为子画面、将N个显示画面的画面信息发送至光融合器的N个光学分区，通过每个光学分区分别确定一个子出瞳，增大了出瞳范围，进而增大了人眼观看投影画面时的可移动范围，提高了用户的使用体验。并且，实现上述技术方案所需的功耗较低，从而提高了上述技术方案的实用性与可行性。
进一步地，本申请实施例通过显示适配器将全部子出瞳中被用户关注的子出瞳确认为主视窗，并通过显示控制器控制视网膜投影光引擎中的光源，以停止显示主视窗之外的子出瞳或降低主视窗之外的子出瞳的分辨率，从而在保证用户的使用体验不受影响的情况下，进一步降低了实现上述技术方案所需的功耗及运行成本。
基于相同的申请构思，本实施例还提供一种视网膜投影显示装置，如图15所示，该装置包括镜框和两个镜腿；
其中，镜框上包括两个镜片安装位，镜片安装位内有镜片，两个镜腿分别位于镜框的同侧的两端；该装置可固定于用户的头部，用户进行佩戴时，将两个镜腿固定于双耳上侧，使两个镜片安装位正对用户的双眼，从而完成佩戴。
并且，如图16所示，镜腿中包括显示控制器和视网膜投影光引擎，镜片中包括光融合器。在本实施例中，将全息反射薄膜作为光融合器，该全息反射薄膜可贴附于镜片靠近人眼的一端，也可埋装于镜片内部；此外，由于全息反射薄膜仅对参考角度入射的光束有反射作用，因而在确定视网膜投影光引擎的具体安装位置时，应保证从视网膜投影光引擎中的光源发射的光束在到达镜片上的全息反射薄膜时，光束的入射角度恰好等于该参考角度，从而保证了光束的正常反射。
可选地，镜框中还包括显示适配器，显示适配器埋装于镜框内部。
进一步地，该装置还包括入瞳位置调节装置，入瞳位置调节装置用于将显示适配器确认的主视窗调整至目标位置。在一种可选的实施方式中，该入瞳位置调节装置可以是具有可塑性的鼻托，该鼻托与镜框相连，且正对用户的鼻梁。当显示适配器确认的主视窗对应的方向不符合用户的注视习惯时，用户可以手动调节该可塑性鼻托，以将显示适配器确认的主视窗调节至符合用户自身注视习惯的方向。例如，以子出瞳的数量为9，且9个子出瞳以3x3的形式排列为例，显示适配器将位于第一行、第一列的子出瞳确认为主视窗，对于全部的9个子出瞳而言，该主视窗位于左上方，若用户不习惯对左上方进行注视，则可以通过调节可塑性鼻托的方式将该主视窗调节至符合自身注视习惯的方向，如中心位置。
综上所述，本申请实施例提供的视网膜投影显示装置不仅结构简单、体积较小，而且运行所需的功耗较低，实用性较强。
进一步地，通过该装置中位于镜框上的入瞳位置调节装置，可将显示适配器确认的主视窗调整至目标位置，以满足不同用户的个人使用习惯，扩大该装置的适用范围。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种视网膜投影显示方法，其特征在于，所述方法包括：
通过显示控制器获取初始画面，将所述初始画面划分为N个子画面，将所述N个子画面的画面信息传输至视网膜投影光引擎，所述N为大于或等于2的正整数；
所述视网膜投影光引擎对所述N个子画面的画面信息进行调制，得到N个显示画面，将所述N个显示画面的画面信息分别发送至光融合器的N个光学分区，所述显示画面的画面信息与所述光融合器的光学分区是一对一的；
通过所述N个光学分区中的每个光学分区分别确定一个子出瞳，得到N个子出瞳，所述N个子出瞳拼接形成系统的出瞳，所述出瞳为成像光束的公共出口，所述出瞳范围内的光束可在视网膜上投影成像。
2.根据权利要求1所述的方法，其特征在于，所述得到N个子出瞳之后，还包括：
通过显示适配器从所述N个子出瞳中确认主视窗，所述主视窗为被关注的一个子出瞳；
通过所述显示控制器控制所述视网膜投影光引擎中的光源，以停止显示所述主视窗之外的子出瞳或降低所述主视窗之外的子出瞳的分辨率。
3.根据权利要求2所述的方法，其特征在于，所述通过显示适配器从所述N个子出瞳中确认主视窗，包括：
通过所述显示适配器获取眼球追踪结果，根据所述眼球追踪结果确定眼球中瞳孔的位置，根据所述眼球中瞳孔的位置确定被关注的一个子出瞳，将所述被关注的一个子出瞳作为主视窗。
4.根据权利要求2所述的方法，其特征在于，所述通过显示适配器从所述N个子出瞳中确认主视窗，包括：
通过所述显示适配器获取反馈结果，将所述反馈结果指示的子出瞳作为主视窗。
5.一种视网膜投影显示系统，其特征在于，所述系统包括：显示控制器、视网膜投影光引擎和光融合器，其中，所述视网膜投影光引擎包括光源和扫描调制器，所述光融合器包括多个光学分区；
所述显示控制器，用于获取初始画面，将所述初始画面划分为N个子画面，将所述N个子画面的画面信息传输至所述视网膜投影光引擎，所述N为大于或等于2的正整数；
所述视网膜投影光引擎，用于通过扫描调制器对所述N个子画面的画面信息进行调制，得到N个显示画面，将所述N个显示画面的画面信息分别发送至光融合器的N个光学分区，所述显示画面的画面信息与所述光融合器的光学分区是一对一的；
接收到画面信息的光学分区，用于确定子出瞳。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括：
显示适配器，用于从所述N个子出瞳中确认主视窗，所述主视窗为被关注的一个子出瞳；
所述显示控制器，用于控制所述视网膜投影光引擎中的光源，以停止显示所述主视窗之外的子出瞳或降低所述主视窗之外的子出瞳的分辨率。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：
眼球追踪装置，用于进行眼球追踪；
所述显示适配器，用于获取眼球追踪结果，根据所述眼球追踪结果确定眼球中瞳孔的位置，根据所述眼球中瞳孔的位置确定被关注的一个子出瞳，将所述被关注的一个子出瞳作为主视窗。
8.根据权利要求6所述的系统，其特征在于，所述显示适配器，用于获取反馈结果，将所述反馈结果指示的子出瞳作为主视窗。
9.一种视网膜投影显示装置，其特征在于，所述装置包括镜框和两个镜腿；
其中，所述镜框上包括两个镜片安装位，所述镜片安装位内有镜片，所述两个镜腿分别位于所述镜框的同侧的两端；
所述镜腿中包括权利要求5-8任一所述的显示控制器和视网膜投影光引擎，所述镜片中包括权利要求5-8任一所述的光融合器。
10.根据权利要求9所述的装置，其特征在于，所述镜框中还包括权利要求6-8任一所述的显示适配器。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
入瞳位置调节装置，用于将所述显示适配器确认的主视窗调整至目标位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811613896.5A CN109633904A (zh) | 2018-12-27 | 2018-12-27 | 视网膜投影显示方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811613896.5A CN109633904A (zh) | 2018-12-27 | 2018-12-27 | 视网膜投影显示方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109633904A true CN109633904A (zh) | 2019-04-16 |
Family
ID=66078534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811613896.5A Pending CN109633904A (zh) | 2018-12-27 | 2018-12-27 | 视网膜投影显示方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109633904A (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103119512A (zh) * | 2008-11-02 | 2013-05-22 | 大卫·乔姆 | 近眼式显示系统和装置 |
-
2018
- 2018-12-27 CN CN201811613896.5A patent/CN109633904A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103119512A (zh) * | 2008-11-02 | 2013-05-22 | 大卫·乔姆 | 近眼式显示系统和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11710469B2 (en) | Depth based foveated rendering for display systems | |
| US11714284B2 (en) | Display device including foveal and peripheral projectors | |
| US11971551B2 (en) | Systems and methods for manipulating light from ambient light sources | |
| US11644669B2 (en) | Depth based foveated rendering for display systems | |
| CN113660474B (zh) | 图像投影系统 | |
| JP7212616B2 (ja) | 頭部搭載型ディスプレイシステムのためのマルチ解像度ディスプレイ | |
| JP7005644B2 (ja) | 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ | |
| US11551602B2 (en) | Non-uniform resolution, large field-of-view headworn display | |
| CN113163180B (zh) | 使用声光控制装置的光投影仪 | |
| US10274731B2 (en) | Optical see-through near-eye display using point light source backlight | |
| CN105492957B (zh) | 采用成对眼镜形式的图像显示设备 | |
| JP2021505935A (ja) | 導波管照明器 | |
| CN110506230A (zh) | 宽视场扫描显示器 | |
| EP3816701A1 (en) | Multi-focal plane display system and apparatus | |
| CN105158903B (zh) | 显示器 | |
| CN109633904A (zh) | 视网膜投影显示方法、系统及装置 | |
| US20220121027A1 (en) | Display system having 1-dimensional pixel array with scanning mirror | |
| CN110383139A (zh) | 用于显示图像的方法和系统 | |
| CN107870418A (zh) | 一种近眼显示系统及虚拟现实设备 | |
| CN118076912A (zh) | 波导布置 | |
| CN113640987A (zh) | 可变焦光学成像阵列系统、近眼显示装置及光学系统图像投射方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |