CN107942513A - 基于光场成像的景深增强型虚拟现实显示系统与方法 - Google Patents

基于光场成像的景深增强型虚拟现实显示系统与方法 Download PDF

Info

Publication number
CN107942513A
CN107942513A CN201711068719.9A CN201711068719A CN107942513A CN 107942513 A CN107942513 A CN 107942513A CN 201711068719 A CN201711068719 A CN 201711068719A CN 107942513 A CN107942513 A CN 107942513A
Authority
CN
China
Prior art keywords
display
field
imaging
depth
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711068719.9A
Other languages
English (en)
Inventor
楼益民
胡娟梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Zhejiang University of Science and Technology ZUST
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN201711068719.9A priority Critical patent/CN107942513A/zh
Publication of CN107942513A publication Critical patent/CN107942513A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

本发明公开了一种基于光场成像的景深增强型虚拟现实显示方法。该方法采用两个成像通道进行成像,每一个成像通道的成像过程为:多个点光源照射由显示器和透镜阵列组成的光场信息显示模组,在三维空间中形成虚拟四维光场图像,然后利用目镜组将虚拟四维光场图像信息放大。所述显示器不在透镜阵列的1倍焦距处;不同位置的点光源照射下,四维光场图像的显示深度不同,实现景深增强型光场成像虚拟现实显示。本发明还提供了一种实现上述显示方法的系统。本发明解决了当前虚拟现实显示系统中三维图像景深受限制的问题、观察者由于聚焦与汇聚竞争冲突引起的视觉疲劳问题,以及景深控制机构复杂,响应速度低等问题,在扩大景深的同时实现了实时响应。

Description

基于光场成像的景深增强型虚拟现实显示系统与方法
技术领域
本发明涉及虚拟现实领域,具体涉及一种基于光场成像的景深增强型虚拟现实系统与方法。
背景技术
虚拟现实(简称VR),又称灵境技术,是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。这种技术利用计算机图形学技术,高分辨显示技术,传感交互等技术生成逼真的三维虚拟环境,使用者利用特定的输入和显示设备实现与虚拟环境的实时交互,感知和操作虚拟环境中的对象,从而获得身临其境的感受。与增强现实技术在开放的现实环境中使用不同,虚拟现实技术的使用环境通常是一个人为设定的安全的虚拟环境,这种环境的视觉效果主要由计算机生成,并通过显示设备将信息输入人眼,被人眼感知。
三维立体视觉是人眼的自然属性,所以虚拟现实技术需要给使用者提供三维的虚拟信息。目前用于虚拟现实的三维显示技术主要由立体镜技术、光场成像、全息显示等。立体镜技术是目前市场上使用的主流技术,主要基于双目视觉原理,给人眼输入视差图像而获得立体信息。这种技术存在聚焦与汇聚竞争冲突等视觉问题,容易引起视觉疲劳问题,并引起使用者的不适。
基于全息显示的虚拟现实技术,利用重构的波前信息来显示三维虚拟场景。可以有效解决使用者的视觉疲劳问题。但是其三维效果、景深、视角受到了显示像素尺寸的制约。而且显示性能受到全息图巨大计算量的限制。
基于光场成像的虚拟现实技术。可以提供连续的水平、垂直视差和运动视差。较好地解决了聚焦与汇聚的竞争问题。但是这种系统的三维景深受到了光场成像系统的严重制约,只能在有限景深距离内实现虚拟三维信息的正确显示。
发明内容
有鉴于此,本发明的目的是克服背景技术中的缺点,提供一种基于光场成像的景深增强型虚拟现实显示系统与方法。
本发明的目的是通过以下技术方案实现的:一种基于光场成像的景深增强型虚拟现实显示方法,方法采用两个成像通道进行成像,每一个成像通道的成像过程为:光源照射由显示器和透镜阵列组成的光场信息显示模组,在三维空间中形成虚拟四维光场图像,然后利用目镜组将虚拟四维光场图像信息放,所述光源为由多个点光源组成的时序照明模组,点光源中心距离所述显示器中心的距离不同,点光源发生近似球面波,照射信息显示模组;所述显示器不在透镜阵列的1倍焦距处;不同位置的点光源照射下,四维光场图像的显示深度不同,实现景深增强型光场成像虚拟现实显示。
进一步地,不同的点光源按设定时序依次照明,同时显示器按时序同步刷新显示信息。
进一步地,两个成像通道中的目镜组之间的距离通过螺母进行调节,使得两个成像通道的中心轴距与观察者的瞳孔间距匹配。
进一步地,该系统包括两个成像模组,每个成像模组包括:由多个点光源组成的时序照明模组、由显示器和透镜阵列组成的光场信息显示模组和目镜组;点光源发生近似球面波,照射光场信息显示模组,在三维空间中得到虚拟四维光场图像,然后经目镜组将虚拟四维光场图像信息进行放大成像。所述显示器不在透镜阵列的1倍焦距处,各点光源中心距离所述显示器中心的距离不同,不同位置的点光源照射下,虚拟四维光场图像信息的显示深度不同,从而实现景深增强型光场成像虚拟现实显示。
进一步地,所述成像模组还包括控制模组,所述控制模组协调控制点光源按时序照明并同步刷新显示器。
进一步地,所述显示器为反射式显示器,位于透镜阵列的两倍物方焦距内,更优选位于透镜阵列的一倍物方焦距以内。或为透射式显示器,位于透镜阵列的两倍物方焦距内或者两倍像方焦距内,更优选位于透镜阵列的一倍物方焦距以内或者一倍像方焦距内。
进一步地,所述反射式显示器选自反射式数字微镜(DMD)微显示器、反射式硅基液晶(LCOS)微显示器等。
进一步地,所述透射式显示器选自透射式液晶(LCD)显示面板、透射式液晶微显示器。
进一步地,所述点光源位于垂直于所述微显示器所在平面的直线上。
进一步地,还包括一装载所述成像模组的支撑框架,用于遮挡环境光并吸收内部杂散光。
本发明的有益效果在于:
(1)解决了当前虚拟现实显示系统中三维图像景深受限制的问题,提供一种景深增强型虚拟现实系统。
(2)解决了当前虚拟现实显示系统中观察者由于聚焦与汇聚竞争冲突引起的视觉疲劳问题,提供一种大景深范围内的光场图像信息。
(3)解决了当前虚拟现实显示系统景深控制机构复杂,响应速度低等问题,提供了一种能够实时响应的大景深光场图像显示系统。
附图说明
图1为实施例1所述的景深增强型虚拟现实头盔;
图2为实施例2所述的景深增强型虚拟现实头盔;
图3为实施例3所述的景深增强型虚拟现实头盔;
图4为实施例4所述的景深增强型虚拟现实头盔;
图5为本发明景深增强的原理图;
图中,照明模组1、信息显示模组2、透射式液晶(LCD)显示面板21、透镜阵列22、透射式液晶(LCD)微显示器23、反射式微显示器24、目镜组3、控制模组4、支撑宽架5、虚拟信息6、固定绳7、观察者眼睛8、螺母9、半透半反镜10、透镜14、棱镜15;11、12、13表示照明模组1中不同的点光源,611、622、633分别表示不同光源照射信息显示模组在三维空间中得到虚拟四维图像,61、62、63表示不同景深处合成的虚拟信息。
具体实施方式
本发明采用两个成像通道进行成像,其中一个成像通道如图5所示,照明模组由3个LED点光源11、12和13组成,距离微显示器分别为S,S’和S”,三个点光源照明显示器并通过透镜阵列分别形成图像611、622和633;所示图像611、622和633距离透镜阵列分别为d,d’,d”,并位于物镜组的一倍焦距内,其中图像633位于物镜组的一倍焦距处,611位于物镜组的顶点处。图像611、622和633通过目镜组3放大后分别形成图像61、62和63。其中61紧贴物镜组,63位于无穷远处,62位于两者之间。
在LED点光源照明下,显示器通过透镜阵列形成的图像611、622和633距离微透镜阵列的距离与LED点光源的距离显示器的距离存在如下关系:
图像景深:
其中f是透镜阵列的焦距,g是透镜阵列与微显示器之间的距离,d0是常数。pi是景深d处的像素大小,pl是透镜阵列的周期。由上式可知d是S的函数,即通过改变S即可改变d。系统中参数S可通过时序照明模组来调制,通过合理设置S即可在物镜组的一倍焦距范围内获得连续的三维图像。这些图像通过目镜组即可获得距离目镜组0到无穷远的景深。
由上可知,可以通过调整点光源与光场信息显示模组之间的距离,即可实现景深的连续调节,从而实现大景深真三维增强现实显示。
作为本领域的公知常识,两个成像通道分别对应于观察者的两个眼睛,因此两个通道之间的距离与观察者的瞳距匹配,左右眼成像通道的视野与观察者的双目视野相匹配。此外,本发明的技术方案中,通过简单的单片机即可实现不同的点光源按设定时序依次照明,同时微显示器按时序同步刷新显示信息。
实施例一
本实施例提供一种基于光场成像的景深增强型虚拟现实头盔,如图1所示,包括安装于支撑宽架5内的两组成像模组(包括时序照明模组1、光场信息显示模组2、目镜组3和控制模组4)以及固定绳7。所述时序照明模组有三个LED点光源11、12、13组成,所述LED点光源的中心到所述光场信息显示模组中心的距离不同。所述LED点光源发出近似球面波,所述近似球面波照明光场信息显示模组2。所述光场信息显示模组2由透射式液晶(LCD)显示面板21和透镜阵列22构成。所述透镜阵列的焦距为F,所述LCD显示面板位于透镜阵列的物方一倍焦距以内的0.1F处。LCD显示面板经点光源照射后,所显示的图像信息通过透镜阵列合成四维光场信息。所述四维光场信息通过目镜组2的放大成像在观察者眼睛8的前方空间中形成虚拟信息6。
所述控制模组4协调控制照明模组1和光场信息显示模组2,当照明模组中点光源12点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方中距离景深处形成虚拟信息62。当照明模组中点光源11点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方远距离景深处合成虚拟信息61。当照明模组中点光源13点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方近距离景深处合成虚拟信息63。
所述支撑宽架5隔离环境光干扰,内部为吸光黑色,吸收内部杂散光。所述固定绳7可调节松紧,适应不同的人佩带。
所述螺母9调节两个目镜组之间的距离,以适应不同人的瞳距。
实施例二
本实施例提供一种紧凑型的基于光场成像的景深增强型虚拟现实头盔,如图2所示,包括安装于支撑宽架5内的两组成像模组(包括时序照明模组1、光场信息显示模组2、目镜组3和控制模组4)以及固定绳7。所述时序照明模组有三个LED点光源11、12、13组成,所述LED点光源的中心到所述光场信息显示模组中心的距离不同。所述LED点光源发出近似球面波,所述近似球面波照明光场信息显示模组2。所述光场信息显示模组2由透射式液晶(LCD)微显示器23和透镜阵列22构成。所述透镜阵列的焦距为F,所述LCD微显示器位于透镜阵列的像方一倍焦距以内的0.1F处。经点光源照射后,LCD微显示器所显示的图像信息通过透镜阵列合成四维光场信息。所述四维光场信息通过目镜组2的放大成像在观察者眼睛8的前方空间中,形成虚拟信息6。
所述控制模组4协调控制照明模组1和光场信息显示模组2,当照明模组中点光源12点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方中距离景深处形成虚拟信息62。当照明模组中点光源11点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方远距离景深处合成虚拟信息61。当照明模组中点光源13点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方近距离景深处合成虚拟信息63。
所述支撑宽架5隔离环境光干扰,内部为吸光黑色,吸收内部杂散光。所述固定绳7可调节松紧,适应不同的人佩带。
所述螺母9调节两个目镜组之间的距离,以适应不同人的瞳距。
由于微显示器的使用,本实施例中的头盔结构非常紧凑。是一种轻量化集成化的虚拟现实头盔。
实施例三
本实施例提供一种紧凑型的基于光场成像的景深增强型虚拟现实头盔,如图3所示,包括安装于支撑宽架5内的两组成像模组(包括时序照明模组1、光场信息显示模组2、目镜组3、半透半反镜10和控制模组4)以及固定绳7。所述时序照明模组有三个LED点光源11、12、13组成,所述LED点光源的中心到所述光场信息显示模组中心的距离不同。所述LED点光源发出近似球面波,所述近似球面波经过半透半反镜10的反射后照明光场信息显示模组2。所述光场信息显示模组2由反射式微显示器24(硅基液晶LCOS微显示器)和透镜阵列22构成。所述透镜阵列的焦距为F,所述LCOS微显示器位于透镜阵列的物方一倍焦距以内的0.1F处。经点光源照射后,LCOS微显示器所显示的图像信息通过透镜阵列合成四维光场信息。所述四维光场信息穿过半透半反镜10后通过目镜组2的放大成像在观察者眼睛8的前方空间中,形成虚拟信息6。
所述控制模组4协调控制照明模组1和光场信息显示模组2,当照明模组中点光源12点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方中距离景深处形成虚拟信息62。当照明模组中点光源11点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方远距离景深处合成虚拟信息61。当照明模组中点光源13点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方近距离景深处合成虚拟信息63。
所述支撑宽架5隔离环境光干扰,内部为吸光黑色,吸收内部杂散光。所述固定绳7可调节松紧,适应不同的人佩带。
所述螺母9调节两个目镜组之间的距离,以适应不同人的瞳距。
由于反射式微显示器的使用,本实施例中的头盔结构更加紧凑。是一种轻量化,集成化的虚拟现实头盔。
实施例四
本实施例提供一种紧凑型的基于光场成像的景深增强型虚拟现实头盔,如图4所示,包括安装于支撑宽架5内的两组成像模组(包括时序照明模组1、光场信息显示模组2、目镜组3、透镜14、棱镜15和控制模组4)以及固定绳7。所述时序照明模组有三个LED点光源11、12、13组成,所述LED点光源的中心到所述光场信息显示模组中心的距离不同。所述LED点光源发出近似球面波,所述近似球面波经过透镜14的汇聚,棱镜15的折射和反射后照明光场信息显示模组2。所述光场信息显示模组2由反射式微显示器24(数字微镜DMD微显示器)和透镜阵列22构成。所述透镜阵列的焦距为F,所述DMD微显示器位于透镜阵列的物方一倍焦距以内的0.2F处。经点光源照射后,DMD微显示器所显示的图像信息通过透镜阵列合成四维光场信息。所述四维光场信息穿过棱镜后通过目镜组2的放大成像在观察者眼睛8的前方空间中,形成虚拟信息6。
所述控制模组4协调控制照明模组1和光场信息显示模组2,当照明模组中点光源12点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方中距离景深处形成虚拟信息62。当照明模组中点光源11点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方远距离景深处合成虚拟信息61。当照明模组中点光源13点亮时,光场信息显示模组通过图像刷新并结合目镜组在观察者前方近距离景深处合成虚拟信息63。
所述支撑宽架5隔离环境光干扰,内部为吸光黑色,吸收内部杂散光。所述固定绳7可调节松紧,适应不同的人佩带。
所述螺母9调节两个目镜组之间的距离,以适应不同人的瞳距。
由于反射式微显示器的使用,本实施例中的头盔结构更加紧凑。是一种轻量化,集成化的虚拟现实头盔。

Claims (10)

1.一种基于光场成像的景深增强型虚拟现实显示方法,该方法采用两个成像通道进行成像,每一个成像通道的成像过程为:光源照射由显示器和透镜阵列组成的光场信息显示模组,在三维空间中形成虚拟四维光场图像,然后利用目镜组将虚拟四维光场图像信息放大。其特征在于,所述光源为由多个点光源组成的时序照明模组,点光源中心距离所述显示器中心的距离不同,点光源发生近似球面波,照射信息显示模组;所述显示器不在透镜阵列的1倍焦距处;不同位置的点光源照射下,四维光场图像的显示深度不同,实现景深增强型光场成像虚拟现实显示。
2.根据权利要求1所述的方法,其特征在于,不同的点光源按设定时序依次照明,同时显示器按时序同步刷新显示信息。
3.根据权利要求1所述的方法,其特征在于,两个成像通道中的目镜组之间的距离通过螺母进行调节,使得两个成像通道的中心轴距与观察者的瞳孔间距匹配。
4.一种基于光场成像的景深增强型虚拟现实显示系统,该系统包括两个成像模组,每个成像模组包括:由多个点光源组成的时序照明模组、由显示器和透镜阵列组成的光场信息显示模组和目镜组;点光源发生近似球面波,照射光场信息显示模组,在三维空间中得到虚拟四维光场图像,然后经目镜组将虚拟四维光场图像信息进行放大成像。所述显示器不在透镜阵列的1倍焦距处,各点光源中心距离所述显示器中心的距离不同,不同位置的点光源照射下,虚拟四维光场图像信息的显示深度不同,从而实现景深增强型光场成像虚拟现实显示。
5.根据权利要求4所述的系统,其特征在于,所述成像模组还包括控制模组,所述控制模组协调控制点光源按时序照明并同步刷新显示器。
6.根据权利要求4所述的系统,其特征在于,所述显示器为反射式显示器,位于透镜阵列的两倍物方焦距内,更优选位于透镜阵列的一倍物方焦距以内。或为透射式显示器,位于透镜阵列的两倍物方焦距内或者两倍像方焦距内,更优选位于透镜阵列的一倍物方焦距以内或者一倍像方焦距内。
7.根据权利要求6所述的系统,其特征在于,所述反射式显示器选自反射式数字微镜(DMD)微显示器、反射式硅基液晶(LCOS)微显示器等。
8.根据权利要求6所述的系统,其特征在于,所述透射式显示器选自透射式液晶(LCD)显示面板、透射式液晶微显示器。
9.根据权利要求4所述的系统,其特征在于,所述点光源位于垂直于所述微显示器所在平面的直线上。
10.根据权利要求4所述的系统,其特征在于,还包括一装载所述成像模组的支撑框架,用于遮挡环境光并吸收内部杂散光。
CN201711068719.9A 2017-11-03 2017-11-03 基于光场成像的景深增强型虚拟现实显示系统与方法 Pending CN107942513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711068719.9A CN107942513A (zh) 2017-11-03 2017-11-03 基于光场成像的景深增强型虚拟现实显示系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711068719.9A CN107942513A (zh) 2017-11-03 2017-11-03 基于光场成像的景深增强型虚拟现实显示系统与方法

Publications (1)

Publication Number Publication Date
CN107942513A true CN107942513A (zh) 2018-04-20

Family

ID=61933257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711068719.9A Pending CN107942513A (zh) 2017-11-03 2017-11-03 基于光场成像的景深增强型虚拟现实显示系统与方法

Country Status (1)

Country Link
CN (1) CN107942513A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610634A (zh) * 2020-06-23 2020-09-01 京东方科技集团股份有限公司 一种基于四维光场的显示系统及其显示方法
CN112714303A (zh) * 2020-12-28 2021-04-27 烟台艾睿光电科技有限公司 一种红外立体成像方法、系统及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105388621A (zh) * 2015-12-10 2016-03-09 苏州大学 基于近似球面波照明的裸眼三维显示系统及应用方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105388621A (zh) * 2015-12-10 2016-03-09 苏州大学 基于近似球面波照明的裸眼三维显示系统及应用方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610634A (zh) * 2020-06-23 2020-09-01 京东方科技集团股份有限公司 一种基于四维光场的显示系统及其显示方法
CN111610634B (zh) * 2020-06-23 2022-05-27 京东方科技集团股份有限公司 一种基于四维光场的显示系统及其显示方法
US11789287B2 (en) 2020-06-23 2023-10-17 Beijing Boe Optoelectronics Technology Co., Ltd. Display system based on four-dimensional light field, and display method therefor
CN112714303A (zh) * 2020-12-28 2021-04-27 烟台艾睿光电科技有限公司 一种红外立体成像方法、系统及设备
CN112714303B (zh) * 2020-12-28 2023-05-12 烟台艾睿光电科技有限公司 一种红外立体成像方法、系统及设备

Similar Documents

Publication Publication Date Title
JP7369507B2 (ja) 可変焦点および/または物体認識を備えたウェアラブル3d拡張現実ディスプレイ
Liu et al. An optical see-through head mounted display with addressable focal planes
CN103118265B (zh) 一种自准直立体显示系统
CA2284915C (en) Autostereoscopic projection system
US20120287125A1 (en) Three-dimensional stereoscopic imaging method, system and imaging device
CN108107579A (zh) 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示系统
US20160105665A1 (en) Unassisted stereoscopic display device using directional backlight structure
CN109683335A (zh) 使用眼睛位置的无三维眼镜光场显示
EP2924991B1 (en) Three-dimensional image display system, method and device
CN107908013A (zh) 一种大景深真三维增强现实显示方法及系统
Lin et al. Retinal projection head-mounted display
WO2012175939A1 (en) Apparatus and method for displaying images
CN106842599B (zh) 一种3d视觉成像方法及实现3d视觉成像的眼镜
CN110458953A (zh) 一种三维图像重构系统及方法
CN102710945A (zh) 变焦立体成像和显示系统
RU2653560C1 (ru) Голографический проектор-б
CN107942513A (zh) 基于光场成像的景深增强型虚拟现实显示系统与方法
JPH08504556A (ja) 2次元像に3次元的効果を発生させる方法及び装置
JP2012022278A (ja) 映像実体感メガネ
Lu et al. Vergence-accommodation conflict potential solutions in augmented reality head mounted displays
CN206674125U (zh) 一种显示系统、包括该显示系统的设备以及观看装置
Takatsuka et al. Retinal projection display using diffractive optical element
CN100516977C (zh) 观看屏幕上三维图像的方法和设备
Emoto et al. Analysis of retinal images for retinal projection type super multi-view 3D head-mounted display
Kovacs et al. 3D display technologies and effects on the human vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420