CN112970247B - 显示多重景深影像的系统与方法 - Google Patents

显示多重景深影像的系统与方法 Download PDF

Info

Publication number
CN112970247B
CN112970247B CN201980071908.2A CN201980071908A CN112970247B CN 112970247 B CN112970247 B CN 112970247B CN 201980071908 A CN201980071908 A CN 201980071908A CN 112970247 B CN112970247 B CN 112970247B
Authority
CN
China
Prior art keywords
pixel
optical
dimensional image
optical signals
optical signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980071908.2A
Other languages
English (en)
Other versions
CN112970247A (zh
Inventor
陈台国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haisi Zhicai Holding Co ltd
Original Assignee
Haisi Zhicai Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haisi Zhicai Holding Co ltd filed Critical Haisi Zhicai Holding Co ltd
Publication of CN112970247A publication Critical patent/CN112970247A/zh
Application granted granted Critical
Publication of CN112970247B publication Critical patent/CN112970247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/365Image reproducers using digital micromirror devices [DMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2006Lamp housings characterised by the light source
    • G03B21/2033LED or laser light sources

Abstract

一种用于显示多重景深三维影像的系统与方法,其利用至少一光讯号产生器,依序产生复数光讯号;以及至少一个光学组件,用以接收来自至少所述光讯号产生器的复数光讯号,且基于一预定的扫描模式在一预定的时间段内,投射和扫描所述复数光讯号,用以在空间中显示三维影像;其中,所述三维影像中每一个像素显示于所述光讯号中至少两个朝向一观察者的眼睛的一位置,所述至少两个光源讯号的路径或路径的延伸在与所述位置以与所述像素的景深相关的角度相交,并且所述预定时间段是十八分之一秒。据此,可以达成简化结构、微型化设施以及节省成本等优点。

Description

显示多重景深影像的系统与方法
【技术领域】
本发明揭露一用以显示立体影像的方法与系统,特别是关于一种用以显示立体影像的方法与系统,其中每一个像素是利用每一个像素显示于所述光讯号中至少两个朝向一观察者的眼睛的位置,所述至少两个光源讯号的路径或路径的延伸在与所述位置以与所述像素的景深相关的角度相交。
【背景技术】
裸眼三维立体影像术是一种显示立体影像的技术,不需要在观看者身上戴任何头戴装置或眼镜,因此被称为“无眼镜三维”。归因于裸眼三维立体影像的技术,佩戴特殊的观察眼镜或跟踪设备已不再是享受裸眼三维可视化的先决条件。但是,它们的局限性(例如狭窄的视角,低影像质量,串扰和浅影像景深)阻碍了它们在裸眼三维可视化的较大区域和更广泛的商业用途中的进一步推广。无论如何,已经开发出许多方法来提供裸眼三维立体影像术,其中一种是三维全像术和体积显示
三维全息影像技术是使用摄影投影生成的三维影像。它是真正的三维独立影像,不仿真空间景深,不需要特殊的眼镜即可观看。换句话说,它定义为在空间中自由存在的三维投影。它是光场的全息记录,而不是镜头形成的影像。但是,三维全息影像技术具有以下缺点:(1)在荧光灯照明下不容易看到;(2)在产品设计中实施全息投影是昂贵的;(3)使用三维全息影像构造影像非常耗时;(4)全息数据存储遭受噪声和灵敏度问题。因此,它具有物质上的局限性。同时,由于各种因素,例如动态显示,实时生成和用于电视存在的电子讯号传输,在短期内难以实现商业化的快速发展。
与裸眼三维立体影像术有关的其他传统技术可以采用微机电系统(MEMS)反射镜,以通过将光线反射和投射到空间中的相应位置来显示三维影像。但是,这种常规技术需要由许多微机电系统反射镜形成的微机电系统反射镜数组来显示高分辨率三维影像,从而使得到的三维影像显示系统体积庞大且成本高昂,并且对于实际的裸眼三维立体影像术应用不可行。
【发明内容】
本发明揭露一种用以显示具有多重景深的三维影像的系统与方法,其特征在于利用微机电系统反射镜反射光讯号,据此在光讯号的路径或路径的延伸相交位置用以在空间中依照像素的景深显示对应三维影像的像素。本发明揭露内容的特征与优点会在以下进行描述。
本公开的附加特征和优点将在随后的描述中阐述,并且从描述中将部分地显而易见,或者可以通过实践本公开而获知。
为了达到前述目的,用以显示三维影像投影系统具有至少一光讯号产生器,依序产生复数光讯号;以及至少一个光学组件,用以接收来自至少所述光讯号产生器的复数光讯号,且基于一预定的扫描模式与一预定的时间段内,投射和扫描所述复数光讯号,用以在空间中显示三维影像;其中,所述三维影像中每一个像素显示于所述光讯号中至少两个朝向一观察者的眼睛的一位置,所述至少两个光源号的路径或路径的延伸在与所述位置以与所述像素的景深相关的角度相交,并且所述预定时间段是十八分之一秒。
为了达到前述目的,用以显示具有景深三维影像的方法,包含:(a)由至少一光讯号产生器依序产生复数光讯号;以及(b)所述复数光讯号由至少一光学组件接收并基于一预定的扫描模式与一预定的时间段内,投射和扫描所述复数光讯号,用以在空间中显示三维影像;其中,所述三维影像中每一个像素显示于所述光讯号中至少两个朝向一观察者的眼睛的一位置,所述至少两个光源号的路径或路径的延伸在与所述位置以与所述像素的景深相关的角度相交,并且所述预定时间段是十八分之一秒。
依据上述描述,至少有两个在不同时间依序产生的光讯号被反射到一空间位置以显示三维影像的对应像素至观测者眼睛。依序产生的光讯号的路径会延伸路径相交用以显示像素在交会位置。依照人类视觉暂留现象,所有用以显示三维影像的光讯号必须在十八分之一秒内被观测者眼睛接收。据此,本发明所揭示的方法与系统具有结构简单、体积小以及低建置成本的优点。
应当理解,前面的一般描述和下面的详细描述都是示例性和解释性的,并且旨在提供对所要求保护的本发明的进一步解释。
【附图说明】
图1是本发明的用于显示具有多重景深的三维影像的系统的第一实施例的示意图。
图2是本发明的用于显示具有多重景深的三维影像的系统的第二实施例的示意图。
图3是本发明的用于显示具有多重景深的三维影像的系统的第三实施例的示意图。
图4是本发明的用于显示具有多重景深的三维影像的系统的第四实施例的示意图。
图5A至5C是本发明的由通过不同序列产生的光讯号形成的像素的示意图。
图6A和6B是本发明的具有两种和三种颜色的光讯号显示相同像素的示意图。
图7是本发明的查找表的图。
图8A至图8F是本发明的不同扫描图案的示意图。
图9是本发明的应用于增强现实(AR)眼镜的系统的示意图。
图10是本发明的系统的示意图,该系统应用于可以解决近视问题的AR眼镜。
图11是本发明的具有两个光讯号产生器和两个光学组件的系统的示意图。
图12是本发明的用于显示具有多重景深的三维影像的方法的流程图。
【具体实施方式】
本实施例涉及一种或多种方法,系统,装置和计算器可读介质,该方法,系统,装置和计算器可读介质存储处理器可执行的处理步骤,以显示具有用于观察者眼睛的空间景深的三维影像。三维影像投影系统具有至少一个光讯号产生器和至少一个对应的光学组件。每个光讯号产生器都有一个相应的光学组件。每个光讯号产生器依次产生照射到相应光学组件的多个光讯号。光学组件投射并扫描来自光讯号产生器的多个光讯号,以在空间中显示三维影像。每个光讯号被投影到在空间上具有景深的位置。观看者可以看到具有景深的三维影像,因为所有光讯号都在视觉持续时间内进入观看者的眼睛。每个像素通过至少两个光讯号显示在一个位置上,至少两个光讯号的路径或路径的延伸在与像素景深相关的位置和角度处相交。光讯号由光讯号产生器顺序地产生,并且每个光讯号的时间非常短。结果,投射像素的至少两个光讯号在显示像素的位置处可能不会彼此物理相交。然而,由于视觉的暂留性,观看者会感知到显示在该位置的像素。
在第一实施例中,参照图1,三维影像投影系统包括光讯号产生器10,用于顺序地产生照射到光学组件20上的多个光讯号。光讯号产生器10更进一步地包括光源12,光颜色修改器14和反射器16。其中,光源12可以是雷射、发光二极管(light-emitting diode,LED),小间距发光二极管(Micro LED),有机发光二极管(organic light-emitting diode,OLED)或超发光二极管(superluminescent diode,SLD)或其任意组合。依照所选择的光源12,光颜色修改器14可以是彩色滤光器或组合器。在本实施例中,光源12可以是白光超发光二极管或白光发光二极管。在这种情况下,光颜色修改器14可以是彩色滤光器,以导出期望的像素光颜色。在另一个实施例中,光源12可以包括红色光激光器,绿色光激光器和蓝色光激光器。在那种情况下,光颜色修改器14可以是组合器,例如二向色组合器和偏振组合器。反射器16可以用于调节多个光讯号的方向。反射器16可以是可调整反射器或固定反射器。如果选用可调整的反射器,则反射器16可以是微机电系统(micro electro mechanicalsystem,MEMS)反射镜。对于微机电系统反射镜,需要设置微机电系统反射镜以在固定方向上反射光讯号。另外,光讯号产生器10可以包括光强度修改器,用以导出期望的像素光强度。光讯号产生器10可以进一步包括准直镜18,以使多个光讯号的光束收敛变窄,例如,以使运动方向在特定方向上变得更加对准,或者使光束的空间截面变为较小。准直镜18可以是曲面镜或透镜。
一个光讯号的持续时间很短,例如大约31奈秒。在一实施例中,三维影像的分辨率为每帧1280×720像素。需要至少两个光讯号来显示一个位置的像素。为了使观看者观看这样的三维影像,光讯号产生器10必须在视觉持续时间例如1/18秒的时间段内顺序地产生1280*720*2个光讯号。因此,每个光讯号的持续时间约为30.14奈秒。为了更流畅地显示三维动画影像,每秒投影24帧或更多帧。也就是说,每个1280x720像素的帧必须投影在1/24秒或更短的时间段内,而不是1/18秒。因此,为了每秒显示24帧,每个像素的持续时间必须为22.61奈秒。由于每个光讯号由光讯号产生器10顺序生成,并且每个像素的持续时间小于30.14奈秒,因此投射相同像素的两个光讯号不会传播通过它们的路径或路径扩展相交的位置。
光学组件20用于投射来自光讯号产生器10的多个光讯号,沿其特定的光路径传播,从而将三维影像的每个像素以其所需的位置和景深显示给观察者的眼睛。因此,光学组件20可包括一个或多个可调整的反射器,每个可调整的反射器可包括一个或多个可反射光讯号并以二维或三维方式调节其反射角的透镜或反射镜。每个可调整反射器可以是微机电系统(MEMS)反射镜,硅基液晶(liquid crystal on silicon,LCoS)或数字光处理(digitallight processing,DLP)或其任意组合。在图1所示的实施例中,光学组件20可以包括两个可二维调整反射器:第一可二维调整反射器22和第二可二维调整反射器24。第一可二维调整反射器22可以由第一双轴微机电系统反射镜实现。第二可调整反射器24可以由第二双轴微机电系统反射镜实现。在如图2所示的另一实施例中,光学组件20可以包括可三维调整的反射器26,其可以在三个维度上旋转和/或移动以调整每个光讯号的反射角。可三维调整反射器26可以由三轴微机电系统反射镜实现。另外,图1和图2中的光学组件20还可以包括固定的反射器28,以促进多个光讯号的对准,使得观看者可以更容易地看到三维影像。固定反射器28可包括平面镜、菲涅耳透镜、菲涅耳反射器、曲面镜、屈光镜、周期性奈米结构光聚合物薄膜或布拉格光栅导光板,或其任何组合。特别地,在增强实境(Augmented Reality,AR)的应用中,固定反射器28可以是AR眼镜的透镜。
如图2和图3所示,光学组件20可以仅包含一个或多个可调整整反射器,其中固定反射器28是可选的。光学组件20可以包括(1)可以通过第一双轴微机电系统反射镜22和第二双轴微机电系统反射镜24实现的两个可二维调整反射器,或者(2)可以通过三轴微机电系统实现的一个可三维调整反射器。当不存在固定反射器28时,观看者可以看到实际上在空间中投影三维影像的光讯号。换句话说,在通过光路交叉点传播后,至少两个投射像素的光讯号被观看者的眼睛直接接收,而没有任何进一步的反射。
如图4所示,至少一个准直镜60放置在光讯号产生器10和光学组件20之间以使来自反射器16的光束变窄。准直镜60可以是曲面镜或透镜。
图1中的三维影像控制器30连接到三维影像产生器(未示出),以从三维影像产生器接收三维影像50的多个像素数据和预定的扫描图案。三维影像内容的制作者可以使用三维影像产生器来创建三维影像投影文件,该文件包括要在空间中投影的三维影像的多个像素数据和预定的扫描图案以扫描这种三维影像。像素数据报括关于每一个像素的讯息,该讯息可以包括该像素的像素光颜色,像素光强度,像素位置,像素景深和像素生成频率。在一示例中,像素光颜色可由24位颜色(分别在R,G,B中以8个位表示)表示。在一示例中,像素光强度可由电流控制的8位标度表示。在一示例中,像素位置可以由二维或三维坐标表示。在一示例中,像素景深可以由像素与观看者的眼睛之间的距离表示。在一示例中,像素生成频率可以由在一秒内投影的多个像素表示。
三维影像控制器30可以包括至少一个处理器(例如图形处理单元存储器)、输入/输出组件、无线或有线通信组件(例如WiFi,蓝牙,4G/5G电信)和存储器。基于三维影像50的多个像素数据和从三维影像创建者接收的预定扫描图案,三维影像控制器30生成用于光讯号产生器10的光讯号产生器控制讯号和用于光学组件20的光学组件控制讯号。光讯号产生器控制讯号可以包括用于控制光讯号产生器10的各种组件的讯号,例如光源12、光颜色修改器14、光强度修改器15和固定反射器16。产生器控制讯号用于控制光源12和颜色修改器14轮流提取红色、绿色与蓝色,以生成所需的混合色。光学组件控制讯号可以包括用于控制光学组件20的各个组件的讯号,例如针对三维影像50的每个像素的第一双轴微机电系统反射镜22的旋转角度和第二双轴微机电系统反射镜24的旋转角度。三维影像控制器30通过无线或有线连接将光讯号产生器控制讯号传输至光讯号产生器10,并将光学组件控制讯号传输至光学组件20。期望的颜色和强度可以沿着期望的光路传播,使得光路或路径的延伸在期望的位置和期望的角度相交,以得出观看者眼睛的期望景深。
如图5A所示,该三维影像具有每帧1280×720像素的分辨率。在一个实施例中,通过投影两个光讯号来显示每个像素,所述两个光讯号的路径或路径的延伸在显示像素的位置处相交。P1x1(1)表示用于将第一像素投影到影像帧的(1,1)位置的第一光讯号。P1x1(2)表示用于将第一像素投影到影像帧的(1,1)位置的第二光讯号。P1x2(1)表示用于将第二像素投影到影像帧的(1,2)位置的第一光讯号。P1x2(2)表示用于将第二像素投影到影像帧的(1,2)位置的第二光讯号。Pixj(1)表示用于将第N个像素投射到影像帧的(i,j)位置的第一光讯号。Pixj(2)表示用于将第N个像素投影到影像帧的(i,j)位置的第二光讯号。P1280x720(1)表示用于将最后一个像素投影到影像帧的(1280,720)位置的第一个光讯号。P1280x720(2)表示第二个光讯号,用于将最后一个像素投影到影像帧的(1280,720)位置。
如图5B所示,在一个实施例中,投射相同像素的两个光讯号由光讯号产生器10顺序地和连续地生成。多个光讯号是按照t1、t2、t3…t(1280x720x2)的时间序列生成的。在时间t1生成代表用于将第一像素投影到影像帧的(1,1)位置的第一光讯号的P1x1(1),然后是代表用于投影相同的第一光讯号的第二光讯号的P1x1(2)在t2时刻生成的影像帧的(1,1)位置的像素。如果使用从左到右和从上到下的扫描图案,则在影像帧的(2,1)位置投射第二个像素的两个光讯号将跟随第一个像素的光讯号。详细地,表示在t3时刻生成的影像帧的(2,1)位置上用于投影第二像素的第一光讯号的P2x1(1);紧跟在之后的是表示用于投影影像帧的(2,1)位置相同的第二像素的第二光讯号的P2x1(2)在t4时生成。
如图5C所示,在另一实施例中,投射相同像素的两个光讯号由光讯号产生器10顺序地和分别地生成。仍然以从t1、t2、t3…t(1280x720x2)时间序列生成多个光讯号。但是,虽然在时间t1生成了用于将第一像素投射到影像帧的(1,1)位置的第一光讯号的P1x1(1)的第一光讯号,但是代表第二光的P1x1(2)在t(1280x720+1)时产生用于将相同的第一像素投影在影像帧的(1,1)位置的讯号。用于在影像帧的(1,1)位置投影相同像素的第一光讯号和第二光讯号被1280x720的其他光讯号分开。在该实施例中,尽管还使用了从左到右和从上到下的扫描模式,但是首先产生用于所有像素的第一光讯号,然后接着产生用于所有像素的第二光讯号。
如图6A所示,用于投影相同的第一像素的第一光讯号P1x1(1)和第二光讯号P1x1(2)由光讯号产生器10在t1和t2的不同时间顺序地产生,并沿着不同的光路传播,并且在T1和T2的不同时间到达观看者的视线。第一光讯号和第二光讯号实际上彼此不相交。但是,它们的路径或它们到观察者眼睛的路径的延伸在第一个像素向观察者景深投影的位置处相交。用于投射相同像素的第一光讯号和第二光讯号中的每一个可以包含红色,绿色和蓝色的混合色,并且在色彩上相同。然而,用于投影相同像素的第一光讯号和第二光讯号可以具有互补的光色。例如,第一光讯号为红色,第二光讯号为青色。第一光讯号为绿色,第二光讯号为洋红色。或第一光讯号为蓝色,第二光讯号为黄色。
如图6B所示,影像帧的(1,1)位置处的第一像素由三个光讯号投影:第一光讯号P1x1(1)、第二光讯号P1x1(2)和第三光讯号P1x1(3)。第一像素的三个光讯号分别在不同的时间生成,并在不同的时间到达观看者的眼睛。因此,第一光讯号,第二光讯号和第三光讯号实际上彼此不相交。但是,它们的路径或它们向观察者眼睛延伸的路径在第一个像素向观察者景深投影的位置处相交。在该实施例中,第一光讯号,第二光讯号和第三光讯号分别具有红色,绿色和蓝色。
当三维影像显示在空间中时,可以通过扫描图案来确定与三维影像的显示方式相关联的顺序和图案。参考图。参照图8A至8F,给出了两个非限制性示例以示出扫描图案。参考图8A,扫描图案被定义为在左右方向和上下方向或左右方向和底部向上方向上一次扫描一行三维影像。参考图8B,扫描图案被定义为在从最内圈到最外圈或者从最外圈到最内圈的方向上扫描三维影像中同心定位的像素。参考图8C,定义扫描图案以从边界区域上的端点到三维影像的中心或从边界区域上的中心到端点螺旋地扫描三维影像。参考图8D,扫描图案被定义为从最接近的像素(到观看者)到最远的像素,或者从最远的像素到最接近的像素扫描三维影像。如前所述,最接近的像素用符号“●”标记,第二最接近的像素用符号“x”标记,最远的像素用符号“■”标记。参考图8E,扫描图案被定义为沿从0度到360度的顺序移动通过中心和边界区域上的像素之间的所有像素的径向三维影像。参考图8F,扫描图案被定义为以锯齿形的方式扫描三维影像,该三维影像从左上角到右下角遍历三维影像的所有像素。
三维影像控制器30从三维影像产生器接收三维影像和预定扫描图案的多个像素数据,然后分别向至少一个光讯号产生器提供光讯号生成控制数据,并向至少一个光讯号产生器提供光学组件控制数据。光学组件。光讯号产生器基于光讯号生成控制数据生成多个光讯号,并且光学组件基于光学组件控制数据投射并扫描多个光讯号。如图7所示,查找表用于提供映射方案以映像多个光讯号中的两个的相同景深,其延伸相交以形成与两个光讯号相对应的三维影像的像素,该像素在相交的位置处光学组件控制数据的空间即两个反射角θ1和θ2在空间上相对应,图1和图3中的第二二维可调整反射器24利用该反射角θ1和θ2相对于光学组件控制数据在空间上相交,或者图3中的可三维调整反射器26分别将照射到第二可二维调整反射器24或可三维调整反射器26上的两个光讯号反射到固视反射器28或直接反射到空间中的像素。例如,当三维影像的像素的像素数据的像素景深为150mm时,可以首先在查找表中识别出对应的景深150mm,然后将其映射到两者的反射角θ1和θ2。由第二可二维调整反射器24或3D可调整反射器26反射的光讯号反射角分别为67°和72°。
关于相关应用,参考图9,示出了包括框架61和透镜组62的增强现实(AR)眼镜。根据本发明的用于显示具有景深的三维影像的系统包括光讯号产生器611和反射器组612。反射器组612具有两个可二维调整整的反射器。由于其尺寸很小,该系统可以安装在框架61内。在一个实施例中,光讯号产生器611包括但不限于激光光源或低像素分辨率矩阵光源,透镜组62包括多个平透镜或多个反射镜透镜,并且反射器组612的两个可二维调整的反射器是双轴微机电系统反射镜。在本实施例中,当由光讯号产生器611顺序地产生时,多个光讯号被反射器组612反射,以将两个顺序的光讯号投射到AR眼镜的菲涅耳反射表面之一上以形成三维的像素。观看者可以在空间中看到的影像。这种设计可以扩大用户的视野(Field of View,FOV),以显示具有所需景深的三维影像。
参考图10,表示将用于显示具有景深的三维影像的系统结合到AR眼镜中的另一种应用,该系统可以解决近视问题。AR眼镜包括框架70和透镜76。用于显示具有景深的三维影像的系统包括光讯号产生器72和反射器组74。反射器组74包括两个可二维调整整的反射器。除了透镜76是由塑料或玻璃制成的无度数透镜或反射镜之外,AR眼镜的结构与图9中的类似。当由光讯号产生器72顺序产生的多个光讯号被反射器组74反射以将两个顺序的光讯号投射到AR眼镜的透镜76上时,由透镜76反射的那些光讯号可以直达观看者的视网膜使物体78上的物体可以被看到。本实施例的AR眼镜是为具有近视问题的用户设计的。为了纠正近视问题,可以通过使用具有正确反射角的透镜76适当地反射照射到用户视网膜上的光讯号,来定制AR眼镜以适合用户的眼镜处方。由1',2'和3'指示的虚线指向具有视力矫正的三维影像,该影像形成在观看者的视网膜上,而由1、2和3指示的实线则指向三维影像在观看者的视网膜之前形成,因而没有视力矫正。
参考图11,为了更有效地扫描,用于显示具有景深的三维影像的系统包括两个光讯号产生器10和两个光学组件20。两个光讯号产生器10交替地产生多个光讯号。两个光学组件交替地从两个光讯号产生器接收相应的光讯号,并基于预定的扫描图案在预定的时间段内投射和扫描多个光讯号,以在空间中显示三维影像。预定扫描图案可以是(但不限于)由其中一个光讯号产生器10以及其中一个光学组件2在一定时间内从左到右和从上到下共同扫描三维影像的一半;而由另一光讯号产生器10和另一光学组件20由下而上和由左到右共同扫描三维影像的另一半。三维影像的每个像素在从两个光讯号产生器10之一到观察者的眼睛的多个光讯号中的至少两个处显示在一个位置处,该至少两个光讯号的路径或路径的延伸在该相交处。位置和与像素景深相关的角度,并且预定时间段是十八分之一秒。
参考图12,由上述系统执行用于显示具有景深的三维影像的方法,该方法包括以下步骤。
步骤100:至少一光讯号产生器依序产生多个光讯号。
步骤200:至少一个光学组件接收多个光讯号,并基于预定的扫描图案在预定的时间段内投射并扫描多个光讯号,以在空间中显示三维影像。
通过多个光讯号中的至少两个向观看者的眼睛显示三维影像的每个像素的位置,至少两个光讯号的路径或路径延伸在与景深相关联的位置和角度处相交像素的预定时间间隔是十八分之一秒。
以上虽然阐述了本发明诸多技术特征及优势,但其揭露的功能及细部结构皆为示例性说明。在不背离本发明的精神下,本发明申请专利范围的权利范畴最大解读方式涵盖基于本说明书的教示而改变本发明形状、大小、及部件的配置方式所得的改良。
以上的实施例系提供给该领域具有通常知识者可使用本案。该实施例的各种改良变化对该领域具有通常知识者而言可为显而易见。在不涉及新的技术特征的前提下,在此描述的技术思想与目标物可被运用至其他实施例。本案的请求的权利范围不用来限制在此描述的实施例,且应该以最广的范畴解读。其他囊括在本案精神内的的实施例亦可被包含在本案中。本案请求的权利范围亦涵盖其他改良变化及均等物。

Claims (46)

1.一种用于显示具有景深的三维影像的系统,包括:
至少一光讯号产生器,依序产生复数光讯号,其中所述的至少一光讯号产生器具有一光讯号产生器;以及
至少一光学组件,用以接收来自至少所述光讯号产生器的复数光讯号,且基于一预定的扫描模式与一预定的时间段内,投射和扫描所述复数光讯号,用以在空间中显示三维影像,其中所述至少一光学组件具有一光学组件;以及
一三维影像控制器,用以接收所述三维影像的多个像素数据以及一三维影像产生器产生的特定扫描模式、相应地提供光讯号产生控制数据给所述至少一光讯号产生器,以及提供光学组件控制数据至所述光学组件;
其中,所述三维影像中每一个像素显示于所述光讯号中至少两个朝向一观察者的眼睛的一位置,所述至少两个光讯号的路径或路径的延伸在与所述位置以与所述像素的景深相关的角度相交,并且所述预定时间段是十八分之一秒;
其中每一个所述像素数据包含像素色彩、像素光强度、像素位置、像素景深以及像素产生频率,以及所述光讯号产生器依据多个所述光讯号产出控制数据产出所述复数光讯号,并且所述光学组件依据所述光讯号产出控制数据投影并扫描所述复数光讯号。
2.根据权利要求1所述的系统,其中所述三维影像控制器具有一查找表用以转化所述三维影像每一个像素的所述像素位置、像素景深为所述光学组件控制数据。
3.根据权利要求1所述的系统,其中每一所述三维影像的像素仅透过两个所述光讯号所显示。
4.根据权利要求1所述的系统,其中每一个用以展示所述三维影像中同一个像素的所述复数个光讯号包含一致的红、绿、蓝色混合彩度。
5.根据权利要求1所述的系统,其中所述复数光讯号包含两个光讯号用以显示所述三维影像中一相同像素且包含两个补色。
6.根据权利要求5所述的系统,其中用以显示所述三维影像中同一像素的所述两个光讯号对为红色与青色、绿色与洋红色或蓝色与黄色。
7.根据权利要求1所述的系统,其中用以显示所述三维影像中同一像素的所述复数光讯号包含红、绿与蓝三种颜色。
8.根据权利要求1所述的系统,其中预定扫描模式是指扫描三维影像的顺序为(1)从左到右且从上到下或从下到上扫描;
(2)同心设置的环由三维影像中最中心环向最外围环扫描或从最外围环向最中心环扫描;
(3)螺旋地由一边为位置的端点向三维影像中心或由三维影像中心向端点扫描;
(4)从最靠近(所述观察者)的像素向最远离的像素或由最远离的像素向最靠近的像素扫描;
(5)从0度到360度的顺序径向穿过中心和边界区域上的像素之间的所有像素扫描;
(6)以锯齿形的方式从左上角到右下角扫描三维影像的所有像素;或
(7)随机扫描获得特殊效果。
9.根据权利要求1所述的系统,其中所述光讯号产生器持续地产生复数光讯号用以显示一相同像素。
10.根据权利要求1所述的系统,其中所述的光讯号产生器包含一光源、一色彩调整器以及一反射器。
11.根据权利要求10所述的系统,其中所述光源包含雷射、发光二极管、小间距发光二极管、有机发光二极管、超发光二极管。
12.根据权利要求10所述的系统,其中所述光源包含一红色雷射光源、一绿色雷射光元以及一蓝色雷射光源。
13.根据权利要求1所述的系统,其中所述光学组件包含一可三维调整的反射器以投影扫描所述复数光讯号到所述观察者眼睛。
14.根据权利要求13所述的系统,其中所述可三维调整的反射器为一三轴微机电系统反射镜。
15.根据权利要求1所述的系统,其中光学组件包含一第一可二维调整反射器,用以反射所述光讯号产生器的所述复数光讯号;一第二可二维调整反射器,用以反射来自所述第一可二维调整反射器的所述复数光讯号;以及,一固定反射器,用以反射来自所述第二可二维调整反射器的所述复数光讯号到所述观察者的眼睛。
16.根据权利要求15所述的系统,其中光学组件包含一第一双轴微机电系统反射镜、液晶覆硅或数字光处理器,用以反射来自所述光讯号产生器的所述复数光讯号;以及一第二双轴微机电系统反射镜、液晶覆硅或数字光处理器,用以反射来自所述第一双轴微机电系统反射镜、液晶覆硅或数字光处理器的所述复数光讯号至所述观察者的眼睛。
17.根据权利要求15所述的系统,其中所述的固定反射器可以是平面镜、菲涅耳透镜、菲涅耳反射器、曲面镜、屈光透镜、周期性奈米结构光聚合物薄膜、布拉格光栅导光板或上述组件的组合。
18.根据权利要求2所述的系统,其中光学组件包含一第一双轴微机电系统反射镜,用以反射来自所述光讯号产生器的所述复数光讯号;一第二双轴微机电系统反射镜,用以反射来自所述第一双轴微机电系统反射镜的所述复数光讯号,以及一个固定反射器,用以反射来自所述第二双轴微机电系统反射镜的所述复数光讯号至所述观察者的眼睛。
19.根据权利要求18所述的系统,其中所述三维影像控制器,藉由所述查找表,转化每一个所述三维影像像素的所述像素位置与所述的像素景深为第一影像控制讯号以及第二影像控制讯号,致使所述的第一双轴微机电系统反射镜与所述的第二双轴微机电系统反射镜依照第一反射控制讯号与第二反射控制讯号投射所述复数光讯号以显示每一个像素。
20.根据权利要求1所述的系统,其中所述的三维影像是一实像或一虚像。
21.根据权利要求1所述的系统,其中所述至少一光讯号产生器以及所述至少一光学组件被设置在一可穿戴装置上。
22.根据权利要求1所述的系统,其中每一个所述光讯号的持续时间少于31ns。
23.根据权利要求1所述的系统,其中所述三维影像具有不低于每影格1280*720像素的分辨率。
24.一种显示具有景深三维影像的方法,包含:
(a)由至少一光讯号产生器依序产生复数光讯号,其中所述的至少一光讯号产生器具有一光讯号产生器;以及
(b)所述复数光讯号由至少一光学组件接收并基于一预定的扫描模式与一预定的时间段内,投射和扫描所述复数光讯号,用以在空间中显示三维影像,其中所述至少一光学组件具有一光学组件;
其中,所述三维影像中每一个像素显示于所述光讯号中至少两个朝向一观察者的眼睛的一位置,所述至少两个光讯号的路径或路径的延伸在与所述位置以与所述像素的景深相关的角度相交,并且所述预定时间段是十八分之一秒;
以一三维影像控制器接收所述三维影像的多个像素数据以及一三维影像产生器产生的特定扫描模式、相应地提供光讯号产生控制数据给所述至少一光讯号产生器,以及提供光学组件控制数据至所述光学组件;
其中每一个所述像素数据包含像素色彩、像素光强度、像素位置、像素景深以及像素产生频率,以及所述光讯号产生器依据多所述光讯号产出控制数据产出所述复数光讯号,并且所述光学组件依据所述光讯号产出控制数据投影并扫描所述复数光讯号。
25.根据权利要求24所述的方法,其中所述三维影像控制器包含一查找表,用以将所述三维影像中每一个像素的所述像素位置与所述像素景深转化为所述光学组件控制数据。
26.根据权利要求24所述的方法,其中所述三维影像的像素是仅由两个所述的光讯号所展示。
27.根据权利要求24所述的方法,其中每一个用以展示所述三维影像中同一个像素的所述复数个光讯号包含一致的红、绿、蓝色混合彩度。
28.根据权利要求24所述的方法,其中所述复数光讯号包含两个光讯号用以显示所述三维影像中一相同像素且包含两个补色。
29.根据权利要求28所述的方法,其中用以显示所述三维影像中同一像素的所述两个光讯号对为红色与青色、绿色与洋红色或蓝色与黄色。
30.根据权利要求24所述的方法,其中用以显示所述三维影像中同一像素的所述复数光讯号包含红、绿与蓝三种颜色。
31.根据权利要求24所述的方法,其中预定扫描模式是指扫描三维影像的顺序为
(1)从左到右且从上到下或从下到上扫描;
(2)同心设置的环由三维影像中最中心环向最外围环扫描或从最外围环向最中心环扫描;
(3)螺旋地由一边为位置的端点向三维影像中心或由三维影像中心向端点扫描;
(4)从最靠近(所述观察者)的像素向最远离的像素或由最远离的像素向最靠近的像素扫描;
(5)从0度到360度的顺序径向穿过中心和边界区域上的像素之间的所有像素扫描;
(6)以锯齿形的方式从左上角到右下角扫描三维影像的所有像素;或
(7)随机扫描获得特殊效果。
32.根据权利要求24所述的方法,其中所述光讯号产生器持续地产生复数光讯号用以显示一相同像素。
33.根据权利要求24所述的方法,其中所述的光讯号产生器包含一光源、一色彩调整器以及一反射器。
34.根据权利要求33所述的方法,其中所述光源包含雷射、发光二极管、小间距发光二极管、有机发光二极管、超发光二极管。
35.根据权利要求33所述的方法,其中所述光源包含一红色雷射光源、一绿色雷射光元以及一蓝色雷射光源。
36.根据权利要求24所述的方法,其中所述光学组件包含一可三维调整的反射器以投影扫描所述复数光讯号到所述观察者眼睛。
37.如权利要求36所述的方法,其中所述可三维调整的反射器为一三轴微机电系统反射镜。
38.根据权利要求24所述的方法,其中光学组件包含一第一可二维调整反射器,用以反射所述光讯号产生器的所述复数光讯号;一第二可二维调整反射器,用以反射来自所述第一可二维调整反射器的所述复数光讯号;以及,一固定反射器,用以反射来自所述第二可二维调整反射器的所述复数光讯号到所述观察者的眼睛。
39.根据权利要求38所述的方法,其中光学组件包含一第一双轴微机电系统反射镜、液晶覆硅或数字光处理器,用以反射来自所述光讯号产生器的所述复数光讯号;以及一第二双轴微机电系统反射镜、液晶覆硅或数字光处理器,用以反射来自所述第一双轴微机电系统反射镜、液晶覆硅或数字光处理器的所述复数光讯号至所述观察者的眼睛。
40.根据权利要求38所述的方法,其中所述的固定反射器可以是平面镜、菲涅耳透镜、菲涅耳反射器、曲面镜、屈光透镜、周期性奈米结构光聚合物薄膜、布拉格光栅导光板或上述组件的组合。
41.根据权利要求25所述的方法,其中光学组件包含一第一双轴微机电系统反射镜,用以反射来自所述光讯号产生器的所述复数光讯号;一第二双轴微机电系统反射镜,用以反射来自所述第一双轴微机电系统反射镜的所述复数光讯号,以及一个固定反射器,用以反射来自所述第二双轴微机电系统反射镜的所述复数光讯号至所述观察者的眼睛。
42.根据权利要求41所述的方法,其中所述三维影像控制器,藉由所述查找表,转化每一个所述三维影像像素的所述像素位置与所述的像素景深为第一影像控制讯号以及第二影像控制讯号,致使所述的第一双轴微机电系统反射镜与所述的第二双轴微机电系统反射镜依照第一反射控制讯号与第二反射控制讯号投射所述复数光讯号以显示每一个像素。
43.根据权利要求24所述的方法,其中所述的三维影像是一实像或一虚像。
44.根据权利要求24所述的方法,其中所述至少一光讯号产生器以及所述至少一光学组件被设置在一可穿戴装置上。
45.根据权利要求24所述的方法,其中每一个所述光讯号的持续时间少于31ns。
46.根据权利要求24所述的方法,其中所述三维影像具有不低于每影格1280*720像素的分辨率。
CN201980071908.2A 2018-10-29 2019-10-29 显示多重景深影像的系统与方法 Active CN112970247B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/112305 2018-10-29
PCT/CN2018/112305 WO2020087195A1 (zh) 2018-10-29 2018-10-29 一种全像显示系统及形成全像的方法
PCT/CN2019/114089 WO2020088468A1 (en) 2018-10-29 2019-10-29 System and method for displaying a 3d image with depths

Publications (2)

Publication Number Publication Date
CN112970247A CN112970247A (zh) 2021-06-15
CN112970247B true CN112970247B (zh) 2024-03-12

Family

ID=70462520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980071908.2A Active CN112970247B (zh) 2018-10-29 2019-10-29 显示多重景深影像的系统与方法

Country Status (4)

Country Link
US (1) US11924401B2 (zh)
EP (1) EP3874743A4 (zh)
CN (1) CN112970247B (zh)
WO (2) WO2020087195A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087195A1 (zh) 2018-10-29 2020-05-07 陈台国 一种全像显示系统及形成全像的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1800963A (zh) * 2005-01-06 2006-07-12 明基电通股份有限公司 投影显示装置
CN103913940A (zh) * 2012-12-28 2014-07-09 台达电子工业股份有限公司 立体投影装置与应用其的显示方法
CN105607454A (zh) * 2016-01-25 2016-05-25 京东方科技集团股份有限公司 全息显示装置和全息显示方法
CN108663874A (zh) * 2018-04-16 2018-10-16 广景视睿科技(深圳)有限公司 一种光学元件及双向投影系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
CN102823264A (zh) * 2011-03-31 2012-12-12 松下电器产业株式会社 能够变更立体视觉影像的进深的影像处理装置、系统、影像处理方法、影像处理程序
CN104620047A (zh) * 2012-09-21 2015-05-13 三维Ip有限责任公司 用于会聚角切片真3d显示器的系统和方法
CN104104934B (zh) * 2012-10-04 2019-02-19 陈笛 无眼镜多观众三维显示的组件与方法
US9392129B2 (en) 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
US10268041B2 (en) * 2014-05-24 2019-04-23 Amalgamated Vision Llc Wearable display for stereoscopic viewing
WO2017112958A1 (en) * 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US10365709B2 (en) 2017-03-03 2019-07-30 Microsoft Technology Licensing, Llc MEMS scanning display device
WO2019126637A1 (en) * 2017-12-22 2019-06-27 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods and apparatus for angular and spatial modulation of light
WO2020087195A1 (zh) 2018-10-29 2020-05-07 陈台国 一种全像显示系统及形成全像的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1800963A (zh) * 2005-01-06 2006-07-12 明基电通股份有限公司 投影显示装置
CN103913940A (zh) * 2012-12-28 2014-07-09 台达电子工业股份有限公司 立体投影装置与应用其的显示方法
CN105607454A (zh) * 2016-01-25 2016-05-25 京东方科技集团股份有限公司 全息显示装置和全息显示方法
CN108663874A (zh) * 2018-04-16 2018-10-16 广景视睿科技(深圳)有限公司 一种光学元件及双向投影系统

Also Published As

Publication number Publication date
WO2020087195A1 (zh) 2020-05-07
EP3874743A4 (en) 2022-06-22
EP3874743A1 (en) 2021-09-08
WO2020088468A1 (en) 2020-05-07
US20220014727A1 (en) 2022-01-13
CN112970247A (zh) 2021-06-15
US11924401B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
JP7311581B2 (ja) 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ
US10685492B2 (en) Switchable virtual reality and augmented/mixed reality display device, and light field methods
JP4263461B2 (ja) 自動立体光学装置
JP4233357B2 (ja) 自動立体光学装置
CN107076984A (zh) 虚像生成器
JP2007519958A (ja) 3次元ディスプレイ
US20040130783A1 (en) Visual display with full accommodation
WO2015043098A1 (zh) 一种多视角裸眼立体显示系统及其显示方法
JP2018533062A (ja) 広視野ヘッドマウントディスプレイ
JP2016500829A (ja) 収束角度スライス型の真の3dディスプレイ
US10642061B2 (en) Display panel and display apparatus
US9961333B1 (en) System and method for light field projection
CN114365027A (zh) 显示具有景深的物体的系统与方法
CN112970247B (zh) 显示多重景深影像的系统与方法
JP2010160362A (ja) 3次元表示装置、3次元表示方法、3次元表示物体、3次元画像作成装置、3次元画像作成方法、プログラムおよび記録媒体
US9891516B1 (en) Methods for calibrating a light field projection system
US10728534B2 (en) Volumetric display system and method of displaying three-dimensional image
JP2004163644A (ja) 三次元表示方法
JP2006133455A (ja) 三次元画像表示装置
KR100832642B1 (ko) 회절형 광변조기를 이용한 입체 영상 표시 장치
JP2005099425A (ja) 三次元表示装置
Chen et al. Strategies for 3D video with wide fields-of-view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant