CN105637428B - 全息三维显示系统和方法 - Google Patents

全息三维显示系统和方法 Download PDF

Info

Publication number
CN105637428B
CN105637428B CN201480001297.1A CN201480001297A CN105637428B CN 105637428 B CN105637428 B CN 105637428B CN 201480001297 A CN201480001297 A CN 201480001297A CN 105637428 B CN105637428 B CN 105637428B
Authority
CN
China
Prior art keywords
lens
described information
spatial spectrum
hologram
array plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480001297.1A
Other languages
English (en)
Other versions
CN105637428A (zh
Inventor
范诚
蔡志森
江朝川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANCAIYI INDUSTRY Co Ltd SHENZHEN
Original Assignee
FANCAIYI INDUSTRY Co Ltd SHENZHEN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANCAIYI INDUSTRY Co Ltd SHENZHEN filed Critical FANCAIYI INDUSTRY Co Ltd SHENZHEN
Publication of CN105637428A publication Critical patent/CN105637428A/zh
Application granted granted Critical
Publication of CN105637428B publication Critical patent/CN105637428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/19—Microoptic array, e.g. lens array

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种全息三维显示系统，包括空间谱平行采集装置、空间谱全息编码装置和离散空间谱还原装置，利用平面显示器的平面像素信息(J*K*M*N)，将离散空间谱图像信息(Imn)通过全息编码转换为离散空间谱全息编码图像(Sjk)，利用相应的透镜阵列还原其离散空间谱，再通过全息功能屏，实现抽样角为ωmn的离散空间谱展宽，从而实现原三维空间的完整空间谱还原，获得人眼可视的完美真三维显示。还提供一种全息三维显示方法。

Description

全息三维显示系统和方法
本申请人在先的PCT国际申请WO2010/072065、WO2010/072066以及WO2010/072067所公开的内容以全文引用的方式并入本文中。
技术领域
本发明涉及一种全息三维显示系统和方法。
背景技术
集成照相术(APPLIED OPTICS/Vol.52，No.4/1 February 2013)理论上讲是一种理想的三维光场(light field)采集和显示技术，但微透镜阵列的成像质量与其所能显示三维图像的分辨率这一固有矛盾却难以克服，即：高分辨率三维显示需要更加精细尺寸的微透镜阵列，而微透镜太小，却又难以保证各个透镜的子图像成像质量，从而迄今都很难获得令人满意的真三维显示结果。WO2010/072065、WO2010/072066以及WO2010/072067披露了一种实时彩色全息三维显示系统及方法，利用数码全息原理，通过普通摄影-投影装置阵列系统以及全息功能屏实现人眼可视的完美真三维显示。但在实际操作过程中，对各单个摄影-投影设备的成像质量匹配与控制，以及阵列摄影-投影装置的锚定与校准，给系统集成化带来困难；同时，摄影-投影机的大量使用必将带来系统的制造成本的增加而难以被普通消费者所接受。
发明内容
本发明的主要目的在于针对现有技术的不足，提供一种全息三维显示系统和方法。
为实现上述目的，本发明采用以下技术方案：
一种全息三维显示系统，包括空间谱平行采集装置、空间谱全息编码装置和离散空间谱还原装置：
所述空间谱平行采集装置，包括：
信息采集透镜阵列板，其具有光轴平行的M*N个透镜，M和N为大于1的整数，所述信息采集透镜阵列板用于对所要三维显示的物体O进行M*N个空间谱图像Imn抽样采集，m＝1到M，n＝1到N，其空间抽样角为ωmn＝d1/l1，d1是各透镜之间的中心间距，l1是所述信息采集透镜阵列板与所述物体O之间的距离；
感光元件阵列，其设置在所述信息采集透镜阵列板的与所述物体相反的一侧，具有M*N个感光元件，用于记录各透镜所采集的空间谱图像Imn，各感光元件的分辨率不小于预先设定的所述物体O在物空间的体像素Hjk的个数J*K，J和K为大于1的整数，所述空间谱图像Imn表示为Imn(j，k)，j＝1到J，k＝1到K；
所述空间谱全息编码装置对M*N个空间谱图像Imn(j，k)进行全息编码，其中，对于所述物体O的一个体像素Hjk，将每个空间谱图像Imn(j，k)中的第(j，k)像素Pmnjk依序组合成一个M*N阵列图像Sjk，作为所述体像素Hjk的全息编码图像，按此方式获得所述物体O的J*K个体像素的空间谱全息编码图像Sjk(m，n)；
所述离散空间谱还原装置包括：
平面显示器，其对经适当缩放处理的J*K个空间谱全息编码图像Sjk(m，n)进行显示，所述平面显示器分辨率不低于M*N*J*K；
信息还原透镜阵列板，其具有光轴平行的J*K个成像参数一致的透镜，用于将所述平面显示器上各空间谱编码图像Sjk(m，n)还原为所述物体O的离散空间谱图像Imn(j，k)所构成的三维成像O’；
全息功能屏，其设置在所述信息还原透镜阵列板的与所述平面显示器相反的一侧，所述全息功能屏具有规律性分布的微细空间结构，使得入射到所述全息功能屏上的各空间谱全息编码图像Sjk(m，n)都有一个相应的空间展宽输出，且各空间谱全息编码图像Sjk(m，n)的展宽角为所述空间抽样角ωmn，从而使离散的各空间谱编码图像Sjk(m，n)相互衔接却又不至于重叠覆盖，以形成一完整连续的空间谱输出；
其中，所述空间抽样角ωmn＝d1/l1＝d2/l2，d2是所述信息还原透镜阵列板各透镜之间的中心间距，l2是所述信息还原透镜阵列板与所述全息功能屏之间的距离。
进一步地，所述的全息三维显示系统还包括设置在所述信息采集透镜阵列板和所述感光元件之间的信息采集视场光阑，以消除或减小所述信息采集透镜阵列板各透镜相互间的成像干扰。
进一步地，所述的全息三维显示系统还包括设置在所述信息还原透镜阵列板和所述全息功能屏之间的信息还原视场光阑，以消除或减小所述信息还原透镜阵列板各透镜相互间的成像干扰。
进一步地，所述信息采集透镜阵列板各透镜与所述信息还原透镜阵列板各透镜的视场角Ω相等，tan(Ω/2)＝a1/2f1＝a2/2f2，其中a1为所述信息采集透镜阵列板各透镜的孔径，f1为所述信息采集透镜阵列板各透镜的焦距，a2为所述信息还原透镜阵列板各透镜的孔径，f2为所述信息还原透镜阵列板各透镜的焦距。
进一步地，所述全息功能屏与所述信息采集透镜阵列板的距离等于所述物体O的体像素所在的物空间中的参照面PR与所述物体O的距离或所述参照面PR与所述物体O的距离的放大或缩小。
进一步地，所述信息采集透镜阵列板中心至少有一个透镜能够采集到所述物体的全景。
进一步地，所述信息还原透镜阵列板各透镜为蜂窝状的阵列形式。
一种全息三维显示方法，包括空间谱平行采集过程、空间谱全息编码过程和离散空间谱还原过程：
所述空间谱平行采集过程包括如下步骤：
通过信息采集透镜阵列板对所要三维显示的物体O进行M*N个空间谱图像Imn抽样采集，所述信息采集透镜阵列板具有光轴平行的M*N个成像参数一致的透镜，M和N为大于1的整数，m＝1到M，n＝1到N，其空间抽样角为ωmn＝d1/l1，d1是各透镜之间的中心间距，l1是所述信息采集透镜阵列板与所述物体O之间的距离；
通过感光元件阵列记录各透镜所采集的空间谱图像Imn，所述感光元件设置在所述信息采集透镜阵列板的与所述物体相反的一侧，具有M*N个感光元件，各感光元件的分辨率不小于预先设定的所述物体O在物空间的体像素Hjk的个数J*K，J和K为大于1的整数，所述空间谱图像Imn表示为Imn(j，k)，j＝1到J，k＝1到K；
所述空间谱全息编码过程包括对M*N个空间谱图像Imn(j，k)进行全息编码的步骤，其中，对于所述物体O的一个体像素Hjk，将每个空间谱图像Imn(j，k)中的第(j，k)像素Pmnjk依序组合成一个M*N阵列图像Sjk，作为所述体像素Hjk的全息编码图像，按此方式获得所述物体O的J*K个体像素的空间谱全息编码图像Sjk(m，n)；
所述离散空间谱还原过程包括如下步骤：
通过平面显示器对经适当缩放处理的J*K个空间谱全息编码图像Sjk(m，n)进行显示，所述平面显示器分辨率不低于M*N*J*K；
通过信息还原透镜阵列板将所述平面显示器上各空间谱编码图像Sjk(m，n)还原为所述物体O的离散空间谱图像Imn(j，k)所构成的三维成像O’，所述信息还原透镜阵列板具有光轴平行的J*K个成像参数一致透镜a2；
通过设置在所述信息还原透镜阵列板的与所述平面显示器相反的一侧且具有规律性分布的微细空间结构的全息功能屏，使得入射到所述全息功能屏上的各空间谱全息编码图像Sjk(m，n)都有一个相应的空间展宽输出，且各空间谱全息编码图像Sjk(m，n)的展宽角为所述空间抽样角ωmn，从而使离散的各空间谱编码图像Sjk(m，n)相互衔接却又不至于重叠覆盖，以形成一完整连续的空间谱输出；
其中，所述空间抽样角ωmn＝d1/l1＝d2/l2，d2是所述信息还原透镜阵列板各透镜之间的中心间距，l2是所述信息还原透镜阵列板与所述全息功能屏之间的距离。
进一步地，所述的全息三维显示方法还包括以下步骤：通过在所述信息采集透镜阵列板和所述感光元件之间的信息采集视场光阑，消除或减小所述信息采集透镜阵列板各透镜之间的成像干扰。
进一步地，所述的全息三维显示方法还包括以下步骤：通过在所述信息还原透镜阵列板和所述全息功能屏之间的信息还原视场光阑，消除或减小所述信息还原透镜阵列板各透镜之间的成像干扰。
进一步地，所述信息采集透镜阵列板各透镜与所述信息还原透镜阵列板各透镜的视场角Ω箱等，tan(Ω/2)＝a1/2f1＝a2/2f2，其中a1为所述信息采集透镜阵列板各透镜的孔径，f1为所述信息采集透镜阵列板各透镜的焦距，a2为所述信息还原透镜阵列板各透镜的孔径，f2为所述还原透镜阵列板各透镜的焦距。
进一步地，所述全息功能屏与所述信息还原透镜阵列板的距离等于所述物体O的体像素所在的物空间中的参照面PR与所述物体O的距离或所述参照面PR与所述物体O的距离的放大或缩小。
进一步地，所述信息采集透镜阵列板中心至少有一个透镜能够采集到所述物体的全景。
进一步地，所述信息还原透镜阵列板各透镜为蜂窝状的阵列形式。
本发明利用透镜阵列及全息功能屏，有效地克服了集成照相术中微透镜阵列的成像质量与其所能显示三维图像的分辨率这一固有矛盾，实现了三维空间信息的全息编码及全息显示，实现人眼可视的完美真三维显示，相当于WO2010/072067中各摄影-投影装置锚定在无限远。其中一要点是：合理利用平面显示器的平面像素信息(J*K*M*N)，将离散空间谱图像信息Imn通过全息编码转换为离散空间谱全息编码图像Sjk，利用相应的透镜阵列还原其离散空间谱，再通过WO2010/072067中的全息功能屏，实现抽样角为ωmn的离散空间谱展宽，以实现原三维空间的完整空间谱还原。
1)利用所采集的空间谱图像Imn获得原空间某一体像素Hjk的空间谱数码全息编码Sjk，可有效实现“谱-像坐标变换”，根除传统集成照相的赝视缺陷，完美实现原空间的离散空间谱还原。
2)该编码适用于任何形式的三维还原系统，所生成的全息编码图像Sjk(m，n)可直接应用于透镜阵列成像，或者作为傅里叶变换全息图的(hagel)输入逐点进行三维图像打印。
3)通过对空间谱全息编码图像Sjk的简单缩放，可任意改变体像素Hjk的尺寸大小以实现三维物体的放大或缩小显示。
4)可根据所要显示三维空间的具体要求(如：分辨率、景深、观察角等)设计出完整恢复该空间所需的最大空间谱抽样角ωmn，从而以最少的空间谱数目(M，N)完美恢复所要显示的三维空间。
附图说明
图1为本发明一种实施例的空间谱平行采集示意图；
图2为WO2010/072065、WO2010/072066以及WO2010/072067中锚定采集的空间谱图像示意图，其中参照点R在各空间谱图像中的位置相同；
图3为本发明一种实施例的平行采集的空间谱图像示意图，其中参照点Rmn相对于图2平行移动了一位像因子δmn；
图4为本发明一种实施例的体像素Hjk的全息编码图像Sjk示意图；
图5为本发明一种实施例的三维物体O的完整离散空间谱编码示意图；
图6为本发明一种实施例的离散空间谱还原示意图；
图7为本发明一种实施例的全息功能屏解码再现示意图；
图8为本发明一种实施例的透镜排列示意图；
图9为本发明一种应用实例中的全息空间谱示意图；
图10为本发明一种应用实例的三维显示在上、下、左、右各方向所拍摄的照片。
图11为本发明实施例的全息三维显示系统示意图。
具体实施方式
以下结合附图对本发明的实施方式作详细说明。虽然本发明已经进行了描述，但是还提供以下实例以便具体说明本发明的实施例以及清晰理解。对于本领域普通技术人员而言所明了的是，根据本文中所阐明的本发明传授内容，可以对如此所描述的这些实施例进行某些改变和修改，而此等改变和修改不脱离本发明的精神或范围。
参阅图1、图7和图11，根据本发明的实施例，一种全息三维显示系统包括空间谱平行采集装置100、空间谱全息编码装置200和离散空间谱还原装置300。
图1示出空间谱平行采集装置进行空间谱信息采集。空间谱平行采集装置包括信息采集透镜阵列板L1和感光元件阵列S。信息采集透镜阵列板L1是一由M*N个成像参数一致的小透镜所组成的透镜阵列板，各透镜的光轴平行。各透镜的孔径为a1，焦距为f1，中心间距为d1，各透镜的视场角(FOV)为Ω，满足tan(Ω/2)＝a1/2f1。对位于各单个透镜有效视角Ω内的三维物体O来说，各透镜所采集的空间谱信息Imn(m＝1到M，n＝1到N)与WO2010/072065、WO2010/072066以及WO2010/072067中的描述相当，其抽样角可表示为：ωmn＝d1/l1，这里l1是信息采集透镜阵列板L1与物体O间的距离。
感光元件阵列S可以采用彩色胶片、CCD、CMOS等。感光元件阵列S可放置在透镜板L1的后焦面附近，距离透镜板l1’处，以记录各透镜所采集的空间谱信息Imn(j，k)，l1与l1’是各单透镜的物像共轭关系。各感光元件的分辨率不小于预先设定的所述物体O在物空间的体像素Hjk的个数J*K，J和K为大于1的整数，j＝1到J，k＝1到K。物体O对应的物空间体像素为Hjk，即：所采集的三维物体O由J*K个体像素(Hoxel)Hjk构成。Hjk体像素所在的参照面PR与物体O的距离为l3，参照点R位于参照面的中心位置。为防止各透镜所获取的信息在感光元件阵列S上相互干扰，可在感光元件阵列S和信息采集透镜阵列板L1之间设置视场光阑M1，以保证各个单透镜成像Imn互不干扰。
与传统集成照相相比，这里的透镜阵列并不要求是微透镜阵列，其孔径a1的大小以能采集到清晰的空间谱视图即可。清晰的空间谱视图是指普通摄影图像中各像素都能对应于所拍三维空间中的某一清晰点。这和普通照相的“景深”概念相同，即：孔径越小，所拍摄的照片“景深”越大。从这个角度上讲，孔径a1越小，所能采集到的空间谱视图越清晰。但孔径a1小到一定程度，受孔径衍射效应的影响，其所能分辨的最小距离将会增大，即成像质量将明显下降，这也是传统集成照相不能获得满意结果的根本原因。另外，透镜的孔径a1和焦距f1决定了各单个透镜的视场角Ω，Ω越大则所能采集的三维目标的场景范围就越大。在WO2010/072065、WO2010/072066以及WO2010/072067中，由于锚定采集，每个透镜都能采集到该三维目标全景的空间谱，而在本实施例平行采集中，被采集目标的场景被固有视场角Ω所切割，因此透镜可能不能采集到该三维目标全景的空间谱。在本实施例中，透镜阵列中心(M/2，N/2)附近至少有一个透镜能够采集到物体O(j，k)的全景。
与WO2010/072065、WO2010/072066以及WO2010/072067所揭示的锚定采集相比较，其各空间谱图像除I(M/2)(N/2)(j，k)完全相同外，其他各图像相当于原锚定采集各空间谱图像Imn(j，k)在谱面S上平移一相位因子δmn后被视场光阑M1所裁切，使得原物体O的参照点Rmn在通过各透镜成像还原后仍然重叠在原空间同样位置，Rmn是参照点R在各空间谱图像Imn中的对应坐标，如图2、3所示。该位相因子δmn是本发明平行采集的固有性质，也可作为锚定采集平行播放或平行采集锚定播放条件下，空间谱图像的坐标平移依据。
图4-图5示出通过空间谱全息编码装置，例如计算机(未图示)，对图1所采集的像素为J*K的M*N个空间谱图像Imn(j，k)进行全息编码，获得J*K张空间谱全息编码图像Sjk(m，n)。其具体操作是将Imn(j,k)中的第(j，k)像素Pmnjk，如图4所示，分别填入图1中物空间的某一体像素Hjk，以获得该体像素的空间谱全息编码图像Sjk。
如图1所示，采集透镜阵列从物体O的右侧采集空间谱，传统集成照相基本原理是将所采集到的空间谱图像通过原透镜板还原该物体，因此，当从左边观察还原物体时，所看到的便是赝视像，即：体视关系与原物体相反。我们在物体O的左侧建立参考面PR，经过信息编码后从参考面PR上所恢复的三维空间正好将原赝视像反转，即：能看到正视的还原像，其体视关系和原物体相同。因此，利用图1所采集的空间谱图像Imn获得原空间某一体像素Hjk的空间谱全息编码图像Sjk可有效实现“谱-像坐标变换”，根除传统集成照相的赝视缺陷。“谱-像坐标变换”的含义可以解释为，原M*N个空间谱图像可以表达为原物体M*N个方向的空间谱视图，而空间谱全息编码图像Sjk便是这些视图元素在还原空间的体像素编码，即：每个体像素Hjk包含了原物体空间各方向的信息Sjk。
如图5所示，对应于图1中各体像素Hjk，将图4所示的J*K个空间谱全息编码图像Sjk经简单缩放处理后显示到平面显示器D上面，该平面显示器D的分辨率不小于M*N*J*K，从而在该平面显示器D上显示出完整离散空间谱编码图案。
如图6至图7所示，离散空间谱还原装置包括平面显示器D、信息还原透镜阵列板L2和全息功能屏HFS。图6示出离散空间谱还原装置对离散空间谱进行还原。在平面显示器D前面距离l2’处放置信息还原透镜阵列板L2。信息还原透镜阵列板L2是由J*K个成像参数一致的小透镜所组成的阵列透镜板，各透镜的孔径为a2，中心间距为d2(其正好是所要还原的体像素Hjk的尺寸)。在D与信息还原透镜阵列板L2之间，同样放置视场光阑M2以避免各单个透镜成像的相互干扰。
优选地，信息还原透镜阵列板L2各透镜的视场角(FOV)与信息采集透镜阵列板L1各透镜的视场角相同，也为Ω。如果视场角不相同，将会带来还原三维空间的畸变。平面显示器D上各空间谱编码信息Sjk(m，n)被信息还原透镜阵列板L2投射还原为原三维物体O的离散空间谱Imn(j，k)所构成的三维成像O’，其体像素Hjk’的个数变为J’*K’。J’*K’的大小是由以下因素决定的：1.Sjk中每个像素的大小为ΔD即：平面显示器的像素大小；2.Sjk经信息还原透镜阵列板L2中的小透镜成像后，其尺寸被放大了M倍，所对应体像素的大小为MΔD；3.假设平面显示器的长和宽分别为a和b，则：J’＝a/MΔD,K’＝b/MΔD。可见J’*K’的大小与J*K没有直接关系，它是体像素Hjk在空间M*N个方向所投射的空间谱图编码图像Sjk的堆积所构成的最终体像素Hjk’在显示器a*b面积中的个数，即：最终全息显示的体像素分辨率。同样，与传统集成照相相比，这里的信息还原透镜阵列板L2并不需要是微透镜阵列，各透镜孔径a2的大小以能清晰的还原各空间谱全息编码图像Sjk(m，n)为原则，能够分辨并清晰成像ΔD，但应避免孔径a2太小，因为那样将会带来散斑噪声。另外，原则上来说，各单个透镜的视场角Ω越大，所能清晰分辨的离散空间谱数目(M,N)越多，所能还原三维物体的视场角就越大。
如图7所示，在到信息还原透镜阵列板L2距离为l2的位置O’处，放置WO2010/072065、WO2010/072066以及WO2010/072067所披露的相应的全息功能屏，使其对各输入空间谱Sjk的展宽角正好是图1所示的空间抽样角ωmn，即：使各离散空间谱编码Sjk相互衔接且不重叠(表现为各透镜的边沿特征刚好被模糊而成为一整体亮背景)，形成一完整连续的空间谱输出，人眼便可在视场角Ω内，通过HFS观察到O’的全息真三维成像。体像素Hjk’的大小正好是Sjk(m，n)各像素的相应放大。
如图1和图7所示，空间抽样角ωmn＝d1/l1＝d2/l2。图7中，l2与l2’的关系是信息还原透镜阵列板L2上各小透镜的物像共轭关系。图6、7中信息还原透镜阵列板L2到全息功能屏置O’的距离l2与图1中参照面PR到物体O的距离l3相等(这里所说的相等，并非要求全息功能屏的位置O’严格意义上处在该距离处，全息功能屏在其附近也都能解码，只是像面发生变化)，或是参照面PR与物体O的距离l3的放大或缩小(即图1中物体放大或缩小后所对应的距离l3)。
成像质量分析
1.三维空间信息的空间谱描述
假设三维空间的体像素Hjk的大小为Δjk，三维空间深度为ΔZ,则其所对应的空间抽样角可表示为ωmn＝Δjk/ΔZ。也就是说由J*K*ΔZ*Δjk个体积为Δjk 3的独立小立方体发光单元所构成的三维物体可以完全由M*N*J*K根楔形光束所表达，该楔形光束的顶点位于全息功能屏HFS所在平面，发散角为ωmn。
该三维物体的观察视角为
这里：ΔZ*Δjk＝Δjk*Δjk/ωmn＝M*N，因为体像素Hjk中包含了M*N个空间谱。
2.人眼视觉的空间谱描述
人眼的基本参数是：1)瞳距(两眼的平均间距)：d≈6.5cm；2)眼瞳直径(2～8mm与亮度有关)，平均值为：a≈5mm；3)角分辨极限：ωE≈1.5*10-4；4)定点静态视场角ΩE≈90°。
可以看出，当固定双眼位置，则人眼视觉可表示为J*K＝(ΩE/ωE)2≈[(π/2)/1.5*10-4]2≈108个体像素和两个空间谱(M*N＝2)所构成的双目视差立体图像。其另一物理含义是，大自然中有108个空间谱被人眼所处固定位置的两个体像素H左眼和H右眼所包含并被人眼所接收，形成了淹没在体像素海洋中的人眼对自然的三维客观认识。
3.空间三维信息的有效采集和还原
针对第1，2点所描述的可视三维空间信息的空间谱表达，可用图1所示透镜板阵列L1完整采集，也可用图6所示的透镜板阵列L2完整还原。相关的参数有以下关系：a1＝2λl1/Δjk,a2＝2λl2/Δjk，λ是可见光平均波长，约为550nm；ωmn＝d1/l1＝d2/l2；tan(Ω/2)＝a1/2f1＝a2/2f2。这里透镜孔径的大小决定了所能采集和还原的体像素大小Δjk，透镜中心距离决定了所能采集和还原的空间抽样角ωmn，从而决定了所要采集和还原三维空间的景深ΔZ＝Δjk/ωmn，透镜的焦距决定了该三维空间信息的视场角Ω，表现为透镜单元对三维空间信息空间谱的处理能力，
即：
其关键是具备相应分辨率的感光和显示器件(图1中的感光元件阵列S和图6中的平面显示器D)，使其足以分辨和显示上述J*K*M*N个平面像素所构成的空间谱信息。
应用实例
我们利用现有商用4K平面显示器，按照上述原理实现了全彩色全视差数码全息三维还原显示，其具体显示参数如下：1.体像素Hjk’尺寸为4mm*4mm；2.体像素Hjk’个数为J’*K’＝211*118；3.空间谱数目为M*N＝36*36；4.空间观察角度Ω＝30°，显示景深约50cm。
图8是我们采用的透镜阵列示意图，为了充分利用显示器有限平面像素的信息量，我们采用蜂窝状排列方式排列了3818个直径为10mm的小透镜。
图9是每个小透镜内全息空间谱编码示意图，这里我们免去了实物信息采集步骤，代之以计算机虚拟三维模型渲染，所示编码图像仅限于“车头驾驶舱”部位。图10是“卡车”三维显示上下左右各方向所拍摄的显示照片。可见“车头驾驶舱”部位体视关系清晰明了。
为了提高显示分辨率，以下两种方案均可实用：
1.利用多台4K显示器的空间拼接以实现大面积三维全息显示。
目前4mm体像素的显示相当于LED大屏幕显示的分辨率，但本发明是体像素显示，每个体像素都由M*N(这里是36*36)根光线构成，从而可以实现真三维大面积显示。在本实例中，若用3*4块同样的4K屏幕拼接，便可得到平面分辨率为633*472，显示空间为2.5m*1.9m*0.5m的三维显示，这相当于4mm3的显示点在显示空间里用光线搭积木。
2.利用高分辨率平面显示器以实现高分辨率全息显示
不难想象，如果我们利用8K，16K，乃至32K的平面显示器，则利用本发明基本原理，便可实现普清乃至高清的全息显示。实际上利用目前光学显微镜的目镜系统配合相应抽样角ωmn，便可设计并制造出理想的全息三维显示仪器。
上述细节描述仅仅是出于便于理解的目的而给出的，而不应从中理解出任何不必要的限制，而对其进行的修改对于所属领域的技术人员而言是显而易见的。虽然本发明是结合其特定的实施例来描述的，但是应理解可以做出进一步的修改，并且本申请意图涵盖大体上遵照本发明的原理的本发明的任何变体、应用，或者调整，并且包括本披露的此类扩展内容，即在本发明所涉及的领域内的已知的或者惯常的实践的范围内的、可以应用到上文提出的基本特征并且遵照所附权利要求书的范围的。
并且，虽然上文描述了且具体实例化了本发明的某些优选实施例，但是这并非意图将本发明限制于此类实施例，并且任何此类的限制仅包含在权利要求书中。

Claims (14)

1.一种全息三维显示系统，其特征在于，包括空间谱平行采集装置、空间谱全息编码装置和离散空间谱还原装置：
所述空间谱平行采集装置，包括：
信息采集透镜阵列板，其具有光轴平行的M*N个成像参数一致的透镜，M和N为大于1的整数，所述信息采集透镜阵列板用于对所要三维显示的物体O进行M*N个空间谱图像Imn抽样采集，m＝1到M，n＝1到N，其空间抽样角为ωmn＝d1/l1，d1是各透镜之间的中心间距，l1是所述信息采集透镜阵列板与所述物体O之间的距离；
感光元件阵列，其设置在所述信息采集透镜阵列板的与所述物体相反的一侧，具有M*N个感光元件，用于记录各透镜所采集的空间谱图像Imn，各感光元件的分辨率不小于预先设定的所述物体O在物空间的体像素Hjk的个数J*K，J和K为大于1的整数，所述空间谱图像Imn表示为Imn(j，k)，j＝1到J，k＝1到K；以及
所述空间谱全息编码装置对M*N个空间谱图像Imn(j，k)进行全息编码，其中，对于所述物体O的一个体像素Hjk，将每个空间谱图像Imn(j，k)中的第(j，k)像素Pmnjk依序组合成一个M*N阵列图像Sjk，作为所述体像素Hjk的全息编码图像，按此方式获得所述物体O的J*K个体像素的空间谱全息编码图像Sjk(m，n)；
所述离散空间谱还原装置包括：
平面显示器，其对经适当缩放处理的J*K个空间谱全息编码图像Sjk(m，n)进行显示，所述平面显示器分辨率不低于M*N*J*K；
信息还原透镜阵列板，其具有光轴平行的J*K个成像参数一致的透镜，用于将所述平面显示器上各空间谱编码图像Sjk(m，n)还原为所述物体O的离散空间谱图像Imn(j，k)所构成的三维成像O’；以及
全息功能屏，其设置在所述信息还原透镜阵列板的与所述平面显示器相反的一侧，所述全息功能屏具有规律性分布的微细空间结构，使得入射到所述全息功能屏上的各空间谱全息编码图像Sjk(m，n)都有一个相应的空间展宽输出，且各空间谱全息编码图像Sjk(m，n)的展宽角为所述空间抽样角ωmn，从而使离散的各空间谱编码图像Sjk(m，n)相互衔接却又不至于重叠覆盖，以形成一完整连续的空间谱输出；
其中，所述空间抽样角ωmn＝d1/l1＝d2/l2，d2是所述信息还原透镜阵列板各透镜之间的中心间距，l2是所述信息还原透镜阵列板与所述全息功能屏之间的距离。
2.如权利要求1所述的全息三维显示系统，其特征在于，还包括设置在所述信息采集透镜阵列板和所述感光元件之间的信息采集视场光阑，以消除或减小所述信息采集透镜阵列板各透镜相互间的成像干扰。
3.如权利要求1所述的全息三维显示系统，其特征在于，还包括设置在所述信息还原透镜阵列板和所述平面显示器之间的信息还原视场光阑，以消除或减小所述信息还原透镜阵列板各透镜相互间的成像干扰。
4.如权利要求1所述的全息三维显示系统，其特征在于，所述信息采集透镜阵列板各透镜与所述信息还原透镜阵列板各透镜的视场角Ω相等，tan(Ω/2)＝a1/2f1＝a2/2f2，其中a1为所述信息采集透镜阵列板各透镜的孔径，f1为所述信息采集透镜阵列板各透镜的焦距，a2为所述信息还原透镜阵列板各透镜的孔径，f2为所述信息还原透镜阵列板各透镜的焦距。
5.如权利要求1所述的全息三维显示系统，其特征在于，所述全息功能屏与所述信息还原透镜阵列板的距离等于所述物体O的体像素所在的物空间中的参照面PR与所述物体O的距离或所述参照面PR与所述物体O的距离的放大或缩小。
6.如权利要求1至5任一项所述的全息三维显示系统，其特征在于，所述信息采集透镜阵列板中心至少有一个透镜能够采集到所述物体的全景。
7.如权利要求1至5任一项所述的全息三维显示系统，其特征在于，所述信息还原透镜阵列板各透镜为蜂窝状的阵列形式。
8.一种全息三维显示方法，其特征在于，包括空间谱平行采集过程、空间谱全息编码过程和离散空间谱还原过程：
所述空间谱平行采集过程包括如下步骤：
通过信息采集透镜阵列板对所要三维显示的物体O进行M*N个空间谱图像Imn抽样采集，所述信息采集透镜阵列板具有光轴平行的M*N个成像参数一致的透镜，M和N为大于1的整数，m＝1到M，n＝1到N，其空间抽样角为ωmn＝d1/l1，d1是各透镜之间的中心间距，l1是所述信息采集透镜阵列板与所述物体O之间的距离；
通过感光元件阵列记录各透镜所采集的空间谱图像Imn，所述感光元件设置在所述信息采集透镜阵列板的与所述物体相反的一侧，具有M*N个感光元件，各感光元件的分辨率不小于预先设定的所述物体O在物空间的体像素Hjk的个数J*K，J和K为大于1的整数，所述空间谱图像Imn表示为Imn(j，k)，j＝1到J，k＝1到K；以及
所述空间谱全息编码过程包括对M*N个空间谱图像Imn(j，k)进行全息编码的步骤，其中，对于所述物体O的一个体像素Hjk，将每个空间谱图像Imn(j，k)中的第(j，k)像素Pmnjk依序组合成一个M*N阵列图像Sjk，作为所述体像素Hjk的全息编码图像，按此方式获得所述物体O的J*K个体像素的空间谱全息编码图像Sjk(m，n)；
所述离散空间谱还原过程包括如下步骤：
通过平面显示器对经适当缩放处理的J*K个空间谱全息编码图像Sjk(m，n)进行显示，所述平面显示器分辨率不低于M*N*J*K；
通过信息还原透镜阵列板将所述平面显示器上各空间谱编码图像Sjk(m，n)还原为所述物体O的离散空间谱图像Imn(j，k)所构成的三维成像O’，所述信息还原透镜阵列板具有光轴平行的J*K个成像参数一致的透镜；以及
通过设置在所述信息还原透镜阵列板的与所述平面显示器相反的一侧且具有规律性分布的微细空间结构的全息功能屏，使得入射到所述全息功能屏上的各空间谱全息编码图像Sjk(m，n)都有一个相应的空间展宽输出，且各空间谱全息编码图像Sjk(m，n)的展宽角为所述空间抽样角ωmn，从而使离散的各空间谱编码图像Sjk(m，n)相互衔接却又不至于重叠覆盖，以形成一完整连续的空间谱输出；
其中，所述空间抽样角ωmn＝d1/l1＝d2/l2，d2是所述信息还原透镜阵列板各透镜之间的中心间距，l2是所述信息还原透镜阵列板与所述全息功能屏之间的距离。
9.如权利要求8所述的全息三维显示方法，其特征在于，还包括以下步骤：通过在所述信息采集透镜阵列板和所述感光元件阵列之间的信息采集视场光阑，消除或减小所述信息采集透镜阵列板各透镜之间的成像干扰。
10.如权利要求8所述的全息三维显示方法，其特征在于，还包括以下步骤：通过在所述信息还原透镜阵列板和所述平面显示器之间的信息还原视场光阑，消除或减小所述信息还原透镜阵列板各透镜之间的成像干扰。
11.如权利要求8所述的全息三维显示方法，其特征在于，所述信息采集透镜阵列板各透镜与所述信息还原透镜阵列板各透镜的视场角Ω相等，tan(Ω/2)＝a1/2f1＝a2/2f2，其中a1为所述信息采集透镜阵列板各透镜的孔径，f1为所述信息采集透镜阵列板各透镜的焦距，a2为所述信息还原透镜阵列板各透镜的孔径，f2为所述信息还原透镜阵列板各透镜的焦距。
12.如权利要求8所述的全息三维显示方法，其特征在于，所述全息功能屏与所述信息还原透镜阵列板的距离等于所述物体O的体像素所在的物空间中的参照面PR与所述物体O的距离或所述参照面PR与所述物体O的距离的放大或缩小。
13.如权利要求8至12任一项所述的全息三维显示方法，其特征在于，所述信息采集透镜阵列板中心至少有一个透镜能够采集到所述物体的全景。
14.如权利要求8至12任一项所述的全息三维显示方法，其特征在于，所述信息还原透镜阵列板各透镜为蜂窝状的阵列形式。
CN201480001297.1A 2014-09-26 2014-09-26 全息三维显示系统和方法 Active CN105637428B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/087594 WO2016045104A1 (zh) 2014-09-26 2014-09-26 全息三维显示系统和方法

Publications (2)

Publication Number Publication Date
CN105637428A CN105637428A (zh) 2016-06-01
CN105637428B true CN105637428B (zh) 2018-05-01

Family

ID=55580151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480001297.1A Active CN105637428B (zh) 2014-09-26 2014-09-26 全息三维显示系统和方法

Country Status (5)

Country Link
US (1) US20160291545A1 (zh)
EP (1) EP3086185A4 (zh)
JP (1) JP6370905B2 (zh)
CN (1) CN105637428B (zh)
WO (1) WO2016045104A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054570B (zh) * 2016-04-26 2019-06-25 上海大学 强度传输方程实现单幅数字全息图较大相位重建方法
US9961333B1 (en) 2016-06-10 2018-05-01 X Development Llc System and method for light field projection
US9891516B1 (en) * 2016-08-23 2018-02-13 X Development Llc Methods for calibrating a light field projection system
US10091496B2 (en) 2016-11-28 2018-10-02 X Development Llc Systems, devices, and methods for calibrating a light field projection system
WO2019143729A1 (en) 2018-01-16 2019-07-25 Pacific Light & Hologram, Inc. Three-dimensional displays using electromagnetic field computations
CN110133858A (zh) * 2018-02-08 2019-08-16 深圳市泛彩溢实业有限公司 一种信息还原透镜阵列板
CN110139091A (zh) * 2018-02-08 2019-08-16 深圳市泛彩溢实业有限公司 一种感光元件阵列装置
CN108897138B (zh) * 2018-06-19 2020-05-05 北京邮电大学 一种三维光场显示系统
CN109803097B (zh) * 2019-01-18 2021-07-23 中国人民解放军陆军装甲兵学院 一种基于中心相机的有效视角图像切片嵌合方法及系统
CN111399356B (zh) * 2020-05-15 2021-05-07 北京航空航天大学 一种低散斑噪声的彩色全息显示系统
US11762333B2 (en) 2020-09-17 2023-09-19 Pacific Light & Hologram, Inc. Reconstructing objects with display zero order light suppression
CN112255787B (zh) * 2020-10-23 2022-06-07 中国人民解放军陆军装甲兵学院 一种集成成像显示系统的景深扩展方法及系统
US11900842B1 (en) 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100389249B1 (ko) * 2000-04-29 2003-06-25 한국과학기술연구원 다시점 영상 표시 시스템
CN2439045Y (zh) * 2000-08-31 2001-07-11 深圳市泛彩溢实业有限公司 全息液晶显示器
CN1129821C (zh) * 2001-04-20 2003-12-03 深圳市泛彩溢实业有限公司 三维点阵全息图的制作方法及装置
JP4492208B2 (ja) * 2004-05-14 2010-06-30 パナソニック株式会社 三次元画像再生装置
JP4866121B2 (ja) * 2006-03-23 2012-02-01 日本放送協会 要素画像群撮像装置及び立体像表示装置
WO2008102366A2 (en) * 2007-02-25 2008-08-28 Humaneyes Technologies Ltd. A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
JP4843640B2 (ja) * 2008-05-07 2011-12-21 日本放送協会 立体情報生成装置および立体情報生成プログラム
JP5019541B2 (ja) * 2008-07-29 2012-09-05 独立行政法人情報通信研究機構 レンズ機能部材アレイおよびホログラム生成装置ならびにホログラム生成プログラム
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
JP5846346B2 (ja) * 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN101661265B (zh) * 2009-09-29 2011-01-05 哈尔滨师范大学 数字信息立体显示的多通道全息记录方法
KR101441785B1 (ko) * 2013-01-11 2014-09-22 건양대학교산학협력단 스테레오 홀로그램 기반의 3차원 영상시스템

Also Published As

Publication number Publication date
US20160291545A1 (en) 2016-10-06
EP3086185A1 (en) 2016-10-26
JP6370905B2 (ja) 2018-08-08
CN105637428A (zh) 2016-06-01
WO2016045104A1 (zh) 2016-03-31
EP3086185A4 (en) 2016-11-09
JP2017504820A (ja) 2017-02-09

Similar Documents

Publication Publication Date Title
CN105637428B (zh) 全息三维显示系统和方法
CN105637415B (zh) 全息三维信息采集、还原装置及方法
Xiao et al. Advances in three-dimensional integral imaging: sensing, display, and applications
CN102640036B (zh) 生成三维图像信息的方法和装置
CN101411207B (zh) 采集和显示三维光场的方法和系统
US8264772B2 (en) Depth and lateral size control of three-dimensional images in projection integral imaging
JP2020073988A (ja) 可変焦点および／または物体認識を備えたウェアラブル３ｄ拡張現実ディスプレイ
US10397545B2 (en) 3-D light field camera and photography method
CN107105216B (zh) 一种基于针孔阵列的连续视差、广视角的三维光场显示装置
US9197877B2 (en) Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
CA2222272A1 (fr) Procede et systeme d'acquisition d'images autostereoscopiques
CN107092096A (zh) 一种裸眼3d地面沙盘显示系统及方法
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
US6212007B1 (en) 3D-display including cylindrical lenses and binary coded micro-fields
Navarro et al. Depth-of-field enhancement in integral imaging by selective depth-deconvolution
JP4660769B2 (ja) 多視点立体ディスプレイ装置
Arai Three-dimensional television system based on spatial imaging method using integral photography
CN110139091A (zh) 一种感光元件阵列装置
CN110133858A (zh) 一种信息还原透镜阵列板
CN110133766A (zh) 一种信息采集透镜阵列板
JP2005026772A (ja) 立体映像表示方法及び立体映像表示装置
Hyun et al. Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement
KR100462574B1 (ko) 2차원 및 3차원 겸용 다시점 영상 표시 시스템 및 그의영상 변환 방법
Jácome Fernández Capturing of 3D content using a single aperture camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant