CN108762033B - 成像方法和光学系统及其存储介质、芯片与组合 - Google Patents
成像方法和光学系统及其存储介质、芯片与组合 Download PDFInfo
- Publication number
- CN108762033B CN108762033B CN201810523923.3A CN201810523923A CN108762033B CN 108762033 B CN108762033 B CN 108762033B CN 201810523923 A CN201810523923 A CN 201810523923A CN 108762033 B CN108762033 B CN 108762033B
- Authority
- CN
- China
- Prior art keywords
- virtual
- optical
- image
- plane
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 317
- 238000003384 imaging method Methods 0.000 title claims abstract description 116
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000009826 distribution Methods 0.000 claims abstract description 110
- 230000000644 propagated effect Effects 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000005192 partition Methods 0.000 claims abstract description 22
- 210000001747 pupil Anatomy 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 21
- 230000004075 alteration Effects 0.000 claims description 16
- 239000013307 optical fiber Substances 0.000 claims description 14
- 230000001902 propagating effect Effects 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000002310 reflectometry Methods 0.000 claims 1
- 230000002829 reductive effect Effects 0.000 abstract description 10
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0841—Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/045—Fourier or lensless Fourier arrangement
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
- G03H2001/2675—Phase code multiplexing, wherein the sub-holograms are multiplexed according to spatial modulation of the reference beam
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
Abstract
本发明提供了一种成像方法和光学系统及其存储介质、芯片与组合，将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息，具体地，对虚拟物面进行切分，生成得到多个分块；将输入图像进行切分，得到分别位于所述多个分块上的子图像；将各个分块上的子图像传播至整个或部分虚拟光学调制面上。本发明提高了图像生成效率，以较低的运算量实现全息图的转换，实现实时全息成像；降低了系统运算的功耗，降低对于计算芯片等系统硬件以及空间光调制器的配置要求；在大大提高计算效率的同时，还保留了图像中各像素的深度信息。
Description
技术领域
本发明涉及成像领域，具体地，涉及成像方法和光学系统及其存储介质、芯片与组合。
背景技术
全息显示通过干涉衍射原理成像，可以真实地还原光场信息，从而实现带有深度和角度的光场显示效果，并且具备实现真正3D显示的潜力。但是目前生成全息图的计算全息方法存在一定的局限性，例如现有技术是计算每个不同深度的物点分别传播至像面并进行所有点的波前叠加，导致运算量过大，现有硬件条件下难以实现实时运算，或者直接对整个图像进行快速傅立叶变换，导致各像素点相互之间的深度关系丢失。
专利文献CN201710036146.5公开了一种近眼全息显示系统及方法，其照明装置发出的照明相干光照射在加载全息图的衍射器件上：衍射器件根据加载的全息图对照明相干光进行调制：经过调制的衍射光波在空间进行衍射，在一定距离内构建出具有深度信息的三维全息再现像：由于全息再现像具有深度信息，各个深度平面距离近眼投射光学结构的距离是不同的，因此不同的深度平面会被投射结构投射到空间离观察人眼的不同深度的位置上，以使观察人眼能够观看到被放大的同时具有深度层次的虚拟物体。该专利文献虽然关注到了深度，但是并没有涉及计算每个不同深度的物点分布传播至像面，以及实际三维图像计算的计算量过大的问题。
专利文献CN201380050549.5公开了一种利用虚拟视点从光场生成图像的技术方案，其基于所捕捉的光场图像数据和虚拟视点计算虚拟深度图，基于所捕捉的光场图像数据和虚拟深度图从虚拟视点的角度生成图像。该专利文献虽然不涉及所有点的波前，运算量较低，并且也对深度关系进行了处理，但是其是用相机捕捉图像，把现实世界图像的深度信息取出来，然后利用获取的深度信息以其描述的虚拟视点按照平面投影的方式成像，加入遮挡消隐等因素，让人有一定的深度感觉，但实际是没有深度的2维图像。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种成像方法和光学系统及其存储介质、电子芯片与组合。
根据本发明提供的一种成像方法，将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息。
根据本发明提供的一种光学系统，包括：
成像控制系统：将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息。
优选地，所述将虚拟物面上的图像传播至虚拟光学调制面，包括：
对虚拟物面进行切分，生成得到多个分块；
将输入图像进行切分，得到分别位于所述多个分块上的子图像；
将各个分块上的子图像传播至整个或部分虚拟光学调制面上。
优选地，所述虚拟光学调制面由一个或多个虚拟光学面构成；在所述多个虚拟光学面中，具有不同种类的虚拟光学面或者相同种类的虚拟光学面；不同种类的虚拟光学面，计算得到的光学参数不同。
优选地，每一个虚拟光学面分别对应虚拟物面的一部分；
所述多个虚拟光学面之间，存在两个以上的虚拟光学面在空域上叠加和/或存在两个以上的虚拟光学面在空域上不叠加。
优选地，所述将虚拟物面上的图像传播至虚拟光学调制面，具体为：
一个虚拟物面对应一个虚拟光学调制面，或者多个虚拟物面分别对应各自的虚拟光学调制面；
其中，所述多个虚拟物面上的图像由同一输入图像拆分生成得到，并且所述多个虚拟物面分别对应的各自的虚拟光学调制面调制后的光场分布采用在时间上分别显示或部分分别显示的方式进行叠加。
优选地，所述多个虚拟物面上的图像分别为同一输入图像的不同部分，所述多个虚拟物面上的图像叠加后等于所述输入图像。
优选地，虚拟物面上的图像具有设置的相位，其中，所述设置的相位使得虚拟物面上的图像传播至虚拟光学调制面时能量成设定的分布模式，和/或所述设置的相位使得虚拟物面上的图像传播至虚拟光学调制面时的光场的相位成设定的分布模式，例如均匀分布或等位线为圆形的分布。
优选地，根据实际空间光调制器参数、入射光波长、光学器件中的任一者或者任多者，生成如下任一种或任多种参数：
-分块的大小及分块对应的虚拟光学面的大小；
-虚拟物面到对应的虚拟光学调制面的距离；
-虚拟光学面所模拟的光学器件的参数。
优选地，每个分块上的图像的传播距离固定，每个分块上的图像的传播采用图像强度及相位分布卷积传播函数来计算。
优选地，通过快速傅立叶/傅立叶逆变换虚拟物面的分块上的图像的强度及相位分布，点乘传播函数的快速傅立叶/傅立叶逆变换，再快速傅立叶逆/傅立叶变换来得到计算结果；传播函数的傅立叶/傅立叶逆变换预先计算并存储。
优选地，每个分块上的图像的传播采用图像强度及相位分布，乘以第一设定相位分布，再执行傅立叶/傅立叶逆变换，再乘以第二设定相位分布的方式计算，所述第一设定相位分布及第二设定相位分布是预先生成并存储的，或者是实时计算生成的(例如根据传播距离生成)。
优选地，物面图像的传播采用先计算生成或读取预先存储的物面上单点传播一定距离至虚拟光学面上的光场分布，记为第一光场分布；根据第一光场分布得到第二光场分布，即为物面图像上单点传播至虚拟光学面上的光场分布；再以叠加相关的单点对应的第二光场分布的方式来计算所述物面图像的传播，所述物面图像是指所述虚拟物面上的图像；
其中，物面上传播距离相同的点的第一光场分布相同，根据所述物面上的各点在物面各自的坐标对所述第一光场分布平移后，得到对应点在虚拟光学面上的光场分布，并乘以对应点各自的强度或乘以对应点各自的强度和相位，得到所述物面上的各点的第二光场分布。
例如，第一光场分布是物面上一个理想点传播一定距离后在虚拟光学面上的光场分布，其中，所述理想点假设强度为1，相位为0pi，物面坐标为(0，0)；第二光场分布是物面上实际的点传播至虚拟光学面上的光场分布，其中，所述实际的点假设强度为4，相位为pi/2，物面坐标为(100，50)；所以需要在第一光场分布上乘以所述实际的点的强度和相位，然后对于光场分布坐标平移，才能得出传播相同距离的实际物面点在虚拟光学面上的光场分布；进一步地，通过叠加传播一定距离的物面上实际的点在虚拟光学面上的第二光场分布就可以得到这些物面图像点传播至虚拟光学面上的光场分布。
优选的，对于物面不同分块上的图像分别进行缩放，缩放比例根据特征信息生成或从直接从特征信息之中读取。
优选地，同一个虚拟物面的同一时间显示的多个分块之间相互存在间隙。
优选地，所述间隙用0能量来填充。
优选地，根据实际空间光调制器参数、入射光波长、系统中的光学器件、输入的特征信息中的任一者或者任多者，来生成虚拟物面和/或虚拟光学调制面。
优选地，根据眼球追踪的结果，实时构成虚拟物面和/或虚拟光学调制面。
优选地，对调制后的光场分布信息进行编码，将虚拟物面上的图像传播后的光场与虚拟光学面叠加后再编码；或者，先对虚拟物面传播后的光场编码，再叠加虚拟光学面上虚拟光学器件对应的光学分布；其中，所述编码采用如下任一种或任多种方式的组合：
-编码输出为纯相位格式的全息图/相息图，输出到空间光调制器成像；
-编码采用直接丢弃强度信息，只保留相位信息并离散化的方式；
-编码采用对虚拟物面输入信息的强度或相位进行补偿的方式；
-编码采用通过迭代的方式反复计算虚拟物面的传播及虚拟光学面；
-编码使用双相位编码的方式；
-编码使用复误差扩散(complex error diffusion)的方法；
-编码使用对强度和/或相位信息离散化的方法；
-编码采用时分复用的方式使用多个子全息图显示同一图像和/或子图像。
优选地，包括光源和空间光调制器；光源输出至空间光调制器；空间光调制器在成像控制系统的控制下，根据所述光场分布信息调制出实际光场分布。
优选地，空间光调制器使用相位调制器件，或空间光调制器使用相位调制器件与强度调制器件的组合。
优选地，成像控制系统包括控制电路，其中，所述控制电路用于参与输出至空间光调制器的信息的计算，空间光调制器的控制(驱动)，和/或控制调节光源。
优选地，包括透镜系统，经过虚拟光学调制面调制后的光场分布通过所述透镜系统，得到输出图像。
优选地，根据实际成像控制系统参数，生成虚拟光学调制面，来校正透镜和/或其它光学元器件产生的像差。
优选地，还包含波导器件，波导器件用于扩展输出图像的光场的出瞳(眼动、EYEBOX)大小和/或视场大小。
优选地，通过虚拟光学调制面的不同设置来校正波导器件产生的像差。
优选地，所述波导器件是主要由多个透射/反射率不同的面组成的阵列式波导器件；或者，所述波导器件是主要由衍射或全息类器件组成的波导器件。
优选地，透镜系统缩放光源的入射光束的角度，和/或放大缩小空间光调制器输出的光场。
优选地，所述波导器件的入瞳小于人眼的瞳孔尺寸，光学系统中波导器件的前级系统输出的光场的出瞳与波导器件的入瞳耦合。
优选地，所述光源包括激光器和/或发光二极管。
优选地，所述光源还包含光纤部分，将激光器或者发光二极管发出的光能耦合入光纤，再引导至空间光调制器。
优选地，所述光源还包含合束器件，所述合束器件使用X棱镜、二向色镜、光纤中的任一者或任多者，将不同颜色光源发出的光束合束输出至空间光调制器。
优选地，还包括光阑，所述光阑遮蔽光场中不需要的部分。
优选地，包含多个空间光调制器，多个空间光调制器各自还原的光场相叠加，来还原目标光场。
根据本发明提供的一种光学系统组合，包括多个上述的光学系统，多个光学系统并联，输出不同光场至观看者的左右眼形成双眼视差图像，和/或输出至多个观看者。
优选地，输入信息除图像的光强分布信息外还包括特征信息；其中，通过所述输入信息中的图像经过处理或者不经过处理得到所述虚拟物面上的图像。
优选地，所述输入信息包含帧、子帧、分子帧多级结构中的一级或多级，所述多级结构按照特征信息组织。
优选地，所述输入信息的特征信息包含像素对象的成像距离、角度、帧/子帧/分子帧图像总亮度、子帧数量、分子帧数量、左右帧、接收目标、像差参数、缩放比例、消隐关系、颜色之中的至少一种；
其中，所述像素对象包括像素点和/或像素分块。
优选地，所述输入信息是外部输入，或者存储在成像控制系统之中，或者部分存储在成像控制系统中，部分从外部输入。
优选地，所述虚拟光学调制面和/或虚拟光学面根据所述特征信息生成或部分根据所述特征信息生成。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的成像方法的步骤。
根据本发明提供的一种集成有逻辑的ASIC芯片，所述芯片的程序和或电路实现上述的成像方法的步骤。
优选地，将输入图像的能量强度分布显示在虚拟物面，并传播至虚拟光学调制面，将其它特征信息(例如成像距离)通过虚拟光学调制面调制出来，计算出虚拟物面经过虚拟光学调制面调制后的光场分布信息，并编码输出。
优选地，输入图像信息包含图像能量强度(光强分布、各颜色的灰度信息)；各像素成像距离、观看角度中的任一种或任多种特征信息。
优选地，输入图像采用多级结构组成，区分各级的特征信息要素包括：像素点距离、接收目标、影像角度、缩放比例、影像消隐关系、左右帧、影像颜色、总光强中的任一种或任多种要素。
优选地，输入图像采用帧、子帧的二级结构，或采用帧、子帧、分子帧的三级结构组成。
优选地，从多级结构中直接得到对应级的虚拟物面和虚拟光学调制面。
优选地，使用空间光调制器显示经计算和编码后的光场信息输出。
优选地，空间光调制器使用相位调制。
优选地，空间光调制器为硅基液晶器件。
优选地，空间光调制器为相位调制器件和强度调制器件的组合。
优选地，可以将输入图像分块，分别对应虚拟光学调制面上各自的虚拟光学面，从而实现图像的一些分块显示的光学特征与另一些分块的光学特征不同(例如距离不同)。
优选地，各分块对应的虚拟光学面根据输入的特征信息计算获得。
优选地，同一图像的各分块经对应的虚拟光学面调制后的光场可以在时序上分别显示，或几个分块在同一时间显示，另几个分块在另一个时间同时显示，所有分块显示内容在时域上的累加等于完整图像，但各分块的光学特征可以不同。
优选地，可以将在时序上先后显示的各分块按显示时间分组，例如同一时刻显示的多个分块分为一组，同组内的各个分块之间存在间隙，以使虚拟物面上同组的分块传播至虚拟光学调制面后，各分块对应的虚拟光学面之间不存在重叠。从而使同组内的各分块图案的光学特征可以不同而不会相互干扰。上述不同组的各分块对应的虚拟光学面可以重叠，但在同一时刻，同时显示的各个图像的虚拟光学面都不重叠。
优选地，虚拟光学面可以用来调节对应图像的成像距离，角度，光学系统产生的像差，人眼的屈光度散光等等光学特征信息。
优选地，光学系统中包含光源，空间光调制器，成像控制系统包括控制电路。
优选地，其中光源包括半导体激光器。
优选地，光源还包含光纤，通过将半导体激光器输出的光耦合入光纤再输出到空间光调制器来实现光束整形。还可以将不同波长的激光导入同一光纤来实现不同波长的输入光源的合束。
优选地，其中空间光调制器使用基于相位调制的硅基液晶器件。
优选地，控制系统使用FPGA或DSP或GPU或ASIC芯片来计算虚拟物面上图像的传播，虚拟光学调制面以及光场信息的编码。
优选地，光学系统中还包含透镜或透镜组，和/或光阑等其它光学元器件。
优选地，光学系统中还包含波导器件，用于扩展系统的出瞳(EYEBOX)或眼动，同时并不缩小视场(FOV)。
优选地，所述波导器件可以使用由多个透过率不一的反射面组成的阵列式波导，或者由光栅(衍射类器件HOE、DOE)组成的波导器件。
优选地，虚拟光学面根据波导扩瞳时各个瞳之间的不同传播距离或角度来校正由于图像到波导器件中各个拼接的瞳的传播距离不同造成的像差。
优选地，可以对虚拟物面上的图像设置一个初始相位，以使其传播至虚拟光学调制面后具有某些特性，例如相位分布均匀，或者相位成设定分布形式，或者强度均一等。
优选地，对于传播至虚拟光学调制面经过虚拟光学面调制后的虚拟物面图像的光场信息进行编码。
优选地，上述编码方式可以是纯相位的编码，例如丢弃强度，只保留相位，或者双相位编码，或者其它优化的编码方式
优选地，虚拟光学面所模拟的光学器件，可以是模拟的透镜、反射面或者自由曲面器件。模拟光学器件输出的光场(输出调制光场)，可以经过主要由实体光学器件(例如透镜)组成的系统的叠加处理后，得到所述光学系统的输出光场。当然，若模拟光学器件输出的光场已经符合要求时，则所述模拟光学器件输出的光场即作为所述光学系统的输出光场而无需实体透镜或其它光学器件。
优选地，人眼的瞳孔尺寸是指2-8毫米，例如2毫米、3毫米、4毫米、5毫米或者8毫米等。
其中，符号/表示或者的意思。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提高了图像生成效率，以较低的运算量实现全息图的转换，实现实时全息成像。
2、本发明降低了系统运算的功耗，降低对于计算芯片等系统硬件以及空间光调制器的配置要求。
3、本发明在大大提高计算效率的同时，还保留了图像中各个深度信息。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1、图2、图3、图4分别为同一输入图像被拆分得到的四个子图像，其中，输入图像的像素值均为黑色方块代表的是图像原始的像素值，子图像中的白色方块代表像素值为0。
图5为输入图像。
图6、图8为将图5中输入图像的两个子帧中多个分子帧生成的图像拆分成两个子图像，对应两个虚拟物面的示意图。其中黑色部分是能量为0的间隙。
图7、图9分别为图6、图8中各子图像对应的虚拟光学面。
图10为虚拟物面的分块大小相同，虚拟光学面大小相同的示意图。
图11为虚拟物面的分块在空间上不重叠，对应的虚拟光学面在空间上重叠的示意图。
图12为虚拟物面的分块大小不相同，虚拟光学面在空间上重叠的示意图。
图13为虚拟物面的部分在空间上完全重叠，但对应的特征信息不同，因而空间重叠的两个物面对应的虚拟光学面不同。
图14、图15、图16分别示出了不同的光学系统的原理示意图。
图中示出：
光源1
空间光调制器2
光学器件3
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
成像方法
本发明提供的一种成像方法，将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息。
成像控制系统可以将输入的信息(帧/子帧/分子帧，或进一步细分)生成一个或多个虚拟物面。
成像控制系统将虚拟物面切分得到分块，例如将输入图像的一帧分辨率1024×768的子帧切分得到分别位于192个分辨率为64×64的分块上的子图像，将每一个分块上的子图像分别传播至虚拟光学调制面。进一步的，输入图像中一个帧中的细分的子帧或/分子帧包含的图像称为子图像，子图像的大小也可以约定为和分块大小一致，此时，输入的一个子帧/分子帧就对应虚拟物面的一个分块，无需再做额外处理。
每一分块传播所影响到的可以是整个虚拟光学调制面，或者只是虚拟光学调制面的一部分，虚拟光学调制面上对应虚拟物面分块传播的虚拟光学面的尺寸由空间光调制器上实际像素点大小、分块传播距离、对应入射光频率等一系列参数综合决定。
虚拟物面可以在虚拟光学调制面之前或者之后，所述传播可以是正向的，例如虚拟物面的图像正常传播一段距离后在虚拟光学调制面上形成光场分布，也可以是逆向的，例如虚拟光学调制面上的光场分布传播一段距离后形成虚拟物面，例如，输入的图像帧中一个R子帧中包含一个大小为100×200像素的成像距离为虚拟光学调制面之后500毫米的分子帧图像，则可以将该分子帧图像对应生成的虚拟物面划分为2×4个分辨率64×64的分块，子图像按照每个分块在虚拟光学调制面之前100毫米的距离传播至虚拟光学调制面，通过虚拟光学调制面上的对应的虚拟光学面将子图像的成像调制到虚拟光学调制面之后500毫米的距离。
所述传播可以使用菲涅尔变换/菲涅尔逆变换，傅立叶变换/傅立叶逆变换，角频谱传播，或者直接使用基尔霍夫衍射公式等方法计算得到。也可以先预存或计算物面单点传播到虚拟光学面的光场分布，记为第一光场分布，再对物面相应点(物面上到虚拟光学面距离相同的点)根据物点的坐标对所述第一光场分布平移，然后以物点强度作为权，加权叠加平移后的第一光场分布来计算所述传播。
每一个虚拟物面上的分块上的子图像传播到虚拟光学调制面上的距离可以是相同的，也可以是不同的，或者也可以设置传播距离为0，将子图像直接显示在虚拟光学调制面上。
虚拟光学调制面上的每一个虚拟光学面对应同一帧/子帧/分子帧所对应形成的虚拟物面上的一个分块。
虚拟物面不同分块上的子图像可以分别进行缩放，用于补偿将图像调制到不同距离后可能与实际景物应有的大小产生的偏差。缩放的比例可以根据对应虚拟光学调制面以及其它一些参数来确定，例如根据虚拟光学调制面将图像调制到的成像距离来确定缩放比例，或者根据虚拟光学调制面将图像调制到的成像距离以及空间光调制器的参数、光源的频率、其它光学系统的参数等来确定缩放比例。当然这个比例也可以是事先计算好，存储在输入信息的特征信息中，从而系统无需实时计算，只需直接读取相应信息并进行缩放即可。或者也可以在生成输入信息时已将图像缩放，则此时系统无需再对子图像进行缩放。当然，这种偏差与实际采用的光学系统相关，也可能实际的光学系统对于虚拟光学面调制物面后实际图像的大小不敏感或者无影响，这种情况下也可以不对物面的不同子图像进行缩放调整。
每一个虚拟光学面可以根据输入信息分别调制对应的虚拟物面上的分块上的子图像，例如通过模拟透镜的方式调节对应虚拟物面分块上图像的远近，和/或调节对应虚拟物面分块上图像的角度，和/或者校正对应分块图像的像差(各分块的像差可以相同，也可以不同),还可以对入射的照明光场分布进行补偿。
虚拟光学面可以使用Seidel多项式或Zernike多项式计算生成。虚拟光学面可以校正像差，例如使用Zernike多项式生成的相位分布，校正的光学像差包括球差、慧差、像散、场曲、畸变、色差、高阶像差或者色差等等所有可以给出数学表达式的像差。
虚拟物面和虚拟光学调制面还可以采用时分复用的方式，使虚拟物面上的分块所对应的虚拟光学调制面上的各虚拟光学面不重叠，例如一个分辨率32×32的分块上的子图像传播后对应的虚拟光学面的大小为分辨率64×64，则可以将所述虚拟物面对应的帧/子帧/分子帧拆分成4个子图像，它们包含的信息的总和等于原输入图像，每个子图像中的分块大小仍为分辨率32×32，但同一时刻显示的虚拟物面上的分块的四边的16个像素(因为每个子图像的四边是16个像素的空隙，例如左边有16个像素的空袭，与其左边相邻的可以同一时刻显示的分块的右边也有16像素空隙，这样两个物面分块中的空隙加在一起正好是32像素点，可以是一个在同一时刻不被显示的图像分块)对应的值都为0，这样原先每64×64的图像所包含的4个相邻分块中只有一个分块在同一时间中显示，其对应的虚拟光学面在虚拟光学调制面上不会重叠。通过快速的显示这4个子图像，利用人眼的视觉残留效应，观看者可以看到不会相互干扰的4个子图像叠加后完整的64×64的输入图像。换言之，通过4个在时间上分开显示的虚拟物面和虚拟光学调制面，可以还原出任意的分辨率，包含任意多个不同虚拟光学面的图像，例如1920×1152的图像可以是30×18个64×64的分块组成，每个虚拟物面的分块中有64×64个像素点包含原始信息，实际显示时拆分成4个时间上分别显示的子帧/分子帧，每个分子帧/分子帧包含30×18个64×64的分块，每个虚拟物面的分块中只有32×32个像素点包含原始信息，其余部分为0，不同时刻显示的子帧/分子帧的虚拟物面的分块中包含原始信息像素点的位置可以不同，其对应的虚拟光学面为64×64，这样就可以还原出30×18个不同特征的虚拟光学面且每一时刻虚拟物面分块对应的虚拟光学面都不会重叠。
此外还可以通过合理的设置分块传播距离和/或适当截止部分高频信息的方法，在保证成像质量的前提下减小虚拟光学面大小(例如使虚拟物面分块大小等于虚拟光学面大小)，以及更优的方式排布虚拟光学面分布，从而减少时分复用的子图像数量或不使用时分复用的子图像方式成像。
此外，还可以通过对输入虚拟物面上的初始相位进行优化的方法，使每一分块传播至虚拟光学调制面处的光场只有很少的高频或没有高频信息，从而减小其对应的虚拟光学面大小，从而减少时分复用中所需的子图像数量，或不使用时分复用的方式成像。
此外，在某些情况下(例如最终图像成像距离较远)，还可以通过在虚拟物面能量为0，致传播到虚拟光学调制面后对应分块能量也为0的部分叠加周边其它分块(例如具有能量的部分)的输出光场分布来增加对应分块图像的出瞳面积，由于上述能量为0部分的光场并没有实际计算，只是复制了周边的光场分布，从而在像质可接受的情况下，相比与取更大的分块，将前述能量不为0的部分物面传播至此，可以节约运算量。
对虚拟物面传播至虚拟光学调制面并叠加虚拟光学面后的光场信息进行编码。
编码输出可以为纯相位格式的全息图/相息图，输出到空间光调制器成像。
控制电路同步控制光源输出与空间光调制器上显示对应的全息图/相息图所匹配的颜色及强度。
编码可以使用直接丢弃强度信息，只保留相位信息并采用离散化的方法。
编码可以采用在虚拟物面上加入相位信息，使传播后的光场满足设定的相位分布或者强度分布(例如强度或者相位分布较为均一)以优化显示效果。
编码可以通过对虚拟物面输入信息的强度或相位进行补偿的方式，以优化显示效果。
编码可以通过迭代的方式反复计算虚拟物面的传播及虚拟光学面，以优化显示效果
编码可以使用双相位编码的方法(double phase)，公式：
其中：
φ1 xy为对应虚拟光学面的奇数行/列点的相位
φ2 xy对应偶数行/列点的相位(或者φ1 xyφ2 xy对应的点也可以采用棋盘格的方式排列)
φxy为设定的物面传播后光场或物面传播并经虚拟光学面调制后光场的相位
φz xy为照明光场在对应位置的相位分布
Az xy为照明光场在对应位置的振幅分布
Axy_max为物面传播后的光场或物面传播并经虚拟光学面调制后光场振幅的最大值
下标x表示物面传播后的光场或物面传播并经虚拟光学面调制后光场(等效于虚拟光学调制面或虚拟物面上相关的点的x方向)的坐标值
下标y表示物面传播后的光场或物面传播并经虚拟光学面调制后光场(等效于虚拟光学调制面或虚拟物面上相关的点的y方向)的坐标值
使用双相位的编码方式时，可以通过一片空间光调制器显示双相位的方式还原光场，例如将前述的奇偶行或列的方式。
此外，使用双相位的编码方式时，也可以使用两片或多片纯相位的空间光调制器，每片空间光调制器调制双相位中的一个相位分布，通过光学系统合成后还原出完整的光场。此时φ1 xy单独显示在一片空间光调制器上，φ2 xy单独显示在另一片空间光调制器上，无需在区分奇偶行/列。
编码可以使用复误差分散(complex error diffusion)的方法
此外，可以将虚拟物面传播后的光场与虚拟光学面叠加后再编码，也可以先对虚拟物面传播后的光场编码，再叠加虚拟光学面上虚拟光学器件对应的光学分布(虚拟光学器件的光学分布大多为纯相位分布，可以直接叠加，无需再次编码)，所述的叠加可以是相位φxy的直接相加，或者是相位分布
的点乘(两者在数学上完全等效)。
此外，编码也可以保留强度和相位，器件上使用两块以上的空间光调制器，分别调制强度和相位，通过光学系统合成后还原出光场。例如使用一块强度的空间光调制器(例如强度调制的LCoS或LCD或OLED等器件)，一块相位调制的透射式空间光调制器(基于硅基液晶的纯相位器件)，分别还原光场的强度分布和相位分布，其中相位调制的空间光调制器放在强度调制的空间光调制器之后。当然也可以通过器件设计和制造工艺将强度调制的空间光调制器和相位调制的空间光调制器制作成一个器件来实现上述功能。
编码可以使用时分复用的方式使用多个子全息图显示同一子图像，来降低图像散斑，提高成像质量。
编码的控制电路可以使用GPU、FPGA、DSP、CPU或者开发ASIC芯片
上述编码处理及计算方法使用并行方式进行。
光学系统
本发明提供的一种光学系统，包括成像控制系统：将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息。
成像控制系统
成像控制系统可以采用电子元器件，负责接收输入信号，并按本发明提供的成像方法将输入信号转换为全息图/相息图输出。将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息，并将调制后的光场分布编码并以全息图/相息图的方式输出。
成像控制系统接收的输入信息包含接收的输入图像中的图像像素点颜色的灰度信息，以及像素点的距离信息/深度信息和/或像素点的观看角度信息等特征信息。
成像控制系统接收的输入信息可以是按照多级结构组织的，例如每一帧中包含一个或多个子帧，子帧中还可以再进一步细分为一个或多个分子帧等等，成像控制系统按照每一级所包含的信息对该级中的多个子图像分别处理并生成全息图/相息图。
所述输入信息的分级可以是按距离、颜色、观看角度等特性来区分，例如第一级信息按RGB三种颜色将一帧图像分为三个子帧，第二级信息按距离将子帧分成多个成像距离不同的分子帧，例如R子帧中包含3个成像距离的分子帧，G帧中包含一个成像距离的分子帧，B子帧中包含4个成像距离不同的分子帧。
光学系统中还可以包含空间光调制器、光源、透镜系统，光阑以及其它光学器件
空间光调制器可以采用硅基液晶工艺制造的纯相位调制型器件，一套系统中可包含一块或多块空间光调制器
光源可以采用激光器或LED等；
光源可以采用一个或多个半导体激光器或LED，采用多个激光器或LED时可以通过合路器合路输出到空间光调制器；
光源中还可以包含准直系统，将光束准直或放大或缩小光束角度后输出至空间光调制器；
合路器可以是合束棱镜，或一块或多块二向色镜，或使用光纤耦合的方式；
光路系统中还可以包含透镜系统，对空间光调制器输出光场进行缩放(例如望远镜系统，或者成像镜头等)；
光路系统中还可以包含波导和/或衍射光学器件，实现对输出图像进行扩瞳和/或视场的扩展；
光路系统中还可以包含阵列式波导，实现对输出图像进行扩瞳和/或视场的扩展；
光路系统中还可以包含光栅式波导(包含HOE、DOE类器件)；
光路系统中还可以包含透镜阵列，实现对输出图像进行扩瞳和/或视场的扩展；
光路设计时可以通过适当的设计将全息图产生的0级和/或多余的衍射级引导在波导入瞳之外，或者使这些杂光的入射角度不满足波导的耦合条件，从而使波导输出的图像中不会包含0级杂光和/或多余衍射级形成的鬼影；
光路系统中还可以加入光阑，用于遮挡0级和/或多余衍射级；
对于使用单空间光调制器的双相位编码方式的系统，可以通过在光学系统中增加光阑，遮挡由于双相位编码产生的噪声(图像的多余部分)，或者与波导配合，将双相位编码产生的噪声引导在波导入瞳之外或者入射角度不满足波导的耦合条件，从而过滤掉由于双相位编码产生的噪声。
光学系统中可以有多块空间光调制器来还原虚拟光学调制面上的输出光场(例如两块空间光调制器，每块各显示双相位编码中的一部分编码，通过合路器件合成后输出完整光场)
光学系统中也可以有多套上述技术方案的装置(例如两套装置，分别显示观看者左眼和右眼看到的图像，达到更好的成像效果)
下面对本发明进行更为具体的说明。
应用例1
一种近眼显示系统，输入图像每一帧的分辨率为800×600，每一帧包含2个成像距离不同的子帧。例如一帧中有一个成像距离为10米分辨率为100×120的物体图像的子帧，记为第一子帧，还有另一个成像距离为0.2米分辨率为200×100的物体图像的子帧，记为第二子帧。成像控制系统将虚拟物面的分块大小设置为50×50，则第一子帧占据2×3个分块，第二子帧占据4×2个分块，虚拟物面与虚拟光学调制面的距离设置为0.1米，而对应每个分块的虚拟光学面的大小取与分块大小一致。成像距离为10米的子帧的虚拟物面的分块对应的虚拟光学面所模拟的透镜被设置为使图像成像在10米位置的焦距，可通过改变每个分块对应的模拟透镜的中心位置来调节分块图像在实际成像平面上的位置，从而达到更好的成像效果。成像距离为0.2米的子帧的虚拟物面分块对应的虚拟光学面所模拟的透镜被设置为使图像成像在0.2米位置的焦距。叠加虚拟物面传播至虚拟光学调制面的光场与虚拟光学面所模拟的透镜产生的相位分布，对产生的光场分布进行编码，例如采用纯相位编码，将编码后的结果输出到空间光调制器，同时成像控制系统同步光源照射空间光调制器输出图像光场。优选地，调制面调制物面传播至虚拟光学调制面的光场的方法可以是与虚拟光学面的复振幅点乘或相位的相加。此外，可以根据实际的光学系统对显示在10米处的物体图像和0.2米处的物体图像进行缩放，例如将0.2米处的物体原始图像X方向放大10％、Y方向放大9％，将10米处的图像X方向缩小5％、Y方向缩小4％(X,Y方向的放大缩小比例也可以相同，根据实际光学系统决定)，从而使虚拟图像与其在空间中应该具有的实际大小相一致。
光源采用半导体激光器，经过准直透镜后以平行光的方式输出到空间光调制器(也可以使用有角度的入射光，从而改变输出的视场大小)。光学系统中还可包含波导系统，空间光调制器输出图像的出瞳与波导系统的入瞳耦合，无用的次级将被挡在波导的入瞳之外，或者角度不满足波导的输入要求从而被滤除，波导系统对输出的图像进行扩瞳，使观看者能够在更大的范围内观看图像。
此外，对于成像距离为0.2米分辨率的图像(成像距离较近)，虚拟物面不同位置分块对应的虚拟光学面还可以根据波导中各出瞳图像传播的实际距离做像差补偿，补偿计算可以通过Zernike多项式或Seidel多项式计算生成。
应用例2
本领域技术人员可以将应用例2理解为应用例1的变化例。
一种近眼显示系统，输入图像每一帧的分辨率为640×480，每一帧包含对应左眼RGB三个颜色的子帧以及对应右眼的RGB三个颜色子帧共6个子帧，每个子帧包含数量不等的成像距离不同的分子帧。
成像控制系统接收一帧图像后，根据不同子帧处理后将每一分子帧分块，例如一个左眼G子帧中包含1个成像距离为1米的分子帧，其中有一个分辨率分别为128×160物体图像，以及一个成像距离为0.1米的分子帧，其中有一个分辨率为60×80的物体图像和一个分辨率为200×64的物体图像，则成像控制系统生成虚拟物面，并根据这三个物体图像在分子帧中的位置将其排布在对应的虚拟物面的位置上并分成4×10、2×5、7×4的分块，每个分块含有32×16个像素点。成像控制系统将这4×10+2×5+7×4共78个分块分别传播10厘米，可通过菲涅尔变换，或空间光角频谱传播的方法计算，也可以利用物面光场与传播函数的卷积来计算，卷积可通过快速傅立叶变换计算，或者也可以使用图像强度及相位分布乘以第一设定相位分布，再执行快速傅立叶/傅立叶逆变换，再乘以第二设定相位分布的方式计算，可以加快运算速度。或者也可以先计算(或从预存的数据中读取)单个像素点分别传播1米和0.1后的光场分布信息，将对应距离的分块中的每个像素点的强度及相位与所述光场分布相乘(需根据像素点位置平移光场分布信息)，或者只用像素点的强度乘以对应光场相位信息(需根据像素点位置平移光场分布信息)，然后加权叠加所有点各自的光场分布信息来计算光场传播。
此例中所有分块的传播距离都设置为固定的传播距离，例如10厘米，则利用快速傅立叶变换计算时，传播函数/或所述设定相位分布只需做一次计算并存储，后续计算的分块即可反复使用，可有效节约计算时间。结合入射光波长、空间光调制器像素点大小，以及成像质量的综合考虑后设定虚拟光学调制面上对应每一分块的虚拟光学面的大小为48×24像素，采用双相位单空间光调制器的编码方式编码后对应虚拟光学面扩展为48×48像素，计算方法为
其中，φ1 xy为经编码的物面传播后光场的奇数列像素的相位，φ2 xy为经编码的物面传播后光场的偶数列像素的相位，φxy为物面传播后光场的相位，照明光场在对应位置的相位分布为一个常数，照明光场在对应位置的振幅分布都为1，Axy_max为物面传播后的光场振幅的最大值。
为经双相位编码的物面传播后的光场的光场分布
在虚拟光学调制面上生成对应的80个48×48像素点的虚拟光学面，对应成像距离为1米的虚拟物面分块的每一虚拟光学面上都生成一个焦距为100/9厘米的虚拟透镜(可以通过偏移虚拟透镜的中心，使其对应的虚拟物面分块在最终的成像平面上发生平移，从而更好的控制其位置)，对应成像距离为0.1米的虚拟物面分块的虚拟光学面则不做距离调制。生成的虚拟光学调制面的相位分布与先前计算的传播至此经双相位编码后的虚拟物面的分块的光场分布相叠加，例如
或
为对应的虚拟光学面所模拟的透镜的相位分布(可以使用Zernike或Seidel多项式计算生成)，ang()为取复数辐角运算，Q{}为离散化运算，例如根据四舍五入的方法将运算数据变为0～2π间的64个离散值，hxy表示输出至空间光调制器上的光场分布。输出的结果分辨率为960×1440，可以输出到分辨率大于960×1440的空间光调制器上成像。当然，上述步骤的顺序也可以根据需要调整，例如对于物面传播后的光场先不编码，待与对应的虚拟光学面的光场分布叠加后再将输出光场进行双相位编码。
此外，对于应用例2，也可以在系统中加入一个实体透镜，例如焦距为10厘米的凸透镜，放置在距空间光调制器5厘米处，则此时对应0.1米的成像距离的可以直接将物面显示在空间光调制器上，对应1米的成像距离的虚拟光学面需要模拟一个焦距为39.9091厘米的凹透镜。或者直接将成像在1米的物面传播4.0909厘米至空间光调制器而无需再模拟透镜，若还有其它不同距离的虚拟物面，也可以将其设置为传播4.0909厘米，再在其对应虚拟光学面上模拟透镜。这样做的好处是虚拟光学面数量减少，且需要模拟的光学器件参数之间焦距的差别很小，对于实际物理器件较易实现，且还利于在透镜后聚焦处加入光阑过滤杂光。
此外，对于应用例2，如果输入图像分辨率较大，例如1024×768，采用上述方法会导致最终结果分辨率较高，而高分辨率的空间光调制器成本较高，此时也可采用时分复用的方法来生成虚拟物面和虚拟光学调制面。例如将前述子帧中两个分子帧生成的图像拆分成两个子图像，对应两个虚拟物面(每个虚拟物面都可以同时包含部分传播0.1米的图像和部分传播1米的图像)，每个虚拟物面上的分块大小仍为32×16，但每个分块周边的16×8个像素点为0(如图6和图8)，传播10厘米每个子图像对应的虚拟物面至虚拟光学面，每个分块对应的虚拟光学面的分辨率为48×24(分块对应的虚拟光学面的分辨率也可以根据调制参数而做出改变，例如调制后成像距离为1米的图像分块对应的虚拟光学面分辨率仍为48×24，但调制后成像距离为0.1的分块对应的虚拟光学面的分辨率调整为40×20)，虚拟物面传播后的光场与虚拟光学面上的调制相位(可以对不同分块调制出不同距离)叠加，经双相位编码后的分辨率为48×48如图7和图9所示。子图像对应的全息图先后显示，通过人眼视觉残留效应叠加后观看者最终看到的图像与输入图像(图5)一致。而同一时刻显示的子图像对应的虚拟光学面不会相互干扰。
此外，对于应用例2，在使用时分复用的显示方式时，不同时刻显示的全息图可以采用不同的编码方式，例如对于第一时刻显示的全息图采用双相位编码，对于第二时刻显示的全息图采用丢弃强度的编码方式。这样做的好处是可以根据某些时刻显示的图像特性来选择最合适的编码方式。
对于上述应用例，还可以将虚拟物面上所有分块的传播距离都设置为无穷远，这样可以通过一次快速傅立叶或傅立叶逆变换即得出传播后的光场分布，然后通过对应的虚拟光学面调制成像距离，这样做的好处是可以降低运算复杂度，加快运算速度。
对于上述应用例，可以使用带有一定发散角度的光束照明。例如照明系统使用单色半导体激光器，直接斜入射空间光调制器，光斑的束腰位置覆盖空间光调制器。
也可以使用经过准直的平行光照明，例如使用透镜将半导体激光器出射的光束准直。
光源还可以使用R、G、B三色激光器各一个或数个，通过X棱镜或二向色镜合束后输出到空间光调制器(准直或带有一定发散角度)
光源还可以使用光纤输出(例如单模的保偏光纤)，将单个激光器或多个激光器或窄带LED发射出的光束耦合入光纤，然后使用光纤的输出端直接照明空间光调制器，或者经过透镜准直后输出到空间光调制器
光源输出到空间光调制器可以采用斜入射的方式直接入射空间光调制器，也可以使用BS或TIR或PBS等器件将输出光导入到空间光调制器。
经空间光调制器调制后出射的光场可以直接输出供人眼观看。也可以再经过光学系统后输出至人眼。
还可以在光学系统中加入波导，作扩瞳用。上述的TIR或BS类器件可以集成在波导内，做成一个整体，光源直接输出至与波导结合的TIR或BS类器件，将光输出到空间光调制器，空间光调制器调制后输出的光场耦合入波导，经扩瞳后输出至人眼。
或者空间光调制器输出的调制光场也可以先经过透镜系统(或者通过虚拟光学面来调制而不使用实际的透镜)放大或缩小视场(缩小或放大出瞳)，与波导的入瞳及输入光耦合角度相匹配，再输入波导入瞳，经波导扩瞳后输出至观看者
使用非准直光照射空间光调制器时(例如使用半导体激光器直接照明，或者使用光纤)，可以将发光点(半导体激光器的发光点，或者光纤的出射端面)设置到合适的位置，通过设置虚拟物面的距离及虚拟光学面的参数来直接调节空间光调制器输出光场的角度及出瞳，可以无需光学系统直接耦合入波导，或者将上述结构与波导集成在一个器件上，从而减小系统的体积。
还可以使两套上述系统并联，同步其显示的内容，做成双目显示系统，达到更好的显示效果。
对于上述的全息图生成方法，成像控制系统可以使用GPU或FPGA计算，可以对多个分块实行并行计算从而提高运算速度。
成像控制系统也可以使用DSP做计算。
成像控制系统也可以使用订制开发的ASIC芯片做计算。
成像控制系统可以和CPU结合，通过操作系统获得视频信息。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述设定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (41)
1.一种成像方法，其特征在于，将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息；
所述将虚拟物面上的图像传播至虚拟光学调制面，包括：
对虚拟物面进行切分，生成得到多个分块；
将输入图像进行切分，得到分别位于所述多个分块上的子图像；
将各个分块上的子图像传播至整个或部分虚拟光学调制面上。
2.一种光学系统，其特征在于，包括：
成像控制系统：将虚拟物面上的图像传播至虚拟光学调制面，得到经过虚拟光学调制面调制后的光场分布信息；
所述将虚拟物面上的图像传播至虚拟光学调制面，包括：
对虚拟物面进行切分，生成得到多个分块；
将输入图像进行切分，得到分别位于所述多个分块上的子图像；
将各个分块上的子图像传播至整个或部分虚拟光学调制面上。
3.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，所述虚拟光学调制面由多个虚拟光学面构成；在所述多个虚拟光学面中，具有不同种类的虚拟光学面或者相同种类的虚拟光学面；在不同种类的虚拟光学面之间，计算得到的光学参数不同。
4.根据权利要求3所述的成像方法或者权利要求3所述的光学系统，其特征在于，每一个虚拟光学面分别对应虚拟物面的一部分；
所述多个虚拟光学面之间，存在两个以上的虚拟光学面在空域上叠加和/或存在两个以上的虚拟光学面在空域上不叠加。
5.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，所述将虚拟物面上的图像传播至虚拟光学调制面，具体为：
一个虚拟物面对应一个虚拟光学调制面，或者多个虚拟物面分别对应各自的虚拟光学调制面；
其中，所述多个虚拟物面上的图像由同一输入图像拆分生成得到。
6.根据权利要求5所述的成像方法或者权利要求5所述的光学系统，其特征在于，所述多个虚拟物面上的图像分别为同一输入图像的不同部分，所述多个虚拟物面上的图像叠加后等于所述输入图像。
7.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，虚拟物面上的图像具有设置的相位，其中，所述设置的相位使得虚拟物面上的图像传播至虚拟光学调制面时能量成设定的分布模式，和/或所述设置的相位使得虚拟物面上的图像传播至虚拟光学调制面时的光场的相位成设定分布模式。
8.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，根据实际空间光调制器参数、入射光波长、光学器件中的任一者或者任多者，生成如下任一种或任多种参数：
-分块的大小和/或分块对应的虚拟光学面的大小；
-虚拟物面到对应的虚拟光学调制面的距离；
-虚拟光学面所模拟的光学器件的参数。
9.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，每个分块上的图像的传播距离固定，每个分块上的图像的传播采用图像强度及相位分布卷积传播函数来计算。
10.根据权利要求9所述的成像方法或者权利要求9所述的光学系统，其特征在于，通过快速傅立叶/傅立叶逆变换虚拟物面的分块上的图像的强度及相位分布，点乘传播函数的快速傅立叶/傅立叶逆变换，再快速傅立叶逆/傅立叶变换来得到计算结果；传播函数的傅立叶/傅立叶逆变换预先计算并存储。
11.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，每个分块上的图像的传播采用图像强度及相位分布，乘以第一设定相位分布，再执行傅立叶/傅立叶逆变换，再乘以第二设定相位分布的方式计算，所述第一设定相位分布及第二设定相位分布是预先生成并存储的，或者是实时计算生成的。
12.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，同一时间显示的虚拟物面的多个分块之间相互存在间隙。
13.根据权利要求12所述的成像方法或者权利要求12所述的光学系统，其特征在于，所述间隙用0能量来填充。
14.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，根据实际空间光调制器参数和/或入射光波长，来生成虚拟物面和/或虚拟光学调制面。
15.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，根据眼球追踪的结果，实时构成虚拟物面和/或虚拟光学调制面。
16.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，对于总能量为0的虚拟物面的分块，所述总能量为0的虚拟物面的分块对应的虚拟光学面采用复制周边总能量不为0的虚拟光学面来复制生成。
17.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于，对调制后的光场分布信息进行编码，将虚拟物面上的图像传播后的光场与虚拟光学面叠加后再编码；或者，先对虚拟物面传播后的光场编码，再叠加虚拟光学面上虚拟光学器件对应的光学分布；其中，所述编码采用如下任一种或任多种方式的组合：
-编码输出为纯相位格式的全息图/相息图，输出到空间光调制器成像；
-编码采用直接丢弃强度信息，只保留相位信息并离散化的方式；
-编码采用对虚拟物面输入信息的强度或相位进行补偿的方式；
-编码采用通过迭代的方式反复计算虚拟物面的传播及虚拟光学面；
-编码使用双相位编码的方式；
-编码使用复误差分散类的方法；
-编码对强度和/或相位进行离散化；
-编码采用时分复用的方式使用多个子全息图显示同一子图像。
18.根据权利要求2所述的光学系统，其特征在于，包括光源及空间光调制器；光源输出至空间光调制器；空间光调制器在成像控制系统的控制下，接收所述光场分布信息形成光场分布。
19.根据权利要求18所述的光学系统，其特征在于，空间光调制器使用相位调制器件，或空间光调制器使用相位调制器件与强度调制器件的组合。
20.根据权利要求18所述的光学系统，其特征在于，成像控制系统包括控制电路，其中，所述控制电路用于参与输出至空间光调制器的信息的计算，空间光调制器的控制，和/或控制调节光源。
21.根据权利要求18所述的光学系统，其特征在于，包括透镜系统；经过虚拟光学调制面调制后的光场分布通过所述透镜系统，得到输出图像。
22.根据权利要求21所述的光学系统，其特征在于，根据实际光学元器件的参数，生成虚拟光学调制面，来校正光学元器件产生的像差。
23.根据权利要求18所述的光学系统，其特征在于，还包含波导器件，波导器件用于扩展输出图像光场的出瞳大小和/或视场大小。
24.根据权利要求23所述的光学系统，其特征在于，通过虚拟光学调制面的不同设置来校正波导器件产生的像差。
25.根据权利要求23所述的光学系统，其特征在于，所述波导器件是主要由多个透射/反射率不同的面组成的阵列式波导器件；或者，所述波导器件是主要由衍射或全息类器件组成的波导器件。
26.根据权利要求21所述的光学系统，其特征在于，透镜系统调制光源输出的光束，和/或调制空间光调制器输出的光场。
27.根据权利要求23所述的光学系统，其特征在于，所述波导器件的入瞳小于人眼的瞳孔尺寸，光学系统中波导器件的前级系统输出的光场的出瞳与波导器件的入瞳耦合。
28.根据权利要求18所述的光学系统，其特征在于，所述光源包括激光器和/或发光二极管。
29.根据权利要求28所述的光学系统，其特征在于，所述光源还包含光纤部分，将激光器和/或发光二极管发出的光能耦合入光纤，再引导至空间光调制器。
30.根据权利要求18所述的光学系统，其特征在于，所述光源还包含合束器件，所述合束器件使用X棱镜、二向色镜、光纤中的任一者或任多者，将不同光源发出的光束合束输出至空间光调制器。
31.根据权利要求2所述的光学系统，其特征在于，还包括光阑，所述光阑遮蔽光场中不需要的部分。
32.根据权利要求18所述的光学系统，其特征在于，包含多个空间光调制器，多个空间光调制器各自还原的光场相叠加，来还原目标光场。
33.一种光学系统组合，其特征在于，包括多个权利要求2至32中任一项所述的光学系统，多个光学系统并联，输出不同光场至观看者的左右眼形成双眼视差图像，和/或输出至多个观看者。
34.根据权利要求1所述的成像方法或者权利要求2所述的光学系统，其特征在于输入信息除图像的光强分布信息外还包括特征信息；其中，通过所述输入信息中的图像经过处理或者不经过处理得到所述虚拟物面上的图像。
35.根据权利要求34所述的成像方法或控制系统，其特征在于，所述输入信息包含帧、子帧、分子帧多级结构中的一级或多级，所述多级结构按照特征信息组织。
36.根据权利要求34所述的成像方法或成像控制系统，其特征在于，所述输入信息的特征信息包含像素对象的成像距离、角度、帧/子帧/分子帧图像总亮度、子帧数量、分子帧数量、左右帧、接收目标、像差参数、缩放比例、消隐关系、颜色之中的至少一种；
其中，所述像素对象包括像素点和/或像素分块。
37.根据权利要求34所述的成像方法或成像控制系统，其特征在于，所述输入信息是外部输入，或者存储在成像控制系统之中，或者部分存储在成像控制系统中，部分从外部输入。
38.根据权利要求34所述的成像方法或成像控制系统，其特征在于，所述虚拟光学调制面和/或虚拟光学面根据所述特征信息生成。
39.根据权利要求34所述的成像方法或成像控制系统，其特征在于，对于输入图像或输入图像的部分进行缩放，缩放比例根据特征信息生成或从特征信息之中读取。
40.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1、3至17中任一项或者34至39中任一项所述的成像方法的步骤。
41.一种集成有逻辑的ASIC芯片，其特征在于，所述ASIC芯片中的程序或硬件电路实现权利要求1、3至17中任一项或者34至39中任一项所述的成像方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810523923.3A CN108762033B (zh) | 2018-05-28 | 2018-05-28 | 成像方法和光学系统及其存储介质、芯片与组合 |
| PCT/CN2019/093501 WO2019228539A1 (zh) | 2018-05-28 | 2019-06-28 | 成像方法和光学系统及其存储介质、芯片与组合 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810523923.3A CN108762033B (zh) | 2018-05-28 | 2018-05-28 | 成像方法和光学系统及其存储介质、芯片与组合 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108762033A CN108762033A (zh) | 2018-11-06 |
| CN108762033B true CN108762033B (zh) | 2022-12-09 |
Family
ID=64003126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810523923.3A Active CN108762033B (zh) | 2018-05-28 | 2018-05-28 | 成像方法和光学系统及其存储介质、芯片与组合 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108762033B (zh) |
| WO (1) | WO2019228539A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108762033B (zh) * | 2018-05-28 | 2022-12-09 | 江苏慧光电子科技有限公司 | 成像方法和光学系统及其存储介质、芯片与组合 |
| CN110308566B (zh) * | 2019-06-28 | 2021-12-03 | 上海慧希电子科技有限公司 | 显示系统及双目系统 |
| GB2586512B (en) * | 2019-08-23 | 2021-12-08 | Dualitas Ltd | Holographic projection |
| GB2587400B (en) * | 2019-09-27 | 2022-02-16 | Dualitas Ltd | Hologram display using a liquid crystal display device |
| CN111240148B (zh) * | 2019-12-27 | 2021-08-10 | 北京航空航天大学 | 一种基于自适应变焦相机的全息实时获取与投影系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205711A (ja) * | 2008-02-26 | 2009-09-10 | Fuji Xerox Co Ltd | 光記録装置及び光記録再生装置 |
| CN101881936B (zh) * | 2010-06-04 | 2013-12-25 | 江苏慧光电子科技有限公司 | 全息波导显示器及其全息图像的生成方法 |
| CN102024272A (zh) * | 2010-09-21 | 2011-04-20 | 上海大学 | 一种获取三维运动物体计算全息图的装置和方法 |
| JP6064257B2 (ja) * | 2011-10-20 | 2017-01-25 | パナソニックＩｐマネジメント株式会社 | 画像表示装置 |
| CN103955127A (zh) * | 2014-04-17 | 2014-07-30 | 中国人民解放军装甲兵工程学院 | 一种相位调制全视差全息体视图实现方法 |
| WO2016105281A1 (en) * | 2014-12-26 | 2016-06-30 | Koc University | Near-to-eye display device |
| KR102144338B1 (ko) * | 2015-01-05 | 2020-08-13 | 한국전자통신연구원 | 홀로그램 생성 장치 및 방법 |
| DE102015205873A1 (de) * | 2015-04-01 | 2016-10-06 | Seereal Technologies S.A. | Verfahren zur Berechnung von Hologrammen zur holographischen Rekonstruktion von zweidimensionalen und/oder dreidimensionalen Szenen |
| CN107329256B (zh) * | 2016-04-28 | 2022-04-05 | 江苏慧光电子科技有限公司 | 显示装置及其控制方法 |
| CN108762033B (zh) * | 2018-05-28 | 2022-12-09 | 江苏慧光电子科技有限公司 | 成像方法和光学系统及其存储介质、芯片与组合 |
-
2018
- 2018-05-28 CN CN201810523923.3A patent/CN108762033B/zh active Active
-
2019
- 2019-06-28 WO PCT/CN2019/093501 patent/WO2019228539A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019228539A1 (zh) | 2019-12-05 |
| CN108762033A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108762033B (zh) | 成像方法和光学系统及其存储介质、芯片与组合 | |
| RU2393518C2 (ru) | Способ вычисления голограммы | |
| KR101763150B1 (ko) | 안경형 장치 | |
| KR101620852B1 (ko) | 홀로그래픽 보정을 갖는 홀로그래픽 이미지 프로젝션 | |
| KR101489332B1 (ko) | 트래킹 방식 홀로그래픽 재구성 시스템 | |
| US20110157667A1 (en) | Holographic Image Display Systems | |
| US20160255338A1 (en) | Method of forming light modulating signal for displaying 3d image, and apparatus and method for displaying 3d image | |
| JP6289194B2 (ja) | ホログラムデータ生成方法、ホログラム画像再生方法およびホログラム画像再生装置 | |
| US11567451B2 (en) | Holographic display apparatus and method for providing expanded viewing window | |
| CN115933346A (zh) | 为系统确定图像的全息图的方法 | |
| US11092930B2 (en) | Holographic and diffractive optical encoding systems | |
| JP2024502401A (ja) | 画像投影 | |
| JP2004516498A (ja) | 改良型３ｄディスプレイ | |
| JP2009540353A (ja) | エレクトロホログラフィックディスプレイにおける実効画素ピッチを低減する方法及び低減された実効画素ピッチを含むエレクトロホログラフィックディスプレイ | |
| TW202331430A (zh) | 用於小型抬頭顯示器的全像圖計算 | |
| KR20130011421A (ko) | 홀로그래픽 3차원 영상 표시장치 | |
| KR20220146169A (ko) | 자유형상 곡면을 포함하는 홀로그래픽 디스플레이 장치 및 그 동작 방법 | |
| EP2527929A1 (en) | Projection apparatus | |
| US20180173159A1 (en) | Method of Forming a Rarefied Hologram for Video Imaging and 3D Lithography | |
| Liu et al. | Compact monocular 3D near-eye display | |
| KR20230156259A (ko) | 헤드-업 디스플레이 | |
| KR20240055642A (ko) | 초소형 헤드업 디스플레이를 위한 홀로그램 계산 | |
| CN117111305A (zh) | 一种大视场角全息近眼显示装置和显示方法 | |
| CN117075347A (zh) | 一种大眼瞳箱全息近眼显示装置和显示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |