CN116165864A - 一种用于增强现实的二值层析三维场景实现方法及系统 - Google Patents

一种用于增强现实的二值层析三维场景实现方法及系统 Download PDF

Info

Publication number
CN116165864A
CN116165864A CN202310449369.XA CN202310449369A CN116165864A CN 116165864 A CN116165864 A CN 116165864A CN 202310449369 A CN202310449369 A CN 202310449369A CN 116165864 A CN116165864 A CN 116165864A
Authority
CN
China
Prior art keywords
image
depth
binary
hologram
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310449369.XA
Other languages
English (en)
Other versions
CN116165864B (zh
Inventor
张�浩
赵乃勤
王晓宇
肖家胜
翁沛鑫
赵宇暄
冒新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhige Technology Co ltd
Tsinghua University
Original Assignee
Beijing Zhige Technology Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhige Technology Co ltd, Tsinghua University filed Critical Beijing Zhige Technology Co ltd
Priority to CN202310449369.XA priority Critical patent/CN116165864B/zh
Publication of CN116165864A publication Critical patent/CN116165864A/zh
Application granted granted Critical
Publication of CN116165864B publication Critical patent/CN116165864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)

Abstract

本发明提供一种用于增强现实的二值层析三维场景实现方法及系统，方法包括：图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，图像处理系统将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，图像处理系统将二值全息图发送给图像显示系统并控制图像显示系统加载二值全息图，从而在特定空间深度生成二值全息图的衍射像，然后图像传输耦合系统接收二值全息图的衍射像，将二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。上述二值层析三维场景实现方法，解决了AR设备三维场景展示具有的辐辏调节冲突问题，能够实现在AR设备中使用层析光场显示法进行三维场景展示。

Description

一种用于增强现实的二值层析三维场景实现方法及系统
技术领域
本发明属于增强现实技术领域，具体涉及一种用于增强现实的二值层析三维场景实现方法及系统。
背景技术
增强现实（Augmented Reality，AR）是一种将虚拟场景与真实场景巧妙融合的技术，是显示领域的一个重要发展方向。增强现实技术通过特殊的装置如波导，将计算机渲染出的虚拟场景画面与真实世界画面叠加后传输进人眼，虚拟信息和现实信息相互补充，从而给观看者带来超越现实的感官体验。增强现实技术在军事、医疗、工业、教育、娱乐等领域有着广阔的发展前景。
为了增强虚拟场景画面的真实感，目前增强现实技术多着力于如何让人产生三维感。传统增强现实器件仅能利用双目视差建立伪三维感。双目视差法模拟双眼在观看同一景物时接收到的图像不同，通过两个显示设备向观察者左右眼分别传输各自视角的二维图像，使两个二维图像在大脑中融合形成三维。这种融合方式带来了辐辏调节冲突（VergenceAccommodation Conflict，VAC）。由于辐辏调节冲突的存在，长时间观看传统的波导增强现实系统会导致视疲劳，观察者会产生眩晕感。
人眼对于深度的分辨力是有限的，当人眼在短时间内接收到一系列深度位置相近的二维图像时，由于视觉暂留效应，这些二维图像会被大脑合成为一个场景，人眼会近似地认为观看到了一个三维物体。所以，解决辐辏调节冲突的一种有效方法是层析光场显示法。层析光场显示法将每一帧三维场景按照深度分成有限个深度分隔图像，显示设备时序地播放每一个深度分隔图像，同时将每一个深度分隔图像赋予一定的空间深度位置，人眼在短时间内接收到所有的深度分隔图像即可形成三维感。为了流畅地播放视频，每秒钟显示的图像数量要大于人眼的刷新率。人眼的刷新率是指人眼每秒钟能够识别的图像数量，通常条件下，人眼识别连贯图像的速度是24帧/秒。为了提高观看的舒适感，目前的显示器的刷新率通常为60Hz以上。
层析光场显示法需要在传统显示器一帧图像的时间段内连续地刷新完全部深度分隔图像，使所有深度分隔图像合成一幅完整的三维场景。因此层析光场显示法对于显示器的刷新率要求极高。显示器的刷新率
Figure SMS_1
、深度分隔图像数/>
Figure SMS_2
、人眼接收并合成图像的帧率/>
Figure SMS_3
有如下关系：
Figure SMS_4
（1）
举例来说，如果将每帧三维场景的深度分隔数设定为80层，人眼接收并合成图像的帧率设定为60帧每秒，则最终的显示器的刷新率至少需要为4800Hz，远远超过了目前显示器所能提供的刷新率，因此层析光场显示法尚未应用于现有AR显示设备。
发明内容
为了克服现有技术的缺陷，本发明提供一种用于增强现实的二值层析三维场景实现方法及系统。
本发明通过如下技术方案实现：
本发明提供一种用于增强现实的二值层析三维场景实现方法，包括如下步骤：
图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像；
图像处理系统将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，图像处理系统将所述二值全息图发送给图像显示系统；
图像处理系统控制图像显示系统加载所述二值全息图，在特定空间深度生成二值全息图的衍射像；
图像传输耦合系统接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
进一步的，所述图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，包括：
所述图像处理系统将组成所述三维场景的图像帧进行深度分层，得到组成图像帧的深度层图像。
进一步的，所述图像处理系统将组成所述三维场景的图像帧进行深度分层，得到组成图像帧的深度层图像，包括：
所述图像处理系统存储组成所述三维场景的图像帧，将图像帧按照三维场景的先后顺序进行整理；
根据三维场景的先后顺序，所述图像处理系统将每个图像帧按照深度关系由小及大顺序进行深度分层，得到组成图像帧的深度层图像。
进一步的，所述图像处理系统将每个图像帧按照深度关系由小及大顺序进行深度分层，得到组成图像帧的深度层图像，包括：
获取所述图像帧所示场景的深度信息；
基于所述深度信息以光焦度作为分层参数对所述图像帧按照深度关系由小及大顺序进行深度分层，得到深度分层图像；
将每个所述深度分层图像的当前深度区域定义为值1，其他深度区域定义为值0，得到组成所述图像帧的深度分层二值图像；
将所述深度分层二值图像与图像帧的RGB场景图像进行点乘，得到组成图像帧的深度层图像。
进一步的，所述图像处理系统将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，包括：
所述图像处理系统将所述深度层图像按照全息图算法进行处理，得到与深度层图像对应的全息图；
所述图像处理系统将与深度层图像对应的所述全息图进行二值化处理，得到与深度层图像对应的二值全息图。
进一步的，所述图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，包括：
所述图像处理系统将三维场景按照由小及大的深度关系进行连续划分，得到组成三维场景的对应深度区间图像。
进一步的，所述图像处理系统将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，包括：
所述图像处理系统将所述深度区间图像按照全息图算法进行处理，得到与深度区间图像对应的全息图；
所述图像处理系统将与深度区间图像对应的所述全息图进行二值化处理，得到与深度区间图像对应的二值全息图。
进一步的，所述图像处理系统控制图像显示系统加载所述二值全息图，在特定空间深度生成二值全息图的衍射像，包括：
所述图像处理系统按照设定时序向所述图像显示系统发送控制指令；
所述显示系统接收所述控制指令，加载对应深度的二值全息图，并基于接收的参考光波照射所述二值全息图，实现在空间对应深度显示二值全息图的衍射像。
进一步的，所述图像传输耦合系统接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加，包括：
半透半反设备接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
进一步的，在所述半透半反设备接收所述二值全息图的衍射像之前，还包括：
图像处理系统向第一调焦系统发送第一控制信号，第一调焦系统接收所述第一控制信号后，将所述二值全息图的衍射像调焦到空间中的设定深度位置。
进一步的，所述图像处理系统向第一调焦系统发送第一控制信号，第一调焦系统接收所述第一控制信号后，将所述二值全息图的衍射像调焦到空间中的设定深度位置，包括：
所述图像处理系统预先设定第一调焦系统的第一光焦度的形态变化周期；
所述图像处理系统基于所述第一光焦度的形态变化周期，向所述第一调焦系统发送第一控制信号；
所述第一调焦系统接收对应第一控制信号后，调整第一光焦度到对应数值，将对应的所述二值全息图的衍射像投影到空间中的设定深度。
进一步的，所述图像传输耦合系统接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加，包括：
光波导的耦入区域耦入所述二值全息图的衍射像；
光波导的波导基体对耦入的二值全息图的衍射像进行传输；
光波导的耦出区域耦出所述二值全息图的衍射像到人眼前方；
真实场景穿过光波导的波导基体与对应二值全息图的衍射像实现叠加。
进一步的，在光波导的耦出区域耦出所述二值全息图的衍射像到人眼前方之后，还包括：
图像处理系统向第二调焦系统发送第二控制信号，第二调焦系统接收所述第二控制信号后，将传输到人眼前方的所述二值全息图的衍射像投影到空间中的设定深度。
进一步的，所述图像处理系统向第二调焦系统发送第二控制信号，第二调焦系统接收所述第二控制信号后，将传输到人眼前方的所述二值全息图的衍射像投影到空间中的设定深度，包括：
图像处理系统预先设定第二调焦系统的第二光焦度的形态变化周期；
图像处理系统基于所述第二光焦度的形态变化周期，向所述第二调焦系统发送第二控制信号；
所述第二调焦系统接收对应第二控制信号后，调整第二光焦度到对应数值，将所述二值全息图的衍射像投影到空间中的设定深度。
进一步的，还包括：
图像处理系统向调焦补偿系统发送第三控制信号，调焦补偿系统接收所述第三控制信号后，补偿第二调焦系统对真实场景的光线调制作用。
进一步的，所述图像处理系统向调焦补偿系统发送第三控制信号，调焦补偿系统接收所述第三控制信号后，补偿第二调焦系统对真实场景的光线调制作用，包括：
图像处理系统预先设定调焦补偿系统的第三光焦度的形态变化周期；
图像处理系统基于所述第三光焦度的形态变化周期向所述调焦补偿系统发送第三控制信号；
所述调焦补偿系统接收对应第三控制信号后，调整第三光焦度到对应数值，抵消第二调焦系统对真实场景光线的干扰作用。
进一步的，所述第三光焦度和第二光焦度时刻满足如下关系：
Figure SMS_5
其中，/>
Figure SMS_6
表示第三光焦度，/>
Figure SMS_7
表示第二光焦度，/>
Figure SMS_8
表示调焦补偿系统的像方主平面与第二调焦系统的物方主平面之间的光程。
对应的，本发明还提供一种用于增强现实的二值层析三维场景实现系统，包括图像处理系统、图像显示系统以及图像传输耦合系统；
所述图像处理系统与所述图像显示系统通信连接；
所述图像处理系统，用于执行如下操作：
将三维场景进行深度分隔，得到组成三维场景的深度分隔图像；
将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图；
将所述二值全息图发送给图像显示系统，控制图像显示系统加载所述二值全息图；
所述图像显示系统，用于加载所述二值全息图，在特定空间深度生成二值全息图的衍射像；
所述图像传输耦合系统，用于接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
进一步的，所述图像显示系统采用二值相位型空间光调制器或二值振幅型空间光调制器。
进一步的，所述图像传输耦合系统采用半透半反设备；
半透半反设备，用于接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
进一步的，还包括第一调焦系统，所述图像处理系统与所述第一调焦系统通信连接；
在所述半透半反设备接收所述二值全息图的衍射像之前，
图像处理系统，还用于向第一调焦系统发送第一控制信号；
第一调焦系统，用于接收所述第一控制信号，将所述二值全息图的衍射像调焦到空间中的设定深度位置。
进一步的，所述图像传输耦合系统采用光波导；
光波导包括波导基体、耦入区域以及耦出区域，所述耦入区域以及耦出区域设置在所述波导基体上；
耦入区域耦入所述二值全息图的衍射像；
波导基体对耦入的二值全息图的衍射像进行传输；
耦出区域耦出所述二值全息图的衍射像到人眼前方；
真实场景穿过波导基体与对应二值全息图的衍射像实现叠加。
进一步的，还包括第二调焦系统，所述图像处理系统与所述第二调焦系统通信连接；
在光波导的耦出区域耦出所述二值全息图的衍射像到人眼前方之后，
所述图像处理系统，还用于向第二调焦系统发送第二控制信号，第二调焦系统接收所述第二控制信号后，将传输到人眼前方的所述二值全息图的衍射像投影到空间中的设定深度。
进一步的，还包括调焦补偿系统，所述图像处理系统与所述调焦补偿系统通信连接；
所述图像处理系统，还用于向调焦补偿系统发送第三控制信号；
所述调焦补偿系统，用于接收所述第三控制信号，补偿所述第二调焦系统对真实场景的光线调制作用。
和现有技术比，本发明的技术方案具有如下有益效果：
本发明提供一种用于增强现实的二值层析三维场景实现方法，图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，图像处理系统将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，图像处理系统将二值全息图发送给图像显示系统并控制图像显示系统加载二值全息图，从而在特定空间深度生成二值全息图的衍射像，然后图像传输耦合系统接收二值全息图的衍射像，将二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
一方面，由于全息图自带深度信息，所以与深度分隔图像对应的二值全息图自带深度信息，从而在图像显示系统加载二值全息图后，实现在二值全息图的原来深度位置重现二值全息图的衍射像，而由于不同深度分隔图像对应的二值全息图的深度信息不同，所以会在空间不同深度位置重现对应二值全息图的衍射像，解决了AR设备三维场景展示具有的辐辏调节冲突。
另一方面，由于全息图自带灰度信息，所以与深度分隔图像对应的二值全息图自带灰度信息，二值全息图中的一个灰度像素仅用一位二进制数表示即可，即图像显示系统对于二值全息图中某一位置的一个灰度像素的显示仅需刷新一次即可，大大降低了层析显示中图像显示系统对于图像密集程度和图像刷新率的要求，能够实现在AR显示设备中使用层析光场显示法进行三维场景展示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明用于增强现实的二值层析三维场景实现方法的流程示意图；
图2为示例性的对图像帧所示场景的深度信息进行深度分层，得到深度分层二值图像的示意图；
图3为第二调焦系统和调焦补偿系统焦距关系示意图；
图4为二值全息图生成灰度信息示意图；
图5为本发明用于增强现实的二值层析三维场景实现系统的结构示意图；
图6为本发明的用于增强现实的三维场景实现系统的第一实施例示意图；
图7为本发明的用于增强现实的三维场景实现系统的第二实施例示意图；
图8为本发明的用于增强现实的三维场景实现系统的第三实施例示意图。
其中，1-图像处理系统，1-1-计算机，2-图像显示系统，2-1-二值振幅型空间光调制器，2-2-二值相位型空间光调制器，3-图像传输耦合系统，3-1-半透半反设备，3-2-光波导，4-第一调焦系统，5-第二调焦系统，6-调焦补偿系统，7-人眼。
具体实施方式
下面将结合本发明的实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中，术语“第一”、“第二”和其它类似词语并不意在暗示任何顺序、数量和重要性，而是仅仅用于对不同的元件进行区分。在本文中，术语“一”、“一个”和其它类似词语并不意在表示只存在一个所述事物，而是表示有关描述仅仅针对所述事物中的一个，所述事物可能具有一个或多个。在本文中，术语“包含”、“包括”和其它类似词语意在表示逻辑上的相互关系，而不能视作表示空间结构上的关系。例如，“A包括B”意在表示在逻辑上B属于A，而不表示在空间上B位于A的内部。另外，术语“包含”、“包括”和其它类似词语的含义应视为开放性的，而非封闭性的。例如，“A包括B”意在表示B属于A，但是B不一定构成A的全部，A还可能包括C、D、E等其它元素。
在本文中，术语“实施例”、“本实施例”、“优选实施例”、“一个实施例”并不表示有关描述仅仅适用于一个特定的实施例，而是表示这些描述还可能适用于另外一个或多个实施例中。本领域技术人员应理解，在本文中，任何针对某一个实施例所做的描述都可以与另外一个或多个实施例中的有关描述进行替代、组合、或者以其它方式结合，所述替代、组合、或者以其它方式结合所产生的新实施例是本领域技术人员能够容易想到的，属于本发明的保护范围。
在本文的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本发明提供一种用于增强现实的二值层析三维场景实现方法，总体技术构思如下：
S1图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像。
S2图像处理系统将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，图像处理系统将二值全息图发送给图像显示系统。
S3图像处理系统控制图像显示系统加载所述二值全息图，在特定空间深度生成二值全息图的衍射像。
S4图像传输耦合系统接收上述二值全息图的衍射像，将二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
其中，图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，示例性采用如下两种方案：
方案1：
图像处理系统将组成三维场景的图像帧进行深度分层，得到组成图像帧的深度层图像。
具体的，
图像处理系统内存储组成三维场景的图像帧，这里的组成三维场景的图像帧，即想采用AR显示的三维场景对应的图像帧。
图像处理系统将图像帧按照三维场景的先后顺序进行整理。比如可以按照三维场景的先后顺序对图像帧进行标记，比如第一帧三维场景标记为图像帧1，第二帧三维场景标记为图像帧2，…，依次类推。
图像处理系统根据三维场景的先后顺序，将每个图像帧按照深度关系由小及大顺序进行深度分层，得到组成图像帧的深度层图像。
对于图像处理系统将每个图像帧按照深度关系由小及大顺序进行深度分层，得到组成图像帧的深度层图像，示例性采用如下方法：
获取图像帧所示场景的深度信息。
基于所述深度信息以光焦度作为分层参数对所述图像帧按照深度关系由小及大顺序进行深度分层，得到深度分层图像。
将每个所述深度分层图像的当前深度区域定义为值1，其他深度区域定义为值0，得到组成所述图像帧的深度分层二值图像。
将所述深度分层二值图像与图像帧的RGB场景图像进行点乘，得到组成图像帧的深度层图像。
如图2所示，为示例性的对图像帧所示场景的深度信息进行深度分层，得到深度分层二值图像的示意图，图像帧所示场景的深度为10m，场景的深度信息以灰度图表示，灰度值越高表示深度越深，灰度值越低表示深度越浅，以1/7光焦度（图中的D代表光焦度）作为分隔间隔将图像帧深度分层，得到28个深度分层图像，将每个深度分层图像的当前深度区域定义为值1，其他深度区域定义为值0，得到组成图像帧的28个深度分层二值图像。
方案2：
图像处理系统将三维场景按照由小及大的深度关系进行连续划分，得到组成三维场景的对应深度区间图像。
其中，图像处理系统将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，包括：
图像处理系统将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的全息图。
图像处理系统将与深度分隔图像对应的全息图进行二值化处理，得到与深度分隔图像对应的二值全息图。
具体的，
针对上述方案1的三维场景划分方式：
图像处理系统将深度层图像按照全息图算法进行处理，得到与深度层图像对应的全息图。
这里的全息图算法，根据衍射计算公式分类，包括但不限于：像全息图算法、傅里叶变换计算全息图算法以及菲涅尔计算全息图算法等。
其中，像全息图算法将深度层图像与定义的参考光波卷积得到像全息图，像全息图算法计算深度层图像的像场分布。
傅里叶变换计算全息图算法是将深度层图像进行傅里叶变换得到傅里叶变换全息图，傅里叶变换全息图算法计算深度层图像的傅里叶变换。
菲涅尔计算全息图算法首先求出深度层图像在某一特定距离平面上的菲涅尔衍射的数学表达式，再经过编码生成菲涅尔全息图，菲涅尔全息图算法计算深度层图像发出的菲涅尔衍射波。
这里的全息图算法，根据算法是否迭代分类，可选用迭代算法或非迭代算法。迭代算法相比与非迭代算法有着显示效果好的优势。
下面以一种迭代算法——GS(Gerchberg Saxton)算法为例进行说明：
GS算法的基本思路是在全息图平面与目标图像平面（即深度层图像）连续迭代传播，并在迭代的过程中施加限制条件，最终得到优化的全息图。
假设全息图平面坐标为
Figure SMS_12
，目标图像平面坐标为/>
Figure SMS_15
，全息图平面初始振幅为
Figure SMS_20
，初始相位为/>
Figure SMS_10
，则初始全息图平面波函数为/>
Figure SMS_13
，其中，/>
Figure SMS_18
表示虚数单位，/>
Figure SMS_22
表示坐标点/>
Figure SMS_9
，/>
Figure SMS_14
表示坐标点/>
Figure SMS_19
。目标图像平面光强已知为/>
Figure SMS_23
（可以得到目标图像平面的振幅）,其中，/>
Figure SMS_11
表示坐标点/>
Figure SMS_16
，/>
Figure SMS_17
表示坐标点/>
Figure SMS_21
。
首先将初始全息图平面波函数通过如下的夫郎和费衍射积分公式（2）、菲涅尔衍射积分公式（3）或角谱公式（4）等方式传播到目标图像平面得到目标图像平面波函数
Figure SMS_24
。/>
Figure SMS_25
上述公式（2）-（4）中，
Figure SMS_30
表示虚数单位，/>
Figure SMS_39
表示坐标点/>
Figure SMS_45
，/>
Figure SMS_31
表示坐标点/>
Figure SMS_36
，/>
Figure SMS_42
表示坐标点/>
Figure SMS_48
，/>
Figure SMS_29
表示坐标点/>
Figure SMS_35
，/>
Figure SMS_41
表示波长，/>
Figure SMS_47
，/>
Figure SMS_26
表示波矢，/>
Figure SMS_34
表示衍射距离及全息图平面到目标图像平面的距离，/>
Figure SMS_43
，/>
Figure SMS_50
表示/>
Figure SMS_32
方向空间频率，/>
Figure SMS_33
，/>
Figure SMS_40
表示/>
Figure SMS_46
方向空间频率,
Figure SMS_28
表示传播方向与坐标点/>
Figure SMS_38
方向的夹角，/>
Figure SMS_44
表示传播方向与坐标点/>
Figure SMS_49
方向的夹角，/>
Figure SMS_27
表示傅里叶变换，/>
Figure SMS_37
表示傅里叶逆变换。
用已知的目标图像平面的振幅代替目标图像平面波函数得到新的目标图像平面波函数
Figure SMS_51
：
Figure SMS_52
对新的目标图像平面波函数进行逆衍射计算得到全息图平面波函数
Figure SMS_53
。若想输出振幅型全息图则采用初始相位/>
Figure SMS_54
代替/>
Figure SMS_55
的相位部分，并重复上述过程。若想输出相位型全息图则采用初始振幅/>
Figure SMS_56
代替/>
Figure SMS_57
的振幅部分，并重复上述过程。
通常采用归一化均方根误差定义损失函数
Figure SMS_58
，如下公式（6）或（7）：
Figure SMS_59
其中，
Figure SMS_61
表示第/>
Figure SMS_65
次迭代得到的全息图平面波函数，/>
Figure SMS_68
表示第/>
Figure SMS_63
次迭代得到的目标图像平面波函数，/>
Figure SMS_64
表示坐标点/>
Figure SMS_69
，/>
Figure SMS_70
表示坐标点/>
Figure SMS_60
，/>
Figure SMS_66
表示坐标点/>
Figure SMS_67
，/>
Figure SMS_71
表示坐标点/>
Figure SMS_62
。
随着迭代次数的增加，损失函数数值下降达到要求后即可输出全息图。
图像处理系统将与深度层图像对应的全息图进行二值化处理，得到与深度层图像对应的二值全息图。
这里，将深度层图像对应的全息图进行二值化处理，得到与深度层图像对应的二值全息图的方法，包括但不限于：采用非迭代算法，如限幅法、误差扩散法等；采用迭代算法，如GS算法、随机梯度下降（Stochastic Gradient Descent，SGD）算法、深度学习算法等。一般情况下为了使重建图像质量更好，会采用迭代算法。
示例性的，
上述限幅法具体是：输入值为如上所述的与深度层图像对应的全息图，全息图每个采样点的相位值介于0到
Figure SMS_72
之间，限幅法是设置一个阈值相位，例如/>
Figure SMS_73
。直接将0到/>
Figure SMS_74
之间的相位置为0，/>
Figure SMS_75
到/>
Figure SMS_76
之间的相位置为/>
Figure SMS_77
，即可得到与深度层图像对应的二值全息图。
示例性的，
采用GS算法将深度层图像对应的全息图进行二值化处理，得到与深度层图像对应的二值全息图的具体操作如下：
首先以将深度层图像对应的全息图为初始值，将初始值通过设置阈值或者其他的二值化约束方法，将其编码成二值全息图，然后将此二值全息图通过一定衍射模型传输到特定平面，计算衍射后的复振幅场的振幅分布，并将衍射后的复振幅场的振幅分布与目标图像（即深度层图像）的振幅分布进行比较，计算损失函数，从而添加振幅约束，再将其反传回全息图平面，重复进行上述操作，经多次迭代使损失函数收敛即可得到该深度层图像的二值全息图。
针对上述方案2的三维场景划分方式：
图像处理系统将深度区间图像按照全息图算法进行处理，得到与深度区间图像对应的全息图。
这里，首先将深度区间图像离散成足够密集的深度层图像，然后应用全息图算法分别计算与深度层图像对应的深度层全息图，然后将与深度层图像对应的深度层全息图叠加形成与深度区间图像对应的全息图。可供选择的全息算法包括但不限于上述提及的像全息图算法、傅里叶变换计算全息图算法、菲涅尔计算全息图算法等。
下面给出两种深度区间图像的全息图的实现方法：
第一种是将一个深度区间图像分成m*n层图像，然后分别对m*n层图像进行计算得到每层图像的全息图。将空间光调制器表面分割成M*N个区域，每个区域显示m*n层图像中对应层图像的全息图，即可达到一张全息图衍射出深度区间的效果。
第二种则是将一个深度区间图像分成L层，然后将不同层图像的复振幅衍射场进行叠加，得到一个总复振幅衍射场，再将该总复振幅衍射场编码成一副灰度振幅或者相位全息图。
图像处理系统将与深度区间图像对应的全息图进行二值化处理，得到与深度区间图像对应的二值全息图。
这里也是通过迭代算法或非迭代算法将与深度区间图像对应的全息图进行二值化处理，得到与深度区间图像对应的二值全息图。非迭代算法，如限幅法、误差扩散法等。迭代算法，如GS算法、SGD算法、深度学习算法等。
其中，迭代算法计算时需要分别计算不同深度
Figure SMS_78
下的衍射重建场与对应深度的目标图像平面（即对应深度层图像）的损失函数/>
Figure SMS_79
，然后叠加所有的损失函数得到总的损失函数/>
Figure SMS_80
，再进行下一步计算。
Figure SMS_81
其中，
Figure SMS_85
表示第/>
Figure SMS_89
层目标图像平面的波函数，/>
Figure SMS_90
表示与第/>
Figure SMS_83
层目标图像平面对应深度的掩模，/>
Figure SMS_86
表示坐标点/>
Figure SMS_91
，/>
Figure SMS_94
表示坐标点/>
Figure SMS_82
，/>
Figure SMS_88
表示坐标点/>
Figure SMS_93
，/>
Figure SMS_95
表示坐标点/>
Figure SMS_84
，/>
Figure SMS_87
表示第/>
Figure SMS_92
层目标图像平面的深度位置。
其中，图像处理系统将二值全息图发送给图像显示系统，示例性包括：
图像处理系统将二值全息图发送至图像显示系统内的存储装置内。
其中，图像处理系统控制图像显示系统加载二值全息图，在特定空间深度生成二值全息图的衍射像，包括：
图像处理系统按照设定时序向图像显示系统发送控制指令。
显示系统接收控制指令，从存储装置内读取对应深度的二值全息图，加载对应深度的二值全息图，并基于接收的参考光波照射所述二值全息图，实现在空间对应深度显示二值全息图的衍射像。
这里的参考光波即和计算机内虚拟物光波进行干涉得到全息图的同一参考光波。
这里的“设定时序”与二值全息图的深度关系对应设置。比如，针对上述方案1的三维场景划分方式，设定时序与对于组成三维场景的图像帧的深度关系对应，且设定时序与组成每一图像帧的深度层二值图像的二值全息图的深度关系对应。针对上述方案2的三维场景划分方式，设定时序与深度区间图像的二值全息图的深度关系对应。
其中，图像传输耦合系统接收上述二值全息图的衍射像，将二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加，示例性包括如下两种方式：
方式1：
采用半透半反设备作为图像传输耦合系统接收二值全息图的衍射像，将二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
对于这种传输方式，考虑到二值全息图的衍射像可能会在人眼前方的无穷远处成像，因此，作为优选方式，在半透半反设备接收二值全息图的衍射像之前，还进行如下操作：
图像处理系统向第一调焦系统发送第一控制信号，第一调焦系统接收第一控制信号后，将二值全息图的衍射像调焦到空间中的设定深度位置。
具体的，
图像处理系统预先设定第一调焦系统的第一光焦度的形态变化周期。
图像处理系统基于第一光焦度的形态变化周期，向所述第一调焦系统发送第一控制信号。
第一调焦系统接收对应第一控制信号后，调整第一光焦度到对应数值，将对应的二值全息图的衍射像投影到空间中的设定深度。
通过上述操作，对于在人眼前方的无穷远处成像的二值全息图的衍射像，能够让其实现在人眼前方的空间中的设定深度位置投影，便于人眼观看清晰图像。
方式2：
采用光波导作为图像传输耦合系统接收二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
具体的，
光波导的耦入区域耦入所述二值全息图的衍射像。
光波导的波导基体对耦入的二值全息图的衍射像进行传输。
光波导的耦出区域耦出所述二值全息图的衍射像到人眼前方。
真实场景穿过光波导的波导基体与对应二值全息图的衍射像实现叠加。
对于这种传输方式，考虑到扩瞳，耦入光必须是平行光，所以耦出光也是平行光，即耦出光相当于成像在无穷远处，不能显示特定深度，会造成人眼的辐辏调节冲突，因此，作为优选方式，在光波导的耦出区域耦出二值全息图的衍射像到人眼前方之后，还进行如下操作：
图像处理系统向第二调焦系统发送第二控制信号，第二调焦系统接收第二控制信号后，将传输到人眼前方的二值全息图的衍射像投影到空间中的设定深度，能够解决辐辏调解矛盾。
具体的，
图像处理系统预先设定第二调焦系统的第二光焦度的形态变化周期。
图像处理系统基于第二光焦度的形态变化周期，向第二调焦系统发送第二控制信号。
第二调焦系统接收对应第二控制信号后，调整第二光焦度到对应数值，将二值全息图的衍射像投影到空间中的设定深度。
为了避免第二调焦系统对外界真实场景光线的调制作用，在图像处理系统控制第二调焦系统将传输到人眼前方的二值全息图的衍射像投影到空间中的设定深度的过程中，图像处理系统同时向调焦补偿系统发送第三控制信号，调焦补偿系统接收第三控制信号后，补偿第二调焦系统对真实场景的光线调制作用，抵消第二调焦系统对真实场景光线的干扰作用。
具体的，
图像处理系统预先设定调焦补偿系统的第三光焦度的形态变化周期。
图像处理系统基于第三光焦度的形态变化周期向所述调焦补偿系统发送第三控制信号。
调焦补偿系统接收对应第三控制信号后，调整第三光焦度到对应数值，抵消第二调焦系统对真实场景光线的干扰作用。
为了更好的满足调焦补偿系统通过调节第三光焦度的变化补偿第二调焦系统对真实场景的光线调制作用，抵消第二调焦系统对真实场景光线的干扰，上述第三光焦度和第二光焦度需要时刻满足如下关系，从而保证第三光焦度和第二光焦度对应时刻的数值正好正负抵消：
Figure SMS_96
其中，
Figure SMS_97
表示第三光焦度，/>
Figure SMS_98
表示第二光焦度，/>
Figure SMS_99
表示调焦补偿系统的像方主平面与第二调焦系统的物方主平面之间的光程。
如图3所示，第二调焦系统和调焦补偿系统组成共轴光学系统，
Figure SMS_100
表示第二调焦系统的物方主平面、/>
Figure SMS_101
表示第二调焦系统的像方主平面、/>
Figure SMS_102
表示调焦补偿系统的物方主平面、
Figure SMS_103
表示调焦补偿系统的像方主平面，/>
Figure SMS_104
表示调焦补偿系统的像方主平面/>
Figure SMS_105
与第二调焦系统的物方主平面/>
Figure SMS_106
之间的光程。
本发明上述用于增强现实的二值层析三维场景实现方法，由于全息图自带深度信息，所以与深度分隔图像对应的二值全息图自带深度信息，从而在图像显示系统加载二值全息图后，实现在二值全息图的原来深度位置重现二值全息图的衍射像，而由于不同深度分隔图像对应的二值全息图的深度信息不同，所以会在空间不同深度位置重现对应二值全息图的衍射像，解决了AR设备三维场景展示具有的辐辏调节冲突问题。
并且，由于全息图自带灰度信息，所以与深度分隔图像对应的二值全息图自带灰度信息，二值全息图中的一个灰度像素仅用一位二进制数表示即可（如图4所示），即图像显示系统对于二值全息图中某一位置的一个灰度像素的显示仅需刷新一次即可，大大降低了层析显示中图像显示系统对于图像密集程度和图像刷新率的要求，能够满足在AR显示设备中使用层析光场显示法实现三维场景展示。
为了实现上述的用于增强现实的二值层析三维场景实现方法，本发明对应提供一种用于增强现实的二值层析三维场景实现系统，如图5所示，系统总体上包括图像处理系统1、图像显示系统2以及图像传输耦合系统3，图像显示系统2内设置存储装置。
其中，图像处理系统1与图像显示系统2通信连接。
对于图像处理系统1，可以采用计算机等现有设备。
图像显示系统2，通常可以采用空间光调制器，空间光调制器可以为二值相位型空间光调制器或二值振幅型空间光调制器等。其中，示例性的，二值振幅型空间光调制器可以采用数字微镜器件（Digital Micromirror Device，DMD），DMD是光开关的一种，利用旋转反射镜的方式控制光开关的开合，刷新率可达上万Hz。示例性的，二值相位型空间光调制器可以采用相位型硅基液晶（Liquid Crystal on Silicon, LCoS)。
图像传输耦合系统3采用广义范围的增强现实耦合器件，包括但不限于各类半透半反设备，光波导等。
图像处理系统1与图像显示系统2通信连接可以采用有线方式，也可以采用无线方式。
图像处理系统1、图像显示系统2以及图像传输耦合系统3的设定位置没有特殊要求。
图像处理系统1，用于执行如下操作：
1.将三维场景进行深度分隔，得到组成三维场景的深度分隔图像。
具体的，可以是图像处理系统1将组成三维场景的图像帧进行深度分层，得到组成图像帧的深度分层图像。或者，图像处理系统1将三维场景按照由小及大的深度关系进行连续划分，得到组成三维场景的对应深度区间图像。
2.将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图。
具体的，图像处理系统1将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的全息图。
图像处理系统1将与深度分隔图像对应的全息图进行二值化处理，得到与深度分隔图像对应的二值全息图。
更具体的，深度分隔图像可以是上述的深度分层图像，也可以是深度区间图像。
3.将二值全息图发送给图像显示系统2，控制图像显示系统2加载二值全息图。具体的，图像处理系统1将二值全息图发送给图像显示系统2内的存储装置；图像处理系统1按照设定时序向图像显示系统2发送控制指令，控制指令是控制图像显示系统2从存储装置内读取对应二值全息图的控制指令。
4.图像显示系统2，用于加载所述二值全息图，在特定空间深度生成二值全息图的衍射像。
具体的，图像显示系统2接收控制指令，从存储装置内读取对应深度的二值全息图，加载对应深度的二值全息图，并基于接收的参考光波照射所述二值全息图，实现在空间对应深度显示二值全息图的衍射像。
5.图像传输耦合系统3，用于接收上述二值全息图的衍射像，将二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
示例性的，若图像传输耦合系统3采用半透半反设备，则：
半透半反设备，接收上述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
此种情形下，考虑到二值全息图的衍射像可能会在人眼前方的无穷远处成像，所以系统进一步还可以包括第一调焦系统4，图像处理系统1与第一调焦系统4通信连接。
在半透半反设备接收上述二值全息图的衍射像之前，
图像处理系统1，还用于向第一调焦系统4发送第一控制信号。
第一调焦系统4，用于接收第一控制信号，将二值全息图的衍射像调焦到空间中的设定深度位置。
示例性的，若图像传输耦合系统3采用光波导，其中，光波导包括波导基体、耦入区域以及耦出区域，耦入区域以及耦出区域设置在所述波导基体上，则：
耦入区域耦入二值全息图的衍射像。
波导基体对耦入的二值全息图的衍射像进行传输。
耦出区域耦出二值全息图的衍射像到人眼前方。
真实场景穿过波导基体与对应二值全息图的衍射像实现叠加。
此种情形下，，考虑到扩瞳，耦入光必须是平行光，所以系统进一步还可以包括第二调焦系统5，图像处理系统1与第二调焦系统5通信连接。
在光波导的耦出区域耦出上述二值全息图的衍射像到人眼前方之后，
图像处理系统1，还用于向第二调焦系统5发送第二控制信号。
第二调焦系统5，用于接收第二控制信号，将传输到人眼前方的所述二值全息图的衍射像投影到空间中的设定深度。
为了避免第二调焦系统5对外界真实场景光线的调制作用，所以系统进一步还可以包括调焦补偿系统6，图像处理系统1与调焦补偿系统6通信连接。
图像处理系统1，还用于向调焦补偿系统6发送第三控制信号。
调焦补偿系统6，用于接收第三控制信号，通过调节第三光焦度的变化补偿第二调焦系统5对真实场景的光线调制作用，抵消第二调焦系统5对真实场景光线的干扰作用。
下面结合具体实施例说明上述用于增强现实的二值层析三维场景实现系统。
实施例1
如图6所示的用于增强现实的二值层析三维场景实现系统，包括计算机1-1、二值振幅型空间光调制器2-1、半透半反设备3-1，其中，计算机1与二值振幅型空间光调制器2-1通信连接，半透半反设备3-1设于人眼7前方。
其中，
计算机1-1将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，将二值全息图发送给二值振幅型空间光调制器2-1，控制其加载二值全息图；
二值振幅型空间光调制器2-1，加载上述二值全息图，并基于接收的参考光波照射二值全息图，实现在空间对应深度显示二值全息图的衍射像。
半透半反设备3-1，接收上述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
实施例2
如图4所示的用于增强现实的二值层析三维场景实现系统，包括计算机1-1、二值振幅型空间光调制器2-1、第一调焦系统4以及半透半反设备3-1，其中，计算机1-1与二值振幅型空间光调制器2-1以及第一调焦系统4通信连接，第一调焦系统4设于二值振幅型空间光调制器2-1和半透半反设备3-1之间，半透半反设备3-1设于人眼7前方。
其中，
计算机1-1将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，将二值全息图发送给二值振幅型空间光调制器2-1，控制其加载二值全息图；
二值振幅型空间光调制器2-1，加载上述二值全息图，并基于接收的参考光波照射二值全息图，实现在空间对应深度显示二值全息图的衍射像。
计算机1-1向第一调焦系统4发送第一控制信号，第一调焦系统4接收第一控制信号后，将二值全息图的衍射像调焦到空间中的设定深度位置。
半透半反设备3-1，接收上述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
实施例3
如图8所示的用于增强现实的二值层析三维场景实现系统，包括计算机1-1、二值相位型空间光调制器2-2、光波导3-2、第二调焦系统5以及调焦补偿系统6，其中，计算机1-1与二值相位型空间光调制器2-2、第二调焦系统5以及调焦补偿系统6通信连接，第二调焦系统6设于光波导3-2靠近人眼7一侧，调焦补偿系统6设于光波导3-2远离人眼7一侧。
其中，
计算机1-1将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，将深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，将二值全息图发送给二值相位型空间光调制器2-2，控制其加载二值全息图；
二值相位型空间光调制器2-2，加载上述二值全息图，并基于接收的参考光波照射二值全息图，实现在空间对应深度显示二值全息图的衍射像。
光波导3-2，接收上述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得二值全息图的衍射像与真实场景叠加。
计算机1-1，向第二调焦系统5发送第二控制信号，第二调焦系统5接收第二控制信号后，将传输到人眼7前方的二值全息图的衍射像投影到空间中的设定深度。
同时，为了避免第二调焦系统5对外界真实场景光线的调制作用，计算机1-1向调焦补偿系统6发送第三控制信号，调焦补偿系统6接收第三控制信号后，补偿第二调焦系统5对真实场景的光线调制作用，抵消第二调焦系统5对真实场景光线的干扰作用。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (24)

1.一种用于增强现实的二值层析三维场景实现方法，其特征在于，包括如下步骤：
利用图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像；
图像处理系统将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，图像处理系统将所述二值全息图发送给图像显示系统；
图像处理系统控制图像显示系统加载所述二值全息图，在特定空间深度生成二值全息图的衍射像；
利用图像传输耦合系统接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
2.根据权利要求1所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述利用图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，包括：
所述图像处理系统将组成所述三维场景的图像帧进行深度分层，得到组成图像帧的深度层图像。
3.根据权利要求2所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统将组成所述三维场景的图像帧进行深度分层，得到组成图像帧的深度层图像，包括：
所述图像处理系统存储组成所述三维场景的图像帧，将图像帧按照三维场景的先后顺序进行整理；
根据三维场景的先后顺序，所述图像处理系统将每个图像帧按照深度关系由小及大顺序进行深度分层，得到组成图像帧的深度层图像。
4.根据权利要求3所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统将每个图像帧按照深度关系由小及大顺序进行深度分层，得到组成图像帧的深度层图像，包括：
获取所述图像帧所示场景的深度信息；
基于所述深度信息以光焦度作为分层参数对所述图像帧按照深度关系由小及大顺序进行深度分层，得到深度分层图像；
将每个所述深度分层图像的当前深度区域定义为值1，其他深度区域定义为值0，得到组成所述图像帧的深度分层二值图像；
将所述深度分层二值图像与图像帧的RGB场景图像进行点乘，得到组成图像帧的深度层图像。
5.根据权利要求4所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，包括：
所述图像处理系统将所述深度层图像按照全息图算法进行处理，得到与深度层图像对应的全息图；
所述图像处理系统将与深度层图像对应的所述全息图进行二值化处理，得到与深度层图像对应的二值全息图。
6.根据权利要求1所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述利用图像处理系统将三维场景进行深度分隔，得到组成三维场景的深度分隔图像，包括：
所述图像处理系统将三维场景按照由小及大的深度关系进行连续划分，得到组成三维场景的对应深度区间图像。
7.根据权利要求6所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图，包括：
所述图像处理系统将所述深度区间图像按照全息图算法进行处理，得到与深度区间图像对应的全息图；
所述图像处理系统将与深度区间图像对应的所述全息图进行二值化处理，得到与深度区间图像对应的二值全息图。
8.根据权利要求1所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统控制图像显示系统加载所述二值全息图，在特定空间深度生成二值全息图的衍射像，包括：
所述图像处理系统按照设定时序向所述图像显示系统发送控制指令；
所述显示系统接收所述控制指令，加载对应深度的二值全息图，并基于接收的参考光波照射所述二值全息图，实现在空间对应深度显示二值全息图的衍射像。
9.根据权利要求1所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述利用图像传输耦合系统接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加，包括：
利用半透半反设备接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
10.根据权利要求9所述的用于增强现实的二值层析三维场景实现方法，其特征在于，在所述半透半反设备接收所述二值全息图的衍射像之前，还包括：
图像处理系统向第一调焦系统发送第一控制信号，第一调焦系统接收所述第一控制信号后，将所述二值全息图的衍射像调焦到空间中的设定深度位置。
11.根据权利要求10所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统向第一调焦系统发送第一控制信号，第一调焦系统接收所述第一控制信号后，将所述二值全息图的衍射像调焦到空间中的设定深度位置，包括：
所述图像处理系统预先设定第一调焦系统的第一光焦度的形态变化周期；
所述图像处理系统基于所述第一光焦度的形态变化周期，向所述第一调焦系统发送第一控制信号；
所述第一调焦系统接收对应第一控制信号后，调整第一光焦度到对应数值，将对应的所述二值全息图的衍射像投影到空间中的设定深度。
12.根据权利要求1所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述利用图像传输耦合系统接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加，包括：
利用光波导的耦入区域耦入所述二值全息图的衍射像；
光波导的波导基体对耦入的二值全息图的衍射像进行传输；
光波导的耦出区域耦出所述二值全息图的衍射像到人眼前方；
真实场景穿过光波导的波导基体与对应二值全息图的衍射像实现叠加。
13.根据权利要求12所述的用于增强现实的二值层析三维场景实现方法，其特征在于，在光波导的耦出区域耦出所述二值全息图的衍射像到人眼前方之后，还包括：
图像处理系统向第二调焦系统发送第二控制信号，第二调焦系统接收所述第二控制信号后，将传输到人眼前方的所述二值全息图的衍射像投影到空间中的设定深度。
14.根据权利要求13所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统向第二调焦系统发送第二控制信号，第二调焦系统接收所述第二控制信号后，将传输到人眼前方的所述二值全息图的衍射像投影到空间中的设定深度，包括：
图像处理系统预先设定第二调焦系统的第二光焦度的形态变化周期；
图像处理系统基于所述第二光焦度的形态变化周期，向所述第二调焦系统发送第二控制信号；
所述第二调焦系统接收对应第二控制信号后，调整第二光焦度到对应数值，将所述二值全息图的衍射像投影到空间中的设定深度。
15.根据权利要求14所述的用于增强现实的二值层析三维场景实现方法，其特征在于，还包括：
图像处理系统向调焦补偿系统发送第三控制信号，调焦补偿系统接收所述第三控制信号后，补偿第二调焦系统对真实场景的光线调制作用。
16.根据权利要求15所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述图像处理系统向调焦补偿系统发送第三控制信号，调焦补偿系统接收所述第三控制信号后，补偿第二调焦系统对真实场景的光线调制作用，包括：
图像处理系统预先设定调焦补偿系统的第三光焦度的形态变化周期；
图像处理系统基于所述第三光焦度的形态变化周期向所述调焦补偿系统发送第三控制信号；
所述调焦补偿系统接收对应第三控制信号后，调整第三光焦度到对应数值，抵消第二调焦系统对真实场景光线的干扰作用。
17.根据权利要求16所述的用于增强现实的二值层析三维场景实现方法，其特征在于，所述第三光焦度和第二光焦度时刻满足如下关系：
Figure QLYQS_1
其中，
Figure QLYQS_2
表示第三光焦度，/>
Figure QLYQS_3
表示第二光焦度，/>
Figure QLYQS_4
表示调焦补偿系统的像方主平面与第二调焦系统的物方主平面之间的光程。
18.一种用于增强现实的二值层析三维场景实现系统，其特征在于，包括图像处理系统、图像显示系统以及图像传输耦合系统；
所述图像处理系统与所述图像显示系统通信连接；
所述图像处理系统，用于执行如下操作：
将三维场景进行深度分隔，得到组成三维场景的深度分隔图像；
将所述深度分隔图像按照全息图算法进行处理，得到与深度分隔图像对应的二值全息图；
将所述二值全息图发送给图像显示系统，控制图像显示系统加载所述二值全息图；
所述图像显示系统，用于加载所述二值全息图，在特定空间深度生成二值全息图的衍射像；
所述图像传输耦合系统，用于接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
19.根据权利要求18所述的用于增强现实的二值层析三维场景实现系统，其特征在于，所述图像显示系统采用二值相位型空间光调制器或二值振幅型空间光调制器。
20.根据权利要求18所述的用于增强现实的二值层析三维场景实现系统，其特征在于，所述图像传输耦合系统采用半透半反设备；
该半透半反设备，用于接收所述二值全息图的衍射像，将所述二值全息图的衍射像传输到人眼前方，使得所述二值全息图的衍射像与真实场景叠加。
21.根据权利要求20所述的用于增强现实的二值层析三维场景实现系统，其特征在于，还包括第一调焦系统，所述图像处理系统与所述第一调焦系统通信连接；
在所述半透半反设备接收所述二值全息图的衍射像之前，
所述图像处理系统，还用于向第一调焦系统发送第一控制信号；
所述第一调焦系统，用于接收所述第一控制信号，将所述二值全息图的衍射像调焦到空间中的设定深度位置。
22.根据权利要求18所述的用于增强现实的二值层析三维场景实现系统，其特征在于，所述图像传输耦合系统采用光波导；
该光波导包括波导基体、耦入区域以及耦出区域，所述耦入区域以及耦出区域设置在所述波导基体上；
耦入区域耦入所述二值全息图的衍射像；
波导基体对耦入的二值全息图的衍射像进行传输；
耦出区域耦出所述二值全息图的衍射像到人眼前方；
真实场景穿过波导基体与对应二值全息图的衍射像实现叠加。
23.根据权利要求22所述的用于增强现实的二值层析三维场景实现系统，其特征在于，还包括第二调焦系统，所述图像处理系统与所述第二调焦系统通信连接；
在所述光波导的耦出区域耦出所述二值全息图的衍射像到人眼前方之后，
所述图像处理系统，还用于向第二调焦系统发送第二控制信号，第二调焦系统接收所述第二控制信号后，将传输到人眼前方的所述二值全息图的衍射像投影到空间中的设定深度。
24.根据权利要求23所述的用于增强现实的二值层析三维场景实现系统，其特征在于，还包括调焦补偿系统，所述图像处理系统与所述调焦补偿系统通信连接；
所述图像处理系统，还用于向调焦补偿系统发送第三控制信号；
所述调焦补偿系统，用于接收所述第三控制信号，补偿所述第二调焦系统对真实场景的光线调制作用。
CN202310449369.XA 2023-04-25 2023-04-25 一种用于增强现实的二值层析三维场景实现方法及系统 Active CN116165864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310449369.XA CN116165864B (zh) 2023-04-25 2023-04-25 一种用于增强现实的二值层析三维场景实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310449369.XA CN116165864B (zh) 2023-04-25 2023-04-25 一种用于增强现实的二值层析三维场景实现方法及系统

Publications (2)

Publication Number Publication Date
CN116165864A true CN116165864A (zh) 2023-05-26
CN116165864B CN116165864B (zh) 2023-07-18

Family

ID=86420415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310449369.XA Active CN116165864B (zh) 2023-04-25 2023-04-25 一种用于增强现实的二值层析三维场景实现方法及系统

Country Status (1)

Country Link
CN (1) CN116165864B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315164A (zh) * 2023-11-28 2023-12-29 虚拟现实(深圳)智能科技有限公司 光波导全息显示方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918466A (zh) * 2010-04-01 2013-02-06 视瑞尔技术公司 用于在全息系统中编码包含透明物体的三维场景的方法和装置
US20140210942A1 (en) * 2013-01-31 2014-07-31 City University Of Hong Kong Fast processing of information represented in digital holograms
CN111830811A (zh) * 2020-05-22 2020-10-27 清华大学 基于衍射场叠加的高清三维全息显示方法及其实现装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918466A (zh) * 2010-04-01 2013-02-06 视瑞尔技术公司 用于在全息系统中编码包含透明物体的三维场景的方法和装置
US20140210942A1 (en) * 2013-01-31 2014-07-31 City University Of Hong Kong Fast processing of information represented in digital holograms
CN111830811A (zh) * 2020-05-22 2020-10-27 清华大学 基于衍射场叠加的高清三维全息显示方法及其实现装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹良才,等: "面向层结构的角谱传播计算全息算法(特邀)", 红外与激光工程, no. 06, pages 11 - 19 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315164A (zh) * 2023-11-28 2023-12-29 虚拟现实(深圳)智能科技有限公司 光波导全息显示方法、装置、设备及存储介质
CN117315164B (zh) * 2023-11-28 2024-02-23 虚拟现实(深圳)智能科技有限公司 光波导全息显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116165864B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Maimone et al. Holographic near-eye displays for virtual and augmented reality
Blanche Holography, and the future of 3D display
Shi et al. End-to-end learning of 3d phase-only holograms for holographic display
Hong et al. Three-dimensional display technologies of recent interest: principles, status, and issues
US10520889B2 (en) Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system
US7224526B2 (en) Three-dimensional free space image projection employing Fresnel lenses
Blinder et al. The state-of-the-art in computer generated holography for 3D display
CN115951504A (zh) 使用眼睛位置的无三维眼镜光场显示
WO2005099386A2 (en) Holographic projector
Kazempourradi et al. Full-color computational holographic near-eye display
WO2008065569A1 (en) Electronic imaging device and method of electronically rendering a wavefront
Kim et al. 3D display technology
CN116165864B (zh) 一种用于增强现实的二值层析三维场景实现方法及系统
WO2019228539A1 (zh) 成像方法和光学系统及其存储介质、芯片与组合
JP2021012338A (ja) ホログラム生成装置およびホログラム生成方法
CN103995454A (zh) 一种单空间光调制器实现彩色全息实时三维显示的方法
Chang et al. Towards occlusion-aware multifocal displays
Ebner et al. Off-Axis Layered Displays: Hybrid Direct-View/Near-Eye Mixed Reality with Focus Cues
CN110308610A (zh) 一种基于全息投影的多视图三维显示装置及控制方法
Hong Foveation in near-eye holographic display
Wetzstein et al. Factored displays: improving resolution, dynamic range, color reproduction, and light field characteristics with advanced signal processing
CN107976888B (zh) 能够表示再现像遮挡关系的计算全息三维显示方法及系统
CN107976887B (zh) 一种能减少再现浪费信息的计算全息三维显示方法及系统
Yang Advanced algorithmic approaches for improving image quality in 2D and 3D holographic displays
조재범 Computational multi-layered holographic display featuring effective resolution enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant