CN114967398B - 基于深度学习的大尺寸二维计算全息图实时生成方法 - Google Patents

基于深度学习的大尺寸二维计算全息图实时生成方法 Download PDF

Info

Publication number
CN114967398B
CN114967398B CN202210532716.0A CN202210532716A CN114967398B CN 114967398 B CN114967398 B CN 114967398B CN 202210532716 A CN202210532716 A CN 202210532716A CN 114967398 B CN114967398 B CN 114967398B
Authority
CN
China
Prior art keywords
sub
hologram
size
utilizing
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210532716.0A
Other languages
English (en)
Other versions
CN114967398A (zh
Inventor
张�成
张如
张莉茹
陈明生
吴峰
沈川
程鸿
韦穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210532716.0A priority Critical patent/CN114967398B/zh
Publication of CN114967398A publication Critical patent/CN114967398A/zh
Application granted granted Critical
Publication of CN114967398B publication Critical patent/CN114967398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Holo Graphy (AREA)

Abstract

本发明的一种基于深度学习的大尺寸二维计算全息图实时生成方法，包括利用分解法消除大尺寸图像的不同图像块之间的数据依赖性，之后利用带宽补偿和空间位移补偿来确保不同图像块在全息平面中的正确映射；在消除了图像块之间的数据依赖性后，利用深度学习中U‑net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。本发明利用到的分解方法与深度学习训练网络是转而处理子数据，大大提高了全息图的生成速度与生成质量，实现了大尺寸二维计算全息图的实时生成。

Description

基于深度学习的大尺寸二维计算全息图实时生成方法
技术领域
本发明涉及计算机全息技术领域，具体涉及一种深度学习的大尺寸二维计算全息图实时生成方法。
背景技术
计算机生成全息图(Computer-generated Hologram，CGH)所呈现具有连续深度感觉的三维(3D)场景的能力对虚拟和增强现实、人机交互、医学成像等方面产生了深远的影响，因而CGH的应用被认为是最有前途的3D显示候选技术。
传统的计算全息技术可以在相对较宽的观察范围内捕获干涉图案，这通常是利用光调制设备改变光的振幅或相位，以逐像素获取的方式得以实现。在相同尺寸下，人眼的3D双目视场的灵敏度为147亿像素，因此，CGH计算需要在物体和全息图平面上至少处理十亿像素大小的数据。此外，针对大尺寸的数据，全息显示器需要巨大的空间带宽以满足视场角度和奈奎斯特采样的要求，逐个扫描的方式在这种数据量大的全息图的实时生成中很难适用，并且这种情况下，如果通过常规迭代的方法处理会出现消耗内存、速率低下等问题。
在对CGH计算的实现中，由于计算纯相位的CGH的问题是一个不适定问题，即：解决方案的数量是多种的或者不确定的，在这里常见的解决方式有迭代投影算法或非凸的优化方法等，但采用这些方法都会面临着计算量大、消耗时间长以及对硬件要求高等挑战。这里已经提出了几种非迭代方法来实现快速计算CGH，比如空间复用和相位编码等。然而，这些方法涉及到的复杂调制以及对分辨率的牺牲依然会导致较大的误差，难以十分准确的测量。所有这些处理CGH方法主要依赖于耗时的迭代算法，这些算法必须执行多次循环迭代才能得到可行的解决方案，并且最终生成的图像质量也不高。
深度学习技术解决了许多过去计算成像领域难以解决的难题，还在信息获取能力、成像的功能、核心性能指标(如成像空间分辨率、时间分辨率、灵敏度等)上获得了显著提升。将深度学习应用到处理CGH计算中，不仅可以保证生成质量，同时也可以实现实时生成。
但是，如果直接使用深度学习训练大尺寸的数据，会面临着对内存要求太高，训练时间过长等瓶颈，这些限制都会对实时捕获二维全息图产生一些不良影响。因此考虑可以对原先大尺寸的数据进行分解处理，将分解后的子对象采用深度学习方法分别生成对应的子全息图最后再进行合成与叠加以获得原始数据的全息图。
发明内容
本发明提出的一种深度学习的大尺寸二维计算全息图实时生成方法，可解决上述技术背景中的问题。
为实现上述目的，本发明采用了以下技术方案：
一种深度学习的大尺寸二维计算全息图实时生成方法，包括以下步骤，
利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；
在消除了图像块之间的数据依赖性后，利用深度学习中U-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；
最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。
进一步的，利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射，具体包括：
设计算N×N大小的二维大尺寸数据的CGH，需要对一个N×N大小的二维目标进行FFT操作，对于二维离散傅里叶变化，其中N个数据点相互依赖；
将对象分解为K个子对象，针对每个子对象进行二维傅里叶变换，通过以K为周期，划分成K个子周期，使其仅在Δfs区间有数据，而Δk子区间所需的数据通过傅里叶变换的移位特性生成，最终生成K个大小为N×N的子全息图，每个子全息图对应一个子对象，若成功地以原始分辨率重建子对象，则数据依赖性被打破；
PBC＝e-i(kΔKpΔx+jΔJqΔy)
其中，F(nΔfs+kΔK,mΔgs+jΔJ)表示插值运算，(nΔfs+kΔK,mΔgs+jΔJ)表示进行插值运算傅里叶平面的坐标，Δfs和Δgs分别表示傅里叶平面横向采样间隔和纵向采样间隔，Δx和Δy分别表示空间平面横向采样间隔和纵向采样间隔，O(pΔx,qΔy)表示空间平面的数据点，用于表示傅里叶平面数据点的位置；K表示待处理大尺寸目标图像横纵方向分解的份数；ΔK表示将Δfs分成K份，ΔJ表示将Δgs分成K份，k＝1,2,…,K；j＝1,2,…,K；kΔK、jΔJ表示进行插值运算的横纵最小间隔，PBC表示插值运算的傅里叶展开形式；
所有Δk个子对象都在中心被重建，为了将它们移回原来的位置，针对这里存在的差值项，采用使其与相位补偿项数之间相乘，如下所示；
Lp1＝exp[-i(kΔKpΔx+jΔJqΔy)]
Lp2＝exp[-i(s1nΔfspΔx+s2mΔgsqΔy)]
其中，F(nΔfs+kΔK,mΔgs+jΔJ)f(s1nΔfs,s2mΔgs)表示移位运算，s1、s2为中间变量，s1nΔf和s2mΔgs分别表示移位运算的横向间隔和纵向间隔，相位补偿中划分为带宽补偿Lp1与位置补偿Lp2。
进一步的，在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中U-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，具体包括：
全息编码器的编码器部分采用U-Net结构实现，U-Net网络包括卷积层、最大池化层即下采样区、反卷积层上采样区以及ReLU非线性激活函数，整个网络分为若干层，利用端到端的映射，每一层都有对应的上采样以及下采样区，每一层的输入对应的输出都作为下一层的输入，在上采样过程中用到了下采样的结果；
首先将目标图像输入U-net，后来通过U-net结构输出预测相位获取子子全息图，最终通过合成与叠加获取原大尺寸数据的实时全息图。
由上述技术方案可知，本发明的深度学习的大尺寸二维计算全息图实时生成方法，采用对大规模的二维全息图首先利用分解法消除大尺寸图像的不同图像块之间的数据依赖性，之后利用带宽补偿和空间位移补偿来确保不同图像块在全息平面中的正确映射，在消除了图像块之间的数据依赖性后，利用深度学习中U-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。
综上所述，传统的计算机生成全息图的生成方法都依赖于耗时的迭代算法，这种执行多次迭代寻找不适定方程最优解的过程中无法保证计算全息图的实时生成并且当原始数据尺寸过大还会消耗内存。本发明提出的基于深度学习的大尺寸二维计算全息图实时生成方法，先利用快速傅里叶变换中的移位特性打破原始输入的数据依赖性，将其分解成子对象，再将一系列子对象输入进U-net网络进行训练，最后合成出计算全息图。这里利用到的分解方法与深度学习训练网络不再遵循对原始大尺寸数据直接处理的方式，而是转而处理子数据，大大提高了全息图的生成速度与生成质量，实现了大尺寸二维计算全息图的实时生成。
附图说明
图1是本发明的总流程图；
图2是本发明的分解模块示意图；
图3是本发明的相位补偿模块示意图；
图4是本发明的U-Net网络架构示意图；
图5是本发明的合成与叠加模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
计算机生成全息图技术将计算机技术与全息技术结合在一起，被认为是最有前途的3D显示候选技术。针对大尺寸的全息图，计算机生成全息图的通过常规迭代的方法会出现消耗内存、速率低下等问题，现有的这些生成方法都依赖于耗时的算法，必须执行多次迭代才能确定可行的解决方案，并且这种利用迭代寻找不适定方程最优解的方式无法保证计算全息图的实时生成。本发明实施例提出基于深度学习的大尺寸二维计算全息图实时生成方法，先利用快速傅里叶变换中的移位特性打破原始输入的数据依赖性，将其分解成子对象，再将一系列子对象输入进U-net网络进行训练，最后合成出计算全息图。该方法利用到的分解方法与深度学习训练网络大大提高了全息图的生成速度与生成质量，实现了大尺寸二维计算全息图的实时生成。
具体的说，如图1所示，本实施例所述的深度学习的大尺寸二维计算全息图实时生成方法，包括首先如图2所示，采用对大规模的二维全息图利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后如图3所示，利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射，在消除了图像块之间的数据依赖性后，利用图4所示的深度学习中的U-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图，如图5所示。
具体的说：
利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；
在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中U-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；
最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。
以下分别说明：
分解与相位补偿基本原理
分解的目的是将原大尺寸数据划分为便于处理的子对象，这可以使得计算步骤之间的通信时间进行缩短，并且加快后期进入深度学习网络的计算时间，使大尺寸全息图的实时生成成为可能。
第一步，设计算N×N大小的二维大尺寸数据的CGH，需要对一个N×N大小的二维目标进行FFT操作，对于二维离散傅里叶变化，但其中N个数据点相互依赖；
将对象分解为K个子对象，针对每个子对象进行二维傅里叶变换，通过以K为周期，划分成K个子周期，使其仅在Δfs区间有数据，而Δk子区间所需的数据通过傅里叶变换的移位特性生成，最终生成K个大小为N×N的子全息图，每个子全息图对应一个子对象，若成功地以原始分辨率重建子对象，则数据依赖性被打破；
PBC＝e-i(kΔKpΔx+jΔJqΔy)
其中，F(nΔfs+kΔK,mΔgs+jΔJ)表示插值运算，(nΔfs+kΔK,mΔgs+jΔJ)表示进行插值运算傅里叶平面的坐标，Δfs和Δgs分别表示傅里叶平面横向采样间隔和纵向采样间隔，Δx和Δy分别表示空间平面横向采样间隔和纵向采样间隔，O(pΔx,qΔy)表示空间平面的数据点，用于表示傅里叶平面数据点的位置；K表示待处理大尺寸目标图像横纵方向分解的份数；ΔK表示将Δfs分成K份，ΔJ表示将Δgs分成K份，k＝1,2,…,K；j＝1,2,…,K；kΔK、jΔJ表示进行插值运算的横纵最小间隔，PBC表示插值运算的傅里叶展开形式；
第二步，利用相位补偿对原始数据进行搬移，使其以原始分辨率重建子对象。所有Δk个子对象都在中心被重建，为了将它们移回原来的位置，针对这里存在的差值项，采用使其与相位补偿项数之间相乘，如下所示；
Lp1＝exp[-i(kΔKpΔx+jΔJqΔy)]
Lp2＝exp[-i(s1nΔfspΔx+s2mΔgsqΔy)]
其中，F(nΔfs+kΔK,mΔgs+jΔJ)f(s1nΔfs,s2mΔgs)表示移位运算，s1、s2为中间变量，s1nΔf和s2mΔgs分别表示移位运算的横向间隔和纵向间隔，相位补偿中划分为带宽补偿Lp1与位置补偿Lp2。
其中深度学习网络说明如下：
全息编码器的编码器部分采用U-Net结构实现，U-Net网络是一个基本的DAN神经网络，主要由卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU非线性激活函数组成。整个网络分为若干层，利用端到端的映射，每一层都有对应的上采样以及下采样区，每一层的输入对应的输出都作为下一层的输入，在上采样过程中用到了下采样的结果，使得在深层的卷积中能够有浅层的简单特征，使得卷积的输入更加丰富，自然得到的结果也更加能够反映图像的原始信息。
首先将目标图像输入U-net，后来通过U-net结构输出预测相位获取子子全息图，最终通过合成与叠加获取原大尺寸数据的实时全息图。
综上所述，传统的计算机生成全息图的生成方法都依赖于耗时的迭代算法，这种执行多次迭代寻找不适定方程最优解的过程中无法保证计算全息图的实时生成并且当原始数据尺寸过大还会消耗内存。本发明提出的基于深度学习的大尺寸二维计算全息图实时生成方法，先利用快速傅里叶变换中的移位特性打破原始输入的数据依赖性，将其分解成子对象，再将一系列子对象输入进U-net网络进行训练，最后合成出计算全息图。这里利用到的分解方法与深度学习训练网络不再遵循对原始大尺寸数据直接处理的方式，而是转而处理子数据，大大提高了全息图的生成速度与生成质量，实现了大尺寸二维计算全息图的实时生成。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种基于深度学习的大尺寸二维计算全息图实时生成方法，其特征在于，包括以下步骤，
利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；
在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中U-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；
最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图；
利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；具体包括：
设计算N×N大小的二维大尺寸数据的CGH，需要对一个N×N大小的二维目标进行FFT操作，对于二维离散傅里叶变化，其中N个数据点相互依赖；
将对象分解为K个子对象，针对每个子对象进行二维傅里叶变换，通过以K为周期，划分成K个子周期，使其仅在Δfs区间有数据，而Δk子区间所需的数据通过傅里叶变换的移位特性生成，最终生成K个大小为N×N的子全息图，每个子全息图对应一个子对象，若成功地以原始分辨率重建子对象，则数据依赖性被打破；
PBC＝e-i(kΔKpΔx+jΔJqΔy)
其中，F(nΔfs+kΔK,mΔgs+jΔJ)表示插值运算，(nΔfs+kΔK,mΔgs+jΔJ)表示进行插值运算傅里叶平面的坐标，Δfs和Δgs分别表示傅里叶平面横向采样间隔和纵向采样间隔，Δx和Δy分别表示空间平面横向采样间隔和纵向采样间隔，O(pΔx,qΔy)表示空间平面的数据点，用于表示傅里叶平面数据点的位置；K表示待处理大尺寸目标图像横纵方向分解的份数；ΔK表示将Δfs分成K份，ΔJ表示将Δgs分成K份，k＝1,2,…,K；j＝1,2,…,K；kΔK、jΔJ表示进行插值运算的横纵最小间隔，PBC表示插值运算的傅里叶展开形式；
所有Δk个子对象都在中心被重建，为了将它们移回原来的位置，针对这里存在的差值项，采用使其与相位补偿项数之间相乘，如下所示；
Lp1＝exp[-i(kΔKpΔx+jΔJqΔy)]
Lp2＝exp[-i(s1nΔfspΔx+s2mΔgsqΔy)]
其中，F(nΔfs+kΔK,mΔgs+jΔJ)f(s1nΔfs,s2mΔgs)表示移位运算，s1、s2为中间变量，s1nΔf和s2mΔgs分别表示移位运算的横向间隔和纵向间隔，相位补偿中划分为带宽补偿Lp1与位置补偿Lp2。
2.根据权利要求1所述的深度学习的大尺寸二维计算全息图实时生成方法，其特征在于：在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中U-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，具体包括：
全息编码器的编码器部分采用U-Net结构实现，U-Net网络包括卷积层、最大池化层即下采样区、反卷积层上采样区以及ReLU非线性激活函数，整个网络分为若干层，利用端到端的映射，每一层都有对应的上采样以及下采样区，每一层的输入对应的输出都作为下一层的输入，在上采样过程中用到了下采样的结果；
首先将目标图像输入U-net，后来通过U-net结构输出预测相位获取子子全息图，最终通过合成与叠加获取原大尺寸数据的实时全息图。
3.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1或2中任一项所述方法的步骤。
CN202210532716.0A 2022-05-13 2022-05-13 基于深度学习的大尺寸二维计算全息图实时生成方法 Active CN114967398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210532716.0A CN114967398B (zh) 2022-05-13 2022-05-13 基于深度学习的大尺寸二维计算全息图实时生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210532716.0A CN114967398B (zh) 2022-05-13 2022-05-13 基于深度学习的大尺寸二维计算全息图实时生成方法

Publications (2)

Publication Number Publication Date
CN114967398A CN114967398A (zh) 2022-08-30
CN114967398B true CN114967398B (zh) 2024-05-31

Family

ID=82983503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210532716.0A Active CN114967398B (zh) 2022-05-13 2022-05-13 基于深度学习的大尺寸二维计算全息图实时生成方法

Country Status (1)

Country Link
CN (1) CN114967398B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104698802A (zh) * 2015-03-24 2015-06-10 四川大学 一种大尺寸计算全息再现方法
CN109459923A (zh) * 2019-01-02 2019-03-12 西北工业大学 一种基于深度学习的全息重建算法
CN110363843A (zh) * 2019-06-18 2019-10-22 安徽大学 基于相移压缩菲涅尔全息的三维图像光学重建方法及系统
CN110378473A (zh) * 2019-07-26 2019-10-25 清华大学 基于深度学习和随机图案的相位层析方法及装置
KR20200104068A (ko) * 2019-02-26 2020-09-03 한국전자통신연구원 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치
KR20210085543A (ko) * 2019-12-30 2021-07-08 광운대학교 산학협력단 인공지능 및 딥러닝 기술을 이용한 디지털 홀로그램의 생성 방법
KR102277101B1 (ko) * 2020-01-29 2021-07-15 광운대학교 산학협력단 프린지 패턴을 영역별로 학습하는 인공지능 및 딥러닝 기반 초고해상도 홀로그램 생성방법
CN113219806A (zh) * 2021-05-14 2021-08-06 安徽大学 一种非迭代彩色相位全息图生成方法及系统
KR20210108315A (ko) * 2020-02-25 2021-09-02 한국전자통신연구원 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템 및 방법
CN114002931A (zh) * 2021-10-08 2022-02-01 清华大学深圳国际研究生院 基于深度学习加速计算的大视场全息投影方法及系统
CN114387395A (zh) * 2022-01-11 2022-04-22 中国矿业大学(北京) 一种基于相位-双分辨率网络的全息图快速生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11435695B2 (en) * 2019-06-25 2022-09-06 Intel Corporation Deep computational holography
US20210326690A1 (en) * 2020-04-20 2021-10-21 The University Of North Carolina At Chapel Hill High-speed computer generated holography using convolutional neural networks

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104698802A (zh) * 2015-03-24 2015-06-10 四川大学 一种大尺寸计算全息再现方法
CN109459923A (zh) * 2019-01-02 2019-03-12 西北工业大学 一种基于深度学习的全息重建算法
KR20200104068A (ko) * 2019-02-26 2020-09-03 한국전자통신연구원 딥러닝 기반 디지털 홀로그램을 생성하는 방법 및 장치
CN110363843A (zh) * 2019-06-18 2019-10-22 安徽大学 基于相移压缩菲涅尔全息的三维图像光学重建方法及系统
CN110378473A (zh) * 2019-07-26 2019-10-25 清华大学 基于深度学习和随机图案的相位层析方法及装置
KR20210085543A (ko) * 2019-12-30 2021-07-08 광운대학교 산학협력단 인공지능 및 딥러닝 기술을 이용한 디지털 홀로그램의 생성 방법
KR102277101B1 (ko) * 2020-01-29 2021-07-15 광운대학교 산학협력단 프린지 패턴을 영역별로 학습하는 인공지능 및 딥러닝 기반 초고해상도 홀로그램 생성방법
KR20210108315A (ko) * 2020-02-25 2021-09-02 한국전자통신연구원 딥러닝 기반 디지털 홀로그램 합성 및 처리 시스템 및 방법
CN113219806A (zh) * 2021-05-14 2021-08-06 安徽大学 一种非迭代彩色相位全息图生成方法及系统
CN114002931A (zh) * 2021-10-08 2022-02-01 清华大学深圳国际研究生院 基于深度学习加速计算的大视场全息投影方法及系统
CN114387395A (zh) * 2022-01-11 2022-04-22 中国矿业大学(北京) 一种基于相位-双分辨率网络的全息图快速生成方法

Also Published As

Publication number Publication date
CN114967398A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Chakravarthula et al. Wirtinger holography for near-eye displays
US7969633B2 (en) Method and device for computing computer-generated video holograms
CN103955127A (zh) 一种相位调制全视差全息体视图实现方法
EP0862096A2 (en) Method and system for producing computer generated holograms realizing real time holographic video production and display
US9323218B2 (en) Generating full-parallax digital holograms
Min et al. Wigner inverse transform based computer generated hologram for large object at far field from its perspective light field
CN114967398B (zh) 基于深度学习的大尺寸二维计算全息图实时生成方法
US20210279951A1 (en) Method and apparatus for processing holographic image
EP3535623B1 (en) System and method for reconstruction of holographic lens-free images by multi-depth sparse phase recovery
Viswanathan et al. A framework for view-dependent hologram representation and adaptive reconstruction
CN115731263A (zh) 融合移位窗口注意力的光流计算方法、系统、设备及介质
Chen et al. Real-time hologram generation using a non-iterative modified Gerchberg-Saxton algorithm
Choi et al. Analysis of Digital Hologram Rendering Using a Computational Method
CN111443583A (zh) 一种基于全息图优化分割计算的快速全息图计算方法
Zhang et al. Non-iterative Fresnel phase-only hologram generation and multiplexing for dynamic 3D holographic display
Bo Deep learning approach for computer-generated holography
Chaab et al. An adaptive anisotropic magnification algorithm of numerical reconstructed holographic image via a cascaded Fresnel transform
CN115097708B (zh) 基于光衍射神经网络的拓展全息显示分辨率方法
Zeng et al. Physically Guided Generative Adversarial Network for Holographic 3D Content Generation from Multi-view Light Field
Kang et al. Quality comparison and acceleration for digital hologram generation method based on segmentation
US20240272586A1 (en) Wigner Inverse Transform Based Computer Generated Hologram for Large Object at Far Field From its Perspective Light Field
CN115016237B (zh) 一种基于fs-orap的大尺寸全息图快速生成方法
Liu et al. Dynamic holographic stereogram using temporal and perspective coherence
Sun et al. Layered holographic three-dimensional projection using region-partitioned processing
CN118050911A (zh) 图像全息三维展示方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant