CN114067015A - 一种结合dnn的纯相位全息图生成方法及系统 - Google Patents
一种结合dnn的纯相位全息图生成方法及系统 Download PDFInfo
- Publication number
- CN114067015A CN114067015A CN202111331792.7A CN202111331792A CN114067015A CN 114067015 A CN114067015 A CN 114067015A CN 202111331792 A CN202111331792 A CN 202111331792A CN 114067015 A CN114067015 A CN 114067015A
- Authority
- CN
- China
- Prior art keywords
- neural network
- phase
- deep neural
- image
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 claims abstract description 50
- 238000001228 spectrum Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 7
- 230000000644 propagated effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Holo Graphy (AREA)
Abstract
本发明涉及一种结合DNN的纯相位全息图生成方法及系统,所述方法包括:获取目标图像;将目标图像进行反向传播,得到全息面上的衍射场;将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构;根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。本发明能够提高重建图像的显示质量。
Description
技术领域
本发明涉及纯相位全息领域,特别是涉及一种结合DNN的纯相位全息图生成方法及系统。
背景技术
计算全息可以灵活地重建包括大体积、大场景甚至现实世界不存在的各种三维物体的物光波前,在三维显示领域受到广泛应用。目前阶段重建图像所使用的SLM为大多为纯相位空间光调制器,因此需要生成高质量的纯相位全息图。经典的GS算法需要迭代多次才能生成再现质量良好的全息图,花费时间过多。而传统的加快计算速度的全息计算方法,往往是对物光波前或干涉条纹近似处理,导致再现图像质量不高。
传统神经网络在计算纯相位全息图时,直接把目标图像作为输入数据输入到网络模型中,然后直接输出纯相位信息。神经网络隐含层的计算过程中糅杂了傅里叶变换、傅里叶逆变换和复振幅与纯相位之间的变换等复杂的运算关系,网络结构十分复杂,且神经网络对傅里叶变换的拟合能力较弱,这导致了重建图像质量较差。当目标图像像素过多时,传统方法对神经网络的结构设计、节点参数提出了很高的要求,并且容易出现过拟合的情况。
发明内容
本发明的目的是提供一种结合DNN的纯相位全息图生成方法及系统,以提高重建图像的显示质量。
为实现上述目的,本发明提供了如下方案:
一种结合DNN的纯相位全息图生成方法,包括:
获取目标图像;
将所述目标图像进行反向传播,得到全息面上的衍射场;
将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构;
根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。
可选地,所述深度神经网络的训练过程具体包括:
以衍射场的训练复振幅为输入,以纯相位训练信息为输出,以所述目标图像和所述重建图像之间损失为损失函数,对深度神经网络中的参数进行优化训练,得到训练好的深度神经网络;所述损失包括像素损失和感知损失。
可选地,所述衍射场的表达式为:
其中,U(x,y;z)为衍射场,为傅里叶变换符号,为傅里叶逆变换符号,为目标图像反向传播的带限传递函数,u(x,y)为复振幅的实部,v(x,y)为复振幅的虚部,j为虚数单位,I(x',y')为目标图像。
可选地,所述重建图像的表达式为:
一种结合DNN的纯相位全息图生成系统,包括:
获取模块,用于获取目标图像;
反向传播模块,用于将所述目标图像进行反向传播,得到全息面上的衍射场;
纯相位信息确定模块,用于将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构;
重建模块,用于根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。
可选地,所述深度神经网络的训练过程具体包括:
以衍射场的训练复振幅为输入,以纯相位训练信息为输出,以所述目标图像和所述重建图像之间损失为损失函数,对深度神经网络中的参数进行优化训练,得到训练好的深度神经网络;所述损失包括像素损失和感知损失。
可选地,所述衍射场的表达式为:
其中,U(x,y;z)为衍射场,为傅里叶变换符号,为傅里叶逆变换符号,为目标图像反向传播的带限传递函数,u(x,y)为复振幅的实部,v(x,y)为复振幅的虚部,j为虚数单位,I(x',y')为目标图像。
可选地,所述重建图像的表达式为:
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供的结合DNN的纯相位全息图生成方法及系统,将目标图像进行反向传播,得到全息面上的衍射场;将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构;根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。本发明将纯相位全息图生成方法计算过程分成了两步,首先使用角谱法实现傅里叶变换和傅里叶逆变换,然后再利用深度神经网络实现复振幅与纯相位之间的变换,这减轻了神经网络的工作负担,降低了网络模型的结构复杂度和节点参数数目,有效提高了计算的精度,明显增强了重建图像的显示质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的结合DNN的纯相位全息图生成方法流程图;
图2为本发明提供的结合DNN的纯相位全息图生成方法示意图;
图3为本发明提供的结合DNN的纯相位全息图生成系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种结合DNN的纯相位全息图生成方法及系统,以提高重建图像的显示质量。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供的一种结合DNN的纯相位全息图生成方法,包括:
步骤101:获取目标图像。
步骤102:将目标图像进行反向传播,得到全息面上的衍射场。
步骤103:将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构。
步骤104:根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。
在实际应用中,所述深度神经网络的训练过程具体包括:
以衍射场的训练复振幅为输入,以纯相位训练信息为输出,以所述目标图像和所述重建图像之间损失为损失函数,对深度神经网络中的参数进行优化训练,得到训练好的深度神经网络;所述损失包括像素损失和感知损失。像素损失用重建图像和目标图像之间的平均绝对误差或平方差来表示;感知损失由重建图像和目标图像分别通过卷积得到的特征决定,是包括内容和全局结构在内的高级图像特征之间的差异。
在实际应用中,所述衍射场的表达式为:
其中,U(x,y;z)为衍射场,为傅里叶变换符号,为傅里叶逆变换符号,为目标图像反向传播的带限传递函数,u(x,y)为复振幅的实部,v(x,y)为复振幅的虚部,j为虚数单位,I(x',y')为目标图像。
在实际应用中,所述重建图像的表达式为:
如图2所示,本发明还提供了一种结合DNN的纯相位全息图生成方法在实际应用中的具体工作流程,具体步骤如下:
步骤1:目标图像反向传播。首先将输入的目标图像反向传播一定的距离-d到达全息面,在全息面上的衍射场用以下公式来描述
步骤2:输出纯相位信息。像素损失用重建图像和目标图像之间的平均绝对误差或平方差来表示,感知损失由重建图像和目标图像分别通过卷积得到的包括内容和全局结构在内的高级图像特征之间的差异来表示。
建立一个内含多层隐藏层的深度神经网络,其中,神经网络结构为生成器结构,生成器的具体结构可以自行设定,选定一些特定的卷积层用来计算特征重建的损失,其中,特定的卷积层即从VGG网络中选取的卷积层。采用像素损失和感知损失来表示整体网络模型的损失,从而让神经网络可以高效学习有效信息,以达到快速收敛的目的。
步骤3:相位信息正向传播。将步骤2中通过深度神经网络计算出的相位信息向前传播一定的距离d,使用ASM(角谱法)计算出在目标图像所在平面上形成的重建图像,用以下公式来描述
步骤5:转到步骤2再次生成新的相位信息,并重复步骤2到步骤4的过程。在不断循环的训练过程中,深度神经网络会逐步学习复振幅与纯相位之间的变换关系,直到重建图像的质量能够满足初始设置的要求。
如图3所示,本发明提供的一种结合DNN的纯相位全息图生成系统,包括:
获取模块301,用于获取目标图像。
反向传播模块302,用于将目标图像进行反向传播,得到全息面上的衍射场。
纯相位信息确定模块303,用于将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构。
重建模块304,用于根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。
其中,所述深度神经网络的训练过程具体包括:
以衍射场的训练复振幅为输入,以纯相位训练信息为输出,以所述目标图像和所述重建图像之间损失为损失函数,对深度神经网络中的参数进行优化训练,得到训练好的深度神经网络;所述损失包括像素损失和感知损失。
其中,所述衍射场的表达式为:
其中,U(x,y;z)为衍射场,为傅里叶变换符号,为傅里叶逆变换符号,为目标图像反向传播的带限传递函数,u(x,y)为复振幅的实部,v(x,y)为复振幅的虚部,j为虚数单位,I(x',y')为目标图像。
其中,所述重建图像的表达式为:
相较于振幅全息图,纯相位全息图理论上拥有更高的衍射效率,因此是当前计算机生成全息图的主流编码方式。鉴于此,本发明提供的方法根据计算科学领域中的最优化理论,将全息图生成过程转化为寻找最优解的过程;通过在带宽受限的衍射复振幅波场以及空间光调制器(Spatial LightModulator,SLM)平面上的纯相位波场之间建立神经网络模型,从而利用大量高维参数去寻找最优化的相位图生成方法。此方法消除了现有方法中存在的严重伪影以及散斑等问题,在图像质量评价指标PSNR和SSIM上表现较好。
相比于传统的单步法,本发明提出的纯相位全息图生成方法通过机器学习方式建立目标图像与全息图之间的深层关系模型,优化与其相结合的全息图生成算法,并将计算过程分成了两步,首先使用角谱法实现傅里叶变换和傅里叶逆变换,然后再利用深度神经网络实现复振幅与纯相位之间的变换,这减轻了神经网络的工作负担,降低了网络模型的结构复杂度和节点参数数目,有效提高了计算的精度,明显增强了重建图像的显示质量。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种结合DNN的纯相位全息图生成方法,其特征在于,包括:
获取目标图像;
将所述目标图像进行反向传播,得到全息面上的衍射场;
将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构;
根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。
2.根据权利要求1所述的结合DNN的纯相位全息图生成方法,其特征在于,所述深度神经网络的训练过程具体包括:
以衍射场的训练复振幅为输入,以纯相位训练信息为输出,以所述目标图像和所述重建图像之间损失为损失函数,对深度神经网络中的参数进行优化训练,得到训练好的深度神经网络;所述损失包括像素损失和感知损失。
5.一种结合DNN的纯相位全息图生成系统,其特征在于,包括:
获取模块,用于获取目标图像;
反向传播模块,用于将所述目标图像进行反向传播,得到全息面上的衍射场;
纯相位信息确定模块,用于将所述衍射场的复振幅利用深度神经网络进行处理,得到纯相位信息;所述深度神经网络为生成器结构;
重建模块,用于根据所述纯相位信息利用角谱法进行图像重建,得到重建图像。
6.根据权利要求5所述的结合DNN的纯相位全息图生成系统,其特征在于,所述深度神经网络的训练过程具体包括:
以衍射场的训练复振幅为输入,以纯相位训练信息为输出,以所述目标图像和所述重建图像之间损失为损失函数,对深度神经网络中的参数进行优化训练,得到训练好的深度神经网络;所述损失包括像素损失和感知损失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111331792.7A CN114067015A (zh) | 2021-11-11 | 2021-11-11 | 一种结合dnn的纯相位全息图生成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111331792.7A CN114067015A (zh) | 2021-11-11 | 2021-11-11 | 一种结合dnn的纯相位全息图生成方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114067015A true CN114067015A (zh) | 2022-02-18 |
Family
ID=80274962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111331792.7A Pending CN114067015A (zh) | 2021-11-11 | 2021-11-11 | 一种结合dnn的纯相位全息图生成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114067015A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114647081A (zh) * | 2022-03-31 | 2022-06-21 | 爱思菲尔光学科技(苏州)有限公司 | 基于神经网络的衍射光学元件及其设计方法 |
CN115113508A (zh) * | 2022-05-07 | 2022-09-27 | 四川大学 | 基于光衍射神经网络的全息显示散斑抑制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542581A (zh) * | 2010-12-18 | 2012-07-04 | 谈顺毅 | 全息图生成方法 |
CN104765263A (zh) * | 2015-04-13 | 2015-07-08 | 北京大学 | 电子全息三维信息压缩编码传输方法 |
US20190294108A1 (en) * | 2018-03-21 | 2019-09-26 | The Regents Of The University Of California | Method and system for phase recovery and holographic image reconstruction using a neural network |
CN110308547A (zh) * | 2019-08-12 | 2019-10-08 | 青岛联合创智科技有限公司 | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 |
-
2021
- 2021-11-11 CN CN202111331792.7A patent/CN114067015A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542581A (zh) * | 2010-12-18 | 2012-07-04 | 谈顺毅 | 全息图生成方法 |
CN104765263A (zh) * | 2015-04-13 | 2015-07-08 | 北京大学 | 电子全息三维信息压缩编码传输方法 |
US20190294108A1 (en) * | 2018-03-21 | 2019-09-26 | The Regents Of The University Of California | Method and system for phase recovery and holographic image reconstruction using a neural network |
CN110308547A (zh) * | 2019-08-12 | 2019-10-08 | 青岛联合创智科技有限公司 | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114647081A (zh) * | 2022-03-31 | 2022-06-21 | 爱思菲尔光学科技(苏州)有限公司 | 基于神经网络的衍射光学元件及其设计方法 |
CN115113508A (zh) * | 2022-05-07 | 2022-09-27 | 四川大学 | 基于光衍射神经网络的全息显示散斑抑制方法 |
CN115113508B (zh) * | 2022-05-07 | 2023-11-28 | 四川大学 | 基于光衍射神经网络的全息显示散斑抑制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | 4K-DMDNet: diffraction model-driven network for 4K computer-generated holography | |
CN101795344B (zh) | 数字全息图像压缩、解码方法及系统、传输方法及系统 | |
CN114067015A (zh) | 一种结合dnn的纯相位全息图生成方法及系统 | |
CN107301458B (zh) | 基于强度传输方程的相位优化方法 | |
CN114387395A (zh) | 一种基于相位-双分辨率网络的全息图快速生成方法 | |
CN112348743A (zh) | 一种融合判别式网络和生成式网络的图像超分辨率方法 | |
KR20140096532A (ko) | 디지털 홀로그램 생성 장치 및 그 방법 | |
Yu et al. | Phase dual-resolution networks for a computer-generated hologram | |
CN115829876A (zh) | 一种基于交叉注意力机制的真实退化图像盲修复方法 | |
CN116071494A (zh) | 基于隐式神经函数的高保真三维人脸重建与生成方法 | |
CN114742911A (zh) | 图像压缩感知重建方法、系统、设备及介质 | |
CN113467211B (zh) | 一种基于频谱损失函数梯度下降的全息编码方法 | |
US20240103439A1 (en) | Method and system for optimizing first-diffraction-order reconstruction of holograms, device and medium | |
Zhang et al. | DSC-MVSNet: attention aware cost volume regularization based on depthwise separable convolution for multi-view stereo | |
CN117876591A (zh) | 多个神经网络联合训练的真实模糊三维全息图重建方法 | |
Sun et al. | Recent advances in implicit representation-based 3d shape generation | |
CN115690252A (zh) | 一种基于卷积神经网络的全息图重建方法及系统 | |
CN116977169A (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
US11532122B2 (en) | Method and apparatus for processing holographic image | |
KR102605678B1 (ko) | 홀로그래픽 디스플레이 장치 및 이의 처리 방법 | |
CN115100300A (zh) | 一种基于注意力量子启发式神经网络的计算机全息图压缩方法 | |
Corda | Digital holography data compression | |
CN113658330A (zh) | 一种基于神经网络的全息编码方法 | |
Bo | Deep learning approach for computer-generated holography | |
CN114494596B (zh) | 一种计算全息图的生成方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |