CN111199574A - 一种全息图像生成方法及设备 - Google Patents
一种全息图像生成方法及设备 Download PDFInfo
- Publication number
- CN111199574A CN111199574A CN201811365585.1A CN201811365585A CN111199574A CN 111199574 A CN111199574 A CN 111199574A CN 201811365585 A CN201811365585 A CN 201811365585A CN 111199574 A CN111199574 A CN 111199574A
- Authority
- CN
- China
- Prior art keywords
- hologram
- sample
- training
- holographic
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012549 training Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000006870 function Effects 0.000 claims description 45
- 238000011176 pooling Methods 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 23
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000004587 chromatography analysis Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 238000009877 rendering Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000001093 holography Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种全息图像生成方法及设备，该方法包括：获取原始图像样本和对应的理想全息图样本，利用所述原始图像样本和所述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型，利用构建的全息图生成模型对三维空间物体的平面图进行处理，得到三维空间物体的全息图像；本发明提供的方法有效地解决了在生成全息图像时，时间消耗大，重建效果差、对计算机存储依赖性能大的问题。
Description
技术领域
本发明涉及全息图像生成技术领域，尤其涉及一种全息图像生成方法及系统。
背景技术
目前在全息图生成技术领域，技术人员常用点源法和面源法生成全息图像，它们的具体做法是将三维物体分成离散的点源或面元，提供三维场景的精确几何信息。然而，对于空间三维物体，经过点源法或面元法离散抽样后，每一个点源或面元都需要进行独立的计算，会耗费海量的计算时间，且对计算机处理器的计算性能要求也十分苛刻。
为了加快点源法和面元法的计算速度，最常见方法是查表法。该方法需提前计算空间内每个物点在目标平面处形成的干涉条纹，并将条纹结果存入查找表中。在计算空间三维物体的计算全息图时，只需将三维物体的相应离散点与表中结果进行匹配叠加即可，省去了一次又一次重复计算的过程，加快了计算全息图的生成速度。但是，查表法对计算机的存储容量和读写性能要求太高。
为了避免点源法和面元法的计算速度问题以及查表法对存储性能的依赖问题，可以应用层析法。这种算法需将空间3D物体分层得到一系列平面信息，再对所得平面信息依次进行傅里叶变换得到计算全息图。然而，当空间3D物体深度足够大时，采用层析法依然不能非常有效的提高计算速度。
综上，传统的全息图生成算法的原理时干涉记录、衍射再现，其实质是干涉场的计算，计算过程具有物理学本质，而且不同类型的传统计算全息算法都有各自的局限性，例如点源法时间消耗大、层析法重建效果下降、查表法对计算机存储性能依赖性大等。
与此同时，深度学习技术作为一种新兴的技术，得到了广泛的研究，并且已经逐渐应用在很多领域。深度学习技术的发展，为全息技术的发展提供了新的工具。当前，全息显微、全息存储和全息相关等领域已经可以看到深度学习技术的身影。
发明内容
本发明提供一种全息图像生成方法及设备，解决在利用现有技术生成全息图像时，时间消耗大、重建效果下降、对计算机存储性能依赖性大等问题。
依照本发明第一方面，提供一种全息图像生成方法，该方法包括：
获取原始图像样本和对应的理想全息图样本；
利用所述原始图像样本和所述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型；
利用构建的全息图生成模型对三维空间物体的平面图进行处理，得到三维空间物体的全息图像。
依照本发明第二方面，提供一种全息图像生成设备，该设备包括处理器和存储器，其中，所述处理器用于：
获取原始图像样本和对应的理想全息图样本；
利用所述原始图像样本和所述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型；利用构建的全息图生成模型对三维空间物体的平面图进行处理，得到三维空间物体的全息图像。
依照本发明第三方面，提供一种计算机存储介质，上述计算机存储介质存储有计算机程序，该计算机程序被执行时实现本发明第一和第二方面任意一项所述的一种全息图像生成方法。
本发明提供的一种全息图像生成方法及设备，与现有技术相比，具有以下
有益效果：
1、传统的计算全息图生成算法原理是干涉记录、衍射再现，其实质是干涉场的计算。然而，本发明提供的方法中，利用构建的全息图生成模型来进行全息图的计算，其计算过程不再具有物理学本质，其实质变成了计算机领域的图像处理，因此，对于编程者的物理学或光学要求大大降低；
2、本发明中的计算全息图生成算法具有适用性广、计算速度快、对存储性能、读写性能依赖度低以及全息图重建效果好等优点。不同类型的传统计算全息算法都有各自的局限性，例如点源法时间消耗大、层析法重建效果下降、查表法对计算机存储性能依赖性大等；而本发明提供的一种全息图像生成方法，利用构建的全息图生成模型可以针对不同类型的3D图像数据快速生成全息图。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明实施例一提供的一种全息图像生成方法的示意图；
图1B为实施例一提供的对一个原始图像样本进行处理，得到上述原始图像样本的训练全息图像的过程的示意图；
图1C为实施例一提供的一种全息图像生成方法的构建全息图生成模型的流程图；
图2A为实施例三提供的小火车三维模型的示意图；
图2B为实施例三提供的用角谱衍射算法生成的小火车的全息图和全息图再现结果的示意图；
图2C为实施例三提供的用全息图生成模型生成的小火车的全息图和全息图再现结果的示意图；
图3为实施例三提供的一种全息图像生成设备的示意图；
图4为实施例四提供的一种全息图像生成装置的装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一：
本发明提供一种全息图像生成方法，如图1A所示，其具体过程如下：
步骤110，获取原始图像样本和对应的理想全息图样本；
可选地，在实施中，可以从三维图像样本库，和/或，利用三维图像建模软件建模绘制，和/或，三维摄像机捕捉获得原始图像样本；
通过全息图算法对上述原始图像样本库进行处理，得到对应的理想全息图样本。
上述原始图像样本为三维空间物体的平面图，通过对上述三维空间物体的平面图进行处理可得到上述三维空间物体的全息图像；
作为一种可选的实施方式，可以将获得的原始图像样本保存到原始样本库，将所有的理想全息图样本保存到理想全息图样本库；对于训练效果而言，深度学习网络中的参数训练越充分，深度学习网络的效果也就越好；
上述全息图算法为角谱衍射算法、点源法、层析法和查表法；
在本实施例中，采用了一种面向结构的角谱衍射算法来计算3D物体(三维空间物体)的计算全息图。具体流程如下：获取一个原始图像样本，根据不同的位置信息，将复杂的三维场景平行分层，用衍射的角谱理论模拟不同层到全息图平面的光学传播过程得到子层全息图，所有子层的全息图叠加得到上述原始图像样本的理想全息图样本。
步骤120，利用上述原始图像样本和上述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型；
可选地，在实施中，利用深度学习方法，通过全息图生成模型系统参数训练构建全息图生成模型。
确定触发模型训练时，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行处理，得到上述原始图像样本的训练全息图像并输出；
作为一种可选的方式，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行卷积运算、激活处理、池化处理、正则化处理和上采样操作。
上述全息图生成模型系统参数，包括：卷积运算所采用的卷积层初始层数、卷积运算所采用卷积核尺寸、激活处理所采用的激活函数、池化处理所采用的池化层尺寸、上采样操作所采用的上采样尺寸。
在实施中，根据卷积核尺寸和卷积层初始层数对上述原始图像样本进行卷积运算得到图像特征分布阵列，根据上述图像特征分布阵列确定卷积层达到预设值时，对上述图像特征分布整列依次进行卷积运算、根据上采样尺寸进行上采样操作至卷积层达到上述原始图像样本的卷积层层数，获得上述原始图像样本的训练全息图像并输出；确定上述卷积层未达到预设值时，依次对上述图像特征分布整列进行利用激活函数进行激活处理、根据池化层尺寸池化处理、正则化处理和卷积运算至卷积层达到预设值。
上述卷积运算，上采样操作，利用神经计算的思路，把“矮胖”的学习网络变成“深度”的学习网络，从而降低计算机判定的难度；即在本实施例中，即对原始图像样本用卷积运算进行分层，逐层提取图像特征，之后进行上采样操作恢复原始图像样本；
在一般的图像处理中，很难存在完全理想的线性运算，因此加入上述激活函数来提高模型的表达能力，而且即使遇到完全线性的运算，本操作也不会影响运算结果准确性；在本实施例中所用的激活函数为ReLU函数，本领域的技术人员也可根据实际情况选用其他函数作为激活函数，上述ReLU函数的函数关系如下公式1所示：
公式1：
上述池化层是神经计算中“池化”运算的一个惯用操作，可以理解如下：将一幅图像上4个相邻像素(2×2)看作一个单元，取出这个单元中数值最大的像素值作为新像素的值，其余三个像素值舍去。这样，一幅1024×1024分辨率的图像经过逐点操作，会变成512×512分辨率的新图像；
上述正则化处理的目的是防止数据过于拟合，上述数据过拟合指为了得到一致假设而使假设变得过度严格；作为一种可选的实施方式，正则化操作时，预设一个阈值，对于大于阈值的像素点予以保留，而对小于阈值的像素点则予以舍弃。
在图像处理技术领域中，图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，上述上采样操作相当于一个还原过程，在本实施例中，上采样操作将处理后的图像还原成原始图像样本。
对上述卷积层的预设值不做过多限定，本领域的技术人员可根据实际需求设置，在本实施例中将上述卷积层的预设值设置为64层，其作用可以理解如下：每一层与原始图像样本卷积后，都相当于提取了原始图像样本的一个特征，所谓的64层，就是提取了图像的64个特征。一般而言，卷积层的预设值设置的越多，对上述原始图像样本的特征提取就越详细，但是相应的也会增加计算负担。所以，对于卷积层的设置需要综合考虑计算负担和训练效果的权衡。
在实施中，输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求时，利用当前全息生成模型系统参数构建全息图生成模型。
输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值不满足设定要求时，且所有的原始图像样本都已经过当前模型训练时，调整当前全息生成模型系统参数并触发模型训练，否则直接触发模型训练。
实施过程中，根据预设损失函数，确定当前得到的所有训练全息图像与对应的理想全息图样本的损失函数值；确定上述损失函数值小于或等于预设阈值时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求。
上述预设损失函数是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，通过上述损失函数得到的损失函数值越小，则构建的全息生成模型的鲁棒性就越好；上述预设损失函数可以是均方差函数，或交叉熵函数，或者其他能达到相同效果的损失函数；
上述预设阈值由研发人员根据模型设定；
作为一种可选的实施方式，为了保证训练结果的准确性，采用的损失函数为均方差函数，其数学形式可以表示：
上述数学公式中，N是样本库中的样本容量，j是样本库中第j个样本，
是训练后的输出的训练全息图像数据，
是样本原始图像样本数据。当当前得到的所有的训练全息图像与对应的理想全息图样本的最小均方差小于或等于预设值时，将当前的系统参数输出，否则，判断当前继续触发训练过程，选择下一个未被训练过的原始图像样本进行训练；当当前得到的所有的训练全息图像与对应的理想全息图样本的最小均方差大于预设值时，且所有的原始图像样本都已经过当前模型训练时，根据预设学习率调整当前全息生成模型系统参数并触发模型训练，当还存在未经过当前模型训练的原始图像样本时，直接触发模型训练。
上述学习率是一种调整神经网络权值速度的参数，学习率的预设依据在于实际训练中的运算效果，学习率设置太大会导致训练结果错误，设置太小会导致训练时间慢、陷入局部极小值，对上述学习率不做过多限定，本领域的技术人员可根据实际预测试的结果设置；
步骤130，利用构建的全息图生成模对三维空间物体的平面图进行处理，得到三维空间物体的全息图像。
作为一种可选的实施方式，下面给出一个对一个原始图像样本进行处理，得到上述原始图像样本的训练全息图像的过程，如图1B所示，具体包括：
在模型训练时，包含了多个卷积层和池化层，以及相应的正则化参数，为了方便说明，本实施例的基本方案以分辨率为1024×1024×1的图片作为代表进行说明，即该空间3D物体的平面投影尺寸为1024×1024，在计算全息算法中将其分为1层；
本实施例中，卷积层的初始层数为64层，卷积核的尺寸为3×3。空间3D物体经过第一层卷积层后，得到了1024×1024×64的特征分布阵列；
每一个卷积层后都连接有一个激活函数，一个池化层以及一次正则化处理。本实施例中使用的激活函数是ReLU函数，其作用是使深度学习网络能够更好的处理非线性问题；
池化层可以看作一个滤波器，本实施例中池化层尺寸为2×2，作用是将卷积层得到的特征分布矩阵逐点在2×2范围内找出最大值，得到新的特征分布；
经过池化处理后，为了防止数据过拟合，对数据进行正则化；正则化操作则是预设一个阈值，对于大于阈值的像素点予以保留，而对小于阈值的像素点则予以舍弃。
经过第一次卷积、激活、池化和正则化操作后，特征分布变成了一个512×512×64的三维矩阵；重复以上操作，第二次卷积层的层数为128，卷积核的尺寸为3×3，池化层尺寸为2×2，经第二次卷积、激活、池化和正则化操作后，特征分布变成了一个256×256×128的三维矩阵；第三次卷积层的层数为256，卷积核的尺寸为3×3，池化层尺寸为2×2，经第三次卷积、激活、池化和正则化操作后，特征分布变成了一个128×128×256的三维矩阵；第四次卷积层的层数为512，卷积核的尺寸为3×3，池化层尺寸为2×2，经第四次卷积、激活、池化和正则化操作后，特征分布变成了一个64×64×512的三维矩阵；第五次卷积层的层数为1024，卷积核的尺寸为3×3，池化层尺寸为2×2，经第五次卷积、激活、池化和正则化操作后，特征分布变成了一个32×32×1024的三维矩阵。对32×32×1024的特征分布做卷积，卷积层的层数为2048，卷积核的尺寸为3×3，此时确定卷积层的预设值达到预设值即为2048，则该次卷积后不做池化，此时特征分布变成了一个32×32×2048的三维矩阵；
为了得到分辨率正确的全息图像，需要对该32×32×2048的三维矩阵进行卷积运算并上采样操作。第一次卷积、上采样操作中，卷积层层数为1024，卷积核的尺寸为3×3，上采样尺寸为2×2，经过第一次卷积、上采样操作后，特征分布变成了一个64×64×1024的三维矩阵；第二次卷积、上采样操作中，卷积层层数为512，卷积核的尺寸为3×3，上采样尺寸为2×2，经过第二次卷积、上采样操作后，特征分布变成了一个128×128×512的三维矩阵；第三次卷积、上采样操作中，卷积层层数为256，卷积核的尺寸为3×3，上采样尺寸为2×2，经过第三次卷积、上采样操作后，特征分布变成了一个256×256×256的三维矩阵；第四次卷积、上采样操作中，卷积层层数为128，卷积核的尺寸为3×3，上采样尺寸为2×2，经过第四次卷积、上采样操作后，特征分布变成了一个512×512×128的三维矩阵。第五次卷积、上采样操作中，卷积层层数为64，卷积核的尺寸为3×3，上采样尺寸为2×2，经过第五次卷积、上采样操作后，特征分布变成了一个1024×1024×64的三维矩阵；最后，对1024×1024×64的三维矩阵进行卷积，卷积层层数为1，卷积核尺寸为3×3，最终，输出的全息图分辨率为1024×1024。
下面给出一种全息图像生成方法的构建全息图生成模型的流程，流程图如图1C，具体包括：
步骤1101，获取原始图像样本库和对应的理想全息图样本库，进入步骤1102；
步骤1102，确定当前全息图生成模型系统参数，进入步骤1103；
步骤1103，从上述原始图像样本库中选择一个未经当前全息图生成模型训练过的原始图像样本，进入步骤1104,；
步骤1104，对上述原始图像样本进行卷积、激活、池化、正则化和上采用操作，得到上述原始图像样本的训练全息图像并输出，进入步骤1105；
步骤1105，确定当前得到的所有训练全息图像与对应的理想全息图样本的损失函数值，进入步骤1106；
步骤1106，判断上述损失函数值是否大于预设阈值，若大于，进入步骤1107，否则进入步骤1108；
步骤1107，判断是否所有的原始图像样本都已经过当前模型训练，若是，进入步骤1109，否则，进入步骤1103；
步骤1108，利用当前全息生成模型系统参数构建全息图生成模型；
步骤1109，根据学习率调整上述当前全息生成模型系统参数，进入步骤1103。
实施例二：
本实施例为本发明中的一个初步验证性的计算实例，在计算过程中，采用三维小火车模型作为重建模型，如图2A所示；使用角谱衍射算法计算得到的全息图像和重建结果如图2B所示；使用训练完成的全息图生成模型得到的全息图像及其显示效果如图2C所示。计算过程中，角谱衍射算法需耗时1.3秒，而深度学习网络只需0.007秒，其生成全息图的速度加快了近200倍，而且从重建效果上看，深度学习算法计算得到全息图的重建效果并未有大幅下降的迹象。
对于全息重建图像的清晰度和细节保持量，一般以重建图像的峰值信噪比(PeakSignal Noise Ratio，PSNR)来表示，单位是分贝(dB)。根据实验结果，不采用深度学习算法的全息图生成模型，只采用普通的计算全息算法，在1920*1080的分辨率条件下重建图像的PSNR可达到21dB，采用深度学习算法的全息图生成模型后，在1920*1080的分辨率条件下重建图像的PSNR也能够达到21dB水平。从重建质量来说，基于深度学习的计算全息算法能在细节保持量和清晰度等角度达到和传统计算全息算法相似的水平。
全息显示的重建过程实质是菲涅尔衍射，只要在菲涅尔衍射区(理论上厘米到百米范围内都是菲涅尔衍射区)，全息显示具有任意的深度范围，只要我们在全息图生成计算的过程中设置好系统所需的显示范围，并在编码中予以考虑，重建图像可达到室内观看区域的任意深度。不过，考虑到当前空间光调制器的性能限制，一般会将深度设置在10m以内的范围。
在当前的全息图生成模型版本下，其生成全息图的速度相对传统方法普遍加快10倍以上。在计算过程中，该方法对存储性能依赖性较查表法要减少1-2个数量级。
实施例三：
本发明提供一种全息图像生成设备，该设备包括处理器300和存储器301，如图3所示，其中，上述处理器用于：
获取原始图像样本和对应的理想全息图样本；
利用上述原始图像样本和上述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型；
利用构建的全息图生成模型对三维空间物体的平面图进行处理，得到三维空间物体的全息图像；
可选地，上述处理器具体用于，利用深度学习方法，通过全息图生成模型系统参数训练构建全息图生成模型。
上述处理器具体用于，确定触发模型训练时，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行处理，得到上述原始图像样本的训练全息图像并输出；输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求时，利用当前全息生成模型系统参数构建全息图生成模型。
上述处理器还用于，输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值不满足设定要求时，且所有的原始图像样本都已经过当前模型训练时，调整当前全息生成模型系统参数并触发模型训练，否则直接触发模型训练。
上述处理器具体用于，根据预设损失函数，确定当前得到的所有训练全息图像与对应的理想全息图样本的损失函数值；确定上述损失函数值小于或等于预设阈值时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求。
上述处理器具体用于，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行卷积运算、激活处理、池化处理、正则化处理和上采样操作。
上述全息图生成模型系统参数，包括：卷积运算所采用的卷积层初始层数、卷积运算所采用卷积核尺寸、激活处理所采用的激活函数、池化处理所采用的池化层尺寸、上采样操作所采用的上采样尺寸。
上述处理器具体用于，根据卷积核尺寸和卷积层初始层数对上述原始图像样本进行卷积运算得到图像特征分布阵列；根据上述图像特征分布阵列确定卷积层达到预设值时，对上述图像特征分布整列依次进行卷积运算、根据上采样尺寸进行上采样操作至卷积层达到上述原始图像样本的卷积层层数，获得上述原始图像样本的训练全息图像并输出；确定上述卷积层未达到预设值时，依次对上述图像特征分布整列进行利用激活函数进行激活处理、根据池化层尺寸池化处理、正则化处理和卷积运算至卷积层达到预设值。
上述处理器具体用于，从三维图像样本库，和/或，利用三维图像建模软件建模绘制，和/或，三维摄像机捕捉获得原始图像样本；通过全息图算法对上述原始图像样本库进行处理，得到对应的理想全息图样本。
上述全息图算法为角谱衍射算法、点源法、层析法和查表法。
实施例四：
本实施例提供一种全息图像生成装置，如图4所示，该装置包括：
样本获取单元401，用于获取原始图像样本和对应的理想全息图样本；
模型训练单元402，用于利用上述原始图像样本和上述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型；
全息图生成单元403，用于利用构建的全息图生成模型对三维空间物体的平面图进行处理，得到三维空间物体的全息图像；
可选地，上述全息图生成单元，用于利用深度学习方法，通过全息图生成模型系统参数训练构建全息图生成模型。
上述模型训练单元，用于确定触发模型训练时，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行处理，得到上述原始图像样本的训练全息图像并输出；输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求时，利用当前全息生成模型系统参数构建全息图生成模型。
上述模型训练单元还用于，输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值不满足设定要求时，且所有的原始图像样本都已经过当前模型训练时，调整当前全息生成模型系统参数并触发模型训练，否则直接触发模型训练。
上述模型训练单元，用于根据预设损失函数，确定当前得到的所有训练全息图像与对应的理想全息图样本的损失函数值；确定上述损失函数值小于或等于预设阈值时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求。
上述模型训练单元，用于利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行卷积运算、激活处理、池化处理、正则化处理和上采样操作。
上述全息图生成模型系统参数，包括：卷积运算所采用的卷积层初始层数、卷积运算所采用卷积核尺寸、激活处理所采用的激活函数、池化处理所采用的池化层尺寸、上采样操作所采用的上采样尺寸。
上述模型训练单元，用于根据卷积核尺寸和卷积层初始层数对上述原始图像样本进行卷积运算得到图像特征分布阵列；根据上述图像特征分布阵列确定卷积层达到预设值时，对上述图像特征分布整列依次进行卷积运算、根据上采样尺寸进行上采样操作至卷积层达到上述原始图像样本的卷积层层数，获得上述原始图像样本的训练全息图像并输出；确定上述卷积层未达到预设值时，依次对上述图像特征分布整列进行利用激活函数进行激活处理、根据池化层尺寸池化处理、正则化处理和卷积运算至卷积层达到预设值。
上述样本获取单元，用于从三维图像样本库，和/或，利用三维图像建模软件建模绘制，和/或，三维摄像机捕捉获得原始图像样本；通过全息图算法对上述原始图像样本库进行处理，得到对应的理想全息图样本。
上述全息图算法为角谱衍射算法、点源法、层析法和查表法。
实施例五：
本实施例提供一种计算机存储介质，该计算机存储介质存储有计算机程序，该计算机程序被执行时实现实施例一到三所述的一种全息图像生成方法。
应当说明的是，本发明的各个实施例的技术方案可以相互结合，但是必须是以本领域的技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当人认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (12)
1.一种息图像生成方法，其特征在于，该方法包括：
获取原始图像样本和对应的理想全息图样本；
利用所述原始图像样本和所述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型；
利用构建的全息图生成模型对三维空间物体的平面图进行处理，得到三维空间物体的全息图像。
2.如权利要求1所述的方法，其特征在于，通过全息图生成模型系统参数训练构建全息图生成模型，包括：
利用深度学习方法，通过全息图生成模型系统参数训练构建全息图生成模型。
3.如权利要求1或2所述的方法，其特征在于，利用所述原始图像样本和所述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型，包括：
确定触发模型训练时，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行处理，得到所述原始图像样本的训练全息图像并输出；
输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求时，利用当前全息生成模型系统参数构建全息图生成模型。
4.根据权利要求3所述的方法，其特征在于，还包括：
输出任一个训练全息图像时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值不满足设定要求时，且所有的原始图像样本都已经过当前模型训练时，调整当前全息生成模型系统参数并触发模型训练，否则直接触发模型训练。
5.如权利要求3所述的方法，其特征在于，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求，包括：
根据预设损失函数，确定当前得到的所有训练全息图像与对应的理想全息图样本的损失函数值；
确定所述损失函数值小于或等于预设阈值时，确定当前得到的所有训练全息图像与对应的理想全息图样本的相似度阈值满足设定要求。
6.如权利要求3所述的方法，其特征在于，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行处理，包括：
利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行卷积运算、激活处理、池化处理、正则化处理和上采样操作。
7.根据权利要求6所述的方法，其特征在于，所述全息图生成模型系统参数，包括：
卷积运算所采用的卷积层初始层数；
卷积运算所采用卷积核尺寸；
激活处理所采用的激活函数；
池化处理所采用的池化层尺寸；
上采样操作所采用的上采样尺寸。
8.如权利要求7所述的方法，其特征在于，利用当前全息图生成模型系统参数，对未经当前全息图生成模型训练过的原始图像样本进行卷积运算、激活处理、池化处理、正则化处理和上采样操作，包括：
根据卷积核尺寸和卷积层初始层数对所述原始图像样本进行卷积运算得到图像特征分布阵列；
根据所述图像特征分布阵列确定卷积层达到预设值时，对所述图像特征分布整列依次进行卷积运算、根据上采样尺寸进行上采样操作至卷积层达到所述原始图像样本的卷积层层数，获得所述原始图像样本的训练全息图像并输出；
确定所述卷积层未达到预设值时，依次对所述图像特征分布整列进行利用激活函数进行激活处理、根据池化层尺寸池化处理、正则化处理和卷积运算至卷积层达到预设值。
9.如权利要求1所述的方法，其特征在于，获取原始图像样本和对应的理想全息图样本，包括：
从三维图像样本库，和/或，利用三维图像建模软件建模绘制，和/或，三维摄像机捕捉获得原始图像样本；
通过全息图算法对所述原始图像样本库进行处理，得到对应的理想全息图样本。
10.如权利要求9所述的方法，其特征在于，所述全息图算法为角谱衍射算法、点源法、层析法和查表法。
11.一种全息图像生成设备，其特征在于，该设备包括处理器和存储器，其中，所述处理器用于：
获取原始图像样本和对应的理想全息图样本；
利用所述原始图像样本和所述理想全息图样本，通过全息图生成模型系统参数训练构建全息图生成模型；
利用构建的全息图生成模型对三维空间物体的平面图进行处理，得到三维空间物体的全息图像。
12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被执行时实现权利要求1-10任意一项所述的一种全息图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811365585.1A CN111199574A (zh) | 2018-11-16 | 2018-11-16 | 一种全息图像生成方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811365585.1A CN111199574A (zh) | 2018-11-16 | 2018-11-16 | 一种全息图像生成方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111199574A true CN111199574A (zh) | 2020-05-26 |
Family
ID=70746007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811365585.1A Pending CN111199574A (zh) | 2018-11-16 | 2018-11-16 | 一种全息图像生成方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199574A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494596A (zh) * | 2022-01-21 | 2022-05-13 | 清华大学 | 一种计算全息图的生成方法及电子设备 |
| JPWO2022162843A1 (zh) * | 2021-01-28 | 2022-08-04 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261846A (zh) * | 2007-03-05 | 2008-09-10 | 国际商业机器公司 | 存储控制器和将信息存储在全息数据存储媒体内的方法 |
| CN102043962A (zh) * | 2010-09-01 | 2011-05-04 | 北京大学 | 数字全息三维物体识别方法与系统 |
| US20120050460A1 (en) * | 2010-08-26 | 2012-03-01 | City University Of Hong Kong | Fast generation of holograms |
| CN105976408A (zh) * | 2016-04-28 | 2016-09-28 | 北京大学 | 一种量子逆向传播神经网络的数字全息压缩传输方法 |
| FR3041440A1 (fr) * | 2015-09-17 | 2017-03-24 | Orange | Procede de traitement d'une image holographique |
| CN106952338A (zh) * | 2017-03-14 | 2017-07-14 | 网易（杭州）网络有限公司 | 基于深度学习的三维重建的方法、系统及可读存储介质 |
| CN107895369A (zh) * | 2017-11-28 | 2018-04-10 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、存储介质及设备 |
| CN107958475A (zh) * | 2017-12-19 | 2018-04-24 | 清华大学 | 基于深度学习生成网络的变角度光照层析方法及装置 |
| CN108089425A (zh) * | 2018-01-16 | 2018-05-29 | 电子科技大学 | 一种基于深度学习的消除光学扫描全息离焦噪声的方法 |
| KR20180063835A (ko) * | 2016-12-02 | 2018-06-12 | 한국전자통신연구원 | 변형 광학 뉴럴 네트워크를 이용하는 홀로그램 영상 재생 장치 |
-
2018
- 2018-11-16 CN CN201811365585.1A patent/CN111199574A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261846A (zh) * | 2007-03-05 | 2008-09-10 | 国际商业机器公司 | 存储控制器和将信息存储在全息数据存储媒体内的方法 |
| US20120050460A1 (en) * | 2010-08-26 | 2012-03-01 | City University Of Hong Kong | Fast generation of holograms |
| CN102043962A (zh) * | 2010-09-01 | 2011-05-04 | 北京大学 | 数字全息三维物体识别方法与系统 |
| FR3041440A1 (fr) * | 2015-09-17 | 2017-03-24 | Orange | Procede de traitement d'une image holographique |
| CN105976408A (zh) * | 2016-04-28 | 2016-09-28 | 北京大学 | 一种量子逆向传播神经网络的数字全息压缩传输方法 |
| KR20180063835A (ko) * | 2016-12-02 | 2018-06-12 | 한국전자통신연구원 | 변형 광학 뉴럴 네트워크를 이용하는 홀로그램 영상 재생 장치 |
| CN106952338A (zh) * | 2017-03-14 | 2017-07-14 | 网易（杭州）网络有限公司 | 基于深度学习的三维重建的方法、系统及可读存储介质 |
| CN107895369A (zh) * | 2017-11-28 | 2018-04-10 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、存储介质及设备 |
| CN107958475A (zh) * | 2017-12-19 | 2018-04-24 | 清华大学 | 基于深度学习生成网络的变角度光照层析方法及装置 |
| CN108089425A (zh) * | 2018-01-16 | 2018-05-29 | 电子科技大学 | 一种基于深度学习的消除光学扫描全息离焦噪声的方法 |
Non-Patent Citations (1)
| Title |
|---|
| RYOICHI HORISAKI等: "Deep-learning-generated holography", 《APPLIED OPTICS》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022162843A1 (zh) * | 2021-01-28 | 2022-08-04 | ||
| WO2022162843A1 (ja) * | 2021-01-28 | 2022-08-04 | 三菱電機株式会社 | インピーダンス推定装置およびインピーダンス推定方法 |
| JP7415052B2 (ja) | 2021-01-28 | 2024-01-16 | 三菱電機株式会社 | インピーダンス推定装置およびインピーダンス推定方法 |
| CN114494596A (zh) * | 2022-01-21 | 2022-05-13 | 清华大学 | 一种计算全息图的生成方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
| CN109308679A (zh) | 一种图像风格转换方及装置、设备、存储介质 | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN111861894B (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| Wang et al. | High-fidelity view synthesis for light field imaging with extended pseudo 4DCNN | |
| Satoshi et al. | Globally and locally consistent image completion | |
| CN107507135A (zh) | 基于编码光圈和靶标的图像重构方法 | |
| Kumwilaisak et al. | Image denoising with deep convolutional neural and multi-directional long short-term memory networks under Poisson noise environments | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| WO2017054342A1 (zh) | 一种全息投影方法、装置及计算机存储介质 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN116228912B (zh) | 基于U-Net多尺度神经网络的图像压缩感知重建方法 | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN111199574A (zh) | 一种全息图像生成方法及设备 | |
| CN115496654A (zh) | 基于自注意力机制的图像超分辨率重建方法、设备及介质 | |
| Zhang et al. | Light field super-resolution using complementary-view feature attention | |
| KR101795952B1 (ko) | 2d 영상에 대한 깊이 영상 생성 방법 및 장치 | |
| Zhang et al. | Sedenion polar harmonic Fourier moments and their application in multi-view color image watermarking | |
| CN117830102A (zh) | 图像超分辨率复原方法、装置、计算机设备和存储介质 | |
| Guo et al. | Image blind deblurring using an adaptive patch prior | |
| Du et al. | Dehazing Network: Asymmetric Unet Based on Physical Model | |
| KR102559691B1 (ko) | 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치 | |
| CN109166176B (zh) | 三维人脸图像的生成方法与装置 | |
| Solanki et al. | An efficient satellite image super resolution technique for shift-variant images using improved new edge directed interpolation | |
| Le Bon et al. | Joint Fourier Disparity Layers unrolling with learned view synthesis for light field reconstruction from few-shots focal stacks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200526 |