CN114384780A - 透过散射介质成像的方法、装置、计算机设备和存储介质 - Google Patents
透过散射介质成像的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114384780A CN114384780A CN202011107437.7A CN202011107437A CN114384780A CN 114384780 A CN114384780 A CN 114384780A CN 202011107437 A CN202011107437 A CN 202011107437A CN 114384780 A CN114384780 A CN 114384780A
- Authority
- CN
- China
- Prior art keywords
- hologram
- target
- sample
- scattering medium
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000011084 recovery Methods 0.000 claims abstract description 71
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 120
- 238000012549 training Methods 0.000 claims description 100
- 238000013527 convolutional neural network Methods 0.000 claims description 66
- 238000009826 distribution Methods 0.000 claims description 58
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000149 argon plasma sintering Methods 0.000 description 25
- 238000001093 holography Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 230000001427 coherent effect Effects 0.000 description 8
- 238000012634 optical imaging Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000005337 ground glass Substances 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
- G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
- G03H2001/2213—Diffusing screen revealing the real holobject, e.g. container filed with gel to reveal the 3D holobject
Abstract
本申请涉及一种透过散射介质成像的方法、装置、计算机设备和存储介质。所述方法包括：获取目标物体透过目标散射介质成像后所形成的第一目标全息图；所述第一目标全息图携带有由所述目标散射介质引入的目标散斑噪声；通过已训练的全息图恢复模型从所述第一目标全息图中去除所述目标散斑噪声，得到相应的第二目标全息图；对所述第二目标全息图进行傅里叶逆变换，得到所述目标物体对应的物体图像。采用本方法能够适用于各种实际应用场景，在各种实际应用场景下均易于实现、且能够提高成像的准确性。
Description
技术领域
本申请涉及计算光学成像技术领域，特别是涉及一种透过散射介质成像的方法、装置、计算机设备和存储介质。
背景技术
透过散射介质进行光学成像在生物医学成像、天文学成像、遥感成像等领域具有重要应用。当携带物体信息的光束通过毛玻璃、烟雾、各向异性的生物组织等散射介质时，由于散射介质的散射作用引入了随机相位，导致目标物体的相位信息被置乱，最后得到的是一幅混乱的散斑图，使得通过传统光学成像系统难以有效地对散射介质后的物体进行观察。为了解决这一问题，国内外诸多学者对透过散射介质进行成像展开了研究。目前，透过散射介质成像的方式主要包括基于数字全息的散射成像，该种透过散射介质成像方式下，成像系统需要满足严格的成像条件，以便于能够消除散射介质引入的随机相位，否则，会因散射介质所引入的随机相位无法被完全消除而在全息图中引入散斑噪声，从而导致所重建的物体图像退化到难以识别的程度，也即是存在成像准确性低的问题。为了解决基于数字全息的散射成像方式下成像准确性低的问题，有学者提出在记录全息图的曝光时间内，通过旋转散射介质来实现散斑场强度的时间平均，以降低散斑噪声，从而提高透过散射介质成像的准确性。但是，该种散射介质成像方式下，需要在记录全息图的曝光时间内旋转散射介质，存在操作复杂度高，且在实际应用场景中难以实现的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种在实际应用场景中易于实现、且能够提高透过散射介质成像的准确性的通过散射介质成像的方法、装置、计算机设备和存储介质。
一种透过散射介质成像的方法，所述方法包括：
获取目标物体透过目标散射介质成像后所形成的第一目标全息图；所述第一目标全息图携带有由所述目标散射介质引入的目标散斑噪声；
通过已训练的全息图恢复模型从所述第一目标全息图中去除所述目标散斑噪声，得到相应的第二目标全息图；
对所述第二目标全息图进行傅里叶逆变换，得到所述目标物体对应的物体图像。
在其中一个实施例中，所述全息图恢复模型的训练步骤，包括：
获取样本物体对应的第一样本全息图与第二样本全息图；所述第一样本全息图携带有由样本散射介质引入的样本散斑噪声；所述第二样本全息图未携带所述样本散斑噪声；
根据所述第一样本全息图与所述第二样本全息图得到训练样本集；
根据所述训练样本集进行模型训练，得到全息图恢复模型。
在其中一个实施例中，所述获取样本物体对应的第一样本全息图与第二样本全息图，包括：
获取样本物体透过样本散射介质成像后所形成的第一样本全息图；
获取所述样本物体在所述样本散射介质前所形成的第二样本全息图。
在其中一个实施例中，所述方法还包括：
获取测试样本集；所述测试样本集包括测试物体对应的第一测试全息图与第二测试全息图；所述第一测试全息图携带有由测试散射介质引入的测试散斑噪声；所述第二测试全息图未携带所述测试散斑噪声；
通过所述测试样本集对由所述训练样本集训练得到的全息图恢复模型进行测试；
当测试通过时，确定已训练好的全息图恢复模型。
在其中一个实施例中，所述全息图恢复模型为深度卷积神经网络模型。
在其中一个实施例中，所述深度卷积神经网络模型的网络结构，包括：
多个级联的卷积层与单个输出层；多个卷积层中至少存在两个卷积层的卷积核尺寸不一致；所述多个卷积层各自提取出的特征图的尺寸均与所述深度卷积神经网络模型的输入特征的尺寸一致。
在其中一个实施例中，所述样本散射介质有多个；各样本散射介质的相位分布互不相同。
一种透过散射介质成像的装置，所述装置包括：
获取模块，用于获取目标物体透过目标散射介质成像后所形成的第一目标全息图；所述第一目标全息图携带有由所述目标散射介质引入的目标散斑噪声；
去噪模块，用于通过已训练的全息图恢复模型从所述第一目标全息图中去除所述目标散斑噪声，得到相应的第二目标全息图；
成像模块，用于对所述第二目标全息图进行傅里叶逆变换，得到所述目标物体对应的物体图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各方法实施例中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各方法实施例中的步骤。
上述透过散射介质成像的方法、装置、计算机设备和存储介质，获取目标物体通过目标散射介质成像后所形成的、且携带有目标散射介质引入的目标散斑噪声的第一目标全息图，通过已训练的全息图恢复模型，从第一目标全息图中去除由目标散射介质所引入的散斑噪声，得到去除散斑噪声后的第二目标全息图，并对第二目标全息图进行傅里叶逆变换，得到目标物体对应的物体图像。这样，通过已训练的全息图恢复模型，能够快速而准确地去除第一目标全息图中由散射介质引入的散斑噪声，也即是将携带散斑噪声的第一目标全息图准确恢复成未携带散斑噪声的第二目标全息图，而无需通过旋转散射介质来降低散斑噪声，能够降低操作复杂度，且在实际应用场景中易于实现，然后再基于第二目标全息图恢复得到目标物体的物体图像，由此，即便是在成像系统不满足严格的成像条件的情况下，也能够通过散射介质准确恢复出清晰的物体图像，由此可见，该种透过散射介质成像方式能够适用于各种实际应用场景，在各种实际应用场景下均易于实现、且能够提高成像的准确性。
附图说明
图1为一个实施例中透过散射介质成像的方法的流程示意图；
图2为一个实施例中基于离轴数字全息的光散射成像系统的架构图；
图3为一个实施例中透过散射介质成像方法的原理示意图；
图4为一个实施例中深度卷积神经网络模型的网络结构示意图；
图5为另一个实施例中透过散射介质成像的方法的流程示意图；
图6为一个实施例中透过相同散射介质成像的效果示意图；
图7为一个实施例中透过不同散射介质成像的效果示意图；
图8为一个实施例中不同类型的物体透过散射介质成像的效果示意图；
图9为一个实施例中透过散射介质成像方法对透镜直径的鲁棒性的效果示意图；
图10为一个实施例中透过散射介质成像方法对目标物体与参考光光源之间的相对距离的鲁棒性的效果示意图；
图11为一个实施例中透过散射介质成像的装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种透过散射介质成像的方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取目标物体透过目标散射介质成像后所形成的第一目标全息图；第一目标全息图携带有由目标散射介质引入的目标散斑噪声。
其中，目标物体是待透过散射介质进行成像的物体。目标散射介质是用于对目标物体进行成像的散射介质。目标散射介质包括但不限于是毛玻璃、烟雾、水、各向异性的生物组织等，具体可基于实际的应用场景动态确定。第一目标全息图是目标物体透过目标散射介质成像后所形成的、且携带有由目标散射介质引入的目标散斑噪声的全息图。在基于离轴数字全息的光散射成像系统中，第一目标全息图具体可以是指，目标物体在目标散射介质前形成干涉光场分布后，该干涉光场分布透过该目标散射介质成像后所形成的、且携带有由目标散射介质所引入的目标散斑噪声的全息图。
可以理解，在基于离轴数字全息的光散射成像系统中，根据目标物体在目标散射介质前所形成的干涉光场分布，能够得到目标物体在该位置处所形成的干涉全息图，该干涉全息图未携带散斑噪声，基于该干涉全息图能够直接恢复出理想的物体图像，第一目标全息图也可理解为该干涉全息图透过目标散射介质成像后所形成的全息图，第一目标全息图中携带有由目标散射介质所引入的目标散斑噪声，由此，基于第一目标全息图不能直接恢复出目标物体的物体图像。当目标物体透过目标散射介质成像时，目标散射介质所引入的随机相位在第一目标全息图中表现为目标散斑噪声。换而言之，目标散斑噪声是指目标物体透过目标散射介质成像时，由目标散射介质的散射作用所引入的随机相位所导致的噪声分布。
具体地，在基于离轴数字全息的光散射成像系统中，置于物平面上的目标物体被相干光照射形成携带物体信息的物光，置于物平面上的参考光光源发出的相干光形成参考光，物光与参考光在目标散射介质的前表面相干叠加形成干涉光场分布，该干涉光场分布通过目标散射介质时，由于目标散射介质的散射作用，会在干涉光场分布中引入随机相位，并在目标散射介质的后表面形成散射场分布，该散射场分布通过置于目标散射介质与像平面之间的透镜进行成像，在像平面形成携带有由目标散射介质引入的目标散斑噪声的第一目标全息图。通过置于像平面的图像采集设备，采集目标物体透过目标散射介质成像后在像平面所形成的第一目标全息图。终端从图像采集设备获取该在像平面采集到的、且携带目标散斑噪声的第一目标全息图。
在一个实施例中，在基于离轴数字全息的光散射成像系统中，置于物平面的目标物体透过目标散射介质成像后，在像平面形成复振幅分布，基于该复振幅分布所得到的光强分布，即为目标物体透过目标散射介质成像后所形成的第一目标全息图。由此，通过图像采集设备采集像平面的光强分布，能够得到目标物体对应的第一目标全息图。
在一个实施例中，图像采集设备包括但不限于是CCD(Charge-coupled Device，电荷耦合元件/图像控制器)。
步骤104，通过已训练的全息图恢复模型从第一目标全息图中去除目标散斑噪声，得到相应的第二目标全息图。
其中，全息图恢复模型是基于预先获取的训练样本集训练得到的、能够用于从第一目标全息图中去除目标散斑噪声得到相应第二目标全息图的模型。训练样本集包括携带样本散斑噪声的第一样本全息图与相应未携带样本散斑噪声的第二样本全息图。
具体地，终端将所获取到的第一目标全息图输入已训练的全息图恢复模型，通过该全息图恢复模型从该第一目标全息图中去除由目标散射介质所引入的目标散斑噪声，得到未携带该目标散斑噪声的第二目标全息图。
在一个实施例中，通过已训练的全息图恢复模型根据第一目标全息图恢复得到的第二目标全息图，是未携带由目标散射介质所引入的目标散斑噪声的全息图，基于第二目标全息图能够准确恢复得到目标物体对应的物体图像。可以理解，在全息图恢复模型的准确性足够高的情况下，目标物体在目标散射介质的前表面所形成的干涉全息图，与通过全息图恢复模型恢复得到的第二目标全息图基本一致，由此，基于第二目标全息图能够恢复出理想的物体图像。
步骤106，对第二目标全息图进行傅里叶逆变换，得到目标物体对应的物体图像。
其中，物体图像是指包括目标物体的图像，具体可以是指包括目标物体的物体信息的图像。目标物体的物体信息用于表征目标物体的特征信息或形貌信息。
具体地，终端在通过已训练的全息图恢复模型，根据第一目标全息图恢复得到目标物体对应的第二目标全息图后，对该第二目标全息图进行傅里叶逆变换，得到目标物体对应的物体图像。
在一个实施例中，在基于离轴数字全息的光散射成像系统中，目标物体在目标散射介质的前表面形成干涉全息图后，能够实现该干涉全息图透过目标散射介质后的远程记录，得到相应的第一目标全息图，通过已训练的全息图恢复模型，能够去除第一目标全息图中由目标散射介质引入的目标散斑噪声，得到未携带目标散斑噪声的第二目标全息图，然后再通过数字全息的方式恢复出隐藏在目标散射介质后的目标物体，也即是通过数字全息的方式基于第二目标全息图恢复得到目标物体的物体图像，以便于基于物体图像能够得到目标物体的物体信息。
上述透过散射介质成像的方法，获取目标物体通过目标散射介质成像后所形成的、且携带有目标散射介质引入的目标散斑噪声的第一目标全息图，通过已训练的全息图恢复模型，从第一目标全息图中去除由目标散射介质所引入的散斑噪声，得到去除散斑噪声后的第二目标全息图，并对第二目标全息图进行傅里叶逆变换，得到目标物体对应的物体图像。这样，通过已训练的全息图恢复模型，能够快速而准确地去除第一目标全息图中由散射介质引入的散斑噪声，也即是将携带散斑噪声的第一目标全息图准确恢复成未携带散斑噪声的第二目标全息图，而无需通过旋转散射介质来降低散斑噪声，能够降低操作复杂度，且在实际应用场景中易于实现，然后再基于第二目标全息图恢复得到目标物体的物体图像，由此，即便是在成像系统不满足严格的成像条件的情况下，也能够通过散射介质准确恢复出清晰的物体图像，由此可见，该种透过散射介质成像方式能够适用于各种实际应用场景，在各种实际应用场景下均易于实现、且能够提高成像的准确性。
在一个实施例中，全息图恢复模型的训练步骤，包括：获取样本物体对应的第一样本全息图与第二样本全息图；第一样本全息图携带有由样本散射介质引入的样本散斑噪声；第二样本全息图未携带样本散斑噪声；根据第一样本全息图与第二样本全息图得到训练样本集；根据训练样本集进行模型训练，得到全息图恢复模型。
具体地，在模型训练阶段，终端按照以下训练步骤预先训练得到已训练的全息图恢复模型：终端获取多个样本物体各自对应的第一样本全息图与第二样本全息图，每个样本物体对应的第一样本全息图中携带有由相应样本散射介质引入的样本散斑噪声，而每个样本物体对应的第二样本全息图中未携带由相应样本散射介质所引入的样本散斑噪声；终端根据该多个样本物体各自对应的第一样本全息图与第二样本全息图，得到相应的训练样本集；终端将该训练样本集中的第一样本全息图作为输入特征，将相应的第二样本全息图作为期望的输出特征进行迭代训练，并在迭代停止后得到已训练的全息图恢复模型。
在一个实施例中，在模型训练阶段，终端可将基于训练样本集训练得到的全息图恢复模型直接确定为已训练好的全息图恢复模型，也可通过测试样本集对基于训练样本集训练得到的全息图恢复模型进行测试，并将测试通过的全息图恢复模型确定为已训练好的全息图恢复模型。进一步地，在模型应用阶段，通过已训练好的全息图恢复模型，能够快速而准确地从第一目标全息图中去除目标散斑噪声，得到相应的第二目标全息图。
在一个实施例中，在全息图恢复模型的迭代训练过程中，将样本物体对应的第一样本全息图输入待训练的全息图恢复模型，通过该待训练的全息图恢复模型从第一样本全息图中去除样本散斑噪声，得到相应的预测全息图，根据样本物体对应的预测全息图与第二目标全息图，确定损失函数的函数值，并基于所确定的函数值反向调整待训练的全息图恢复模型。具体可选取MAE(Mean Absolute Error，平均绝对误差)作为训练模型的损失函数，其中，平均绝对误差定义为：
其中，N表示预测全息图/第二目标全息图中的像素总数，xi和yi分别表示预测全息图和第二目标全息图中第i个像素的像素值。
在一个实施例中，在全息图恢复模型的迭代训练过程中，选取Adam(A Method forStochastic Optimization，一种一阶优化算法)优化算法更新全息图恢复模型的网络结构的权值和偏置，并通过不断的迭代训练使得损失函数的函数值最小。其中，Adam的更新规则定义为：
其中，θ表示网络结构中的优化参数，t表示当前训练次数，η表示学习率，
表示损失函数的梯度。
在一个实施例中，Adam优化器的学习率与迭代的epoch(一个Epoch是指采用训练样本集中的所有训练样板对模型进行一次完整训练的过程)，具体可根据实际需求自定义，比如，将学习率设置为0.00001，将epoch设置为10。
在一个实施例中，全息图恢复模型的迭代训练过程所涉及的机器学习算法包括但不限于是DCNN(深度卷积神经网络)与U-net(一种全卷积神经网络图像分割网络)。相应地，全息图恢复模型包括但不限于是DCNN模型与U-net模型。
上述实施例中，基于携带样本散斑噪声的第一样本全息图与未携带该样本散斑噪声的相应第二样本全息图，预先训练得到全息图恢复模型，以便于在透过散射介质成像的过程中，基于该已训练的全息图恢复模型能够快速而准确地去除第一目标全息图中的目标散斑噪声，得到未携带该目标散斑噪声的第二目标全息图，进而基于该第二目标全息图能够准确恢复出清晰的物体图像。
在一个实施例中，获取样本物体对应的第一样本全息图与第二样本全息图，包括：获取样本物体透过样本散射介质成像后所形成的第一样本全息图；获取样本物体在样本散射介质前所形成的第二样本全息图。
具体地，在模型训练阶段，终端获取多个样本物体中的每个样本物体分别透过样本散射介质成像后所形成的第一样本全息图，以及该每个样本物体在样本散射介质的前表面所形成的第二样本全息图，也即是该每个样本物体在透过样本散射介质前所形成的第二样本全息图。
在一个实施例中，在基于离轴数字全息的光散射成像系统中，将每个样本物体分别置于物平面，或者，通过图像加载器将样本物体对应的物体图像加载于物平面，这样，样本物体透过样本散射介质成像后，能够在像平面形成携带有由该样本散射介质所引入的样本散斑噪声的第一样本全息图，而且，携带样本物体的物体信息的物光与参考光在样本散射介质的前表面，能够形成干涉全息图，由此，通过置于像平面的图像采集设备能够采集到携带样本散斑噪声的第一样本全息图，而通过置于样本散射介质处的图像采集设备，能够采集到在样本散射介质的前表面形成的、且未携带样本散斑噪声的干涉全息图，作为第二样本全息图。
在一个实施例中，终端获取现有的图像作为样本物体对应的物体图像，比如从现有的图像集中获取样本物体对应的物体图像，图像集比如MNIST数据集(手写体数字数据集)，还比如从在线网络、其他计算机设备或本地获取样本物体对应的物体图像。
在一个实施例中，样本物体对应的第一样本全息图与第二样本全息图，可以是通过实际搭建的基于离轴数字全息的光散射成像系统实际采集到的，也可以是按照基于离轴数字全息的光散射成像系统的原理模拟仿真得到的。可以理解，通过实际搭建的基于离轴数字全息的光散射成像系统，采集样本物体对应的第一样本全息图与第二样本全息图时，该光散射成像系统中所采用的样本散射介质可以是实际存在的散射介质，也可以是模拟仿真得到的散射介质，比如，通过随机相位来模拟散射介质。
在一个实施例中，终端按照上述方式获取到样本物体对应的第一样本全息图与第二样本全息图后，动态调整第一样本全息图与第二样本全息图的图像尺寸，并基于图像尺寸调整后的第一样本全息图与第二样本全息图得到训练样本集。比如，将每个样本物体对应的第一样本全息图与第二样本全息图各自对应的图像尺寸，均动态调整为128*128像素。
上述实施例中，将样本物体透过样本散射介质成像前后所形成的全息图，分别作为该样本物体对应的第二样本全息图与第一样本全息图，其中，第一样本全息图是携带有由样本散射介质引入的样本散斑噪声的全息图，而第二样本全息图是未携带该样本散斑噪声的全息图，且第二样本全息图是能够直接恢复出理想的物体图像的全息图，这样，在基于样本物体对应的第一样本全息图与第二样本全息图训练得到全息图恢复模型后，基于该全息图恢复模型能够从第一目标全息图中准确去除由目标散射介质引入的目标散斑噪声，得到能够用于准确恢复出清晰物体图像的第二目标全息图。
在一个实施例中，上述透过散射介质成像的方法还包括：获取测试样本集；测试样本集包括测试物体对应的第一测试全息图与第二测试全息图；第一测试全息图携带有由测试散射介质引入的测试散斑噪声；第二测试全息图未携带测试散斑噪声；通过测试样本集对由训练样本集训练得到的全息图恢复模型进行测试；当测试通过时，确定已训练好的全息图恢复模型。
具体地，终端获取多个测试物体各自对应的第一测试全息图与第二测试全息图，每个测试物体对应的第一测试全息图中携带有由相应测试散射介质引入的测试散斑噪声，而每个测试物体对应的第二测试全息图中未携带该测试散斑噪声，并根据该多个测试物体各自对应的第一测试全息图与第二测试全息图得到测试样本集。进一步地，终端将测试样本集中测试物体对应的第一测试全息图作为输入特征，输入由训练样本集训练得到的全息图恢复模型中进行去噪处理，得到已去除样本散斑噪声的相应预测全息图，并根据多个测试物体各自对应的预测全息图与第二测试全息图得到相应的测试结果。进一步地，当测试结果为测试通过时，终端将由训练样本集训练得到的全息图恢复模型确定为已训练好的全息图恢复模型，当测试结果为测试未通过时，通过训练样本集和/或测试样本集对该测试未通过的全息图恢复模型进行优化训练。
在一个实施例中，终端根据每个测试物体对应的预测全息图与第二测试全息图，按照本申请中一个或多个实施例中定义的损失函数，计算得到该测试物体对应的损失函数的函数值。进一步地，终端综合多个测试物体各自对应的函数值确定相应测试结果，比如对各测试物体对应的函数值进行加权求和处理，或者，算数求和再求平均处理，再基于处理结果确定测试结果。
在一个实施例中，终端对每个测试物体对应的预测全息图与第二测试全息图分别进行傅里叶逆变换，得到该测试物体对应的预测物体图像与实际物体图像，并计算该预测物体图像与实际物体图像之间的相关系数。可以理解，相关系数能够用于表征预测物体图像与实际物体图像之间的相似度，相关系数越大，表征预测物体图像与实际物体图像之间的相似度越高，也即表明全息图恢复模型的预测准确性越高。终端可将采集测试物体对应的第一测试全息图与第二测试全息图所采用的物体图像，直接确定为该测试物体所对应的实际物体图像。
在一个实施例中，终端可按照本申请中一个或多个实施例中提供的训练样本集的类似采集方式，采集测试样本集，在此不再赘述。比如，终端从MNIST数据集选取10000张图像作为训练物体对应的物体图像，并另外选取1000张图像作为测试物体对应的物体图像。
上述实施例中，基于包括测试物体对应的第一测试全息图与第二测试全息图的测试样本集，对由训练样本集训练得到的全息图恢复模型进行测试，以便于将测试通过的全息图恢复模型应用于透过散射介质成像过程时，能够提高成像的准确性。
图2为一个实施例中基于离轴数字全息的光散射成像系统的架构图。如图2所示，基于离轴数字全息的光散射成像系统包括图像加载器、物光光源、参考光光源、散射介质、透镜与图像采集器。图像加载器置于物平面，用于加载物体(比如目标物体、样本物体或测试物体)的物体图像。物光光源用于产生相干光，并通过该相干光照射置于物平面的物体得到携带该物体的物体信息的物光。参考光光源置于物平面，用于产生作为参考光的相干光，参考光与物光在散射介质的前表面进行相干叠加形成干涉全息图，该干涉全息图对应的光场分布为干涉光场分布，该干涉光场分布如下述公式(1)所示：
u(ξ,η)＝uo(ξ,η)+uR(ξ,η) (1)
其中，uO(ξ,η)表示携带物体信息的物光，uR(ξ,η)表示参考光，u(ξ,η)表示在散射介质的前表面形成的干涉光场分布。
当干涉光场分布通过散射介质时，由于散射介质给该干涉光场分布附加了一个随机相位，也即是在该干涉光场分布中引入了随机相位φr(ξ,η)，由此，在散射介质的后表面所形成的光场分布可理解为散射场分布，具体如下述公式(2)所示：
uS(ξ,η)＝u(ξ,η)exp[iφr(ξ,η)] (2)
其中，uS(ξ,η)表示在散射介质的后表面形成的散射场分布。
可以理解，虽然散射介质在干涉光场分布中引入了相位的随机变化，由于物光和参考光都经历了相同的随机相位，所以物光和参考光之间的相对相位信息不会丢失。置于散射介质与图像采集设备之间的透镜，使得散射场分布能够成像于像平面，也即是使得干涉光场分布通过散射介质后能够成像于像平面，并在像平面形成相应的复振幅分布。换而言之，该透镜使得物体在散射介质的前表面所形成的干涉全息图，通过该散射介质后能够成像于像平面，并在像平面上形成相应的物体全息图。置于像平面的图像采集设备，用于采集复振幅分布对应的光强分布得到物体全息图，由此实现了全息图的远程记录。
在一个实施例中，在透过散射介质成像的实际应用场景中，将待成像的目标物体置于上述基于离轴数字全息的光散射介质成像系统的物平面，即可在像平面采集到携带目标散射介质的第一目标全息图。
在一个实施例中，置于物平面的参考光光源为点光源，所形成的参考光为参考球面波。置于散射介质与图像采集设备之间的透镜的直径是有限的，具体可根据实际情况进行选取。置于像平面的图像采集设备具体可以是CCD。
在一个实施例中，将图2所示的光散射成像系统中的散射介质、透镜与图像采集设备视为一个光学成像系统，则该光学成像系统的点扩散函数(PSF)为透镜的瞳孔函数的傅里叶变换，由此，根据衍射理论可知，散射场分布在像平面上对应的复振幅分布，由该散射场分布与点扩散函数的卷积得到，具体可如下述公式(3)所示：
uCCD(x,y)＝∫∫{u(ξ,η)exp[iφr(ξ,η)]}g(x-ξ,y-η)dξdη (3)
其中，g(x,y)表示光学成像系统的点扩散函数，uCCD(x,y)表示散射场分布在像平面对应的复振幅分布。
由此，复振幅分布在像平面上所形成的光强分布(也即物体透过散射介质成像后在像平面所形成的物体全息图)，如下述公式(4)所示：
其中，|uCCD(x,y)|2表示复振幅分布对应的光强分布，也即是表明目标物体透过目标散射介质成像后在像平面形成的第一目标全息图，u*(ξ,η)表示对u(ξ,η)取复共轭操作。
在本实施例中，假设光学成像系统中的透镜是衍射有限的，且具有一个数值孔径NA。可以理解，如果透镜的数值孔径足够大，能够分辨出全息图中全息条纹的最大空间频率，则在最大空间频率范围内，可以忽略衍射限制透镜的光传递函数增益的损失，并假设上述公式(3)中的g(x,y)≈δ(x,y)，由此，在该种情况下能够得到|uCCD(x,y)|2＝|u(x,y)|2，而在散射介质的前表面所形成的干涉全息图是未携带散斑噪声的、且能够直接恢复出理想的物体图像的全息图。由此表明，在透镜的数值孔径足够大的情况下，在像平面记录的物体全息图与在散射介质的前表面直接记录的干涉全息图是相同的，且基于像平面记录的物体全息图能够直接恢复出理想的物体图像。
但是，在远程成像系统中，由于必须在远离散射介质的地方记录物体全息图，因此很难满足透镜的数值孔径足够大这一成像条件，而如果不能满足该成像条件，则会导致散射介质所引入随机相位不能完全消除，并表现为物体全息图中的散斑噪声。通常情况下，透镜的直接越小，或者，散射介质与图像采集设备之间的距离越大，则透镜对应的数值孔径越小，从而使得图像采集设备在像平面所采集到的物体全息图中所携带的散斑噪声越严重。由此可见，在全息图的远程记录过程中，由于采用有限孔径的透镜对散射场分布进行相干成像引起了散斑形成的新问题，也即是在像平面的复振幅分布中引入了由散射介质所导致的随机相位，从而使得在像平面所形成的物体全息图中携带有由散射介质所引入的散斑噪声。
图3为一个实施例中透过散射介质成像方法的原理示意图。如图3所示，在基于离轴数字全息的光散射成像系统的像平面采集到第一目标全息图，通过已训练的全息图恢复模型去除第一目标全息图中的目标散斑噪声，得到相应第二目标全息图，对第二目标全息图进行傅里叶逆变换得到目标物体的物体图像。
在一个实施例中，全息图恢复模型为深度卷积神经网络模型。
具体地，全息图恢复模型的迭代训练过程所涉及的机器学习算法为深度卷积神经网络，由此，基于训练样本集按照上述方式训练得到的全息图恢复模型为深度卷积神经网络模型。
在一个实施例中，在模型训练阶段，使用深度学习框架Pytorch来搭建深度卷积神经网络模型。
上述实施例中，在透过散射介质成像的过程中，通过已训练的深度卷积神经网络模型去除第一目标全息图中的目标散斑噪声，这样，即便基于离轴数字全息的光散射成像系统不满足严格的成像条件，基于所得到的第二目标全息图也能够准确的恢复出清晰的物体图像，由此，能够实现干涉全息图透过散射介质后的远程记录，进而通过数字全息的方式能够恢复出隐藏在散射介质后的目标物体。而且，该已训练的深度卷积神经网络模型具有较好的泛化能力，能够对不同类型的目标物体所对应的第一目标全息图进行散斑噪声的去除，也能够对目标物体通过不同散射介质成像后所形成的第一目标全息图进行散斑噪声的去除。
在一个实施例中，深度卷积神经网络模型的网络结构，包括：多个级联的卷积层与单个输出层；多个卷积层中至少存在两个卷积层的卷积核尺寸不一致；多个卷积层各自提取出的特征图的尺寸均与深度卷积神经网络模型的输入特征的尺寸一致。
其中，级联的卷积层是指前一个卷积层的输出特征作为后一个卷积层的输入特征，具体可以是指前一个卷积层所提出的特征图作为后一个卷积层额度输入特征。
具体地，深度卷积神经网络模型的网络结构包括多个级联的卷积层与单个输出层，终端将第一目标全息图作为输入特征输入已训练的深度卷积神经网络模型，也即是将该第一目标全息图作为该网络结构中第一个卷积层的输入特征，通过该多个级联的卷积层依次进行特征提取得到相应的特征图，最后一个卷积层所提取出的特征图作为输出层的输入特征，输出层基于该特征图得到未携带目标散斑噪声的第二目标全息图，作为深度卷积神经网络模型的输出特征输出。网络结构中该多个级联的卷积层中存在两个及以上的卷积层的卷积核尺寸不一致，且该多个卷积层各自提取出的特征图的尺寸均与该深度卷积神经网络模型的输入特征的尺寸一致。
在透过散射介质成像的过程中，深度卷积神经网络模型的输入特征为第一目标全息图，由此，多个卷积层各自提取出的特征图的尺寸均与第一目标全息图的尺寸一致。在模型训练过程中，深度卷积神经网络模型的输入特征为第一样本全息图，由此，多个卷积层各自提取出的特征图的尺寸均与第一样本全息图的尺寸一致。可以理解，为了提高深度卷积神经网络模型的去噪准确性，在模型应用阶段与模型训练阶段，该深度卷积神经网络模型的输入特征的尺寸保持一致。
在一个实施例中，池化层的主要功能是减少参数的数量，提高模型的训练速度，但是池化层会导致图像中一些重要的特征图丢失。且由于全息图中有密集的条纹信息，因此在模型训练过程中采用池化层会大致图像丢失一些重要的特征。全连接层会增加参数的数量，降低拟合速度。而本申请中一个或多个实施例中提供的深度卷积神经网络模型的网络结构中不包括池化层与全连接层，能够在保留图像的主要特征的情况下，减少参数的数量，防止过拟合，加快数据拟合速度，且在保证模型的准确性的情况下，提高模型的泛化能力。
在一个实施例中，深度卷积神经网络模型的网络结构中所包括的卷积层的数量可根据实际情况自定义，比如7个。在保证至少两个卷积层的卷积核尺寸不一致的情况下，各卷积层的卷积核尺寸也可根据实际情况自定义，比如，按照级联顺序，各卷积层的卷积核尺寸按照先增大后减小的方式进行部署，以通过不同卷积核尺寸的卷积层提取不同尺度的图像特征，从而能够很好的保留图像的主要特征。可以理解，按照级联顺序，各卷积层的通道数逐渐增加，以便于通过改变通道数来提取不同类型的图像特征，而输出层的通道数与输出特征的通道数一致，也即是输出层的通道数为1，这样，经由输出层处理后输出一张全息图(第二目标全息图/第二样本全息图)作为输出特征。这样，在深度卷积神经网络模型的网络结构中，通过逐渐改变卷积核尺寸和通道数，去除池化层，提取图像特征，而通过不同卷积核尺寸的卷积层能够提取不同尺度的图像特征，能够很好地保留图像的主要特征，从而能够提高模型的泛化能力。
在一个实施例中，网络结构中的每个卷积层依次包括卷积(Conv)、整流线性单元(ReLU)和批处理归一化(BN)等处理单元，卷积处理单元用于提取特征，整流线性单元用于非线性计算。网络结构中的输出层依次包括卷积和整流线性单元等处理单元。整流线性单元(ReLU)也可理解为激活函数，通过激活函数激活每个卷积层中卷积操作后的输出，能够提高模型的非线性映射能力。批处理归一化操作能够调整数据的分布，加快模型的训练过程，缓解模型训练过程中的梯度消失问题。
图4为一个实施例中深度卷积神经网络模型的网络结构示意图。如图4所示，该网络结构包括7个级联的卷积层与1个输出层，每个卷积层依次包括卷积、整流线性单元和批处理归一化共三个处理单元，输出层依次包括卷积与整流线性单元共两个处理单元，7个卷积层的卷积核尺寸依次为3*3，5*5，7*7，7*7，5*5，3*3，1*1，通道数依次为8，16，32，36，36，36，64，输出层的卷积核尺寸为1*1，通道数为1，各卷积层与输出层各自输出的特征图的尺寸均与输入特征的尺寸一致，特征图的通道数与相应卷积层或输出层的通道数一致。
可以理解，在上述网络结构中，将最后一个卷积层的卷积核尺寸设置为1*1，能够使得该卷积层提供更多的非线性激活来提高深度卷积神经网络模型的精度。而将输出层的卷积核尺寸设置为1*1来替代现有网络结构中的全连接层，用于合并最后一个卷积层所提取出的特征图，并生成未携带散斑噪声的全息图作为输出特征。采用卷积核尺寸为1*1的输出层替代全连接层，能够大大减少参数的数量，防止过拟合，加快数据拟合速度。
值得说明的是，图4所示的卷积层的数量，各卷积层的卷积核尺寸与通道数，输出层的卷积核尺寸与通道数，以及输入特征的尺寸与各特征图的尺寸仅作为示例，并不用于具体限定。
上述实施例中，深度卷积神经网络模型的网络结构中未包括池化层与全连接层，而是通过多个级联的卷积层与单个输出层来提取图像特征并去除散斑噪声，使得该深度卷积神经网络模型能够简单、快速、准确地消除全息图中的散斑噪声。而在通过级联的卷积层提取特征的过程中，保持特征图的尺寸不变，能够使得输入特征的每个像素与输出特征的相应像素之间建立起独立的映射关系，能够提高深度卷积神经网络模型的准确性，而且，像素到像素的映射关系，能够提高模型的通用型与泛化性。
在一个实施例中，样本散射介质有多个；各样本散射介质的相位分布互不相同。
具体地，在模型训练阶段，将多个样本物体分别透过相位分布互不相同的样本散射介质进行成像，并在像平面采集相应的第一样本全息图。在基于离轴数字全息的光散射成像系统中，在将多个样本物体依次加载于物平面时，动态更换样本散射介质，并在像平面采集样本物体透过相应样本散射介质成像后所形成的第一样本全息图。可以理解，具体可将该多个样本物体中的每个样本物体分别透过相位分布互不相同的多个样本散射介质进行成像，也可将每个样本物体分别透过单个样本散射介质进行成像，且该多个样本物体中各样本物体所透过的样本散射介质不完全一样，比如将多个样本物体进行分组，每个样本物体组内的各样本物体透过相同的样本散射介质进行成像，而不同样本物体组内的各样本物体透过不同的样本散射介质进行成像。
在一个实施例中，采集训练样本集所采用的样本散射介质的相位分布，与采集测试样本集所采用的测试散射介质的相位分布不完全一致。
上述实施例中，基于相位分布互不相同的多个样本散射介质采集多个样本物体各自对应的第一样本全息图，以便于基于包括该第一样本全息图的训练样本集训练得到的全息图恢复模型，针对物体透过不同散射介质成像后所形成的全息图，均能准确去除该全息图中由散射介质所引入的散斑噪声，也即是在保证模型的准确性的情况下，能够提高模型的泛化能力。
如图5所示，提供了一种透过散射介质成像的方法，该方法具体包括以下步骤：
步骤502，获取目标物体透过目标散射介质成像后所形成的第一目标全息图；第一目标全息图携带有由目标散射介质引入的目标散斑噪声。
步骤504，通过已训练的深度卷积神经网络模型从第一目标全息图中去除目标散斑噪声，得到相应的第二目标全息图；深度卷积神经网络模型的网络结构，包括：多个级联的卷积层与单个输出层；多个卷积层中至少存在两个卷积层的卷积核尺寸不一致；多个卷积层各自提取出的特征图的尺寸均与深度卷积神经网络模型的输入特征的尺寸一致。
步骤506，对第二目标全息图进行傅里叶逆变换，得到目标物体对应的物体图像。
其中，深度卷积神经网络模型的训练步骤，包括：
步骤508，获取样本物体透过样本散射介质成像后所形成的第一样本全息图；第一样本全息图携带有由样本散射介质引入的样本散斑噪声；样本散射介质有多个；各样本散射介质的相位分布互不相同。
步骤510，获取样本物体在样本散射介质前所形成的第二样本全息图；第二样本全息图未携带样本散斑噪声。
步骤512，根据第一样本全息图与第二样本全息图得到训练样本集。
步骤514，根据训练样本集进行模型训练，得到深度卷积神经网络模型。
步骤516，获取测试样本集；测试样本集包括测试物体对应的第一测试全息图与第二测试全息图；第一测试全息图携带有由测试散射介质引入的测试散斑噪声；第二测试全息图未携带测试散斑噪声。
步骤518，通过测试样本集对由训练样本集训练得到的深度卷积神经网络模型进行测试。
步骤520，当测试通过时，确定已训练好的深度卷积神经网络模型。
上述实施例中，在模型训练阶段，基于训练样本集与测试样本集得到已训练好的深度卷积神经网络模型，针对不同类型的目标物体透过相位分布不同的目标散射介质成像后所形成的第一目标全息图，该深度卷积神经网络模型均能够快速、高效地去除该第一目标全息图中由目标散射介质引入的目标散斑噪声，由此表明，该深度卷积神经网络模型具有较好的泛化能力，也即是表明该深度卷积神经网络模型能够适用于各种实际应用场景，且在各种实际应用场景下，均能够快速而准确地去除由目标散射介质所引入的目标散斑噪声，进而基于去除目标散斑噪声的第二目标全息图能够快速而准确地恢复目标物体的物体图像，从而实现目标物体透过散射介质的准确成像。
图6为一个实施例中透过相同散射介质成像的效果示意图。如图6所示，子图(a)表示携带目标物体的物体信息的物光与参考光在目标散射介质的前表面相干叠加所形成的干涉全息图，也即是表示目标物体在目标散射介质的前表面所对应的干涉全息图，子图(b)表示目标物体透过目标散射介质成像后在像平面所形成的第一目标全息图，子图(c)表示通过已训练的全息图恢复模型从子图(b)所示的第一目标全息图中去除由目标散射介质引入的目标散斑噪声后，所得到的第二目标全息图，子图(d)表示对子图(a)所示的干涉全息图进行傅里叶逆变换所得到的物体图像，子图(e)表示对子图(b)所示的第一目标全息图进行傅里叶逆变换所得到的物体图像，子图(f)表示对子图(c)所示的第二目标全息图进行傅里叶逆变换所得到的物体图像。本实施例中，目标散射介质的相位分布与采集训练样本集所采用的样本散射介质的相位分布一致，也即是目标散射介质与样本散射介质相同。
由图可知，基于未携带目标散斑噪声的干涉全息图能够恢复出清晰的物体图像，基于干涉全息图恢复得到物体图像与目标物体实际对应的物体图像一致，基于携带有目标散斑噪声的第一目标全息图完全不能恢复出物体图像，而基于已去除目标散斑噪声的第二目标全息图能够准确恢复出目标物体的物体图像。由此可见，相较于干涉全息图，基于第一目标全息图恢复得到的第二目标全息图，虽然存在细节特征的部分缺失，但是包含了目标物体轮廓的大部分信息，由此，基于第二目标全息图能够准确地重构目标物体的物体图像。
图7为一个实施例中透过不同散射介质成像的效果示意图。在本实施例中，在基于离轴数字全息的光散射成像系统中，分别采集4个目标物体分别透过目标散射介质成像后在像平面所形成的第一目标全息图，以及该4个目标物体在目标散射介质的前表面所对应的干涉全息图，其中，目标散射介质的相位分布与采集训练样本集所采用的样本散射介质的相位分布不一致，也即是目标散射介质与样本散射介质不同。
如图7所示，将4个目标物体各自对应的干涉全息图分别进行傅里叶逆变换，得到子图(a)所示的4个物体图像，该4个物体图像与相应目标物体实际对应的物体图像基本一致；在模型训练阶段，在得到样本物体对应的第一样本全息图(携带样本散斑噪声的全息图)与干涉全息图(未携带样本散斑噪声的全息图)后，若将第一样本全息图的傅里叶逆变换作为输入特征，将相应干涉全息图的傅里叶逆变换作为期望的输出特征进行模型训练，得到已训练的深度卷积神经网络模型，则在模型应用阶段，将上述4个目标物体各自对应的第一目标全息图的傅里叶逆变换，分别输入该已训练的深度卷积神经网络模型，得到子图(b)所示的4个物体图像；若将第一样本全息图作为输入特征，将相应的干涉全息图(也即第二样本全息图)作为期望的输出特征进行模型训练，得到已训练的深度卷积神经网络模型，则通过该深度卷积神经网络模型根据上述4个目标物体各自对应的第一目标全息图，能够得到子图(c)所示的4个物体图像。
由图可知，在目标散射介质的相位分布与样本散射介质的相位分布不一致的情况下，若采用第一样本全息图与干涉全息图各自的傅里叶逆变换作为训练样本集，则通过基于该训练样本集训练得到的深度卷积神经网络模型，重建/恢复得到的物体图像的质量会急剧下降，且会携带除目标物体外的干扰噪声，从而使得目标物体的物体信息难以被分辨，由此表明，在现有的“端到端”的散射成像方式中，采用物体对应的真实图像与散斑图作为训练样本集进行模型训练，所训练得到的模型很大程度上依赖于固定的散射介质，若在实际应用过程中更换了不同的散射介质，则会导致重建的物体图像的质量急剧下降；若采用第一样本全息图与干涉全息图作为训练样本集，则通过基于该训练样本集训练得到的深度卷积神经网络模型，能够重建得到清晰的物体图像，该重建得到的物体图像中未携带除目标物体外的干扰噪声，且能够准确地识别目标物体的物体信息，由此表明，基于本申请中一个或多个实施例中提供的模型训练方式训练得到的全息图恢复模型，针对不同的散射介质具有较好的泛化能力。
图8为一个实施例中不同类型的物体透过散射介质成像的效果示意图。在基于离轴数字全息的光散射成像系统中，分别采集4个目标物体各自对应的第一目标全息图与干涉全息图，其中，目标散射介质与样本散射介质相同，用于训练模型的样本物体采集自MNIST数据集，而该4个目标物体采集自EMNIST数据集(手写体字母数据集)。如图8所示，将4个目标物体各自对应的干涉全息图分别进行傅里叶逆变换，得到子图(a)所示的4个物体图像，而通过已训练的深度卷积神经网络模型，根据所采集的4个第一目标全息图能够重建得到子图(b)所示的4个物体图像，其中，深度卷积神经网络模型是将第一样本全息图作为输入特征，将相应的干涉全息图作为期望的输出特征训练得到的。
由图可知，在样本物体与目标物体的类型不同时，通过已训练的深度卷积神经网络模型仍然能够重建目标物体的物体图像，虽然丢失了物体的部分细节信息，但是大部分的轮廓信息能够被准确的恢复出来，由此表明，基于本申请中一个或多个实施例中提供的模型训练方式训练得到的深度卷积神经网络模型，针对不同类型的物体具有较强的学习能力与较好的泛化能力。
图9为一个实施例中透过散射介质成像方法对透镜直径的鲁棒性的效果示意图。在本实施例中，针对基于离轴数字全息的光散射成像系统，在模型训练阶段，将透镜的直径设置为28mm(毫米)，而在模型应用阶段，也即是在透过散射介质成像的实际应用场景中，在保持目标物体与光散射成像系统中的其他参数不变的情况下，按照步长为1mm的方式，将透镜的直径从18mm逐渐变更至37mm，且在变更透镜直径的同时采集目标物体在各透镜直径下所对应的第一目标全息图，得到20张第一目标全息图，通过已训练的深度卷积神经网络模型，根据该20张第一目标全息图分别重建相应的物体图像，并分别计算重建得到的物体图像与目标物体实际对应的物体图像之间的相关系数，得到如图9所示的相关系数与透镜直径之间的曲线关系，其中，图9还示例出部分透镜直径下重建得到的物体图像的效果图。可以理解，第一目标全息图中目标散斑噪声的大小与光散射成像系统中透镜的直径有关，透镜的直径越小，目标散斑噪声越严重。由图可知，在透镜直径大于27mm时，相关系数大于0.9，重构得到的物体图像质量较好，也即能够重构出清晰的物体图像，而即便是将透镜直径减小到22mm，重构的物体图像中仍然能够分辨出手写体数字的轮廓，由此表明，该已训练的深度卷积神经网络模型对透镜直径具有良好的鲁棒性，也即是表明本申请提供的透过散射介质成像的方法对透镜直径具有良好的鲁棒性。
图10为一个实施例中透过散射介质成像方法对目标物体与参考光光源之间的相对距离的鲁棒性的效果示意图。在本实施例中，针对基于离轴数字全息的光散射成像系统，在模型训练阶段，将物平面上目标物体与参考光光源之间的相对距离设置为6mm，而在模型应用阶段，在保持目标物体与光散射成像系统中的其他参数不变的情况下，按照步长为0.05mm的方式，将相对距离从5.75mm逐渐变更至6.25mm，且在变更相对距离的同时采集目标物体在各相对距离下所对应的第一目标全息图，得到11张第一目标全息图，通过已训练的深度卷积神经网络模型，根据该11张第一目标全息图分别重建相应的物体图像，并分别计算重建得到的物体图像与目标物体实际对应的物体图像之间的相关系数，得到如图10所示的相关系数与相对距离之间的曲线关系，其中，图10还示例出部分相对距离下重建得到的物体图像的效果图。可以理解，在通过傅里叶逆变换从第二目标全息图得到重建对象时，重建对象与图像中心的距离取决于目标物体与参考光光源的相对距离，相对距离越大，重建对象离图像中心越远。由图可知，在目标物体与参考光光源之间的相对距离的改变在±(正负)0.15mm以内时，相关系数大于0.8，能够重构出倾斜的物体图像，由此表明，该已训练的深度卷积神经网络模型对目标物体与参考光光源之间的相对距离具有良好的鲁棒性，也即是表明本申请提供的透过散射介质成像的方法对目标物体与参考光光源之间的相对距离具有良好的鲁棒性，允许该光散射成像系统存在一定误差。
可以理解，在本申请中的一个或多个实施例中，以全息图恢复模型为深度卷积神经网络模型为例进行模拟仿真，并通过仿真效果来验证该深度卷积神经网络模型，针对不同散射介质与不同类型的物体均具有较好的泛化能力，且在不满足严格的成像条件的情况下，仍然能够准确恢复出清晰的物体图像，由此表明，本申请提供的透过散射介质成像的方法能够适用于各种实际应用场景，在实际应用场景中易于实现，且能够提高成像的准确性。其中，模拟仿真所基于的深度卷积神经网络模型的网格结构，包括多个级联的卷积层与单个输出层，该多个卷积层中至少存在两个卷积层的卷积核尺寸不一致，且该多个卷积层各自提取出的特征图的尺寸均与该深度卷积神经网络模型的输入特征的尺寸一致。
针对全息图恢复模型为基于其他机器学习算法训练得到的模型的情况，本申请并未一一示例出相应的仿真效果图。将基于DCNN训练得到的深度卷积神经网络模型，与基于U-net训练得到的全卷积神经网络模型进行比较，由于深度卷积神经网络模型的网络结构包括多个级联的卷积层与单个输出层，而未包括池化层，且保持各卷积层所提取出的特征图的尺寸与输入特征的尺寸一致，以及该多个卷积层中至少存在两个卷积层的卷积核尺寸不一致，由此，能够在提高模型的准确性的同时，能够提高模型的泛化能力。由此，基于深度卷积神经网络模型与全卷积神经网络模型，均能够准确恢复出物体图像，但是相比之下，深度卷积神经网络模型的效果更好。
应该理解的是，虽然图1与图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1与图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图11所示，提供了一种透过散射介质成像的装置1100，包括：获取模块1101、去噪模块1102和成像模块1103，其中：
获取模块1101，用于获取目标物体透过目标散射介质成像后所形成的第一目标全息图；第一目标全息图携带有由目标散射介质引入的目标散斑噪声；
去噪模块1102，用于通过已训练的全息图恢复模型从第一目标全息图中去除目标散斑噪声，得到相应的第二目标全息图；
成像模块1103，用于对第二目标全息图进行傅里叶逆变换，得到目标物体对应的物体图像。
在一个实施例中，上述透过散射介质成像的装置1100，还包括训练模块；
训练模块，用于获取样本物体对应的第一样本全息图与第二样本全息图；第一样本全息图携带有由样本散射介质引入的样本散斑噪声；第二样本全息图未携带样本散斑噪声；根据第一样本全息图与第二样本全息图得到训练样本集；根据训练样本集进行模型训练，得到全息图恢复模型。
在一个实施例中，训练模块，还用于获取样本物体透过样本散射介质成像后所形成的第一样本全息图；获取样本物体在样本散射介质前所形成的第二样本全息图。
在一个实施例中，训练模块，还用于获取测试样本集；测试样本集包括测试物体对应的第一测试全息图与第二测试全息图；第一测试全息图携带有由测试散射介质引入的测试散斑噪声；第二测试全息图未携带测试散斑噪声；通过测试样本集对由训练样本集训练得到的全息图恢复模型进行测试；当测试通过时，确定已训练好的全息图恢复模型。
在一个实施例中，全息图恢复模型为深度卷积神经网络模型。
在一个实施例中，深度卷积神经网络模型的网络结构，包括：多个级联的卷积层与单个输出层；多个卷积层中至少存在两个卷积层的卷积核尺寸不一致；多个卷积层各自提取出的特征图的尺寸均与深度卷积神经网络模型的输入特征的尺寸一致。
在一个实施例中，样本散射介质有多个；各样本散射介质的相位分布互不相同。
关于透过散射介质成像的装置的具体限定可以参见上文中对于透过散射介质成像的方法的限定，在此不再赘述。上述透过散射介质成像的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种透过散射介质成像的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种透过散射介质成像的方法，其特征在于，所述方法包括：
获取目标物体透过目标散射介质成像后所形成的第一目标全息图；所述第一目标全息图携带有由所述目标散射介质引入的目标散斑噪声；
通过已训练的全息图恢复模型从所述第一目标全息图中去除所述目标散斑噪声，得到相应的第二目标全息图；
对所述第二目标全息图进行傅里叶逆变换，得到所述目标物体对应的物体图像。
2.根据权利要求1所述的方法，其特征在于，所述全息图恢复模型的训练步骤，包括：
获取样本物体对应的第一样本全息图与第二样本全息图；所述第一样本全息图携带有由样本散射介质引入的样本散斑噪声；所述第二样本全息图未携带所述样本散斑噪声；
根据所述第一样本全息图与所述第二样本全息图得到训练样本集；
根据所述训练样本集进行模型训练，得到全息图恢复模型。
3.根据权利要求2所述的方法，其特征在于，所述获取样本物体对应的第一样本全息图与第二样本全息图，包括：
获取样本物体透过样本散射介质成像后所形成的第一样本全息图；
获取所述样本物体在所述样本散射介质前所形成的第二样本全息图。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取测试样本集；所述测试样本集包括测试物体对应的第一测试全息图与第二测试全息图；所述第一测试全息图携带有由测试散射介质引入的测试散斑噪声；所述第二测试全息图未携带所述测试散斑噪声；
通过所述测试样本集对由所述训练样本集训练得到的全息图恢复模型进行测试；
当测试通过时，确定已训练好的全息图恢复模型。
5.根据权利要求2至4任意一项所述的方法，其特征在于，所述全息图恢复模型为深度卷积神经网络模型。
6.根据权利要求5所述的方法，其特征在于，所述深度卷积神经网络模型的网络结构，包括：
多个级联的卷积层与单个输出层；多个卷积层中至少存在两个卷积层的卷积核尺寸不一致；所述多个卷积层各自提取出的特征图的尺寸均与所述深度卷积神经网络模型的输入特征的尺寸一致。
7.根据权利要求6所述的方法，其特征在于，所述样本散射介质有多个；各样本散射介质的相位分布互不相同。
8.一种透过散射介质成像的装置，其特征在于，所述装置包括：
获取模块，用于获取目标物体透过目标散射介质成像后所形成的第一目标全息图；所述第一目标全息图携带有由所述目标散射介质引入的目标散斑噪声；
去噪模块，用于通过已训练的全息图恢复模型从所述第一目标全息图中去除所述目标散斑噪声，得到相应的第二目标全息图；
成像模块，用于对所述第二目标全息图进行傅里叶逆变换，得到所述目标物体对应的物体图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011107437.7A CN114384780B (zh) | 2020-10-16 | 2020-10-16 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011107437.7A CN114384780B (zh) | 2020-10-16 | 2020-10-16 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114384780A true CN114384780A (zh) | 2022-04-22 |
| CN114384780B CN114384780B (zh) | 2024-02-09 |
Family
ID=81192881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011107437.7A Active CN114384780B (zh) | 2020-10-16 | 2020-10-16 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114384780B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115633243A (zh) * | 2022-12-01 | 2023-01-20 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6118560A (en) * | 1998-02-06 | 2000-09-12 | Northrop Grumman Corporation | Scatter noise reduction in holographic storage systems by signal-noise orthogonalization |
| CN107085838A (zh) * | 2017-06-02 | 2017-08-22 | 新疆大学 | 全息图噪声的去除方法及装置 |
| CN108089425A (zh) * | 2018-01-16 | 2018-05-29 | 电子科技大学 | 一种基于深度学习的消除光学扫描全息离焦噪声的方法 |
| CN108562541A (zh) * | 2018-04-23 | 2018-09-21 | 南京大学 | 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置 |
| CN111366557A (zh) * | 2020-03-24 | 2020-07-03 | 东南大学 | 一种基于薄散射介质的相位成像方法 |
| CN111739116A (zh) * | 2020-07-16 | 2020-10-02 | 南京理工大学 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
-
2020
- 2020-10-16 CN CN202011107437.7A patent/CN114384780B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6118560A (en) * | 1998-02-06 | 2000-09-12 | Northrop Grumman Corporation | Scatter noise reduction in holographic storage systems by signal-noise orthogonalization |
| CN107085838A (zh) * | 2017-06-02 | 2017-08-22 | 新疆大学 | 全息图噪声的去除方法及装置 |
| CN108089425A (zh) * | 2018-01-16 | 2018-05-29 | 电子科技大学 | 一种基于深度学习的消除光学扫描全息离焦噪声的方法 |
| CN108562541A (zh) * | 2018-04-23 | 2018-09-21 | 南京大学 | 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置 |
| CN111366557A (zh) * | 2020-03-24 | 2020-07-03 | 东南大学 | 一种基于薄散射介质的相位成像方法 |
| CN111739116A (zh) * | 2020-07-16 | 2020-10-02 | 南京理工大学 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115633243A (zh) * | 2022-12-01 | 2023-01-20 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
| CN115633243B (zh) * | 2022-12-01 | 2023-08-04 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114384780B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Unsupervised adaptation learning for hyperspectral imagery super-resolution | |
| Li et al. | In ictu oculi: Exposing ai generated fake face videos by detecting eye blinking | |
| Alvarez et al. | Learning the number of neurons in deep networks | |
| Tsai et al. | BANet: A blur-aware attention network for dynamic scene deblurring | |
| Mao et al. | Intriguing findings of frequency selection for image deblurring | |
| Moon et al. | Automated three-dimensional identification and tracking of micro/nanobiological organisms by computational holographic microscopy | |
| Shajkofci et al. | Spatially-variant CNN-based point spread function estimation for blind deconvolution and depth estimation in optical microscopy | |
| Chen et al. | Holographic 3D particle imaging with model-based deep network | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| Ni et al. | Example-driven manifold priors for image deconvolution | |
| Prajapati et al. | Direct unsupervised super-resolution using generative adversarial network (DUS-GAN) for real-world data | |
| CN115200702A (zh) | 基于复数神经网络的计算成像方法及装置 | |
| Zhang et al. | Progressive edge-sensing dynamic scene deblurring | |
| Chen et al. | Blind de-convolution of images degraded by atmospheric turbulence | |
| CN114384780B (zh) | 透过散射介质成像的方法、装置、计算机设备和存储介质 | |
| Yan et al. | A lightweight network for high dynamic range imaging | |
| Cheng et al. | Fast and lightweight network for single frame structured illumination microscopy super-resolution | |
| CN110352387B (zh) | 用于通过多深度稀疏相位恢复重建全息无透镜图像的系统和方法 | |
| Liu et al. | Efficient unpaired image dehazing with cyclic perceptual-depth supervision | |
| Chua et al. | Enhanced image super-resolution technique using convolutional neural network | |
| CN114972130B (zh) | 一种去噪神经网络的训练方法、装置及训练设备 | |
| CN115524018A (zh) | 一种相位差波前检测的求解方法及系统 | |
| CN113902819A (zh) | 透过散射介质成像的方法、装置、计算机设备和存储介质 | |
| Liu | Restoration method of motion blurred image based on feature fusion and particle swarm optimization algorithm | |
| Li et al. | Omnidirectional Ring Structured Light Noise Filtering Based On DCGAN Network And Autoencoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |