CN112287571A - 基于物理驱动的散射泛化成像方法和实验方法 - Google Patents
基于物理驱动的散射泛化成像方法和实验方法 Download PDFInfo
- Publication number
- CN112287571A CN112287571A CN202011617450.7A CN202011617450A CN112287571A CN 112287571 A CN112287571 A CN 112287571A CN 202011617450 A CN202011617450 A CN 202011617450A CN 112287571 A CN112287571 A CN 112287571A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- speckle
- scattering
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 62
- 238000002474 experimental method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000013499 data model Methods 0.000 claims abstract description 7
- 239000005337 ground glass Substances 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000003446 memory effect Effects 0.000 claims description 24
- 238000011084 recovery Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 5
- NAIXASFEPQPICN-UHFFFAOYSA-O p-nitrophenylphosphocholine Chemical compound C[N+](C)(C)CCOP(O)(=O)OC1=CC=C([N+]([O-])=O)C=C1 NAIXASFEPQPICN-UHFFFAOYSA-O 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000003062 neural network model Methods 0.000 abstract description 3
- 239000005338 frosted glass Substances 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于物理驱动的散射泛化成像方法和实验方法，属于成像分析技术领域，散射泛化成像方法，包括搭建的物理/数据模型，利用相机采集到的散斑图案，并利用散斑相关理论可作为具有普适性的物理原理来约束和指导神经网络在不同散射场景中进行泛化成像。该实验方法包括理论分析和系统实验，在搭建具体的系统实验对本方法进行系统地论述。提高泛化能力和泛化质量，以及泛化更复杂的目标等。将基于散斑相关的物理模型与深度学习的数据模型进行有机结合而大大提高神经网络模型散射泛化成像效果和成像范围。
Description
技术领域
本发明涉及一种基于物理驱动的散射泛化成像方法和实验方法，属于光学成像分析技术领域。
背景技术
以光的波长为度量单位，生活中的大多数目标和场景都是粗糙的，因此光的散射存在于生活中的方方面面。目标信息经过强散射介质调制后，原始有效目标信息会发生的严重退化。散射退化给实际生活和科研观察应用带来了很多的问题和困扰，如生活中的浓雾天气交通监管，透过变化的散射场景对车辆进行有效监控，包括汽车的车牌号识别，甚至驾驶人员的人脸信息恢复都具有重要的意义。同时，人们为了获取特定的目标信息，散射干扰也是必须克服的问题，如透过湍流大气的天文观测以及透过活性组织的生物观察分析等。但是，传统光学方法在通过复杂散射场景后的目标恢复任务中，无法对经过散射介质调制退化后的目标进行有效地复原和解析。随着现代光电器件和计算成像方法的发展，一系列新的方法被提出用来解决散射成像问题，主要方法有基于波前整形的方法、基于光学传输矩阵的方法、基于单像素成像的散斑成像方法、基于记忆效应的散斑相关方法和基于深度学习的散射计算成像方法。其中前三者为基于物理模型的计算成像方法，基于波前整形的方法恢复效果也受限于调制器件的像素尺寸和数目，对散射场景不固定地情况也无法进行有效地恢复和测量；基于单像素成像方法中压缩感知的特定目标恢复受限于选定的稀疏基，且目标恢复耗时较长；基于记忆效应的散斑相关技术可以对散射介质后方的目标进行非侵入成像，基于光学记忆效应的散斑相关技术可以通过单帧散斑信息对介质后方的目标进行恢复，但是原理上则受限于光学记忆效应的范围，一旦则无法对目标进行有效重建，同时传统相位恢复算法对散射目标信息的恢复效果和成像质量也十分有限。
发明内容
为了解决上述技术问题，本发明提供一种基于物理驱动的散射泛化成像方法和实验方法，其具体技术方案如下：
一种基于物理驱动的散射泛化成像方法，具体包括以下步骤：
步骤1：搭建的物理/数据模型，
步骤2：光学记忆效应：当散射介质的入射光转动一个小的角度时，其出射光也随着转动相同的角度，证明了在光学记忆效应范围ME内，即使光通过高度无序的散射介质时发生散射，出射光场仍然保留了入射光束所携带的信息；
步骤3：在光学记忆效应范围ME内，将散射系统看作一个具有空间平移不变性的成像系统，此时获取的散斑表示为
，其中I为获取的散斑，O为目标，S为光学散射系统PSF，“
”为卷积运算符；
步骤4：利用相机采集到的散斑图案做自相关，并利用卷积定理得到：
其中 ，
表示自相关运算符，由(1)式可知，散斑的自相关可描述为散射介质后方目标自相关与光学散射系统PSF自相关之间的卷积，并由于光学散射系统PSF的自相关
近似为
函数，因此公式（1）可进一步化简为：
其中，C为计算散斑自相关时产生的背景项，目标的自相关与所采集到的散斑的自相关主体结构具有高度的相似性；
步骤5：同一目标通过不同散射介质形成的散斑之间的没有直接的相关特性，散斑颗粒分布差异较大；从散斑的自相关即可看出，即使是不同生产厂家和使用不同加工工艺制作的毛玻璃在记忆效应范围内都具有散斑相关性；通过计算不同的散斑图案的自相关，提取目标通过不同散射介质时的统计不变量，相对目标通过不同散射介质形成的散斑图案的相关性更高；
步骤6：将基于记忆效应原理的散斑相关理论作为具有普适性的物理原理来约束和指导神经网络在不同散射场景中进行泛化成像。
进一步的，所述步骤1具体为：
步骤1.1：只使用传统的U-Net卷积神经网络结构，弱化对网络结构的要求，物理约束的网络模型由自相关物理约束层和卷积神经网络层组成，物理约束层主要包括对散斑I(x,y)的进行自相关运算调整，散斑自相关由能谱的二维傅里叶反变换求出：
式（3）即为物理约束层的处理算法，对散斑图案信息进行调整重构；
步骤1.2：紧接着送入一个编码器-解码器结构的U-Net卷积神经网络中，用来恢复散射目标的最后结果。
进一步的，所述步骤1.2中编码器-解码器结构选用对称式的编码器-解码器结构，保证了输入输出图像尺寸的一致，网络中的跳层连接结构除了对下采样丢失的信息进行补充外，还保证目标恢复结果准确的空间位置信息。
进一步的，所述步骤3还设计一个均衡的约束损失函数Loss，PCC约束函数是衡量图像相似度的一种方法，输出范围为-1到1，0代表无相关性，负值代表负相关，正值代表正相关，由于深度学习优化方向朝数值减小方向优化，为了获得正相关的重建结果，在PCC约束函数的相反数进行迭代优化网络模型，由于PCC约束函数和MSE约束函数对数据的约束不在一个维度上，并且数据送入网络转Tensor过程中做了归一化处理，因此对网络输出图片计算MSE损失之前对其进行归一化处理，因此，针对不同数据复杂度的重建任务设计了PCC和MSE的组合的均衡的约束损失函数，
式（4）中，i和I分别为模型输出结果图像和相对应的真实图像，
表示分别对模型输出结果图像和相对应的真实图像求均值运算，
表示对输出图像做归一化处理，MSE约束函数对重建图像进行精确的点对点精确约束，NPCC约束函数为PCC约束函数乘以-1，NPCC约束函数帮助网络在不同复杂程度上对隐藏目标特征进行学习和表征，通过均衡的约束损失函数的优化设计，从简单字符覆盖到复杂数据集的统一训练，帮助模型不仅学到更多高层语义信息和更加精确像素点级别的目标特征，实现更好的泛化成像效果。
基于物理驱动的散射泛化成像的实验方法，包括以下步骤：
步骤一：实验装置：包括工业相机、滤光片、TIR棱镜以及数字微镜阵列DMD、毛玻璃、光阑和LED灯源， LED光源发出的光照射到数字微镜阵列DMD上，TIR棱镜紧贴DMD，入射到DMD上的光经TIR棱镜折射，出射光经过光阑和窄带滤光片被工业相机采集；
步骤二：数据采集：目标数据由MINIST数据集组合、FEI Face人脸数据集组成，字符目标从MINIST原始数据随机挑选，构成单字符和双字符不同复杂程度的字符数据，根据ME范围的大小将目标尺寸缩放到ME范围之内进行ME内的散斑数据采集，将目标尺寸缩放尺寸大于系统ME范围进行，单字符数据、双字符数据和每块散射介质对应采集600张，其中500张作为seen objects，100张作为unseen objects，人脸数据选择FEI-Face数据中共200个人的数据组成，其中180人作为seen person，20人作为unseen person，并且每人对应有两张不同表情的照片，每组玻璃的人脸数据共计400张；
每种类型的数据对应9块不同的毛玻璃数据采集完成后，将前三块毛玻璃统一作为训练数据集，每组实验中，根据训练集和验证集的不同，统一分为4个部分，当训练集只选取毛玻璃D1对应的散斑数据作为Part A、为了更好的泛化成像效果，训练集选取毛玻璃D1、毛玻璃D2、毛玻璃D3三块毛玻璃对应的数据作为Part B，其中每一部分的训练集中只有seenobjects部分数据，剩余6块毛玻璃对应的散斑数据根据训练集中按照是否出现训练集中的目标分为未知的场景下的出现过的目标seen objects with unseen diffusers（Type C）和未知的场景下未出现过的目标unseen objects with unseen diffusers（Type D）；
步骤三：结果分析：选择平均绝对误差（MAE）、结构相似性（SSIM）和峰值信噪比（PSNR）三个评价指标的统计平均作为客观指标来评价重建结果，即使只使用一块毛玻璃的数据进行训练和测试（Part A）也能对单字符目标进行准确的泛化重建，包括通过未见过散射介质的训练集中未出现的目标数据，进一步提高训练集的玻璃数量（Part B），目标泛化重建平均PSNR能够达到40dB以上。
本发明的有益效果是：
本发明在散射泛化成像方面首次引入物理约束，依据物理先验对数据模型进行约束和预调整，能够解决不同散射场景的复杂目标的泛化成像问题，降低网络模型数据依赖程度的同时提高了网络的鲁棒性和特征提取效率。基于物理指导的深度方法可以对散斑信息中的统计不变量进行更好的学习和提取，可以帮助学习模型更好地对散射物理过程进行特征建模来完成隐藏目标的恢复重建，而不是对既有数据的简单拟合。通过物理指导深度学习的方法，在不过度关注网络模型设计的情况下就可以完成对不同磨砂毛玻璃进行泛化成像。可以通过一块毛玻璃样品采集到的散斑数据完成散射退化的过程建模，并对其余毛玻璃的散斑数据进行图像重构。通过对多块毛玻璃数据进行训练可以实现对未见过的毛玻璃数据进行更为精确重建，甚至可以完成对人脸级别复杂程度的数据进行泛化重建。同时，进一步依托深度神经网络在数据处理方面的优势，该方法还可以突破传统散斑相关方法无法超越光学记忆效应进行目标回复的限制，扩大泛化成像的工作范围。从散射泛化成像的角度引入物理约束对深度学习计算成像方面的有着重要指导作用，深度学习也作为有力的工具进一步开发和拓宽物理模型的应用场景，即将基于散斑相关的物理模型与深度学习的数据模型进行有机结合而大大提高神经网络模型散射泛化成像效果和成像范围。
附图说明
图1（a）--图1（c）是本发明的同一目标透过不同散射介质的散斑自相关比较与D1散斑、其余散斑的互相关图案，
其中：图1（a）表示同一目标透过不同散射介质的散斑自相关图像，
图1（b）表示图1（a）中目标的散斑自相关的位置和强度图，
图1（c）表示图1（a）中目标的散斑与D1玻璃采集到的散斑的互相关的位置和强度图，
图2是本发明的基于物理知识驱动的泛化成像模型原理图，
图3是本发明的记忆效应范围内单字符重建结果，
图4是本发明的记忆效应范围内双字符重建结果，
图5是本发明的记忆效应范围内人脸数据集泛化重建结果，
图6是本发明的是本发明的实验装置图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
本发明的基于物理驱动的散射泛化成像方法，如图1（a）--图1（c）所示，具体包括以下步骤：
步骤1：搭建的物理/数据模型，参见图2，
步骤1.1：只使用传统的U-Net卷积神经网络结构，弱化对网络结构的要求，物理约束的网络模型由自相关物理约束层和卷积神经网络层组成，物理约束层主要包括对散斑I(x,y)的进行自相关运算调整，散斑自相关由能谱的二维傅里叶反变换求出
式（3）即为物理约束层的主要操作，对散斑图案信息进行调整重构；
步骤1.2：紧接着送入一个编码器-解码器结构的U-Net卷积神经网络中，用来恢复散射目标的最后结果。编码器-解码器结构选用对称式的编码器-解码器结构，保证了输入输出图像尺寸的一致，网络中的跳层连接结构除了对下采样丢失的信息进行补充外，还可保证目标恢复结果准确的空间位置信息。
步骤2：光学记忆效应：当散射介质的入射光转动一个小的角度时，其出射光也随着转动相同的角度，证明了在ME范围内，即使光通过高度无序的散射介质时发生散射，出射光场仍然保留了入射光束所携带的信息；
步骤3：在光学记忆效应范围ME内，将散射系统看作一个具有空间平移不变性的成像系统，此时获取的散斑表示为 
，其中I为获取的散斑，O为目标，S为光学散射系统PSF，“
”为卷积运算符；
还设计一个均衡的约束损失函数，PCC约束函数是衡量图像相似度的一种方法，输出范围为-1到1，0代表无相关性，负值代表负相关，正值代表正相关，由于深度学习优化方向朝数值减小方向优化，为了获得正相关的重建结果，在PCC约束函数的相反数进行迭代优化网络模型，由于PCC约束函数和MSE约束函数对数据的约束不在一个维度上，并且数据送入网络转Tensor过程中做了归一化处理，因此对网络输出图片计算MSE损失之前对其进行归一化处理，因此，针对不同数据复杂度的重建任务设计了PCC和MSE的组合的均衡的约束损失函数，
式中i和I分别为模型输出结果图像和相对应的真实图像，和表示分别对模型输出结果图像和相对应的真实图像求均值运算，表示对输出图像做归一化处理，MSE约束函数对重建图像进行精确的点对点精确约束，NPCC约束函数帮助网络在不同复杂程度上对隐藏目标特征进行学习和表征，通过均衡的约束损失函数的优化设计，从简单字符覆盖到复杂数据集的统一训练，帮助模型不仅学到更多高层语义信息和更加精确像素点级别的目标特征，实现更好的泛化成像效果。
步骤4：利用相机采集到的散斑图案做自相关，并利用卷积定理得到：
其中 ，
表示自相关运算符，由(1)式可知，散斑的自相关可描述为散射介质后方目标自相关与光学散射系统PSF自相关之间的卷积，并由于光学散射系统PSF的自相关
近似为
函数，因此公式（1）可进一步化简为：
其中，C为计算散斑自相关时产生的背景项，目标的自相关与所采集到的散斑的自相关主体结构具有高度的相似性；
步骤5：同一目标通过不同散射介质形成的散斑之间的没有直接的相关特性，散斑颗粒分布差异较大，即使是在使用相同厂商使用相同工艺制作的具有相似统计特性的毛玻璃情况下，同一目标采集到的散斑图案也不具备相关性。
步骤6：从散斑的自相关可看出，即使是不同生产厂家和使用不同加工工艺制作的毛玻璃在记忆效应范围内都具有散斑相关性。
步骤7：通过计算不同的散斑图案的自相关，可有效地提取目标通过不同散射介质时的统计不变量，相对目标通过不同散射介质形成的散斑图案的相关性更高。
步骤8：将基于记忆效应原理的散斑相关理论可作为具有普适性的物理原理来约束和指导神经网络在不同散射场景中进行泛化成像。
physics-informed learning基于物理约束的深度方法，通过加入物理先验，（即使弱化对网络结构的要求）使用传统的U-Net卷积神经网络模型，便可以突破目标数据要求合作度高和散射介质分布具有相似统计特性的限制。通过对不同散射场景的统一建模和物理先验约束，即使只训练一块毛玻璃的数据就可以实现对多块毛玻璃下未知散射场景的进行散射成像，并实现跨越散射统计特性的泛化成像；同时利用卷积神经网络强大的数据挖掘能力，对单字符数据、双字符随机组合、人脸级别复杂度目标同样具有很好的泛化成像能力。实现传统物理方法和深度方法都无法实现的目标恢复结果。
下面给出本发明方法的系统实验：
实验中的所有使用的数据都为8位的灰度图像。
系统实验装置和数据采集
数据采集装置的原理示意图如图6所示，主要包括一个数字微镜阵列DMD (resolution1024
768 pixel, mirror element size 13.68 μm/piexl)来编码显示8位的目标图像信息；使用一个TIR棱镜折转光路便于散斑数据的采集，led光源 (Thorlabs,M625L4)，光阑(索雷博，ID25SS/M，maximum aperture 25mm)。为了更好贴合实用场景，实验中使用的是一个工业相机(Basler acA1920-40c,1920
1200 piexl, 5.86μm),而非传统实验中大多使用具有更高成像质量和性能的科学级相机[8-15,19-26]。使用灵敏度更低、数据位深更小、成像质量相对较差的散斑图案，从侧面反映出本文方法的有效性。位于相机前的一块滤光片(Thorlabs, FL632.8-1,central wavelength:632.8±0.2nm)。散射介质选取了6块220grit毛玻璃，1块120grit毛玻璃，1块600grit毛玻璃（Thorlabs）和一块Edmund的220grit毛玻璃。设置DMD目标面与散射介质的距离为35cm，散射介质与相机的距离为10cm，光阑直径为8mm。
目标数据由MINIST数据集组合、FEI Face人脸数据集组成。字符目标从MINIST原始数据随机挑选，构成单字符和双字符不同复杂程度的字符数据。单字符数据、双字符数据和每块散射介质对应采集600张，其中500张作为seen objects，100张作为unseenobjects。人脸数据选择FEI-Face数据中共200个人的数据组成，其中180人作为seenperson，20人作为unseen person，并且每人对应有两张不同表情的数据，每组玻璃的人脸数据共计400张。
每种类型的数据对应9块不同的毛玻璃数据采集完成后，将前三块毛玻璃统一作为训练数据集。每组实验中，根据训练集和验证集的不同统一分为4个部分。当训练集只选取D1对应的散斑数据作为Part A、为了更好的泛化成像效果，训练集选取D1、D2、D3三块毛玻璃对应的数据作为Part B。其中每一部分的训练集中只有seen objects部分数据。剩余6块毛玻璃对应的散斑数据根据训练集中按照是否出现训练集中的目标分为未知的场景下的出现过的目标seen objects with unseen diffusers（Type C）和unseen objects withunseen diffusers未知的场景下的未出现过的目标（Type D）。
采集到的数据使用我们设计的物理约束的数据模型进行泛化成像，模型运行Ubuntu16.04环境的Pytorch1.4.0框架下，使用的硬件运算设备为一张Titan RTX图像处理单元和i9-9940X中央处理单元。训练过程使用Adam优化器，Batchsize设置为32，一共迭代训练400个epoch，前200个学习率设为1E-4，接下来200个epoch学习率调整为1E-5。
结果与分析
完成对散斑数据的采集和分类后，通过对该方法进行训练和测试。按照目标的复杂程度和是否在ME范围内将实验分为3个部分，分别为ME范围内的单字符泛化成像、双字符泛化成像、人脸数据集泛化成像。按照上述数据划分原则对采得的散斑数据进行区分和训练。我们选取并展示了的部分成像结果作为直观评价和分析，进一步，选择平均绝对误差（MAE）、结构相似性（SSIM）和峰值信噪比（PSNR）三个评价指标的统计平均作为客观指标来评价重建结果。通过主观成像结果的直观展示和客观定量评价指标，详细地讨论和分析该方法泛化重建能力和模型鲁棒性。
如图3所示，即为该方法对记忆效应范围内单字符目标进行泛化重建的成像结果。即使只使用一块毛玻璃的数据进行训练和测试（Part A）也可以对单字符目标进行准确的泛化重建，包括通过未见过散射介质的训练集中未出现的目标数据。当我们进一步提高训练集的玻璃数量（Part B）该方法对目标泛化重建可以实现更为准确的结果，平均PSNR能够达到40dB以上。
为了进一步验证该方法的有效性，本实验相继选择了更为复杂的随机双字符组合数据和人脸真实系统数据。如图4所示，隐藏在散射介质后方的目标为随机组合的双字符目标，该方法可以相对准确的对目标进行泛化重建。Part B部分相较于Part A通过提高数据量，泛化重建也相应有更好的表现。但随着目标复杂度的提升，重建的难度也相对提高，导致泛化重建结果的准确性和可靠性降低，从表1中双字符定量评价指标也更为明显的地展示出泛化重建能力与目标特性和数据量的相关性。除了传统散射场景中常用的单字符目标，本文除了通过随机组合单字符数据对数据复杂程度提高外，我们进一步选择了FEIFace真实人脸数据集进行系统实验验证，目标复杂程度和细节特征等大大提高。如图5所示，相较于字符数据而言，人脸级别的复杂数据，只使用一块玻璃数据进行训练无法对通过不同毛玻璃的散射场景信息进行有效的恢复，本发明只选择D4的成像结果用以说明，其余散射介质的成像结果类似。进一步提升训练集的数据量（Part B），对训练过程中见过的目标人脸可以进行准确的泛化重建。从Type C中的人脸重建的结果可以看出，同一人对应的不同散射介质的泛化成像还原度高，眉眼等特征高度一致，同时对同一人的对应不同的微表情也能够准确地进行辨别和区分。对人脸这类真实场景中的复杂数据可以准确地进行泛化成像，也从侧面反映出本方法的有效性和实用价值。
表1 记忆效应范围内泛化重建统计平均的定量评价结果
实验结果表明，基于散斑相关物理先验驱动的网络模型可以很好的胜任不同散射场景下的泛化成像需求。在字符数据集的测试结果上可以看出，只通过训练1块散射介质的数据就可以完成对不同散射介质泛化成像。并且在数据复杂程度提升到人脸级别时，依然可以以较高的质量进行泛化重建。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (5)
1.一种基于物理驱动的散射泛化成像方法，其特征在于：具体包括以下步骤：
步骤1：搭建的物理/数据模型，
步骤2：光学记忆效应：当散射介质的入射光转动一个小的角度时，其出射光也随着转动相同的角度，证明了在光学记忆效应范围ME内，即使光通过高度无序的散射介质时发生散射，出射光场仍然保留了入射光束所携带的信息；
步骤3：在光学记忆效应范围ME内，将散射系统看作一个具有空间平移不变性的成像系
统，此时获取的散斑表示为
，其中I为获取的散斑，O为目标，S为光学散射系统
PSF，“
”为卷积运算符；
步骤4：利用相机采集到的散斑图案做自相关，并利用卷积定理得到：
其中 ，
表示自相关运算符，由(1)式可知，散斑的自相关可描述为散射介质后
方目标自相关与光学散射系统PSF自相关之间的卷积，并由于光学散射系统PSF的自相关
近似为
函数，因此公式（1）可进一步化简为：
其中，C为计算散斑自相关时产生的背景项，目标的自相关与所采集到的散斑的自相关主体结构具有高度的相似性；
步骤5：同一目标通过不同散射介质形成的散斑之间的没有直接的相关特性，散斑颗粒分布差异较大；从散斑的自相关即可看出，即使是不同生产厂家和使用不同加工工艺制作的毛玻璃在记忆效应范围内都具有散斑相关性；通过计算不同的散斑图案的自相关，提取目标通过不同散射介质时的统计不变量，相对目标通过不同散射介质形成的散斑图案的相关性更高；
步骤6：将基于记忆效应原理的散斑相关理论作为具有普适性的物理原理来约束和指导神经网络在不同散射场景中进行泛化成像。
2.根据权利要求1所述的基于物理驱动的散射泛化成像方法，其特征在于：所述步骤1具体为：
步骤1.1：只使用传统的U-Net卷积神经网络结构，弱化对网络结构的要求，物理约束的网络模型由自相关物理约束层和卷积神经网络层组成，物理约束层主要包括对散斑I(x,y)的进行自相关运算调整，散斑自相关由能谱的二维傅里叶反变换求出：
式（3）即为物理约束层的处理算法，对散斑图案信息进行调整重构；
步骤1.2：紧接着送入一个编码器-解码器结构的U-Net卷积神经网络中，用来恢复散射目标的最后结果。
3.根据权利要求2所述的基于物理驱动的散射泛化成像方法，其特征在于：所述步骤1.2中编码器-解码器结构选用对称式的编码器-解码器结构，保证了输入输出图像尺寸的一致，网络中的跳层连接结构除了对下采样丢失的信息进行补充外，还保证目标恢复结果准确的空间位置信息。
4.根据权利要求1所述的基于物理驱动的散射泛化成像方法，其特征在于：所述步骤3还设计一个均衡的约束损失函数Loss，PCC约束函数是衡量图像相似度的一种方法，输出范围为-1到1，0代表无相关性，负值代表负相关，正值代表正相关，由于深度学习优化方向朝数值减小方向优化，为了获得正相关的重建结果，在PCC约束函数的相反数进行迭代优化网络模型，由于PCC约束函数和MSE约束函数对数据的约束不在一个维度上，并且数据送入网络转Tensor过程中做了归一化处理，因此对网络输出图片计算MSE损失之前对其进行归一化处理，因此，针对不同数据复杂度的重建任务设计了PCC和MSE的组合的均衡的约束损失函数，
式（4）中，i和I分别为模型输出结果图像和相对应的真实图像，
表示分别对模
型输出结果图像和相对应的真实图像求均值运算，
表示对输出图像做归一化处理，MSE
约束函数对重建图像进行精确的点对点精确约束，NPCC约束函数为PCC约束函数乘以-1，
NPCC约束函数帮助网络在不同复杂程度上对隐藏目标特征进行学习和表征，通过均衡的约
束损失函数的优化设计，从简单字符覆盖到复杂数据集的统一训练，帮助模型不仅学到更
多高层语义信息和更加精确像素点级别的目标特征，实现更好的泛化成像效果。
5.基于物理驱动的散射泛化成像的实验方法，其特征在于：包括以下步骤：
步骤一：实验装置：包括工业相机、滤光片、TIR棱镜以及数字微镜阵列DMD、毛玻璃、光阑和LED灯源， LED光源发出的光照射到数字微镜阵列DMD上，TIR棱镜紧贴DMD，入射到DMD上的光经TIR棱镜折射，出射光经过光阑和窄带滤光片被工业相机采集；
步骤二：数据采集：目标数据由MINIST数据集组合、FEI Face人脸数据集组成，字符目标从MINIST原始数据随机挑选，构成单字符和双字符不同复杂程度的字符数据，根据ME范围的大小将目标尺寸缩放到ME范围之内进行ME内的散斑数据采集，单字符数据、双字符数据和每块散射介质对应采集600张，其中500张作为seen objects，100张作为unseenobjects，人脸数据选择FEI-Face数据中共200个人的数据组成，其中180人作为seenperson，20人作为unseen person，并且每人对应有两张不同表情的照片，每组玻璃的人脸数据共计400张；
每种类型的数据对应9块不同的毛玻璃数据采集完成后，将前三块毛玻璃统一作为训练数据集，每组实验中，根据训练集和验证集的不同，统一分为4个部分，当训练集只选取毛玻璃D1对应的散斑数据作为Part A、为了更好的泛化成像效果，训练集选取毛玻璃D1、毛玻璃D2、毛玻璃D3三块毛玻璃对应的数据作为Part B，其中每一部分的训练集中只有seenobjects部分数据，剩余6块毛玻璃对应的散斑数据根据训练集中按照是否出现训练集中的目标分为未知的场景下的出现过的目标seen objects with unseen diffusers和未知的场景下未出现过的目标unseen objects with unseen diffusers；
步骤三：结果分析：选择平均绝对误差MAE、结构相似性SSIM和峰值信噪比PSNR三个评价指标的统计平均作为客观指标来评价重建结果，即使只使用一块毛玻璃的数据进行训练和测试也能对单字符目标进行准确的泛化重建，包括通过未见过散射介质的训练集中未出现的目标数据，进一步提高训练集的玻璃数量，目标泛化重建平均PSNR能够达到40dB以上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617450.7A CN112287571B (zh) | 2020-12-31 | 2020-12-31 | 基于物理驱动的散射泛化成像方法和实验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617450.7A CN112287571B (zh) | 2020-12-31 | 2020-12-31 | 基于物理驱动的散射泛化成像方法和实验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287571A true CN112287571A (zh) | 2021-01-29 |
| CN112287571B CN112287571B (zh) | 2021-05-14 |
Family
ID=74425088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011617450.7A Active CN112287571B (zh) | 2020-12-31 | 2020-12-31 | 基于物理驱动的散射泛化成像方法和实验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287571B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862081A (zh) * | 2021-03-18 | 2021-05-28 | 清华大学 | 基于傅立叶变换的人工神经网络的多模光纤成像方法 |
| CN113163082A (zh) * | 2021-03-19 | 2021-07-23 | 中国科学院国家空间科学中心 | 基于散射介质和空间光调制器共同调制的单像素成像系统 |
| CN113630560A (zh) * | 2021-08-12 | 2021-11-09 | 哈尔滨工业大学 | 主动照明非视域二次半影成像方法 |
| CN113920297A (zh) * | 2021-12-14 | 2022-01-11 | 南京理工大学 | 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法 |
| CN113962866A (zh) * | 2021-12-22 | 2022-01-21 | 南京理工大学 | 一种基于物理感知学习的散射成像目标重建方法 |
| CN115201615A (zh) * | 2022-09-15 | 2022-10-18 | 之江实验室 | 基于物理约束神经网络的非侵入式负荷监测方法及装置 |
| CN115633243A (zh) * | 2022-12-01 | 2023-01-20 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
| CN115631253A (zh) * | 2022-12-23 | 2023-01-20 | 南京理工大学 | 基于物理驱动深度学习的光纤无透镜泛化成像方法 |
| CN115631206A (zh) * | 2022-12-23 | 2023-01-20 | 南京理工大学 | 针对散射场景下的图像分割方法 |
| CN115984405A (zh) * | 2023-01-12 | 2023-04-18 | 中国科学院宁波材料技术与工程研究所 | 基于自相关性增强的散射成像方法、系统及模型训练方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111141706A (zh) * | 2019-12-26 | 2020-05-12 | 西安电子科技大学 | 一种透过散射介质宽场的三维成像方法 |
| CN111340183A (zh) * | 2020-02-12 | 2020-06-26 | 南京理工大学 | 基于深度学习的散射成像装置和方法 |
| CN111366557A (zh) * | 2020-03-24 | 2020-07-03 | 东南大学 | 一种基于薄散射介质的相位成像方法 |
| CN111739117A (zh) * | 2020-07-20 | 2020-10-02 | 南京理工大学 | 基于卷积神经网络对经散射介质后的物体进行成像的方法 |
| CN112150341A (zh) * | 2020-11-26 | 2020-12-29 | 南京理工大学 | 基于物理约束和数据驱动的双阶段散射成像方法 |
-
2020
- 2020-12-31 CN CN202011617450.7A patent/CN112287571B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111141706A (zh) * | 2019-12-26 | 2020-05-12 | 西安电子科技大学 | 一种透过散射介质宽场的三维成像方法 |
| CN111340183A (zh) * | 2020-02-12 | 2020-06-26 | 南京理工大学 | 基于深度学习的散射成像装置和方法 |
| CN111366557A (zh) * | 2020-03-24 | 2020-07-03 | 东南大学 | 一种基于薄散射介质的相位成像方法 |
| CN111739117A (zh) * | 2020-07-20 | 2020-10-02 | 南京理工大学 | 基于卷积神经网络对经散射介质后的物体进行成像的方法 |
| CN112150341A (zh) * | 2020-11-26 | 2020-12-29 | 南京理工大学 | 基于物理约束和数据驱动的双阶段散射成像方法 |
Non-Patent Citations (3)
| Title |
|---|
| ENLAI GUO,ETC: "Learning-based method to reconstruct complex targets through scattering medium beyond the memory effect", 《OPTICS EXPRESS》 * |
| ENLAI GUO,ETC: "Single-shot color object reconstruction through scattering medium based on neural network", 《OPTICS AND LASERS IN ENGINEERING》 * |
| SHUO ZHU,ETC: "Locating and Imaging through Scattering Medium in a Large Depth", 《SENSORS》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862081A (zh) * | 2021-03-18 | 2021-05-28 | 清华大学 | 基于傅立叶变换的人工神经网络的多模光纤成像方法 |
| CN112862081B (zh) * | 2021-03-18 | 2023-07-18 | 清华大学 | 基于傅立叶变换的人工神经网络的多模光纤成像方法 |
| CN113163082A (zh) * | 2021-03-19 | 2021-07-23 | 中国科学院国家空间科学中心 | 基于散射介质和空间光调制器共同调制的单像素成像系统 |
| CN113163082B (zh) * | 2021-03-19 | 2022-07-26 | 中国科学院国家空间科学中心 | 基于散射介质和空间光调制器共同调制的单像素成像系统 |
| CN113630560A (zh) * | 2021-08-12 | 2021-11-09 | 哈尔滨工业大学 | 主动照明非视域二次半影成像方法 |
| CN113920297A (zh) * | 2021-12-14 | 2022-01-11 | 南京理工大学 | 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法 |
| CN113920297B (zh) * | 2021-12-14 | 2022-03-18 | 南京理工大学 | 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法 |
| CN113962866A (zh) * | 2021-12-22 | 2022-01-21 | 南京理工大学 | 一种基于物理感知学习的散射成像目标重建方法 |
| CN115201615B (zh) * | 2022-09-15 | 2022-12-20 | 之江实验室 | 基于物理约束神经网络的非侵入式负荷监测方法及装置 |
| CN115201615A (zh) * | 2022-09-15 | 2022-10-18 | 之江实验室 | 基于物理约束神经网络的非侵入式负荷监测方法及装置 |
| CN115633243A (zh) * | 2022-12-01 | 2023-01-20 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
| CN115633243B (zh) * | 2022-12-01 | 2023-08-04 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
| CN115631253A (zh) * | 2022-12-23 | 2023-01-20 | 南京理工大学 | 基于物理驱动深度学习的光纤无透镜泛化成像方法 |
| CN115631206A (zh) * | 2022-12-23 | 2023-01-20 | 南京理工大学 | 针对散射场景下的图像分割方法 |
| CN115984405A (zh) * | 2023-01-12 | 2023-04-18 | 中国科学院宁波材料技术与工程研究所 | 基于自相关性增强的散射成像方法、系统及模型训练方法 |
| CN115984405B (zh) * | 2023-01-12 | 2024-03-29 | 中国科学院宁波材料技术与工程研究所 | 基于自相关性增强的散射成像方法、系统及模型训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287571B (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287571B (zh) | 基于物理驱动的散射泛化成像方法和实验方法 | |
| Temel et al. | Traffic sign detection under challenging conditions: A deeper look into performance variations and spectral characteristics | |
| CN111739117A (zh) | 基于卷积神经网络对经散射介质后的物体进行成像的方法 | |
| US9070012B1 (en) | System and method for uncued discrimination of bated features in image | |
| CN115294117B (zh) | Led灯珠的缺陷检测方法及相关装置 | |
| CN111563562B (zh) | 基于卷积神经网络的单帧散射图像的彩色目标重建方法 | |
| CN111739116B (zh) | 基于深度神经网络透过散射介质的目标定位和重建方法 | |
| CN113962866B (zh) | 一种基于物理感知学习的散射成像目标重建方法 | |
| CN113393548B (zh) | 基于深度残差神经网络的非视域成像方法 | |
| Flasseur et al. | An unsupervised patch-based approach for exoplanet detection by direct imaging | |
| CN113298700A (zh) | 一种在散射场景中的高分辨图像重构方法 | |
| CN110703276B (zh) | 在强散射条件下的傅里叶成像装置及方法 | |
| CN115601621A (zh) | 基于条件生成对抗网络的强散射介质主动单像素成像方法 | |
| CN113192154B (zh) | 基于边缘计算的水下鬼成像系统及深度学习图像重建方法 | |
| Loomis | Computational imaging and automated identification for aqueous environments | |
| CN112950731B (zh) | 一种单帧强背景干扰下的透散射介质成像方法 | |
| Flasseur et al. | ExPACO: detection of an extended pattern under nonstationary correlated noise by patch covariance modeling | |
| CN113837217A (zh) | 基于深度学习的被动式非视域图像识别方法及识别装置 | |
| Han et al. | Photon-limited imaging through scattering medium based on speckle coding | |
| Liu et al. | Classifying decorrelation events hidden beneath scattering media via SPAD array detection | |
| Ranasinghe et al. | Deep learning based low light enhancements for Advanced Driver-Assistance Systems at Night | |
| Tian et al. | Image Reconstruction for Lensless Imaging Using a Phase Congruency Perception Model | |
| CN115984368A (zh) | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 | |
| Starceva et al. | Application of YOLO and R-CNN Methods for Adapted Selection of Illumination Patterns in the Ghost Polarimetry | |
| CAVALCANTE | Visual Scene Analysis based on the Kurtosis Of Responses of Independent Component Filters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |