CN115984405B - 基于自相关性增强的散射成像方法、系统及模型训练方法 - Google Patents
基于自相关性增强的散射成像方法、系统及模型训练方法 Download PDFInfo
- Publication number
- CN115984405B CN115984405B CN202310094364.XA CN202310094364A CN115984405B CN 115984405 B CN115984405 B CN 115984405B CN 202310094364 A CN202310094364 A CN 202310094364A CN 115984405 B CN115984405 B CN 115984405B
- Authority
- CN
- China
- Prior art keywords
- image
- basic
- autocorrelation
- complex
- speckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000011084 recovery Methods 0.000 claims abstract description 28
- 238000013136 deep learning model Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000012634 optical imaging Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 239000005337 ground glass Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000005338 frosted glass Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013401 experimental design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000004964 aerogel Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于自相关性增强的散射成像方法、系统及模型训练方法。所述模型训练方法包括：构建基本元素数据集以及复杂目标数据集；经过散射光路，形成散斑图像；进行预处理，生成对应的自相关图像；以基本自相关图像作为训练集，基本元素作为标记，进行训练；以复杂自相关图像作为测试集，复杂目标元素作为标记，进行迭代更新，获得深度学习模型。本发明采用光学成像方法构建基本元素数据集，将散斑自相关性作为物理先验，实现了跨数据域目标的散射恢复成像，同时采用基于编解码结构的深度学习模型将散斑自相关图像恢复到高信噪比，最后结合相位恢复算法，实现了目标图像的高分辨率重建成像，具有成像清晰、运算量小、成像还原度高的优点。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于自相关性增强的散射成像方法、系统及模型训练方法。
背景技术
由于受到不均匀传播介质特性的影响，光学成像过程中携带目标信息的光子在穿过诸如大气、生物组织等传播介质时会改变其传播路线，发生多重散射现象，导致在像平面无法识别目标对象。通过图像处理来克服散射的影响，恢复隐藏在散射介质后的目标图像形状，将为激光探测、生物医学成像及其军事领域等带来极大的帮助。
在过去十多年中，研究者提出通过测量和计算实现透过散射介质成像的各种方法，例如波前整形、传输矩阵和相位共轭等方法。但这些方法都各有优缺点和适用条件，例如传输矩阵测量和相位共轭方法，需要复杂的成像系统并且其相关测量的计算量过大。随着研究的深入，Bertolotti等和Katz等提出基于散斑自相关性的散射成像技术，但是由于自相关性只涉及到目标的振幅信息，在其相位恢复时极易受到噪声项影响，导致重建效果不佳。
针对上述方法的不足，研究人员提出利用机器学习尤其是无需复杂物理模型的深度学习方法实现散射计算成像。例如Hui等人使用支持向量回归(SVR)算法证明了机器学习在实现透过散射介质的目标成像的可行性。Yang等人在透过磨砂玻璃等介质的散斑图像恢复任务中，使用Unet架构的卷积神经网络重建出手写数字体。Zhang等人基于编解码结构的生成对抗网络利用光学成像系统采集目标相位图，实现在散斑图像中重建目标。
上述相关研究克服了传统方法的局限，在不改变光路的基础上，使用相对较少的计算量，实现透过散射介质的目标成像。表明在没有任何物理先验知识的基础上，机器学习和深度学习在散射计算成像的可行性，然而在上述端到端的散射计算成像中，由于缺乏先验知识的指导，只对恢复同一域下目标的散射成像效果明显。
为进一步提高模型的泛化性，探索散斑图像中目标信息对成像的影响，Lyu等人设计了“HNN””(Hybrid Neural Network)深度学习模型，证明了通过从散斑图案中检索到低至0.1％的目标信息实现目标重建；Sun等人提出先分类后重建，实现模型在不同散射介质下高效的目标重建；Li等人开发的深度神经网络实现透过不同散射条件下目标成像。尽管上述工作研究在模型的泛化方面有一定的提升，但是实质上依旧依赖于数据驱动。
由于采集环境的限制，获取大量种类全面、场景多样的数据集是极其困难的。因此，探索散射成像物理模型，克服数据限制，实现透过散射介质成像成为研究热点。Zhu等人将自相关物理模型与深度学习结合，有效减少训练数据集，实现透过散射介质的同一数据域目标的重构。但在实际光路采集中，图像易受到外界因素干扰，在自相关运算时产生较大的噪声项，影响散斑相关成像质量。
为解决上述问题，本发明的发明人在长期实践中发现，如何将物理约束与深度学习相结合，实现低信噪比的基于自相关的散斑恢复，有效抑制背景噪声项是比较关键的技术。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于自相关性增强的散射成像方法、系统及模型训练方法。
为实现前述发明目的，本发明采用的技术方案包括：
第一方面，本发明提供一种基于自相关性增强的散射成像的模型训练方法，包括：
构建基本元素数据集以及复杂目标数据集，所述基本元素数据集包括多个基本元素，所述复杂目标数据集包括多个复杂目标元素；
使所述基本元素和复杂目标元素的图像经过散射光路，形成基本散斑图像和复杂散斑图像；
对所述基本散斑图像和复杂散斑图像进行预处理，生成对应的基本自相关图像和复杂自相关图像；
以所述基本自相关图像作为训练集，对应的所述基本元素作为所述训练集的标记，对基础神经网络进行训练；
以所述复杂自相关图像作为测试集，对应的所述复杂目标元素作为所述测试集的标记，对所述基础神经网络进行迭代更新，获得用于基于自相关性增强的散射成像的深度学习模型。
第二方面，本发明还提供一种基于自相关性增强的散射成像方法，包括：
获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像；
利用深度学习模型对所述散斑图像进行处理，获得输出结果；
通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状；
其中，所述深度学习模型是由上述模型训练方法训练获得的。
第三方面，本发明还提供一种基于自相关性增强的散射成像系统，包括：
图像获取模块，用于获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像；
图像处理模块，用于利用深度学习模型对所述散斑图像进行处理，获得输出结果；
相位恢复模块，用于通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状；
其中，所述深度学习模型是上述模型训练方法训练获得的。
基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：
本发明所提供的技术方案采用光学成像方法构建基本元素数据集，通过采集基本元素对应的散斑图，将散斑自相关性作为物理先验，使用基本元素生成的自相关图像训练深度学习模型，实现跨数据域目标的散射恢复成像，同时为去除自相关图像中噪声项的影响，增强自相关图像的信噪比，采用基于编解码结构的深度学习模型将低信噪比的散斑自相关图像恢复到高信噪比，最后结合传统相位恢复算法，实现了目标图像的高分辨率重建成像，具有成像清晰、运算量小、成像还原度高的优点。
上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。
附图说明
图1是本发明一典型实施案例提供的模型训练方法所采用的光路设计示意图；
图2是本发明一典型实施案例提供的模型训练方法所采用的散射光路实物照片；
图3是本发明一典型实施案例提供的散射成像方法的过程示意图；
图4是本发明一典型实施案例提供的散射成像方法中的深度学习模型结构示意图；
图5是本发明一典型实施案例提供的散射成像方法中的相位恢复算法过程示意图。
具体实施方式
鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
参见图1、图2以及图3-图5，本发明实施例提供一种基于自相关性增强的散射成像的模型训练方法，包括如下的步骤：
构建基本元素数据集以及复杂目标数据集，所述基本元素数据集包括多个基本元素，所述复杂目标数据集包括多个复杂目标元素。
使所述基本元素和复杂目标元素的图像经过散射光路，形成基本散斑图像和复杂散斑图像。
对所述基本散斑图像和复杂散斑图像进行预处理，生成对应的基本自相关图像和复杂自相关图像。
以所述基本自相关图像作为训练集，对应的所述基本元素作为所述训练集的标记，对基础神经网络进行训练。
以所述复杂自相关图像作为测试集，对应的所述复杂目标元素作为所述测试集的标记，对所述基础神经网络进行迭代更新，获得用于基于自相关性增强的散射成像的深度学习模型。
上述技术方案中，在光学成像时，每个像元接收对应空间位置的一束光线，根据光线强度不同，具有不同的像素值。相机最终获得的图像表示为由所有光线独立所成的像的和，当光线传播过程中遇到散射介质时，每一束光线都发生散射现象，在最后的成像面上叠加形成散斑图像。其成像过程可表示为：
其中，Eout代表接收到的散射图像，K代表散射介质(即磨砂玻璃)的点扩散函数，Ein代表矢量目标输入图像，f(xi)代表在xi处光线强度与像素值的映射函数。
同时根据微分几何原理可知，所有复杂几何体可近似为大量足够小的基本几何图像(如正方形)的集合。
因此，本发明的技术方案中，首先构建基本元素数据集，例如可以包括不同大小的圆形、三角形和正方形等基本元素及其旋转变化和随机位置等虚拟物体被用作简单目标的初始数据，组成所述基本元素数据集，进而获得不同目标的散斑图像；而对于复杂目标数据集，例如可以将数据集Fashion-mnist中的数据用作隐藏在散射介质后面的未知的复杂目标元素，进而作为本发明中的模型训练的测试集，当然，测试集的选取并非仅限于上述具体的数据集，相似的多种具有复杂图形结构，例如字母、物品图像等图像数据集均可作为本发明的测试集来使用，甚至可以自行收集并形成自制的数据集，而非依赖于现有的开源数据集。
由此，在一些实施方案中，所述基本元素可以包括多个基础几何形状。
在一些实施方案中，所述基础几何形状可以包括圆形、三角形、矩形中的任意一种或两种以上的组合，但不限于此。
在一些实施方案中，所述复杂目标数据集可以包括商业数据集，但不限于此，执行收集的复杂形状图片作为复杂目标数据集亦可。
在一些实施方案中，所述基本元素数据集还可以包括对多个所述基础几何形状的旋转变化和随机位置变化图像。
在一些实施方案中，所述散射光路对平行光进行调制，生成所述基本元素和复杂目标元素的图像，并使所述基本元素和复杂目标元素的图像经过散射介质透射后，形成所述基本散斑图像和复杂散斑图像。
在一些实施方案中，所述散射介质包括毛玻璃，但不限于此，任何能够对入射光线产生散射作用的介质均可应用于上述模型训练中，例如气凝胶、液态溶胶、悬浊液等等。
在一些实施方案中，利用空间光调制器对所述平行光进行调制。
在一些实施方案中，利用图像探测器接收所述基本散斑图像和复杂散斑图像。
作为上述技术方案的一些典型的应用示例，可以将基本元素数据集和复杂目标数据集，经设计的光路采集系统采集相应的散斑图像。其中用于实验数据采集的光学实验设计如图1和图2所示。
更具体的，所述散射光路例如可以采用波长为532nm的绿色激光通过半波段准直成平行光，然后通过透镜组合作为照明源。利用空间光调制器(DMD数字微镜阵列)(分辨率例如是1024×768，像素大小13.7μm，用于编码和显示虚拟目标)对入射光束进行调制，获得相应的目标图像。携带目标信息的准直激光束被4f系统调制，并在入射的静态散射介质处散射。探测器(例如可以是PYTHON1300 CMOS相机)接收散射场图像。其散射目标图像与散射介质的距离为z1，磨砂玻璃(毛玻璃，220目)作为散射介质，置于CMOS和DMD之间，探测器置于散射介质后面，散射强度已被记录，探测器靶面与散射介质之间的距离例如可以为d＝50mm。
在一些实施方案中，所述训练集的标记包括所述基本元素的自相关图像。
在一些实施方案中，所述测试集的标记包括所述复杂目标元素的自相关图像。
在一些实施方案中，所述基础神经网络基于Pytorch深度学习框架的计算平台运行。
在一些实施方案中，所述迭代更新具体包括：将多个不同信噪比的所述复杂自相关图像输入经过所述训练集训练后的所述基础神经网络，测试所述基础神经网络对于从低信噪到高信噪比的复杂自相关图像的鲁棒性，并基于所述鲁棒性更新所述基础神经网络。
作为上述技术方案的一些典型的应用实例，在形成散射光路并获得相关的散射图像以后，可以将采集的数据集进行归一化处理并利用自相关性原理进行预处理得到初始目标自相关图像与散斑自相关图像，使用自相关运算之后对应的训练数据集中的8000对基本元素数据集，以及复杂目标收集的2000对数据集进行测试，8000对训练图像被送入实验设计的网络，其中散斑自相关图和对应目标自相关图作为网络的输入。本文涉及的神经网络模型是在基于Pytorch深度学习框架的计算平台上运行的，以CPU i7-8700和GPURTX2080Ti为核心，通过Pytorch 1.9和CUDA10.1加速。
然后将上述步骤获得的最优模型在测试集上进行测试，在一个复杂目标采集到的散斑数据集中，将其自相关图像输入网络测试，测试其模型在低信噪比散斑自相关到高信噪比的散斑自相关的鲁棒性，将其输出保存。
最后将上述步骤经模型输出的结果作为第二阶段相位恢复的输入，通过相位恢复算法实现目标的清晰成像。
其中，所涉及的相位恢复算法为本领域现有算法，其具体流程是：参见图3以及4，该方法通过初始其目标信息，其在傅里叶域的相位分布，结合深度学习模型的输出结果作为目标的傅里叶域的初始振幅分布，通过约束条件优化限制，在目标域和傅里叶域的迭代变换下，得到目标的振幅分布，此时对应相位分布就是目标的相位分布，通过逆傅里叶变换恢复真实的目标。具体如下迭代：
Gk(u，v)＝FT{gk(x，y)}，
g′k(x，y)＝IFT{G′k(u，v)}，
迭代初始值g1(x，y)赋任意值，gk(x，y)为第k次迭代，FT-1{ }代表傅里叶逆变换运算，第k+1次迭代由第k次迭代结果g′k(x，y)得到，在此过程中采用“混合输入-输出法”进行物理约束，其约束条件为：
其中，Γ包含了所有不满足约束的点，对于成像目标，约束条件为非负实数；β为衰减因子常数。在迭代过程中不断产生新的估计对象，直到所有都满足条件为止。
继续参见图3-图5，基于上述模型训练方法，本发明实施例还提供的一种基于自相关性增强的散射成像方法，包括如下的步骤：
获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像。
利用深度学习模型对所述散斑图像进行处理，获得输出结果。
通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状。
其中，所述深度学习模型是由上述任一实施方式所提供的模型训练方法训练获得的。
作为上述技术方案的一些典型的应用示例，上述散射成像方法可以采用如下的具体步骤得以实施：
1)根据基本元素数据设置，构建数据集。结合光路设计图，搭建实际光路采集平台，获取相应数据对应的散斑图像。并且采集相应的Fashion-mnist数据的散斑图像。
2)将采集的数据集进行归一化处理，并做自相关运算，将目标自相关图像与对应的散斑自相关图像作为第一阶段深度学习模型的训练输入，整体基于Pytorch深度学习框架的计算平台上运行算法模型，以CPU i7-8700和GPU RTX2080Ti为核心，通过Pytorch 1.9和CUDA10.1加速训练。
3)同光路平台下，对获取到的复杂目标散斑图像经自相关运算保存后的图像作为第二阶段的相位算法恢复的输入，实现目标的清晰成像。
相应的，本发明实施例还提供一种基于自相关性增强的散射成像系统，包括：
图像获取模块，用于获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像。
图像处理模块，用于利用深度学习模型对所述散斑图像进行处理，获得输出结果。
相位恢复模块，用于通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状。
其中，所述深度学习模型是由上述任一实施方式所提供的模型训练方法训练获得的。
上述散射成像系统中，还需要用到可读存储介质，由此，本发明实施例还提供一种刻度存储介质，其中存储有计算机程序或上述深度学习模型，所述计算机程序被处理器运行时执行上述任一实施方案所提供的模型训练方法或散射成像方法的步骤。
任何基于所述可读存储介质所执行的对本发明所提供的技术方法对应的软体或程序进行转移、售卖以及复制等行为，均理应属于本发明的保护范围之内。
基于上述技术方案，本发明实施例所提供的技术方案涉及光学成像，通过构建基本元素数据集，通过采集基本元素对应的散斑图，将散斑自相关性作为物理先验，使用基本元素生成的自相关图像训练深度学习模型，实现跨数据域目标的散射恢复成像。为去除自相关图像中噪声项的影响，增强自相关图像的信噪比，采用基于编解码结构的深度学习模型将低信噪比的散斑自相关图像恢复到高信噪比。最后结合传统相位恢复算法，实现了目标的高分辨率重建。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于自相关性增强的散射成像的模型训练方法，其特征在于，包括：
构建基本元素数据集以及复杂目标数据集，所述基本元素数据集包括多个基本元素，所述复杂目标数据集包括多个复杂目标元素；所述基本元素包括多个基础几何形状，还包括多个所述基础几何形状的旋转变化和随机位置变化的图像；所述基础几何形状包括圆形、三角形、矩形中的任意一种或两种以上的组合；
使所述基本元素和复杂目标元素的图像经过散射光路，形成基本散斑图像和复杂散斑图像；在经过所述散射光路进行光学成像时，每个像元接收对应空间位置的一束光线，根据光线强度不同，具有不同的像素值，最终获得的基本散斑图像和复杂散斑图像表示为由所有光线独立所成的像的和，当光线传播过程中遇到散射光路中的散射介质时，每一束光线都发生散射现象，在最后的成像面上叠加形成散斑图像，成像过程表示为：
；
其中，Eout代表接收到的基本散斑图像和复杂散斑图像，K代表散射介质的点扩散函数，Ein代表输入图像，f（xi）代表在xi处光线强度与像素值的映射函数；
对所述基本散斑图像和复杂散斑图像进行预处理，生成对应的基本自相关图像和复杂自相关图像；
以所述基本自相关图像作为训练集，对应的所述基本元素作为所述训练集的标记，对基础神经网络进行训练；
以所述复杂自相关图像作为测试集，对应的所述复杂目标元素作为所述测试集的标记，对所述基础神经网络进行迭代更新，获得用于基于自相关性增强的散射成像的深度学习模型，所述迭代更新具体包括：将多个不同信噪比的所述复杂自相关图像输入经过所述训练集训练后的所述基础神经网络，测试所述基础神经网络对于从低信噪到高信噪比的复杂自相关图像的鲁棒性，并基于所述鲁棒性更新所述基础神经网络。
2.根据权利要求1所述的模型训练方法，其特征在于，所述复杂目标数据集包括商业数据集。
3.根据权利要求1所述的模型训练方法，其特征在于，所述散射光路对平行光进行调制，生成所述基本元素和复杂目标元素的图像，并使所述基本元素和复杂目标元素的图像经过散射介质透射后，形成所述基本散斑图像和复杂散斑图像。
4.根据权利要求3所述的模型训练方法，其特征在于，所述散射介质包括毛玻璃。
5.根据权利要求4所述的模型训练方法，其特征在于，利用空间光调制器对所述平行光进行调制；
利用图像探测器接收所述基本散斑图像和复杂散斑图像。
6.根据权利要求1所述的模型训练方法，其特征在于，所述训练集的标记包括所述基本元素的自相关图像；
所述测试集的标记包括所述复杂目标元素的自相关图像。
7.根据权利要求1所述的模型训练方法，其特征在于，所述基础神经网络基于Pytorch深度学习框架的计算平台运行。
8.一种基于自相关性增强的散射成像方法，其特征在于，包括：
获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像；
利用深度学习模型对所述散斑图像进行处理，获得输出结果；
通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状；
其中，所述深度学习模型是由权利要求1-7中任意一项所述的模型训练方法训练获得的。
9.一种基于自相关性增强的散射成像系统，其特征在于，包括：
图像获取模块，用于获取散斑图像，所述散斑图像为原始图像经过散射介质散射后形成的图像；
图像处理模块，用于利用深度学习模型对所述散斑图像进行处理，获得输出结果；
相位恢复模块，用于通过相位恢复算法对所述输出结果进行相位恢复处理，获得目标图像，所述目标图像用于指示所述原始图像的形状；
其中，所述深度学习模型是由权利要求1-7中任意一项所述的模型训练方法训练获得的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310094364.XA CN115984405B (zh) | 2023-01-12 | 2023-01-12 | 基于自相关性增强的散射成像方法、系统及模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310094364.XA CN115984405B (zh) | 2023-01-12 | 2023-01-12 | 基于自相关性增强的散射成像方法、系统及模型训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115984405A CN115984405A (zh) | 2023-04-18 |
| CN115984405B true CN115984405B (zh) | 2024-03-29 |
Family
ID=85970354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310094364.XA Active CN115984405B (zh) | 2023-01-12 | 2023-01-12 | 基于自相关性增强的散射成像方法、系统及模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984405B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287571A (zh) * | 2020-12-31 | 2021-01-29 | 南京理工大学 | 基于物理驱动的散射泛化成像方法和实验方法 |
| CN113218914A (zh) * | 2021-03-24 | 2021-08-06 | 杭州电子科技大学 | 一种非侵入式散射介质点扩展函数获取装置及方法 |
| CN113393548A (zh) * | 2021-05-25 | 2021-09-14 | 中国科学院西安光学精密机械研究所 | 基于深度残差神经网络的非视域成像方法 |
| CN113781592A (zh) * | 2021-07-01 | 2021-12-10 | 杭州电子科技大学 | 一种基于复杂度引导相位恢复的散斑成像重建方法 |
| CN113902819A (zh) * | 2020-06-22 | 2022-01-07 | 深圳大学 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
| CN113962866A (zh) * | 2021-12-22 | 2022-01-21 | 南京理工大学 | 一种基于物理感知学习的散射成像目标重建方法 |
| CN114926516A (zh) * | 2022-04-19 | 2022-08-19 | 深圳大学 | 一种散射成像方法、设备及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3676797B1 (en) * | 2017-08-30 | 2023-07-19 | Verily Life Sciences LLC | Speckle contrast analysis using machine learning for visualizing flow |
| CN109932816B (zh) * | 2019-04-19 | 2021-01-05 | 清华大学深圳研究生院 | 基于连通域优化的超记忆效应范围非侵入式散射成像方法 |
-
2023
- 2023-01-12 CN CN202310094364.XA patent/CN115984405B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902819A (zh) * | 2020-06-22 | 2022-01-07 | 深圳大学 | 透过散射介质成像的方法、装置、计算机设备和存储介质 |
| CN112287571A (zh) * | 2020-12-31 | 2021-01-29 | 南京理工大学 | 基于物理驱动的散射泛化成像方法和实验方法 |
| CN113218914A (zh) * | 2021-03-24 | 2021-08-06 | 杭州电子科技大学 | 一种非侵入式散射介质点扩展函数获取装置及方法 |
| CN113393548A (zh) * | 2021-05-25 | 2021-09-14 | 中国科学院西安光学精密机械研究所 | 基于深度残差神经网络的非视域成像方法 |
| CN113781592A (zh) * | 2021-07-01 | 2021-12-10 | 杭州电子科技大学 | 一种基于复杂度引导相位恢复的散斑成像重建方法 |
| CN113962866A (zh) * | 2021-12-22 | 2022-01-21 | 南京理工大学 | 一种基于物理感知学习的散射成像目标重建方法 |
| CN114926516A (zh) * | 2022-04-19 | 2022-08-19 | 深圳大学 | 一种散射成像方法、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 散斑相关成像:从点扩展函数到光场全要素;谢向生;刘忆琨;梁浩文;周建英;;光学学报;20200110(第01期);全文 * |
| 深度学习下的散射成像：物理与数据联合建模优化(特邀);郭恩来等;CNKI/红外与激光工程;20220825;第51卷(第8期);20220563–1-20220563–13 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115984405A (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hesselink | Digital image processing in flow visualization | |
| US10984545B2 (en) | Estimating depth for a video stream captured with a monocular rgb camera | |
| WO2022001236A1 (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| US10228554B2 (en) | Partially coherent phase recovery | |
| CN110490818B (zh) | 基于cgan的计算鬼成像重建恢复方法 | |
| US11734890B2 (en) | Three-dimensional model recovery from two-dimensional images | |
| Lyu et al. | Neural radiance transfer fields for relightable novel-view synthesis with global illumination | |
| Liu et al. | Non-line-of-sight reconstruction with signal–object collaborative regularization | |
| CN110097634A (zh) | 一种自适应多尺度的三维鬼成像方法 | |
| CN111141706B (zh) | 一种透过散射介质宽场的三维成像方法 | |
| Werth et al. | Silo: A machine learning dataset of synthetic ground-based observations of leo satellites | |
| Hazineh et al. | D-Flat: A Differentiable Flat-Optics Framework for End-to-End Metasurface Visual Sensor Design | |
| CN115984405B (zh) | 基于自相关性增强的散射成像方法、系统及模型训练方法 | |
| Ihrke et al. | Adaptive grid optical tomography | |
| Liao et al. | Scattering imaging as a noise removal in digital holography by using deep learning | |
| Plack et al. | Fast differentiable transient rendering for non-line-of-sight reconstruction | |
| CN110426688A (zh) | 一种基于地形背景目标的sar回波模拟方法 | |
| US11790598B2 (en) | Three-dimensional tomography reconstruction pipeline | |
| US20220189011A1 (en) | End-to-end training for a three-dimensional tomography reconstruction pipeline | |
| Bubenıcek | Using Game Engine to Generate Synthetic Datasets for Machine Learning | |
| Pang et al. | Dynamic holographic imaging of real-life scene | |
| KR101129084B1 (ko) | 정점 편향 배분을 이용한 지형 렌더링 방법 | |
| CN106548183B (zh) | 一种快速对模糊目标进行边缘提取的方法 | |
| Li et al. | Omnidirectional Ring Structured Light Noise Filtering Based On DCGAN Network And Autoencoder | |
| Su et al. | Multi‐scale Iterative Model‐guided Unfolding Network for NLOS Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhuang Jiayan Inventor after: Wang Chen Inventor after: Ye Sichao Inventor after: Xiao Jiangjian Inventor before: Wang Chen Inventor before: Zhuang Jiayan Inventor before: Ye Sichao Inventor before: Xiao Jiangjian |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |