CN114926516A - 一种散射成像方法、设备及计算机可读存储介质 - Google Patents

一种散射成像方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114926516A
CN114926516A CN202210411662.2A CN202210411662A CN114926516A CN 114926516 A CN114926516 A CN 114926516A CN 202210411662 A CN202210411662 A CN 202210411662A CN 114926516 A CN114926516 A CN 114926516A
Authority
CN
China
Prior art keywords
autocorrelation
image
neural network
images
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210411662.2A
Other languages
English (en)
Inventor
何文奇
冯淯鎏
彭翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210411662.2A priority Critical patent/CN114926516A/zh
Publication of CN114926516A publication Critical patent/CN114926516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种散射成像方法、设备及计算机可读存储介质。散射成像方法包括：获取散斑图；根据散斑图生成混叠自相关图像；将混叠自相关图像输入目标卷积神经网络，通过目标卷积神经网络从混叠自相关图像中分离出各物体自相关图像；根据相位恢复算法分别对所有物体自相关图像进行重建，得到所有目标物体的物体图像；其中，散斑图由携带多个目标物体的物体信息的入射光透过散射介质于像面上形成，所有目标物体的尺寸均处于光学记忆有效范围之内，任意两个目标物体之间的距离均超出光学记忆有效范围；混叠自相关图像为所有目标物体的物体自相关图像的叠加。本申请不易受光学记忆效应的有效范围的限制，能够实现多目标物体、大视场的散射成像。

Description

一种散射成像方法、设备及计算机可读存储介质
【技术领域】
本申请涉及光学成像技术领域，尤其涉及一种散射成像方法、设备及计算机可读存储介质。
【背景技术】
光学记忆效应是散射介质的一种固有属性，基于光学记忆效应的散射成像方法通常包括两种，分别为解卷积成像技术和散斑自相关成像技术，这两种散射成像技术都具有非常广阔的发展前景，且目前均已经被广泛应用于透过散射介质进行成像的各种场合。
相关技术中，光学记忆效应的有效范围会对散射成像的视场产生较大的影响，即透过强散射介质进行成像时，光学记忆效应的有效范围会变得很小，从而限制了上述两种技术在实际散射成像场景下的应用。为了扩大散射成像的视场，许多研究人员提出了不同的解决方案，其大致可以分为：第一类，在横向和纵向上利用不同的预校准点扩散函数获取多幅图像，然后通过拼接多镜头多视角图像来获得大视场；第二类，利用直接或间接的额外先验信息，从相机所记录的原始散斑图中提取隐藏物体的信息；第三类，借助高阶相关建立输入场与输出场之间复杂的非线性关系；其中，第一类解决方案需要精确校准，否则将会严重影响重建图像的质量；第二类解决方案中的先验信息虽然可以在一定程度上提高大视场成像的质量，但是却无法解决散斑混叠(多个目标物体透过散射介质进行成像时，像面上所形成的散斑图中并非仅包括一个目标物体，而是包括多个目标物体，此即为散斑混叠)的问题；第三类解决方案主要是在散射区域内调制光波，其传输矩阵的测量通常比较复杂，而且耗时严重。由此可见，如何突破光学记忆效应的有效范围的限制，以实现透过散射介质的多目标物体、大视场成像，仍然是散射成像领域中的一个重要研究课题。
因此，有必要对上述散射成像方法进行改进。
【发明内容】
本申请提供了一种散射成像方法、设备及计算机可读存储介质，旨在解决相关技术中透过散射介质进行成像时，受光学记忆效应的有效范围的限制严重，且无法实现多目标物体、大视场成像的问题。
为了解决上述技术问题，本申请实施例第一方面提供了一种散射成像方法，包括：
获取散斑图；其中，所述散斑图由携带多个目标物体的物体信息的入射光透过散射介质于像面上形成，所有所述目标物体的尺寸均处于光学记忆有效范围之内，任意两个所述目标物体之间的距离均超出所述光学记忆有效范围；
根据所述散斑图生成混叠自相关图像；其中，所述混叠自相关图像为所有所述目标物体的物体自相关图像的叠加；
将所述混叠自相关图像输入目标卷积神经网络，通过所述目标卷积神经网络从所述混叠自相关图像中分离出各所述物体自相关图像；
根据相位恢复算法分别对所有所述物体自相关图像进行重建，得到所有所述目标物体的物体图像。
本申请实施例第二方面提供了一种电子设备，包括存储装置和至少一个处理器；所述存储装置用于存储至少一个程序，且当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器执行本申请实施例第一方面所述的散射成像方法。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，所述可执行指令被执行时执行本申请实施例第一方面所述的散射成像方法。
从上述描述可知，与相关技术相比，本申请的有益效果在于：
先获取散斑图，同时根据散斑图生成混叠自相关图像；再将混叠自相关图像输入目标卷积神经网络，通过目标卷积神经网络从混叠自相关图像中分离出各物体自相关图像；最后根据相位恢复算法分别对所有物体自相关图像进行重建，得到所有目标物体的物体图像；其中，散斑图由携带多个目标物体的物体信息的入射光透过散射介质于像面上形成，所有目标物体的尺寸均处于光学记忆有效范围之内，任意两个目标物体之间的距离均超出光学记忆有效范围；混叠自相关图像为所有目标物体的物体自相关图像的叠加。由此可见，虽然任意两个目标物体之间的距离均超出光学记忆有效范围，但是本申请仍然能够得到所有目标物体的物体图像，这就说明本申请不易受光学记忆效应的有效范围的限制；而且，本申请通过目标卷积神经网络对混叠自相关图像中每个目标物体的物体自相关图像进行分离，使得每个目标物体的物体自相关图像中不含相应目标物体以外的其它目标物体的自相关信息，从而能够顺利地得出所有目标物体的物体图像，进而能够很好地实现多目标物体、大视场的散射成像。
【附图说明】
为了更清楚地说明相关技术或本申请实施例中的技术方案，下面将对相关技术或本申请实施例的描述中所需使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，而并非是全部实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为解卷积成像技术的原理示意图；
图2为散斑自相关成像技术的原理示意图；
图3为GS算法的流程示意图；
图4为ER算法及HIO算法的流程示意图；
图5为传统技术下两个目标物体透过散射介质成像的实验结果图；
图6为U-net卷积神经网络分离自相关的实验结果图；
图7为本申请实施例提供的Y-net卷积神经网络分离自相关的实验结果图；
图8为本申请实施例提供的T-net卷积神经网络分离自相关的实验结果图；
图9为本申请实施例提供的环境光干扰下多目标物体进行散射成像的实验装置的结构示意图；
图10为本申请实施例提供的环境光干扰下T-net卷积神经网络分离自相关的实验结果图；
图11为本申请实施例提供的散射成像方法的流程示意图；
图12为本申请实施例提供的电子设备的模块框图；
图13为本申请实施例提供的计算机可读存储介质的模块框图。
【具体实施方式】
为了使本申请的目的、技术方案和优点等更加明显、易懂，下面将结合本申请实施例以及相应的附图，对本申请进行清楚、完整地描述；其中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。应当理解的是，下面所描述的本申请的各个实施例仅仅用以解释本申请，并不用于限定本申请，也即基于本申请的各个实施例，本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都在本申请保护的范围之内。此外，下面所描述的本申请的各个实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
光学成像是记录光信息的主要方式。在传统光学成像的过程中，可以通过优化光学成像系统来达到消除像差、提高分辨率等目的，从而实现高质量的成像效果。但是，在一些复杂的环境中成像时，由于光的散射效应，传统光学成像的优化方法已经不再适用。不同于传统光学成像中光波在折射率均匀分布的空间中传播，在散射成像的过程中，携带目标物体信息的光波在穿过折射率空间分布不均匀的散射介质(比如云雾、生物组织等)时，光子与散射介质中的微粒子会发生相互作用，这使得光子的运动偏离了原本的传输方向，而多次相互作用的积累导致光子传播方向的随机化，故而探测器记录到的是随机分布的散斑图，无法像传统光学成像那样直接记录到物体的强度分布。由此，基于光学记忆效应(散射介质的一种固有属性)的散射成像方法应运而生，其通常包括两种，分别为解卷积成像技术和散斑自相关成像技术，这两种散射成像技术都具有非常广阔的发展前景，且目前均已经被广泛应用于透过散射介质进行成像的各种场合。
相关技术中，光学记忆效应的有效范围会对散射成像的视场产生较大的影响，即透过强散射介质进行成像时，光学记忆效应的有效范围会变得很小，从而限制了上述两种技术在实际散射成像场景下的应用。为了扩大散射成像的视场，许多研究人员提出了不同的解决方案，其大致可以分为：第一类，在横向和纵向上利用不同的预校准点扩散函数获取多幅图像，然后通过拼接多镜头多视角图像来获得大视场；第二类，利用直接或间接的额外先验信息，从相机所记录的原始散斑图中提取隐藏物体(即目标物体)的信息；第三类，借助高阶相关建立输入场与输出场之间复杂的非线性关系；其中，第一类解决方案需要精确校准，否则将会严重影响重建图像的质量；第二类解决方案中的先验信息虽然可以在一定程度上提高大视场成像的质量，但是却无法解决散斑混叠(多个目标物体透过散射介质进行成像时，像面上所形成的散斑图中并非仅包括一个目标物体，而是包括多个目标物体，此即为散斑混叠)的问题；第三类解决方案主要是在散射区域内调制光波，其传输矩阵的测量通常比较复杂，而且耗时严重。由此可见，如何突破光学记忆效应的有效范围的限制，以实现透过散射介质的多目标物体、大视场成像，仍然是散射成像领域中的一个重要研究课题。为此，本申请实施例提供了一种散射成像方法。
在对本申请实施例提供的散射成像方法进行详细阐述之前，先对本申请实施例提供的散射成像方法的研究过程及所基于的原理进行简要说明。
在散射成像的过程中，入射光透过散射介质后，入射光中一部分光子没有与散射介质中的粒子发生碰撞，称之为弹道光；而另外一部分光子由于与散射介质中的粒子发生碰撞而偏离了原本的传播方向，称之为散射光。在像面接收到的出射光的光子之间存在随机的相位差，并且仍然具有相干性，因此会产生光的干涉现象，其中相长干涉形成亮斑，相消干涉形成暗斑，所以在实际的透过散射介质成像的过程中，像面接收到的是一幅杂乱无章的散斑图。光学记忆效应是散射介质的一种固有属性，顾名思义，不同的入射光透过散射介质后会形成不同的散斑图，但是当具有一定相关性的入射光透过散射介质的相同区域时，像面得到的散斑图也具有一定的相关性。1988年，Freund等人通过进行光学实验首次证实了光学记忆效应现象。他们采用氦氖激光光源发出的光束作为入射光，在保证入射光透过散射介质相同区域的前提下，轻微调整入射光的入射角度，并用相机记录调整入射角度前后在像面上形成的散斑图，实验结果证明了调整入射角度前后在像面上形成的散斑图之间存在很强的相关性。简而言之，光学记忆效应可以表述为：入射光透过散射介质在像面上形成散斑图，当轻微改变入射光的入射角度时，像面上形成的散斑图的强度分布不会发生明显变化，但是散斑图会随着入射角度的改变而发生整体移动。随着入射角度变化的逐渐增大，散斑图的移动距离也逐渐增大，同时像面上形成的散斑图之间的相关性会逐渐下降，直至相关性完全消失。
光学记忆效应生效的范围可以用散斑图的相关函数来描述，由如下第一公式表示：
Figure BDA0003604267390000061
其中，k＝2π/λ，Δθ为入射光的偏转角度，λ为发射入射光的光源的中心波长，L为散射介质的有效厚度。根据第一公式可知，光学记忆效应生效的条件为：Δθ≤λ/2πL。由此可知，在发射入射光的光源的中心波长固定不变的条件下，光学记忆效应的生效范围的大小仅与散射介质的有效厚度有关。
当一个点光源透过静态的散射介质进行成像时，在像面上形成的散斑图的光强分布可以看作是成像系统的点扩散函数(Point Spread Function，PSF)。在实际的散射成像过程中，可以把隐藏在散射介质后的目标物体看成是由无数个点光源组成的，因此在像面上形成的散斑图实际上是无数点光源透过散射介质后形成的散斑图的叠加。当隐藏在散射介质后的目标物体的大小在光学记忆效应的有效范围之内时，可以近似认为组成目标物体的无数个点光源所对应的点扩散函数是相似的，因此成像系统是一个具有空间平移不变点扩散函数的成像系统，则像面上形成的散斑图可以由如下第二公式表示：
I＝O*S；
其中，I代表像面上形成的散斑图，O代表目标物体实际的像，S代表成像系统的空间平移不变点扩散函数，*代表卷积运算。由第二公式可知，在光学记忆效应的有效范围内，像面上形成的散斑图是隐藏在散射介质后的目标物体与成像系统的点扩散函数的卷积。解卷积成像技术就是利用了散射成像的卷积模型，通过预先在目标物体的位置设置一个点光源来获取成像系统的点扩散函数，再利用成像系统的点扩散函数从目标物体透过散射介质后形成的散斑图中重建出目标物体的物体图像(解卷积成像技术的原理示意图可以参阅图1)。由于卷积运算在计算成像中的计算速度较慢，因此解卷积成像技术一般是将像面上形成的散斑图从空域转换到频域，再进行目标物体信息的恢复(即目标物体的物体图像的重建)。根据傅里叶变换的特性，空域上的卷积运算等价于频域上的乘积运算，因此第二公式可以转化为如下第三公式：
FFT(I)＝FFT(O)·FFT(S)；
其中，FFT()代表傅里叶变换。在成像系统的点扩散函数已知的情况下，可以从散斑图中重建出目标物体的物体图像，由如下第四公式表示：
Figure BDA0003604267390000071
其中，FFT-1()代表傅里叶逆变换，()*代表共轭运算。
解卷积成像技术虽然简单便捷，但是其需要预先在目标物体的位置设置一个点光源来获取成像系统的点扩散函数，这属于一种典型的侵入式散射成像技术，难以应用在大多数实际的散射成像场景中。2014年，以色列科学家Katz及其同事提出了一种非侵入式的基于单帧散斑自相关的图像重建方法(即散斑自相关成像技术)，其原理示意图可以参阅图2。对相机记录到的散斑图进行自相关计算，得到散斑图的自相关由如下第五公式表示：
Figure BDA0003604267390000072
其中，
Figure BDA0003604267390000073
代表自相关运算。由第五公式可知，散斑图的自相关等于目标物体的自相关与成像系统的点扩散函数的自相关的卷积。在这里，成像系统的点扩散函数的自相关(即
Figure BDA0003604267390000074
)本质上可以看成是宽带随机噪声的自相关，因此可以近似地将成像系统的点扩散函数的自相关当成是一个脉冲响应函数δ，即可以将第五公式进一步化简为如下第六公式：
Figure BDA0003604267390000075
由第六公式可知，可以通过计算散斑图的自相关来获取目标物体的自相关。根据维纳-辛钦定理，对函数的自相关进行傅里叶变换，可以计算得到该函数的功率谱密度(即傅里叶变换的模平方)，由如下第七公式表示：
Figure BDA0003604267390000076
由第七公式可知，通过计算相机记录到的散斑图的自相关，能够直接得到目标物体的傅里叶幅值信息。但是重建目标物体的物体图像除了需要傅里叶幅值信息以外，还需要获取傅里叶相位信息，因此需要进一步利用相位恢复算法来重建目标物体的物体图像。
相位恢复算法的基本思路是：对初始函数进行傅里叶变换以及傅里叶逆变换，并且分别在空域和频域施加约束条件，通过循环迭代计算使函数在空域和频域均收敛至真值。其中，最为经典的相位恢复算法是GS算法，其运算步骤可以参阅图3，如下所示：
⑴随机选取一个初始相位函数，并将其与已知的振幅相结合，共同构成一个初始复函数gt(x,y)；
⑵通过二维傅里叶变换将gt(x,y)变换到频域，得到Gt(kx,ky)；
⑶对Gt(kx,ky)施加频谱面约束，即舍去Gt(kx,ky)的幅值部分，仅保留其相位部分，并将Gt(kx,ky)的相位部分与计算散斑图的自相关时得到的傅里叶幅值|F|相结合，得到一个新的Gt′(kx,ky)；
⑷对Gt′(kx,ky)进行二维傅里叶逆变换运算，将其变换回空域，从而得到一个新的复函数gt′(x,y)；
⑸对新的复函数gt′(x,y)施加物面约束，即舍去gt′(x,y)的幅值部分，仅保留其相位部分，并将gt′(x,y)的相位部分与已知的物面振幅|g|相结合，得到新的gt(x,y)作为下一轮迭代的初始复函数；
重复上述步骤⑵-⑸，直至GS算法收敛。
GS算法重建目标物体的物体图像的质量及其收敛速度在很大程度上受迭代初始值的影响，有可能会出现算法收敛速度缓慢甚至无法收敛等问题。为了解决这些问题，可以通过对迭代初始值进行操作来优化算法的收敛结果并提高算法的收敛速度，比如将目标物体的一些低频信息引入到迭代初始值中等。1982年，Fienup等人在GS算法的基础上提出了误差减小(error-reduction，ER)算法，其将目标物体的轮廓范围作为约束条件引入到物面约束的步骤中，即引入到步骤⑸中，由如下第八公式表示：
Figure BDA0003604267390000081
其中，S为目标物体的轮廓范围。由第八公式可知，函数在目标物体的轮廓范围内的部分保持其数值不变，而超出目标物体的轮廓范围的部分将其数值设置为0。相较GS算法，ER算法能够随着算法迭代次数的增加而逐步减小频域误差，并且有更快的收敛速度；但是，ER算法容易陷入局部最优解。为此，Fienup等人又提出了混合输入输出(hybrid input-output，HIO)算法，其运算步骤可以参阅图4，HIO算法在物面约束的步骤(即步骤⑸)中的约束条件由如下第九公式表示：
Figure BDA0003604267390000091
其中，β表示用于控制算法收敛的参数，其取值范围为[0,1]。相较ER算法而言，HIO算法引入参数β后，目标物体的轮廓范围随算法迭代次数的增加而逐步缩小，能够有效地解决ER算法容易陷入局部最优解的问题。此外，还需要说明的是，本文所涉及的实验均采用了HIO算法。
根据前文所记载的内容可知，在光学记忆效应的有效范围内，可以认为组成目标物体的所有点光源对应的点扩散函数是相似的，因此散射成像过程可以简化为线性卷积模型，即像面上的散斑图可以用目标物体的物体图像与成像系统的点扩散函数的卷积来表示。在散斑自相关成像技术中，由于点扩散函数的自相关可以看成是脉冲响应函数，因此散斑图的自相关等价于目标物体的自相关，可以通过相位恢复算法从散斑图的自相关中重建目标物体的物体图像。然而，当超出光学记忆效应的有效范围时，不同点光源对应的点扩散函数之间的相关性急剧下降，散射成像的线性卷积模型不再适用。如果物面上有一幅图像O是由n个位于不同空间位置的离散目标物体Oi组成，每个目标物体自身的尺寸大小在光学记忆效应的有效范围以内，但是任意两个目标物体之间的距离均超出光学记忆效应的有效范围，则设不同目标物体对应的点扩散函数为Si，那么对于非相干照明，像面上相机记录到的散斑图由如下第十公式表示：
Figure BDA0003604267390000092
由第十公式可知，相机记录到的散斑图实际上是空间位置距离超出光学记忆效应的有效范围的不同目标物体所对应的散斑图的叠加。以两个目标物体的散射成像为例，对相机记录到的散斑图进行自相关运算，由如下第十一公式表示：
Figure BDA0003604267390000101
由于点扩散函数的自相关(即
Figure BDA0003604267390000102
和
Figure BDA0003604267390000103
)可以近似地看成是脉冲响应函数δ，因此第十一公式可以进一步简化为如下第十二公式：
Figure BDA0003604267390000104
其中，第一项为第一个目标物体的自相关，第二项是第二个目标物体的自相关，以上两项均位于散斑图的自相关的中央位置，其余项均为互相关项，并且由于自相关项的强度远远高于互相关项，因此可以忽略互相关项，将其视为背景弱噪声。对相机记录到的散斑图的自相关图像截取中央部分，得到的实际上是两个目标物体各自的自相关(即
Figure BDA0003604267390000105
与
Figure BDA0003604267390000106
)的叠加，我们称之为混叠自相关。为了验证该结论，我们进行了两个目标物体透过散射介质成像的实验，并尝试用相位恢复算法重建这两个目标物体的物体图像，实验结果可以参阅图5(图5(a)为物面上空间距离超出光学记忆效应的有效范围的两个目标物体，图5(b)为相机记录到的散斑图，5(c)为散斑图的自相关图像，5(d)为两个目标物体的物体图像的重建结果)。
实验结果表明，我们无法直接使用相位恢复算法从两个目标物体的混叠自相关中重建目标物体的物体图像。类似的，对于两个以上的多目标物体的散射成像，相机记录到的散斑图的自相关由如下第十二公式表示：
Figure BDA0003604267390000107
忽略第十二公式中的互相关项后，第十二公式可以简化为如下第十三公式：
Figure BDA0003604267390000108
由第十三公式可知，相机记录到的散斑图的自相关近似等价于多个目标物体各自对应的自相关的叠加，无法直接使用散斑自相关成像技术对超出光学记忆效应的有效范围的多目标物体进行成像。因此，要实现多目标物体的散射成像，需要思考如何将不同的目标物体的自相关分离开来。最近，Wang等人通过引入傅里叶频谱估计和迭代能量约束补偿，成功地从双目标物体的散斑图中分离出两个目标物体的自相关，之后他们又进一步探索了利用在不同成像距离记录到的两个散斑图来进行多目标物体的重建和定位。与此同时，Li等人提出了利用独立分量分析来将不同目标物体对应的散斑从相机记录到的散斑图中分离开来后，再分别计算不同目标物体的自相关，随后通过相位恢复算法重建各目标物体的物体图像。本申请实施例与此均不同，为了突破光学记忆效应的有效范围的成像视场限制，本申请实施例提出了一种基于深度学习和散斑自相关的多目标物体的散射成像方法，其利用卷积神经网络来对混叠自相关图像中不同目标物体的自相关进行分离，以得到不同目标物体各自对应的自相关，之后再分别通过相位恢复算法来重建各目标物体的物体图像。本申请实施例根据实际的任务需求设计了Y-net和Tree-net(简写为T-net)结构的“一对多”类型的卷积神经网络，并通过实验展示了该方法对超出光学记忆效应的有效范围的双目标物体和多目标物体进行散射成像的结果，验证了该方法的可行性。
在介绍本申请实施例的卷积神经网络(即Y-net和Tree-net)之前，需要先介绍一种常用的卷积神经网络，即U-net。U-net由编码器和解码器组成，编码器用于从输入图像中提取图像特征，解码器用于将提取到的图像特征重建为输出图像。U-net已经被证明在端到端场景下的图像处理任务中是非常有效的，然而U-net并不能很好地完成从混叠自相关中分离各自相关这一学习任务。我们用仿真模拟的数据测试了U-net是否能将不同目标物体的自相关从混叠自相关中分离开来。选取MNITS手写数字数据集中的数字图像作为目标物体，分别计算其自相关，然后随机选择两幅自相关图像进行叠加可以得到一幅混叠自相关图像。我们总共仿真生成5000幅混叠自相关图像作为训练数据，其中混叠自相关图像作为U-net的输入，对应的两幅不同目标物体的自相关图像作为U-net的输出标签。经过训练后U-net的输出结果如图6所示(图6(a)为测试数据集中的混叠自相关图像，图6(b)、(c)分别为两个目标物体的真实自相关图像，图6(d)、(e)分别为经过训练的U-net输出的两个目标物体的自相关图像)。实验结果表明，U-net输出的两个目标物体的自相关图像中仍包含了其它自相关信息，和两个目标物体真实的自相关图像有明显的区别，两者之间存在较大的误差，这说明了经过训练的U-net并不能很好地将不同目标物体的自相关从混叠自相关中分离开来。在这里，我们认为U-net无法很好地完成将不同目标物体的自相关从混叠自相关中分离开来的原因是：在U-net的解码器进行物体图像重建的过程中，不同目标物体的自相关的图像特征同时参与了物体图像重建，而由于在物体图像重建的过程中没有将不同目标物体的自相关图像的图像特征分离开，所以最终U-net输出的各目标物体的自相关图像中仍同时包含了其它自相关信息。
与U-net擅长的输入输出数量关系为“一对一”的学习任务不同，这里我们面临的是输入输出数量关系为“一对多”的问题。为了让卷积神经网络能够更好地学习分离不同目标物体的自相关这一任务，本申请实施例在U-net的基础上，提出了Y-net和T-net结构的卷积神经网络。在此之前，Wang等人已经使用Y-net结构的卷积神经网络直接从全息图中同时重建物体的振幅信息和相位信息。
Y-net在整体结构上仍遵循U-net的“编码-解码”的形式。Y-Net的编码器由四个卷积块组成，每个卷积块中都包含池化层、卷积层、激活函数层和批归一化层四个运算层。池化层的主要作用是进行下采样操作，可以去除图像冗余信息，对图像特征进行压缩，以到达简化网络复杂度，减少计算量，加快网络训练速度等目的。池化层一般使用平均池化或最大池化；其中，平均池化是对邻域内像素的灰度值求平均，能够很好地保留图像的背景信息，但是容易使图片变模糊；最大池化是对邻域内像素的灰度值取最大值，能够很好地保留图像的纹理特征。在这里，为了尽可能地保留自相关的纹理特征，我们选择使用最大池化，并将池化层的邻域大小设置为2×2，即每经过一次池化层，图像特征的尺寸变为原来的一半。卷积层的主要作用是提取图像特征，编码器中的四个卷积块对应的卷积层中卷积核的数目分别为12，24，48，96，即随着网络层数的增加，图像特征的通道数也随之增加，这有利于让编码器提取更多的图像特征。激活函数层能够对卷积层的输出结果进行非线性映射，将非线性特性引入神经网络，从而让神经网络能够学习简单线性模型所不能解决的复杂问题。在这里，所有的激活函数层都使用线性整流函数(Rectified Linear Unit,ReLU)作为激活函数，该函数在进行梯度下降以及反向传播时能够有效地避免梯度爆炸和梯度消失等问题，提高网络训练的效率。批归一化层包含了批处理和归一化两个操作，批处理是指卷积神经网络同时接收多张图像作为输入，进行并行运算，能够大大提高卷积神经网络的训练速度；归一化操作是将卷积神经网络每一层的输入数据的像素灰度值的均值都调整为0，方差为1的标准正态分布，可以避免卷积神经网络在训练过程中出现梯度消失等的问题。
Y-net的编码器提取到输入图像的图像特征后，再经过解码器将图像特征重建为输出图像。与U-net不同，Y-net的解码器中包含两条上采样路径，分别输出不同的图像。这相当于Y-net被设计成两个U-net的融合，以实现分别重建不同图像(即重建不同目标物体的自相关图像)的目的。编码器中每条上采样路径均由五个卷积块组成，每个卷积块中都包含卷积层、激活函数层、批归一化层和上采样层四个运算层。具体地，五个卷积块对应的卷积层中卷积核的数目分别为192，96，48，24，12，即随着网络层数的增加，图像特征的通道数也随之减小；与此同时，每经过一次上采样层，图像特征的尺寸都会变为原来的两倍，最后经过一个卷积核大小为1×1的卷积层和激活函数层后生成卷积神经网络的输出图像。
从卷积神经网络的结构上去分析，Y-net能够更好地适应将不同目标物体的自相关从混叠自相关中分离出来这一学习任务。从上文的分析已知，U-net无法完成该学习任务的原因是在神经网络的解码器进行图像重建时，解码器中只有一条上采样路径，不同自相关对应的图像特征没有区分开，因此重建出来的图像不可避免地同时携带了其它自相关的信息。在Y-net中，编码器仍负责从混叠自相关中提取图像特征，但是在解码器中，由于包含了两条上采样路径，因此在神经网络的训练过程中，每条上采样路径可以学会只选取该路径输出标签的自相关图像所对应的图像特征，再对图像特征进行重建，这样就可以有效地解决在图像重建过程中的图像特征混淆的问题。在这里需要注意的是，深层神经网络可以比浅层神经网络更有效地学习复杂问题，但是在训练深层神经网络时，模型的性能往往随着网络深度的增加而下降，这被称为退化问题。为了缓解神经网络的退化问题，U-net中使用了跳跃连接将编码器与解码器中图像特征尺寸相同的网络层进行连接，将编码器中网络层的输出作为解码器中网络层的输入，使得在编码器部分学习到的细粒度图像特征能够在解码器部分参与图像重建，确保了特征的可重用性，这相当于给深层网络的参数学习增加了约束，可以有效的地保留图像的高频细节信息，减小输出的误差。但是在Y-net中，为了避免解码器中已经分离的自相关图像特征在进行图像重建时受到编码器中未分离的图像特征的干扰，因此在Y-net中不使用跳跃连接。
同时，需要强调的是，Y-net还具有很好的扩展性。在Y-net中，解码器中的上采样路径的数量是可调节的，并且可以很容易地扩展为更多的上采样路径，达到一个输入到多个输出的目的。我们将包含两条以上的上采样路径的卷积神经网络称为T-net，它可以用来分离多个(大于2个)目标物体的自相关。在训练Y-net或T-net时，我们选取平均绝对误差(MAE)作为损失函数来训练卷积神经网络的参数，损失函数由如下第十四公式表示：
Figure BDA0003604267390000141
其中，n表示卷积神经网络输出图像的数量，N为每幅图像的像素数，xi和yi分别为卷积神经网络输入图像和输出图像中每个像素的像素值。选择使用Adam优化器将损失函数通过在卷积神经网络中反向传播来更新卷积神经网络的权值和偏差，使MAE值最小。示例性地，Adam优化器的学习率设置为0.0001，迭代次数设置为10；卷积神经网络在Pytorch平台上使用Python 3.7实现，使用GPU(NVIDIAGeForce GTX 1050Ti)加速训练过程。
为了验证Y-net和T-net能够从混叠自相关图像中分离不同目标物体的自相关图像，首先生成一组仿真数据来训练和测试Y-net或T-net。以Y-net为例，从MNIST手写数字数据集中选取10000张像素大小为128×128的数字图像，分别计算它们的自相关并随机将两幅自相关图像叠加，最终得到5000幅两个目标物体的混叠自相关图像。在训练过程中，混叠自相关图像作为Y-net的输入，对应的两幅独立的目标物体的自相关图像作为Y-net的输出标签，实验结果如图7所示(图7(a)为混叠自相关图像，图7(b)、(c)分别为两个不同目标物体的真实自相关图像，图7(d)、(e)分别为经过训练的Y-net输出的两个目标物体的自相关图像，图7(f)、(g)分别为通过相位恢复算法从(d)和(e)重建的两个目标物体的物体图像)。实验结果表明，经过训练的Y-net输出的两个目标物体的自相关图像与两个目标物体的真实自相关图像基本一致，从而能够通过相位恢复算法从Y-net输出的各自相关图像重建出各目标物体的物体图像，这证明了利用深度学习和散斑自相关实现了超出光学记忆效应的有效范围的多目标物体的散射成像的可行性。
除此之外，我们也通过实验验证了T-net能够从多目标物体的混叠自相关图像中分离不同目标物体对应的自相关。同样是选取MINIST手写数字数据集的数字图像，分别计算其自相关，然后分别随机选取3幅、4幅、5幅自相关图像进行叠加后可以得到三混叠自相关图像、四混叠自相关图像和五混叠自相关图像；其中，三混叠自相关图像、四混叠自相关图像和五混叠自相关图像各5000幅。相应地，我们通过设置T-net中解码器的上采样路径的数量来控制T-net最终输出图像的数量。分别使用5000幅三混叠自相关图像、5000幅四混叠自相关图像和5000幅五混叠自相关图像来训练包含不同数量(即3条、4条和5条)的上采样路径的T-net，实验结果如图8所示(图8⑴、⑵和⑶分别对应于分离3、4和5个目标物体的自相关的情况；图8⑴、⑵和⑶中的(a)均为各自情况下的混叠自相关图像；图8⑴中的(b)(c)(d)，图8⑵中的(b)(c)(d)(e)，图8⑶中的(b)(c)(d)(e)(f)，均为各自情况下目标物体真实的自相关图像；图8⑴中的(e)(f)(g)，图8⑵中的(f)(g)(h)(i)，图8⑶中的(g)(h)(i)(j)(k)，均为各自情况下经过训练的T-net输出的自相关图像)。
实验结果表明，T-net可以有效地对三混叠自相关图像和四混叠自相关图像进行自相关的分离，T-net输出的自相关和目标物体的真实自相关基本相同，如图8⑴和⑵所示。但是，当T-net在对五混叠自相关图像进行自相关的分离时，如图8⑶所示，当自相关的轮廓结构比较简单时，T-net输出的自相关和目标物体的真实自相关仍高度相似，但是当自相关的轮廓结构比较复杂时，T-net输出的自相关与目标物体的真实自相关之间出现了明显的误差，无法通过相位恢复算法从输出自相关中重建目标物体的自相关图像。为了更精确地描述T-net分离不同数量自相关的效果，我们计算了不同情况下T-net输出的自相关图像与目标物体的真实自相关图像之间的平均绝对误差(MAE)和结构相似度(SSIM)，如下表所示：
Figure BDA0003604267390000161
我们已经通过仿真实验证明了Y-net和T-net的可行性，接下来将进行实际的光学实验来进一步证明该方法的有效性。同时，值得注意的是，在实际的散射成像场景中，环境光的存在通常会给相机记录的散斑图带来干扰，在散斑图的自相关中形成背景噪声，影响相位恢复算法的重建结果。
因此，我们在有环境光干扰的情况下进行了多目标物体散射成像的光学实验，实验装置的结构示意图可以参阅图9。激光器发射波长为632.8nm的激光光束，激光光束通过旋转磨砂玻璃和准直透镜后，照射在空间光调制器上。在空间光调制器上显示MNITS手写数字数据集的数字图像，然后经过作为散射介质的毛玻璃后形成散斑，被放置在像面上的相机(比如科学CMOS相机，PCO edge 4.2，2048×2048像素，6.5μm×6.5μm像素尺寸)所记录，且环境光由LED光源引入，分别在有环境光和无环境光的情况下记录散斑图，然后计算它们的自相关。随机选取三幅有背景噪声的目标物体的自相关图像进行叠加得到混叠自相关图像，作为T-net的输入，对应的三幅无背景噪声的目标物体的自相关图像作为T-net的输出标签。选取5000组混叠自相关图像作为训练数据，来训练T-net。然后，在有环境光的情况下，先在空间光调制器上同时显示三个目标物体，再通过相机记录其散斑图，最后计算三个目标物体各自的自相关作为测试数据，用来验证经过训练后的T-net能否从有背景噪声的混叠自相关中分离出不同目标物体的自相关，实验结果如图10所示(图10(a)为空间光调制器上同时显示的三个目标物体，图10(b)为相机记录到的带背景噪声的散斑图，10(c)为带背景噪声的散斑图的自相关，图10(d)、(e)和(f)均为经过训练的T-net输出的自相关图像，图10(g)、(h)和(i)均为通过相位恢复算法从T-net输出的自相关图像重建的目标物体的物体图像)。实验结果表明，T-net能够在实际的光学散射成像实验中有效地分离不同目标物体的自相关，并且能够抵抗环境光的干扰。
最后，在实际的散射成像中，往往并不清楚隐藏在散射介质之后的目标物体的数量。在这种情况下，无法决定应该使用包含多少条上采样路径的T-net来分离目标物体的自相关。为了解决这一问题，我们使用了一种分类卷积神经网络，它可以对不同数量的目标物体的混叠自相关进行分类。首先通过分类卷积神经网络中的六个卷积层提取混叠自相关的图像特征，然后再通过两个全连接层进行分类，以使分类卷积神经网络输出不同类别(即不同目标物体数量)的概率，概率最高的类别即是分类卷积神经网络的分类结果(比如，分类卷积神经网络输出“目标物体为2个的概率是30％，目标物体为3个的概率是60％和目标物体为5个的概率是90％”，则分类卷积神经网络的分类结果便为“目标物体为5个”)。我们分别从2、3、4个目标物体的混叠自相关中选取2000张图像和500张图像用于分类卷积神经网络的训练和测试，即训练数据集包含6000张图像，测试数据集包含1500张图像，而经过训练后的分类卷积神经网络对测试数据集的分类准确率达到了92％。
根据前文所描述的内容可知，为了突破光学记忆效应的有效范围的成像视场限制，本申请实施例提出了一种基于深度学习和散斑自相关的多目标物体散射成像方法，其利用卷积神经网络(即Y-net和T-net)来对混叠自相关图像中的不同的自相关分量进行分离，得到不同目标物体各自对应的自相关后，再分别通过相位恢复算法来重建各目标物体的物体图像。本申请实施例所提出的基于深度学习和散斑自相关的多目标物体散射成像方法具有以下优点：
对目标物体之间的位置变化不敏感；因为该方法是对目标物体的自相关进行分离，而对散斑图进行自相关计算后，目标物体的自相关都是在散斑图的自相关图像的中央发生非相干强度叠加，因此无论目标物体的位置如何变化，计算得到的混叠自相关都是相同的。该方法对环境光噪声具有较好的鲁棒性；在有环境光干扰的情况下，环境光会在散斑图的自相关图像中形成严重的背景噪声，淹没目标物体的自相关信息，而由于卷积神经网络本身具备较强的去噪能力，因此该方法可以通过数据训练让神经网络学习从有背景噪声的混叠自相关中提取分离出不同目标物体各自对应的自相关。该方法具有较好的扩展性，可以实现对不同数量的目标物体的自相关进行分离；该方法可以灵活改变神经网络的结构(即上采样路径的数量)来控制神经网络的输出的数量，然后再进行神经网络的训练，根据实际情况灵活地对不同数量的目标物体的自相关进行分离。使用分类卷积神经网络对不同数量目标物体的散斑图进行分类，因此不需要预先知道隐藏在散射介质后的目标物体的数量作为先验信息。
综上所述，请参阅图11，图11为本申请实施例提供的散射成像方法的流程示意图。本申请实施例提供了一种散射成像方法，包括如下步骤1101至1104。
步骤1101、获取散斑图。
在本申请实施例中，进行多目标物体的散射成像时，需要先获取散斑图；其中，所获取的散斑图由携带多个目标物体的物体信息的入射光透过散射介质于像面上形成，所有目标物体的尺寸均处于光学记忆有效范围之内，任意两个目标物体之间的距离均超出光学记忆有效范围。
步骤1102、根据散斑图生成混叠自相关图像。
在本申请实施例中，获取到散斑图后，还需要根据散斑图生成混叠自相关图像；其中，混叠自相关图像为所有目标物体的物体自相关图像的叠加。
步骤1103、将混叠自相关图像输入目标卷积神经网络，通过目标卷积神经网络从混叠自相关图像中分离出各物体自相关图像。
在本申请实施例中，根据散斑图生成混叠自相关图像后，还需要将混叠自相关图像输入目标卷积神经网络(即Y-net或T-net)，并通过目标卷积神经网络从混叠自相关图像中分离出各物体自相关图像。
步骤1104、根据相位恢复算法分别对所有物体自相关图像进行重建，得到所有目标物体的物体图像。
在本申请实施例中，将混叠自相关图像输入目标卷积神经网络，并通过目标卷积神经网络从混叠自相关图像中分离出各物体自相关图像后，还需要根据相位恢复算法分别对所有物体自相关图像进行重建，从而得到所有目标物体的物体图像；至此，便实现了多目标物体的散射成像。
本申请实施例先获取散斑图，同时根据散斑图生成混叠自相关图像；再将混叠自相关图像输入目标卷积神经网络，通过目标卷积神经网络从混叠自相关图像中分离出各物体自相关图像；最后根据相位恢复算法分别对所有物体自相关图像进行重建，得到所有目标物体的物体图像；其中，散斑图由携带多个目标物体的物体信息的入射光透过散射介质于像面上形成，所有目标物体的尺寸均处于光学记忆有效范围之内，任意两个目标物体之间的距离均超出光学记忆有效范围；混叠自相关图像为所有目标物体的物体自相关图像的叠加。由此可见，虽然任意两个目标物体之间的距离均超出光学记忆有效范围，但是本申请实施例仍然能够得到所有目标物体的物体图像，这就说明本申请实施例不易受光学记忆效应的有效范围的限制；而且，本申请实施例通过目标卷积神经网络对混叠自相关图像中每个目标物体的物体自相关图像进行分离，使得每个目标物体的物体自相关图像中不含相应目标物体以外的其它目标物体的自相关信息，从而能够顺利地得出所有目标物体的物体图像，进而能够很好地实现多目标物体、大视场的散射成像。
作为一种实施方式，步骤1102，即根据散斑图生成混叠自相关图像，可以包括：对散斑图进行自相关处理，得到散斑图的散斑自相关图像；对散斑自相关图像进行截取(具体为截取散斑自相关图像的中央部分)，从而得到混叠自相关图像。可以理解的是，散斑自相关图像的中央部分即为混叠自相关图像。
作为一种实施方式，步骤1103，即通过目标卷积神经网络从混叠自相关图像中分离出各物体自相关图像，可以包括：通过编码器从混叠自相关图像中提取各物体自相关图像的图像特征；通过解码器中的多条上采样路径分别对所有物体自相关图像的图像特征进行重建，得到所有物体自相关图像；其中，目标卷积神经网络包括编码器和解码器，解码器包括多条上采样路径，上采样路径的数量与目标物体保持一致，上采样路径与所重建的物体自相关图像的图像特征之间具有一一对应关系。
应当理解的是，上述实施方式仅作为本申请实施例的优选实现，并非是本申请实施例对步骤1102、1103的具体流程的唯一限定；对此，本领域技术人员可以在本申请实施例的基础上，根据实际应用场景进行灵活设定。
在一些实施例中，步骤1103，即将混叠自相关图像输入目标卷积神经网络之前，还可以包括：将混叠自相关图像输入分类卷积神经网络；通过分类卷积神经网络确定混叠自相关图像的图像类别；根据混叠自相关图像的图像类别从预设的卷积神经网络库中选择一个卷积神经网络作为目标卷积神经网络；其中，图像类别指示混叠自相关图像所对应的目标物体的数量，目标卷积神经网络所含上采样路径的数量与混叠自相关图像的图像类别相对应。
作为一种实施方式，通过分类卷积神经网络确定混叠自相关图像的图像类别，可以包括：通过分类卷积神经网络提取混叠自相关图像的图像特征；通过分类卷积神经网络根据混叠自相关图像的图像特征得出混叠自相关图像在不同图像类别下的概率；通过分类卷积神经网络根据概率最高原则确定混叠自相关图像的图像类别。示例性地，分类卷积神经网络可以根据混叠自相关图像的图像特征的数量得出混叠自相关图像在不同图像类别下的概率。
作为一种实施方式，根据混叠自相关图像的图像类别从预设的卷积神经网络库中选择一个卷积神经网络作为目标卷积神经网络之后，还可以包括：对目标卷积神经网络进行训练。
作为本实施方式的一种具体实现，对目标卷积神经网络进行训练，可以包括：以平均绝对误差最小为依据，将预设损失函数在目标卷积神经网络中反向传播，更新目标卷积神经网络的权值和偏差；其中，预设损失函数可以参见前文所示出的第十四公式。
应当理解的是，上述实施方式仅作为本申请实施例的优选实现，并非是本申请实施例对除步骤1101至1104以外的额外流程的唯一限定；对此，本领域技术人员可以在本申请实施例的基础上，根据实际应用场景进行灵活设定。
请参阅图12，图12为本申请实施例提供的电子设备的模块框图。
如图12所示，本申请实施例还提供了一种电子设备1200，包括存储装置1210和至少一个处理器1220；其中，存储装置1210用于存储至少一个程序，且当至少一个程序被至少一个处理器1220执行时，使得至少一个处理器1220执行本申请实施例提供的散射成像方法。
在一些实施例中，电子设备1200还可以包括总线1230，用于存储装置1210与至少一个处理器1220之间的通信连接。
请参阅图13，图13为本申请实施例提供的计算机可读存储介质的模块框图。
如图13所示，本申请实施例还提供了一种计算机可读存储介质1300，该计算机可读存储介质1300上存储有可执行指令1310，该可执行指令1310被执行时执行本申请实施例提供的散射成像方法。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。
需要说明的是，本申请内容中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于产品类实施例而言，由于其与方法类实施例相似，所以描述的比较简单，相关之处参见方法类实施例的部分说明即可。
还需要说明的是，在本申请内容中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请内容。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请内容中所定义的一般原理可以在不脱离本申请内容的精神或范围的情况下，在其它实施例中实现。因此，本申请内容将不会被限制于本申请内容所示的这些实施例，而是要符合与本申请内容所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种散射成像方法，其特征在于，包括：
获取散斑图；其中，所述散斑图由携带多个目标物体的物体信息的入射光透过散射介质于像面上形成，所有所述目标物体的尺寸均处于光学记忆有效范围之内，任意两个所述目标物体之间的距离均超出所述光学记忆有效范围；
根据所述散斑图生成混叠自相关图像；其中，所述混叠自相关图像为所有所述目标物体的物体自相关图像的叠加；
将所述混叠自相关图像输入目标卷积神经网络，通过所述目标卷积神经网络从所述混叠自相关图像中分离出各所述物体自相关图像；
根据相位恢复算法分别对所有所述物体自相关图像进行重建，得到所有所述目标物体的物体图像。
2.如权利要求1所述的散射成像方法，其特征在于，所述根据所述散斑图生成混叠自相关图像，包括：
对所述散斑图进行自相关处理，得到所述散斑图的散斑自相关图像；
截取所述散斑自相关图像的中央部分，得到混叠自相关图像。
3.如权利要求2所述的散射成像方法，其特征在于，所述通过所述目标卷积神经网络从所述混叠自相关图像中分离出各所述物体自相关图像，包括：
通过编码器从所述混叠自相关图像中提取各所述物体自相关图像的图像特征；其中，所述目标卷积神经网络包括所述编码器；
通过解码器中的多条上采样路径分别对所有所述物体自相关图像的图像特征进行重建，得到所有所述物体自相关图像；其中，所述目标卷积神经网络还包括所述解码器，所述解码器包括所述多条上采样路径，所述上采样路径的数量与所述目标物体保持一致，所述上采样路径与所重建的所述物体自相关图像的图像特征之间具有一一对应关系。
4.如权利要求3所述的散射成像方法，其特征在于，所述将所述混叠自相关图像输入目标卷积神经网络之前，还包括：
将所述混叠自相关图像输入分类卷积神经网络；
通过所述分类卷积神经网络确定所述混叠自相关图像的图像类别；其中，所述图像类别指示所述混叠自相关图像所对应的所述目标物体的数量；
根据所述混叠自相关图像的图像类别从预设的卷积神经网络库中选择一个卷积神经网络作为目标卷积神经网络；其中，所述目标卷积神经网络所含上采样路径的数量与所述混叠自相关图像的图像类别相对应。
5.如权利要求4所述的散射成像方法，其特征在于，所述通过所述分类卷积神经网络确定所述混叠自相关图像的图像类别，包括：
通过所述分类卷积神经网络提取所述混叠自相关图像的图像特征；
通过所述分类卷积神经网络根据所述混叠自相关图像的图像特征得出所述混叠自相关图像在不同图像类别下的概率；
通过所述分类卷积神经网络根据概率最高原则确定所述混叠自相关图像的图像类别。
6.如权利要求4所述的散射成像方法，其特征在于，所述根据所述混叠自相关图像的图像类别从预设的卷积神经网络库中选择一个卷积神经网络作为目标卷积神经网络之后，还包括：
对所述目标卷积神经网络进行训练。
7.如权利要求6所述的散射成像方法，其特征在于，所述对所述目标卷积神经网络进行训练，包括：
以平均绝对误差最小为依据，将预设损失函数在所述目标卷积神经网络中反向传播，更新所述目标卷积神经网络的权值和偏差；其中，所述预设损失函数由如下第一公式表示：
Figure FDA0003604267380000021
其中，loss(x,y)表示所述预设损失函数，n表示所述目标卷积神经网络输出图像的数量，N为每幅图像的像素数，xi和yi分别为所述目标卷积神经网络输入图像和输出图像中每个像素的像素值。
8.如权利要求1所述的散射成像方法，其特征在于，所述光学记忆有效范围由如下第二公式表示：
Δθ≤λ/2πL；
其中，Δθ为所述入射光的偏转角度，λ为发射所述入射光的光源的中心波长，L为所述散射介质的有效厚度。
9.一种电子设备，其特征在于，包括存储装置和至少一个处理器；所述存储装置用于存储至少一个程序，且当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有可执行指令，所述可执行指令被执行时执行如权利要求1-8任一项所述的方法。
CN202210411662.2A 2022-04-19 2022-04-19 一种散射成像方法、设备及计算机可读存储介质 Pending CN114926516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210411662.2A CN114926516A (zh) 2022-04-19 2022-04-19 一种散射成像方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210411662.2A CN114926516A (zh) 2022-04-19 2022-04-19 一种散射成像方法、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114926516A true CN114926516A (zh) 2022-08-19

Family

ID=82807143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210411662.2A Pending CN114926516A (zh) 2022-04-19 2022-04-19 一种散射成像方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114926516A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984405A (zh) * 2023-01-12 2023-04-18 中国科学院宁波材料技术与工程研究所 基于自相关性增强的散射成像方法、系统及模型训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984405A (zh) * 2023-01-12 2023-04-18 中国科学院宁波材料技术与工程研究所 基于自相关性增强的散射成像方法、系统及模型训练方法
CN115984405B (zh) * 2023-01-12 2024-03-29 中国科学院宁波材料技术与工程研究所 基于自相关性增强的散射成像方法、系统及模型训练方法

Similar Documents

Publication Publication Date Title
Montresor et al. Quantitative appraisal for noise reduction in digital holographic phase imaging
CN110363843B (zh) 基于相移压缩菲涅尔全息的三维图像光学重建方法及系统
Bargsten et al. SpeckleGAN: a generative adversarial network with an adaptive speckle layer to augment limited training data for ultrasound image processing
US9135682B2 (en) Image recovery from single shot digital hologram
Tang et al. RestoreNet: a deep learning framework for image restoration in optical synthetic aperture imaging system
CN112161953B (zh) 一种基于散射介质的宽光谱单帧散射成像方法
Cetin et al. Feature-preserving regularization method for complex-valued inverse problems with application to coherent imaging
CN109669182A (zh) 无源双基地sar动/静目标联合稀疏成像方法
Zheng et al. Non-line-of-sight imaging under white-light illumination: a two-step deep learning approach
CN114926516A (zh) 一种散射成像方法、设备及计算机可读存储介质
Kazanskiy et al. Radar image modeling and recognition
Passah et al. SAR image despeckling using deep CNN
Dong et al. A hierarchical receptive network oriented to target recognition in SAR images
Banet et al. 3D multi-plane sharpness metric maximization with variable corrective phase screens
Theagarajan et al. Integrating deep learning-based data driven and model-based approaches for inverse synthetic aperture radar target recognition
Dabhi et al. Virtual SAR: a synthetic dataset for deep learning based speckle noise reduction algorithms
Gontarz et al. Phase unwrapping using deep learning in holographic tomography
Liao et al. Scattering imaging as a noise removal in digital holography by using deep learning
Farriss et al. Sharpness-based correction methods in holographic aperture ladar (HAL)
Liu et al. Interferometric phase image denoising method via residual learning
de Almeida et al. Twin-image suppression in digital in-line holography based on wave-front filtering
Shi et al. Imaging consecutive targets through scattering medium and around corners beyond the optical memory effect using untrained network
Wang et al. Unsupervised Deep Learning Enables 3D Imaging for Single‐Shot Incoherent Holography
Fu et al. Unleashing the potential: AI empowered advanced metasurface research
Dash et al. Deep complex neural network applications in remote sensing: an introductory review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination