CN115222790B - 单光子三维重建方法、系统、设备及存储介质 - Google Patents

单光子三维重建方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115222790B
CN115222790B CN202210958881.2A CN202210958881A CN115222790B CN 115222790 B CN115222790 B CN 115222790B CN 202210958881 A CN202210958881 A CN 202210958881A CN 115222790 B CN115222790 B CN 115222790B
Authority
CN
China
Prior art keywords
depth
decoder
single photon
data
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210958881.2A
Other languages
English (en)
Other versions
CN115222790A (zh
Inventor
熊志伟
彭家勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210958881.2A priority Critical patent/CN115222790B/zh
Publication of CN115222790A publication Critical patent/CN115222790A/zh
Application granted granted Critical
Publication of CN115222790B publication Critical patent/CN115222790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种单光子三维重建方法、系统、设备及存储介质，基于单光子数据中含有的时间‑空间相关性，通过利用非局部模块和深层网络结构提取并利用了数据中的相关性。同时，还分析了单光子数据中的噪声统计特性，通过设计对应的损失函数，从而实现了对噪声先验的利用，并进一步提升了算法的重建性能。总的来说，本方法通过设计多分支结构的重建网络，利用了单光子数据中的时间‑空间相关性以及噪声的统计特性实现了对场景深度和亮度信息的重建。

Description

单光子三维重建方法、系统、设备及存储介质
技术领域
本发明涉及计算成像技术领域，尤其涉及一种单光子三维重建方法、系统、设备及存储介质。
背景技术
主动三维成像技术被广泛运用于生物学，地质学，机器人和自动驾驶等领域。一个典型的主动三维成像系统包含：发射器，接收器，扫描装置和时间同步电路。一般地，发射器向场景中的物体发射电磁波（通常为激光），经过物体反射之后被接收器接收。通常，接收器需要在每个空间位置接收大约1000个光子才能较好地抑制噪声，获得较高精度的深度数据。然而，一些特殊应用，例如：超远距离动态场景成像，易损生物样本显微成像等，并不允许接收器获得如此多光子。因此，只需要少量光子（平均每个空间位置一个光子）即可成像的单光子成像技术应运而生，并在探测距离，成像速度，光子有效性和适应性等方面远超传统三维成像技术。
在单光子成像中，如何恢复可靠的场景深度信息，是目前单光子领域研究的热点课题。由于单光子系统接收到的信号光子数通常较少，且易受到环境中噪声光子数的干扰，所以单光子数据具有低（信号）光子量、低信噪比的特性，特别地，在远距离单光子成像系统中，由于距离太远，光斑效应会干扰成像质量。因此，在单光子深度重建中，低光子量、低信噪比和光斑成为影响深度重建质量的三个主要因素。目前，传统的重建算法通过研究单光子数据的统计特性并结合场景的空间相关性来重建深度信息，在高光子量、高信噪比场景下获得不错的重建性能，但却不能很好地适用于低光子量、低信噪比等场景。传统的重建算法主要包括：文献1（Kirmani, Ahmed, DheeraVenkatraman, Dongeek Shin, Andrea Colaço, Franco NC Wong, Jeffrey H. Shapiro, and Vivek K. Goyal. "First-photonimaging." Science, vol. 343, no. 6166, pp. 58-61, 2014.），文献2（Altmann,Yoann, Stephen McLaughlin, Miles J. Padgett, Vivek K. Goyal, Alfred O. Hero,and Daniele Faccio. "Quantum-inspired computational imaging." Science, vol.361, no. 6403, 2018.），文献3（Li, Zheng-Ping, Xin Huang, Yuan Cao, Bin Wang,Yu-Huai Li, WeijieJin, Chao Yu et al. "Single-photon computational 3D imagingat 45 km." Photonics Research 8, no. 9: 1532-1540, 2020），文献4（Shin, Dongeek,Ahmed Kirmani, Vivek K. Goyal, and Jeffrey H. Shapiro. "Photon-efficientcomputational 3-D and reflectivity imaging with single-photon detectors."IEEE Transactions on Computational Imaging, vol. 1, no. 2, pp. 112-125,2015.），文献5（Bar-David, Israel. "Communication under the Poisson regime."IEEE Transactions on Information Theory, vol. 15, no. 1, pp. 31-37, 1969.），文献6（Rapp, Joshua, and Vivek K. Goyal. "A few photons among many: Unmixingsignal and noise for photon-efficient active imaging." IEEE Transactions onComputational Imaging, vol. 3, no. 3, pp. 445-459, 2017.）。
除此之外，一些通过设计新的成像系统来提升重建精度的方法也很难解决低光子量、低信噪以及光斑比带来的问题。最近，基于学习的重建算法（Lindell, David B.,Matthew O'Toole, and Gordon Wetzstein. "Single-photon 3D imaging with deepsensor fusion." ACM Transactions on Graphics, vol. 37, no. 4, pp. 113-1,2018.）由于缺乏针对单光子数据特性而设计的网络结构，以及在训练过程中需要额外的场景反射率信息作为监督信息等问题，在重建性能和泛化能力上并不能超越部分传统的重建算法，更不能解决光斑带来的影响。
因此，现有的各项方案无法有效地完成低光子量、低信噪比和光斑影响情况下的场景深度和亮度重建。
发明内容
本发明的目的是提供一种单光子三维重建方法、系统、设备及存储介质，能够在低光子量、低信噪比和光斑影响情况下准确的重建出场景深度和亮度信息。
本发明的目的是通过以下技术方案实现的：
一种单光子三维重建方法，包括：
构建包含编码器、亮度解码器和深度解码器的重建网络，将单光子模拟数据输入至重建网络；所述编码器对输入的单光子模拟数据进行特征提取，获得单光子数据特征；所述亮度解码器通过单光子数据特征重建场景亮度图；所述深度解码器通过单光子数据特征重建场景深度图，并且从单光子模拟数据中提取噪声信息，重建噪声图；利用场景亮度图构建亮度解码器的损失函数，利用场景深度图与噪声图构建深度解码器的损失函数，以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数，综合所有损失函数对所述重建网络进行训练；
将待重建的单光子数据输入至训练后的重建网络，获得重建场景亮度图与重建场景深度图。
一种单光子三维重建系统，包括：
网络构建与训练单元，用于构建包含编码器、亮度解码器和深度解码器的重建网络，将单光子模拟数据输入至重建网络；所述编码器对输入的单光子模拟数据进行特征提取，获得单光子数据特征；所述亮度解码器通过单光子数据特征重建场景亮度图；所述深度解码器通过单光子数据特征重建场景深度图，并且从单光子数据特征中提取噪声信息，重建噪声图；利用场景亮度图构建亮度解码器的损失函数，利用场景深度图与噪声图构建深度解码器的损失函数，以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数，综合所有损失函数对所述重建网络进行训练；
单光子三维重建单元，用于将待重建的单光子数据输入至训练后的重建网络，获得重建场景亮度图与重建场景深度图。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，利用深度学习强大的建模能力发掘并利用单光子数据中的时间-空间相关性和噪声的统计特性，重建出更好的场景深度和亮度信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种单光子三维重建方法的示意图；
图2为本发明实施例提供的单光子成像系统的示意图；
图3为本发明实施例提供的高斯分布建模光斑的示意图；
图4为本发明实施例提供的时间相关性的分析示意图；
图5为本发明实施例提供的空间相关性的分析示意图；
图6为本发明实施例提供的合成数据上的深度重建可视化结果图；
图7为本发明实施例提供的合成数据上的亮度重建可视化结果图；
图8为本发明实施例提供的真实成像系统下深度重建可视化结果图；
图9为本发明实施例提供的真实成像系统下亮度重建可视化结果图；
图10为本发明实施例提供的一种单光子三维重建系统的示意图；
图11为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种单光子三维重建方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供了一种单光子三维重建方法，用以解决现有单光子成像方案中，低光子量、低信噪比和光斑影响情况下的场景深度和亮度信息重建精度不佳的问题。该方法主要包括：构建包含编码器、亮度解码器和深度解码器的重建网络，将单光子模拟数据输入至重建网络；所述编码器对输入的单光子模拟数据进行特征提取，获得单光子数据特征；所述亮度解码器通过单光子数据特征重建场景亮度图；所述深度解码器通过单光子数据特征重建场景深度图，并且从单光子模拟数据中提取噪声信息，重建噪声图；利用场景亮度图构建亮度解码器的损失函数，利用场景深度图与噪声图构建深度解码器的损失函数，以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数，综合所有损失函数对重建网络进行训练；将待重建的单光子数据输入至训练后的重建网络，获得重建场景亮度图与重建场景深度图。
如图1所示，展示了上述方法的主要原理，主要介绍如下：
（1）训练阶段。
将单光子模拟数据输入至编码器（Encoder），经编码器中的特征提取模块（Feature Extraction）、非局部模块（Non-local）与三维密集融合模块（FeatureIntegration）依次处理，获得单光子数据特征F。单光子数据特征F分别输入至亮度解码器（Intensity Decoder）和深度解码器（Depth Decoder）。亮度解码器包括：多个第一特征融合子模块和亮度重建模块；其中，单光子数据特征依次经过多个第一特征融合子模块进行处理，最后一个第一特征融合子模块输出的特征经亮度重建模块处理，重建出场景亮度图。深度解码器包括：多个第二特征融合子模块、噪声先验模块和深度重建模块；其中，单光子数据特征依次经过多个第二特征融合子模块进行处理，最后一个第二特征融合子模块输出的特征经深度重建模块处理，重建出场景深度图；噪声先验模块利用单光子模拟数据与所述深度重建模块在重建场景深度图过程中获得的重建的深度特征数据，获得重建噪声图。
下面针对重建网络各个部分做详细的说明。
还参见图1，矩形中的C表示三维卷积层，矩形中的D表示三维空洞卷积层，矩形中的DS表示降采样层，矩形中的DE表示三维反卷积层，圆形中的C表示拼接操作，圆形中的M表示矩阵乘操作，圆形中的R表示残差连接，后面的数字均表示对应操作的卷积核大小。
（A）编码器。
特征提取模块包括多个三维卷积层和三维空洞卷积层，构成两个支路，每个支路包括依次连接的三维卷积层和三维空洞卷积层，或者依次连接的三维空洞卷积层和三维卷积层；输入的单光子模拟数据进入每一支路，所有支路的输出在通道维度上进行拼接，作为特征提取模块的输出特征。
非局部模块包括多个三维卷积层，构成多层次的三维卷积层；特征提取模块输出的特征先经过第一个层次的三维卷积层后，进入第二个层次的三维卷积层，第二个层次的三维卷积层中，每一个三维卷积层的输出分别经过向量化，不同三维卷积层的向量化结果进行矩阵相乘运算，或者三维卷积层的向量化结果与其他三维卷积层之间的矩阵相乘运算结果进行矩阵相乘运算，最终获得一个矩阵相乘运算结果，通过第三个层次的三维卷积层后与特征提取模块输出的特征拼接之后作为非局部模块的输出特征。
三维密集融合模块包括：降采样层、多个三维卷积层与多个三维空洞卷积层；其中，多个三维卷积层和三维空洞卷积层，构成多个支路，每个支路包括依次连接的三维卷积层和三维空洞卷积层，或者依次连接的三维空洞卷积层和三维卷积层，所有支路输入连接同一个三维卷积层，称为入口三维卷积层，所有支路输出连接同一个三维卷积层，称为出口三维卷积层；非局部模块的输出特征经过依次降采样层与入口三维卷积层后进入每一支路，所有支路的输出进入出口三维卷积层在通道维度上进行拼接后经过两个三维卷积层，在第二个三维卷积层处与降采样层的输出特征拼接，作为三维密集融合模块的输出。
需要说明的是，编码器中设有多个（例如，10个）串联的三维密集融合模块，用于提取深层特征。第一个三维密集融合模块的输入为非局部模块的输出特征，之后，每一个三维密集融合模块的输入为前一个三维密集融合模块的输出，最后一个三维密集融合模块的输出即为编码器的输出F。
（B）亮度解码器。
亮度解码器包括：多个第一特征融合子模块（即去掉降采样层的三维密集融合模块）和亮度重建模块，输入的深层特征（单光子数据特征）首先经过多个第一特征融合子模块依次处理，以降低与深度解码器之间的相互耦合。之后，亮度重建模块利用最后一个第一特征融合子模块输出的特征中重建场景亮度图。
亮度重建模块主要由卷积核为6的反卷积和softmax操作组成，输入的特征经过卷 积核为6的反卷积重建具有原始时间维度的亮度特征数据
Figure 549577DEST_PATH_IMAGE001
，并通过softmax操作生 成（重建）亮度图
Figure 616890DEST_PATH_IMAGE002
。
理想情况下，该特征只含有信号光子，因此，每个位置处统计直方图的最大值就对应该点的亮度，表示为：
Figure 696842DEST_PATH_IMAGE003
其中，
Figure 988146DEST_PATH_IMAGE004
表示重建亮度图
Figure 222556DEST_PATH_IMAGE002
位置点
Figure 890297DEST_PATH_IMAGE005
处的亮度值，
Figure 762438DEST_PATH_IMAGE006
表示重建 的亮度特征数据
Figure 490223DEST_PATH_IMAGE007
中位置点
Figure 713394DEST_PATH_IMAGE005
处的特征值，n表示第n次探测，每一次探测对应 一个单光子模拟数据，也就是说，
Figure 184827DEST_PATH_IMAGE007
是第n次探测对应的单光子模拟数据的重建的亮 度特征数据。
（C）深度解码器。
深度解码器主要由多个第二特征融合子模块（即去掉降采样层的三维密集融合模块）、噪声先验模块和深度重建模块。输入的深层特征（单光子数据特征）首先经过多个第二特征融合子模块依次处理，以降低与亮度解码器之间的相互影响。之后，深度重建模块用于重建场景深度图；而噪声先验模块用于重建噪声图以帮助提升深度重建性能。
深度重建模块主要由卷积核为6的反卷积和可微的argmax 操作组成，输入的特征 经过卷积核为6的反卷积重建出具有原始时间维度的深度特征数据
Figure 177053DEST_PATH_IMAGE008
，并通过可微 的argmax 操作生成（重建）深度图
Figure 810160DEST_PATH_IMAGE009
，表示为：
Figure 19162DEST_PATH_IMAGE010
其中，
Figure 763127DEST_PATH_IMAGE011
表示重建深度图
Figure 609861DEST_PATH_IMAGE009
位置点
Figure 679448DEST_PATH_IMAGE005
处的深度值，
Figure 611632DEST_PATH_IMAGE012
表示重 建的深度特征数据
Figure 424867DEST_PATH_IMAGE013
中位置点
Figure 126107DEST_PATH_IMAGE005
处的特征值，n表示第n次探测，每一次探测对 应一个单光子模拟数据，即
Figure 366595DEST_PATH_IMAGE013
为根据第n次探测对应的单光子模拟数据重建的深度 特征数据（它是一个中间数据）。
噪声先验模块通过利用噪声光子的统计特性，帮助提升深度的重建性能。具体而 言，单光子数据由噪声光子和信号光子构成，理想情况下中只含有信号光子，所以利用残差 学习从单光子模拟数据与重建的深度特征数据
Figure 582813DEST_PATH_IMAGE013
（二者的差值）中提取噪声特征数 据，并生成二维的噪声图
Figure 432695DEST_PATH_IMAGE014
，表示为：
Figure 254020DEST_PATH_IMAGE015
其中，
Figure 665410DEST_PATH_IMAGE016
表示深度图
Figure 572186DEST_PATH_IMAGE014
位置点
Figure 461645DEST_PATH_IMAGE005
处的噪声值，mean函数用于求取 平均值，
Figure 137477DEST_PATH_IMAGE017
表示噪声特征数据
Figure 719768DEST_PATH_IMAGE018
中位置点
Figure 910578DEST_PATH_IMAGE005
处的特征值，
Figure 603727DEST_PATH_IMAGE018
是第n 次探测对应的单光子模拟数据的噪声特征数据。
为了更好地训练网络，分别在输出的深度图，亮度图和噪声图上计算损失函数。对于深度解码器（Depth Decoder），使用KL散度，二阶欧式距离以及在噪声图上的TV损失函数约束网络以获得更好的深度图。对于亮度解码器（Intensity Decoder），使用一阶欧式距离约束网络以获得更好的亮度图。由于编码器为深度解码器和亮度解码器提供了相同的深层特征，因此结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数。
（2）测试阶段。
测试阶段的主要流程与训练阶段相同，区别主要在于移除了深度解码器中的残差模块，也即无需重建噪声图，由训练后的深度解码器与亮度解码器根据训练后的编码器输出的单光子数据特征重建场景深度图与场景亮度图（单光子三维重建）。
本发明实施例上述方案，基于单光子数据中含有的时间-空间相关性，通过利用非局部模块和深层网络结构提取并利用了数据中的相关性。同时，还分析了单光子数据中的噪声统计特性，通过设计对应的损失函数，从而实现了对噪声先验的利用，并进一步提升了算法的重建性能。总的来说，本方法通过设计多分支结构的重建网络，利用了单光子数据中的时间-空间相关性以及噪声的统计特性实现了对场景深度和亮度信息的重建。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面从成像系统原理、重建网络原理、以及对比测试三个部分进行介绍。
一、成像系统原理。
1、前向模型构建。
单光子成像系统结构如图2所示。发射端的激光光源（laser source）向场景中坐 标为
Figure 921618DEST_PATH_IMAGE005
的位置点发射周期为
Figure 409231DEST_PATH_IMAGE019
的激光
Figure 290599DEST_PATH_IMAGE020
，由于有光斑效应的存在，发射的激光会 覆盖场景中一定范围的区域。
本领域技术人员可以理解，单光子成像系统是指一个硬件系统，前向模型是在数学上描述该单光子成像系统成像过程的表达式。
如图3所示，光斑可以用高斯分布进行建模，其中高斯分布的核为g xy 。当激光经过距离d到达物体表面之后会被反射，反射的光子量可以被描述为：
Figure 521860DEST_PATH_IMAGE021
其中，
Figure 172285DEST_PATH_IMAGE022
，g xy （.,.）表示二维的光斑核，FoV表示系统视场角在真实场景 中覆盖的区域，
Figure 893116DEST_PATH_IMAGE023
表示区域FoV中的位置点坐标，
Figure 996201DEST_PATH_IMAGE024
和
Figure 31153DEST_PATH_IMAGE025
分别表 示位置点
Figure 536084DEST_PATH_IMAGE023
处的反射率和深度，c为光速，
Figure 129614DEST_PATH_IMAGE026
表示频率为
Figure 719995DEST_PATH_IMAGE027
的噪声光子数。
上述反射的光子量也可以简写为：
Figure 558638DEST_PATH_IMAGE028
其中，g xy 为g xy （.,.）的简写，
Figure 980392DEST_PATH_IMAGE029
和
Figure 246289DEST_PATH_IMAGE030
为简写，分别表示位置点
Figure 323966DEST_PATH_IMAGE005
处的反射 率和深度。
检测端的SPAD（单光子雪崩二极管）器件会以一定的概率
Figure 435142DEST_PATH_IMAGE031
检测反射的光子，由于 SPAD器件存在一定的噪声，表示为
Figure 914664DEST_PATH_IMAGE032
，因此，SPAD检测器检测到的光子可以被描述为：
Figure 148200DEST_PATH_IMAGE033
因此，所以在一段时间内检测到的来自位置点
Figure 713173DEST_PATH_IMAGE005
处反射的光子数可以被描 述为：
Figure 392154DEST_PATH_IMAGE034
符号
Figure 726183DEST_PATH_IMAGE035
表示时间，它是一个积分变量；
Figure 68303DEST_PATH_IMAGE036
表示SPAD探测一次所需要的时间；n表示 第n次探测。
对应地在N次脉冲周期内接收到的信号光子满足：
Figure 120573DEST_PATH_IMAGE037
其中，
Figure 901447DEST_PATH_IMAGE038
表示在位置点
Figure 89983DEST_PATH_IMAGE005
处的时域统计直方图，P表示Poisson分布。
2、时空相关性分析。
时间相关性如图4所示，其中标记为A的点表示检测到的噪声光子，标记为B的点表示检测到信号光子。由于信号光子都来源于同一个分布的脉冲波，所以在时间上具有相关性，表现为在时间维度的聚集效应。而噪声光子于噪声光子，以及噪声光子和信号光子之间都相互无关，所以不具有相关性。空间相关性如图5所示，具有相似结构的图像块通常具有相似的深度信息，标记1~8分别指代不同的位置区域，图5中，标记1～8对应的8个位置区域之间有很大的相似性，但是它们属于不同的位置，说明了深度图在空间维度具有相似性。以上即单光子数据具有的时间-空间相关性。
3、噪声先验分析。
SPAD器件在每个脉冲周期只检测一个光子，所以满足低光子量的条件。因此噪声 光子的检测时间服从在
Figure 868583DEST_PATH_IMAGE039
上的均匀分布，且和空间位置和场景亮度无关，这被称为 噪声先验，在网络的训练中，本发明会利用这种先验帮助提升网络的重建精度。
二、重建网络的原理。
如之前所述，本发明实施例中通过编码器、亮度解码器与深度解码器的协作完成场景深度和亮度的重建。
为了更好地训练网络，为重建网络各个部分分别设计了对应的损失函数。
1、深度解码器的损失函数。
（1）如之前所述，场景深度图通过重建的深度特征数据生成，因此，先利用重建的深度特征数据计算KL散度：
Figure 408149DEST_PATH_IMAGE040
其中，
Figure 930397DEST_PATH_IMAGE041
表示归一化的无噪深度特征数据中位置点
Figure 471974DEST_PATH_IMAGE005
处的特征值（已知 信息），
Figure 421476DEST_PATH_IMAGE042
表示重建的深度特征数据中位置点
Figure 448338DEST_PATH_IMAGE005
处的特征值（它属于深度解码器的 中间输出数据，具体计算方式参见前文的介绍），n表示第n次探测，每一次探测对应一个单 光子模拟数据；即
Figure 508698DEST_PATH_IMAGE043
、
Figure 468563DEST_PATH_IMAGE044
分别为第n次探测对应的归一化的无噪深度特征数 据中位置点
Figure 854545DEST_PATH_IMAGE005
处的特征值、重建的深度特征数据中位置点
Figure 103124DEST_PATH_IMAGE005
处的特征值；
Figure 701596DEST_PATH_IMAGE045
表示
Figure 984809DEST_PATH_IMAGE041
与
Figure 72851DEST_PATH_IMAGE042
的KL散度。
（2）计算二阶欧式距离：
Figure 307261DEST_PATH_IMAGE046
其中，
Figure 975003DEST_PATH_IMAGE047
表示真实的场景深度图（已知信息），
Figure 112723DEST_PATH_IMAGE048
表示重建的场景深度图，
Figure 247032DEST_PATH_IMAGE049
表示
Figure 470203DEST_PATH_IMAGE047
与
Figure 676057DEST_PATH_IMAGE048
的二阶欧式距离。
（3）计算噪声图上的TV（Total Variation，全变分项）约束：
Figure 465021DEST_PATH_IMAGE050
其中，
Figure 862242DEST_PATH_IMAGE051
表示重建的噪声图。
综合以上三部分，深度解码器的损失函数
Figure 572709DEST_PATH_IMAGE052
表示为：
Figure 316674DEST_PATH_IMAGE053
其中，
Figure 428987DEST_PATH_IMAGE054
与
Figure 232995DEST_PATH_IMAGE055
均为权重系数。
2、亮度解码器的损失函数。
（1）计算一阶欧式距离：
Figure 165179DEST_PATH_IMAGE056
其中，
Figure 712835DEST_PATH_IMAGE057
表示真实的场景亮度图（已知信息），
Figure 679654DEST_PATH_IMAGE058
表示重建的场景亮度图，
Figure 418677DEST_PATH_IMAGE059
表 示
Figure 838157DEST_PATH_IMAGE057
与
Figure 189504DEST_PATH_IMAGE058
的一阶欧式距离；
（2）计算结构相似性约束：
Figure 10830DEST_PATH_IMAGE060
其中，
Figure 218957DEST_PATH_IMAGE061
表示
Figure 125733DEST_PATH_IMAGE057
与
Figure 15192DEST_PATH_IMAGE058
的结构相似性，
Figure 956603DEST_PATH_IMAGE062
表示
Figure 273315DEST_PATH_IMAGE057
与
Figure 165922DEST_PATH_IMAGE058
的结构相似性约 束；
综合以上两部分，亮度解码器的损失函数
Figure 859072DEST_PATH_IMAGE063
表示为：
Figure 389410DEST_PATH_IMAGE064
其中，
Figure 142603DEST_PATH_IMAGE065
为权重系数。
3、编码器的损失函数。
由于编码器为深度解码器和亮度解码器提供了相同的深层特征，故用于训练编码器的损失函数为：
Figure 23971DEST_PATH_IMAGE066
其中，
Figure 520811DEST_PATH_IMAGE067
表示编码器的损失函数，
Figure 171236DEST_PATH_IMAGE068
为权重系数。
本发明实施例中，综合所有损失函数对重建网络进行训练，即以上三个部分的损失函数加在一起（构成总的训练损失函数）进行训练，参数更新时，使用对应的损失函数更新重建网络的对应部分，即深度解码器的损失函数用于更新深度解码器的参数，亮度解码器的损失函数用于更新亮度解码器的参数，编码器的损失函数用于更新编码器的参数；此部分所涉及的参数更新流程可参照常规技术实现，本发明不做赘述。
本发明实施例中，各个权重系数的具体数值可以由用户根据实际情况或者经验进行设定，本发明不对权值系数的具体数值进行限定。
重建网络在模拟数据上进行训练，模拟数据可以利用前述公式
Figure 626488DEST_PATH_IMAGE069
合成，当总的训练损失函数收敛，则表示训练完毕。训练完 毕后的重建网络可以用于不同类型的数据（不同类型的成像系统采集的数据，包括远距离 成像系统和近距离成像系统）和测试场景。
三、对比测试。
1、为了说明本发明上述方案的有效性，在合成数据（即利用前文提供的方式合成出的数据）上分别测试了网络重建的深度和亮度的特性。
作为对比的现有方案主要包括：LM Filter：基于最大似然准则的滤波算法，可以重建深度和亮度信息。Shin：利用自然场景的局部一致性，可以重建深度和亮度信息的算法。Rapp：基于自适应滤波的算法，可以重建深度和亮度信息。Lindell：基于神经网络的算法，并将重建问题建模成分类问题，但只能重建深度信息，不能处理光斑效应；Lindell_I属于Lindell的方法，但是Lindell_I使用了额外的亮度信息。Peng：基于非局部神经网络的算法，只能重建深度信息，不能处理光斑效应。Li：基于自适应滤波的算法，可以重建深度和亮度信息并能够处理光斑效应。Tan ：基于多尺度网络的算法，可以处理光斑效应，但只能重建深度信息。
（1）深度重建对比测试。
深度重建结果如表1所示，从表1中可以看出，该方法相对于对比方法都在所有的噪声水平上都获得了最好的效果，并在平均上获得了相对于Tan和Rapp 约26%和57%的提升。
表1：深度重建结果
Figure 995152DEST_PATH_IMAGE070
深度重建的可视化的结果如图6所示，图6中：第一行光斑尺寸为3×3，第二行光斑尺寸为5×5，第三行光斑尺寸为7×7，单位：米；从左至右的9列可视化结果分别对应于LMFilter、Shin、Rapp、Li、Lindell、Lindell_Ⅰ、Tan、本发明的方法（Ours）、GT（真实标签，此处对应于真实深度）；每一可视化结果下方的信息为均方根误差（RMSE），同等条件下，数值越小表示重建效果越好。从图6所示的结果可见，本发明提供的方法重建出了相对于对比方法更为接近重建真实深度的结果，并且这种优势在大光斑情况下更加明显。
（2）亮度重建对比测试。
亮度重建结果如表2所示，从表2中可以看出，该方法相对于对比方法在所有的噪声水平上都获得了最好的效果，并在平均上获得了相对于Tan和Rapp约43%和44%的提升。
表2：亮度重建结果
Figure 528639DEST_PATH_IMAGE071
亮度重建的可视化的结果如图7所示。图7中：第一行光斑尺寸为3×3，第二行光斑尺寸为5×5，第三行光斑尺寸为7×7，单位：米；从左至右的8列可视化结果分别对应于LMFilter、Shin、Rapp、Li、Lindell、Tan、本发明的方法（Ours）、GT（真实标签，此处对应于真实亮度）；每一可视化结果下方的信息为均方根误差（RMSE），同等条件下，数值越小表示重建效果越好。从图7所示的结果可见，本发明提供的方法重建出了相对于对比方法更为接近重建真实亮度的结果，并且这种优势在大光斑情况下更加明显。
2、同样的，测试了本发明的方法在真实成像系统下的性能，重建的深度和亮度结果如图8，图9所示。图8中：第一行展示测试对象为大象的可视化结果，第二行展示测试对象为灯的可视化结果，从左至右的8列可视化结果分别对应于LM Filter、Shin、Rapp、Lindell、Lindell_Ⅰ、peng、本发明的方法（Ours）、真实的灰度图（Intensity）。图9中：第一行展示测试对象为大象的可视化结果，第二行展示测试对象为灯的可视化结果，从左至右的8列可视化结果分别对应于原始观测数据（Measurement）、LM Filter、Shin、Rapp、Lindell、peng、本发明的方法（Ours）、真实的灰度图（Intensity）。从图8和图9可以看出，本发明的方法重建了相对于对比方法更加精确的场景深度和亮度信息，且具有更少的伪影和误差。
实施例二
本发明还提供一种单光子三维重建系统，其主要基于前述实施例一提供的方法实现，如图10所示，该系统主要包括：
网络构建与训练单元，用于构建包含编码器、亮度解码器和深度解码器的重建网络，将单光子模拟数据输入至重建网络；所述编码器对输入的单光子模拟数据进行特征提取，获得单光子数据特征；所述亮度解码器通过单光子数据特征重建场景亮度图；所述深度解码器通过单光子数据特征重建场景深度图，并且从单光子数据特征中提取噪声信息，重建噪声图；利用场景亮度图构建亮度解码器的损失函数，利用场景深度图与噪声图构建深度解码器的损失函数，以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数，综合所有损失函数对所述重建网络进行训练；
单光子三维重建单元，用于将待重建的单光子数据输入至训练后的重建网络，获得重建场景亮度图与重建场景深度图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图11所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准 。

Claims (9)

1.一种单光子三维重建方法，其特征在于，包括：
构建包含编码器、亮度解码器和深度解码器的重建网络，将单光子模拟数据输入至重建网络；所述编码器对输入的单光子模拟数据进行特征提取，获得单光子数据特征；所述亮度解码器通过单光子数据特征重建场景亮度图；所述深度解码器通过单光子数据特征重建场景深度图，并且从单光子模拟数据中提取噪声信息，重建噪声图；利用场景亮度图构建亮度解码器的损失函数，利用场景深度图与噪声图构建深度解码器的损失函数，以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数，综合所有损失函数对所述重建网络进行训练；其中，所述编码器包括依次设置的特征提取模块、非局部模块与三维密集融合模块，所述非局部模块包括多个三维卷积层；
将待重建的单光子数据输入至训练后的重建网络，获得重建场景亮度图与重建场景深度图；
其中，所述利用场景深度图与噪声图构建深度解码器的损失函数包括：
所述场景深度图通过重建的深度特征数据生成，所述重建的深度特征数据为重建场景深度图过程中获得的中间数据，利用重建的深度特征数据计算KL散度：
Figure 699096DEST_PATH_IMAGE001
其中，
Figure 384155DEST_PATH_IMAGE002
为已知信息，表示归一化的无噪深度特征数据中位置点
Figure 735502DEST_PATH_IMAGE003
处的特征 值；
Figure 556827DEST_PATH_IMAGE004
表示重建的深度特征数据中位置点
Figure 201173DEST_PATH_IMAGE003
处的特征值，n表示第n次探测，每一次 探测对应一个单光子模拟数据，
Figure 107949DEST_PATH_IMAGE005
、
Figure 262987DEST_PATH_IMAGE006
分别为第n次探测对应的归一化的无 噪深度特征数据中位置点
Figure 735557DEST_PATH_IMAGE003
处的特征值、重建的深度特征数据中位置点
Figure 317848DEST_PATH_IMAGE003
处的 特征值；
Figure 711920DEST_PATH_IMAGE007
表示
Figure 405069DEST_PATH_IMAGE002
与
Figure 200987DEST_PATH_IMAGE004
的相对熵；
计算二阶欧式距离：
Figure 688600DEST_PATH_IMAGE008
其中，
Figure 802924DEST_PATH_IMAGE009
表示真实的场景深度图，
Figure 96503DEST_PATH_IMAGE010
表示重建的场景深度图，
Figure 746927DEST_PATH_IMAGE011
表示
Figure 671020DEST_PATH_IMAGE009
与
Figure 39685DEST_PATH_IMAGE010
的二阶欧式距离；
计算噪声图上的TV约束：
Figure 543478DEST_PATH_IMAGE012
其中，
Figure 782830DEST_PATH_IMAGE013
表示重建的噪声图，TV为全变分项；
最终深度解码器的损失函数
Figure 877825DEST_PATH_IMAGE014
表示为：
Figure 264944DEST_PATH_IMAGE015
其中，
Figure 625560DEST_PATH_IMAGE016
与
Figure 250576DEST_PATH_IMAGE017
均为权重系数。
2.根据权利要求1所述的一种单光子三维重建方法，其特征在于，所述输入的单光子模拟数据经特征提取模块、非局部模块与三维密集融合模块依次处理，获得单光子数据特征。
3.根据权利要求1所述的一种单光子三维重建方法，其特征在于，所述亮度解码器包括：多个第一特征融合子模块和亮度重建模块；其中，所述单光子数据特征依次经过多个第一特征融合子模块进行处理，最后一个第一特征融合子模块输出的特征经亮度重建模块处理，重建出场景亮度图。
4.根据权利要求1所述的一种单光子三维重建方法，其特征在于，所述深度解码器包括：多个第二特征融合子模块、噪声先验模块和深度重建模块；其中，所述单光子数据特征依次经过多个第二特征融合子模块进行处理，最后一个第二特征融合子模块输出的特征经深度重建模块处理，重建出场景深度图；噪声先验模块利用单光子模拟数据与所述深度重建模块在重建场景深度图过程中获得的重建的深度特征数据，获得重建噪声图。
5.根据权利要求1所述的一种单光子三维重建方法，其特征在于，利用场景亮度图构建亮度解码器的损失函数包括：
计算一阶欧式距离：
Figure 516472DEST_PATH_IMAGE018
其中，
Figure 328570DEST_PATH_IMAGE019
表示真实的场景亮度图，
Figure 705325DEST_PATH_IMAGE020
表示重建的场景亮度图，
Figure 184848DEST_PATH_IMAGE021
表示
Figure 621646DEST_PATH_IMAGE019
与
Figure 983357DEST_PATH_IMAGE020
的一阶欧 式距离；
计算结构相似性约束：
Figure 163802DEST_PATH_IMAGE022
其中，
Figure 261946DEST_PATH_IMAGE023
表示
Figure 604066DEST_PATH_IMAGE019
与
Figure 390756DEST_PATH_IMAGE020
的结构相似性，
Figure 374893DEST_PATH_IMAGE024
表示
Figure 625745DEST_PATH_IMAGE019
与
Figure 404346DEST_PATH_IMAGE020
的结构相似性约 束；
最终亮度解码器的损失函数
Figure 412753DEST_PATH_IMAGE025
表示为：
Figure 935001DEST_PATH_IMAGE026
其中，
Figure 243623DEST_PATH_IMAGE027
为权重系数。
6.根据权利要求1所述的一种单光子三维重建方法，其特征在于，所述结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数表示为：
Figure 691659DEST_PATH_IMAGE028
其中，
Figure 515259DEST_PATH_IMAGE029
表示编码器的损失函数，
Figure 575619DEST_PATH_IMAGE030
表示深度解码器的损失函数，
Figure 4326DEST_PATH_IMAGE031
表示亮度解码器 的损失函数，
Figure 859150DEST_PATH_IMAGE032
为权重系数。
7.一种单光子三维重建系统，其特征在于，基于权利要求1~6任一项所述的方法实现，该系统包括：
网络构建与训练单元，用于构建包含编码器、亮度解码器和深度解码器的重建网络，将单光子模拟数据输入至重建网络；所述编码器对输入的单光子模拟数据进行特征提取，获得单光子数据特征；所述亮度解码器通过单光子数据特征重建场景亮度图；所述深度解码器通过单光子数据特征重建场景深度图，并且从单光子数据特征中提取噪声信息，重建噪声图；利用场景亮度图构建亮度解码器的损失函数，利用场景深度图与噪声图构建深度解码器的损失函数，以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数，综合所有损失函数对所述重建网络进行训练；
单光子三维重建单元，用于将待重建的单光子数据输入至训练后的重建网络，获得重建场景亮度图与重建场景深度图。
8.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~6任一项所述的方法。
9.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~6任一项所述的方法。
CN202210958881.2A 2022-08-11 2022-08-11 单光子三维重建方法、系统、设备及存储介质 Active CN115222790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210958881.2A CN115222790B (zh) 2022-08-11 2022-08-11 单光子三维重建方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210958881.2A CN115222790B (zh) 2022-08-11 2022-08-11 单光子三维重建方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115222790A CN115222790A (zh) 2022-10-21
CN115222790B true CN115222790B (zh) 2022-12-30

Family

ID=83615339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210958881.2A Active CN115222790B (zh) 2022-08-11 2022-08-11 单光子三维重建方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115222790B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767468A (zh) * 2021-02-05 2021-05-07 中国科学院深圳先进技术研究院 基于协同分割与数据增强的自监督三维重建方法及系统
CN114692509A (zh) * 2022-04-21 2022-07-01 南京邮电大学 基于多阶段退化神经网络的强噪声单光子三维重建方法
CN114782628A (zh) * 2022-04-25 2022-07-22 西安理工大学 基于深度相机的室内实时三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3188033B1 (en) * 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
US11783518B2 (en) * 2019-09-30 2023-10-10 Lawrence Livermore National Security, Llc Few-view computed tomography reconstruction using deep neural network inference

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767468A (zh) * 2021-02-05 2021-05-07 中国科学院深圳先进技术研究院 基于协同分割与数据增强的自监督三维重建方法及系统
CN114692509A (zh) * 2022-04-21 2022-07-01 南京邮电大学 基于多阶段退化神经网络的强噪声单光子三维重建方法
CN114782628A (zh) * 2022-04-25 2022-07-22 西安理工大学 基于深度相机的室内实时三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Learning Based Single-Photon 3D Imaging with Multiple Returns;Hao Tan等;《2020 International Conference on 3D Vision (3DV)》;20220119;1196-1205 *
基于噪声水平估计的低剂量螺旋CT投影数据恢复;和法伟等;《南方医科大学学报》;20220630;第42卷(第6期);849-859 *

Also Published As

Publication number Publication date
CN115222790A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
Ichnowski et al. Dex-NeRF: Using a neural radiance field to grasp transparent objects
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Riegler et al. Octnetfusion: Learning depth fusion from data
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
JP2019518268A (ja) 日常シーン復元エンジン
CN111043988B (zh) 一种基于图形学和深度学习的单张条纹投影测量方法
CN114692509B (zh) 基于多阶段退化神经网络的强噪声单光子三维重建方法
Hamida et al. Deep learning for semantic segmentation of remote sensing images with rich spectral content
CN104318546A (zh) 一种基于多尺度分析的温室田间植物叶片边缘提取方法及其系统
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
Condorelli et al. A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images
Nakashima et al. Learning to drop points for lidar scan synthesis
Mukhaimar et al. Robust object classification approach using spherical harmonics
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
CN112633123B (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN115222790B (zh) 单光子三维重建方法、系统、设备及存储介质
CN113160210A (zh) 基于深度相机的排水管道缺陷检测方法及装置
CN114022742A (zh) 红外与可见光图像融合方法、装置及计算机存储介质
CN116206196B (zh) 一种海洋低光环境多目标检测方法及其检测系统
CN110363863B (zh) 一种神经网络的输入数据生成方法和系统
Sandström et al. Learning online multi-sensor depth fusion
Forbes et al. Deep autoencoders with aggregated residual transformations for urban reconstruction from remote sensing data
CN115496788A (zh) 一种使用空域传播后处理模块的深度补全方法
Shinohara et al. Semantic segmentation for full-waveform LiDAR data using local and hierarchical global feature extraction
CN113240604A (zh) 基于卷积神经网络的飞行时间深度图像的迭代优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant