CN115825983A - 基于在线标定的现场非视域成像方法、装置、设备和介质 - Google Patents
基于在线标定的现场非视域成像方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN115825983A CN115825983A CN202210871698.9A CN202210871698A CN115825983A CN 115825983 A CN115825983 A CN 115825983A CN 202210871698 A CN202210871698 A CN 202210871698A CN 115825983 A CN115825983 A CN 115825983A
- Authority
- CN
- China
- Prior art keywords
- relay
- hidden
- transient
- relay surface
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 32
- 230000001052 transient effect Effects 0.000 claims abstract description 117
- 230000000007 visual effect Effects 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000010226 confocal imaging Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000011478 gradient descent method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 26
- 239000000523 sample Substances 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000002310 reflectometry Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- GHMWZRWCBLXYBX-UHFFFAOYSA-M sodium;4-chlorobenzoate Chemical compound [Na+].[O-]C(=O)C1=CC=C(Cl)C=C1 GHMWZRWCBLXYBX-UHFFFAOYSA-M 0.000 claims description 2
- 238000011065 in-situ storage Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004088 simulation Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000001161 time-correlated single photon counting Methods 0.000 description 3
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 229920000877 Melamine resin Polymers 0.000 description 1
- 235000005121 Sorbus torminalis Nutrition 0.000 description 1
- 244000152100 Sorbus torminalis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- JDSHMPZPIAZGSV-UHFFFAOYSA-N melamine Chemical compound NC1=NC(N)=NC(N)=N1 JDSHMPZPIAZGSV-UHFFFAOYSA-N 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供的一种基于在线标定的现场非视域成像方法、装置、设备和介质，通过将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。本申请可将现场扫描时获得的瞬态解耦为可视域和隐藏分量，避免使用镜子或棋盘格等辅助标定设备；用户在线标定振镜和中继面后，能够调整扫描区域模式，通过Gamma图预览，可以定义任意扫描模式以测量不同的隐藏场景，并支持任意扫描模式的输入瞬态用于NLOS重建。
Description
技术领域
本发明涉及非视域成像技术领域，特别是涉及一种基于在线标定的现场非视域成像方法、装置、设备和介质。
背景技术
人们越来越关注部署非视域(NLOS)成像系统来重建障碍物后面的物体。非视域(Non-line-of-sight,NLOS)成像旨在重建传感器直接探测范围(视线)之外的物体。大多数主动非视域成像使用超快脉冲激光，并控制激光束指向中继表面(例如墙壁)。光子会经历三次反射：离开中继面、离开隐藏物体、再从中继面返回。然后使用时间分辨探测器采集三次反射中第一次和第三次反射的光子，记录达到时间和光子数信息。
如图1展示了NLOS成像采集系统常规设置的俯视图。第一次反射对应于可视域的直接反射，能从中重建中继面的几何与反射率等。移除或屏蔽第一次反射的光子后，第三次反射的光子可用于重建并定位隐藏物体。非视域成像技术有许多潜在的应用，包括自动驾驶、遥感和生物医学成像等。
为了提升NLOS重建的质量，研究者们改进了硬件和采集系统，做出了巨大贡献。对于硬件部分，发展方向的重点是使用更精确、价格更合理的探测器和激光器。例如条纹相机提供了低至2ps的精确时间分辨率(对应0.6mm的空间分辨率)，开创了NLOS成像的先河。然而，这样的摄像机造价极其昂贵，同时在非线性时空变换下难以进行标定。再例如光子混频器(PMD)具有小型化、低成本等优势，但是只能提供纳秒量级的时间分辨率。
近年来，单光子雪崩二极管(SPAD)已成为一种经济而方便的替代品。利用带有时间相关单光子计数(TCSPC)模块的单像素SPAD在探测点上生成光子计数与时间间隔(4ps)的直方图。在激光前端，使用皮秒或飞秒脉冲激光照亮继电器表面上的一个点，并出发脉冲信号并与探测器同步，以记录返回光子的到达时间。激光器的特性，如平均功率和重复频率，会影像采集时间和测量的效果。
尽管有着这些改进，但是构建一个系统仍然需要精心校准，以获取准确的瞬态和扫描点的三维坐标等信息。在一个典型的NLOS系统中，大多数重建算法都采用了由N×N个等间距点组成的均匀网格扫描的办法。然而，在NLOS成像中使用非均匀采样逐渐成为了新的趋势，在这个方法下测量系统需要进行重新校准。此外，在实际测量中，遮挡物和隐藏物体的位置和方向的变化也很常见，这也需要重新校准。
现有的解决方案通常在扫描隐藏物体之前预先标定系统。探测器-中继面相对位置、隐藏物体位置和方向以及扫描模式的现场调整需要对系统重新标定。到目前为止，几乎现存所有的NLOS校准方案都需要辅助设备。例如，可以使用棋盘格来获取摄像机的内外参数，或使用与摄像机耦合的规则栅栏网格点来获取栅格点的三维坐标。替代方案包括使用反射镜建立激光点和探测点的对应关系，以同时估算反射镜平面和中继墙位置。当扫描点重新选择，或者中继墙表面相对于系统的位置发生改变时，如上所述方法需要重新标定，而这些方法既耗力又耗时，有很大弊端。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于在线标定的现场非视域成像方法、装置、设备和介质，以解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请提供一种基于在线标定的现场非视域成像方法，所述方法包括：将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
于本申请的一实施例中，所述采集系统包括：硬件模块、LOS模块和NLOS模块；所述硬件模块，包括：脉冲激光器、作为探测器的SPAD、分束器、振镜及控制器；所述LOS模块，用于将硬件模块和中继面进行关联，并对应于瞬态的LOS分量；其中，利用所述LOS模块定义中继面、扫描模式和可测量的边界框，以探测位于边界框内的隐藏物体；所述NLOS模块，用于收集在中继面和隐藏物体之间传播的球面光波，并包含有关隐藏对象的信息以进行重建。
于本申请的一实施例中，所述瞬态数据包括：
≤(t；o,l,s,d)＝Γ(s)∫Pδ(t-(to→l+tl→p+tp→s+ts→d))f(p；ωl→p,ωp→s)g(p；l,s)dAp；
于本申请的一实施例中，所述方法包括：SPAD记录的数据建模为：τSPAD＝Pois(τ*j+b)；j(t；μ,σ,κ0,κ1,γ)＝Gaus(t,μ,σ)+γExp(t；μ,κ0,κ1)；
其中，SPAD表示作为探测器的单光子雪崩二极管；τ表示瞬态数据；Pois泊松似然函数；j表示整个系统的时间抖动，时间抖动包括Gaus表示的高斯峰和Exp(t；μ,κ0,κ1)表示的指数尾两部分；μ,σ,κ0,κ1表示时间抖动的相关参数，γ表示指数尾的权重；b表示SPAD背景噪声；计算多个探测点的时间抖动，取平均值作为所述采集系统的时间抖动。
于本申请的一实施例中，所述方法包括：重对齐每个探测点的瞬态数据，使得中继面直接反射光子的达到时间位于零时刻；使用Gamma图，对瞬态数据τ(t；s)进行归一化，以增强获取质量；应用维纳滤波对瞬态数据τSPAD进行降噪：
其中，
和
分别代表τ(t；s)和τSPAD(t；s)的傅里叶变换；v是频率；频域的维纳滤波核
通过时间抖动的傅里叶变换
和信噪比η计算：
于本申请的一实施例中，所述将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量，包括：当照射点o和探测点d重合构成共焦时，所述瞬态数据简化为：τ(t；o,s)＝Γ(s)∫Pδ(t-2(to→s+ts→p))f(p；ωp→s)g(p；s)dAp；τhidden(t；s)＝∫Pδ(t-2ts→p)f(p；ωp→s)g(p；s)dAp；τLOS(t；o,s)＝Γ(s)δ(t-2to→s)；其中，τ(t；o,s)包含：τLOS(t；o,s)沿着中继面和探测器之间的直接光路的可视域瞬态分量、τhidden(t；s)沿着中继面和隐藏物体之间的间接光路的隐藏瞬态分量。
于本申请的一实施例中，所述基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建，包括：基于隐藏物体P是完全漫反射，并且隐藏物体P和中继面之间不存在遮挡，同时也不考虑出隐藏物体P表面之间的相互反射，衰减项g(p；s)可视为
双向反射函数f(p；ωp→s)与视角无关，可写为f(p)，τhidden(t；s)可简化为：τ＝Ψf；其中，τ表示瞬态数据，Ψ表示含g(p；s)的线性测量矩阵；f表示反射率；
其中，NLOS表示非可视域；
表示损失函数；ei表示第i标准单位向量，τi表示τ的第i元素，λ是全变分正则项的权重；TV表示全变分正则项；采用梯度下降法实现对隐藏物体进行非可视域场景现场重建。
于本申请的一实施例中，所述基于可视域瞬态分量计算Gamma图，包括：当探测点d固定时，通过确定中继面上的反射位置s的坐标来定义光源在中继面上反射后的强度变化系数Γ(s)；基于共焦成像，δ函数的积分为1，Γ(s)表示为：Γ(s)＝∫τLOS(t；o,s)dt。
于本申请的一实施例中，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：通过观察中继面上的光斑调整光路；调整分束器和振镜使得中继面上的光斑清晰可见；微调SPAD的位置使得其接受来自中继面的一次反射光达到最高。
于本申请的一实施例中，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：假设扫描系统为线性对振镜在线标定；对光学偏转角度θX,θY与输入电压VX,VY的关系进行建模：
其中，初始偏转角∈X和∈Y由两个反射镜在未输入电压的偏移决定；β矩阵表示一对角度相对于一对输入电压的系数；β的系数使用具有对应振镜的损失函数
的多元线性回归算法进行优化；
将测量和计算得到的光学扫描角度之间的平均误差作为∈X和∈Y；计算每组扫描角度的输入电压以控制任意表面上的的扫描点并定义振镜的可扫描区域。
于本申请的一实施例中，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：基于所述可视域瞬态分量τLOS重建中继面的反射率和表面法向量；提取每个探测点的τLOS(t；s)及其对应的t，并计算中继面的深度
使用振镜的光学偏转角度θX,θY以及深度
来估计XYZ中探测点的3维坐标：
其中，中继面被视为平面W(WX,WY,WZ)，方程为：W:WXX+WYY+WZZ+1＝0；通过最小化损失函数
采用点到平面的距离的均方根误差求解中继面的平面W(WX,WY,WZ)：
于本申请的一实施例中，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：通过计算与中继面上每个探测点的坐标响应的输入电压来实现任意的扫描模式；
定义一个扫描区域，原点os位于中继面的中心，通过正交基
构造一组新的正交基
其中，
是中继面的单位法向量；对于平面中继面z＝0，因此探测点在两个坐标系下可分别表示为：
通过计算中继面上每个探测点的扫描角再得到振镜输入电压。
于本申请的一实施例中，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：通过利用方向和位置可调节的中继面创建一自由空间来允许更大的隐藏物体；所述扫描范围的正交投影用于限制具有扫描区域最大宽度和高度的NLOS场景的可测量边界框，所述边界框的最小深度近似为：zmin＝ctdelay；其中，z表示边界框的深度；tdelay表示从中继面和隐藏物体返回的光子到达时间的延时，c表示光速；隐藏物体和中继面之间的光子衰减决定边界框的最大深度；
其中，强度变化系数最小值Γmin用于限制扫描范围和边界框的体积；b表示SPAD背景噪声。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：解耦模块，用于将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；标定模块，用于基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；重建模块，用于基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种基于在线标定的现场非视域成像方法、装置、设备和介质，通过将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
具有以下有益效果：
本申请可将现场扫描时获得的瞬态直接解耦为可视域和隐藏分量，避免使用镜子或棋盘格等辅助标定设备，并支持实验室验证和实际部署；用户在线标定振镜和中继面后，能够调整探测点的扫描区域和模式，通过Gamma图预览，可以定义任意扫描模式以准确测量不同的隐藏场景，可以扫描少量的探测点，预览重建结果以确定当前扫描设置是否可被接受，并支持任意扫描模式的输入瞬态用于NLOS重建。
附图说明
图1显示为本申请于一实施例中NLOS成像采集系统常规设置的俯视示意图。
图2显示为本申请于一实施例中基于在线标定的现场非视域成像方法的流程示意图。
图3显示为本申请于一实施例中采集系统的结构示意图。
图4显示为本申请于一实施例中坐标系和扫描区域的场景示意图。
图5显示为本申请于一实施例中一种扫描方式下的扫描点的示意图。
图6显示为本申请于一实施例中使用LCT、FK和PF算法重建‘S’的模型示意图。
图7显示为本申请于一实施例中规则网格模式下归一化瞬态数据的模型示意图。
图8显示为本申请于另一实施例中规则网格模式下归一化瞬态数据的模型示意图。
图9显示为本申请于一实施例中的电子装置的模块示意图。
图10显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为解决上述问题，本申请提出了一种基于在线标定的现场非视域成像方法，其适用于任意采样模式的定制重建方案，该方案采用发梯度下降法迭代重建NLOS场景，通过支持在线校准和现场重建评估，本申请支持更可行的实验室验证和实际测量，并将向社区开源。
如图2所示，展示为本申请于一实施例中的基于在线标定的现场非视域成像方法的流程示意图。如图所示，所述方法包括：
步骤S201：将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量。
于本申请一实施例中，非视域成像模型对光从激光光源经由可视域和被隐藏的物体最后被探测器接受这一传播过程进行建模。如图1所示，光源(脉冲激光束)从照射点o照射至中继面(墙)W在l处形成光斑。光从该点散射后，一些光子从隐藏物体P上的反射点p反射并返回到中继面上的反射位置(微面元)s上。探测器的探测点d记录在某一时刻t接受到的从反射位置(微面元)s返回的光子数。基于光传输的物理学，将成像的前向模型定义为：
τ(t；o,l,s,d)＝Γ(s)∫Pδ(t-(to→l+tl→p+tp→s+ts→d))f(p；ωl→p,ωp→s)g(p；l,s)dAp (1)
其中τ(t；o,l,s,d)记录了5维的瞬态数据，即从隐藏物体返回的光子数关于时间的直方图。积分∫Pδ代表了对从中心为p的微面元Ap返回的光子数的总和。狄拉克delta函数δ(·)将时间t与传播时间to→l,tl→p,tp→s和ts→d联系了起来。函数f(p；ωl→p,ωp→s)描述了关于点p，入射方向ωl→p和出射方向ωp→s的双向反射函数(bidirectional reflectancedistribution function,BRDF)。单位向量
表示从a到b的方向向量。函数g(p；l,s)是衰减项，包含距离，光影和遮挡效应。为了简化模型，公式(1)忽略了光的波动性，如干涉、衍射等。
Γ(s)对光在中继面上反射后的强度变化进行建模，且能描述对探测器视场(field of view,FOV)。公式(2)中，No是激光从o发射一次脉冲的总光子数。ρ是中继面的反射率。Ad,As分别是探测器的有效面积和投影至中继面的探测面积。ns是s处的表面法向量。
在常规设置下，照射点和探测点可以都变动，或者一个点固定另一个点变动。标定程序很复杂，因为to→l和ts→d很难仅仅根据测量结果分离。当照明点和探测点重合，即l＝s,o＝d时,记录的瞬态数据会是τ(t；o,l,s,d)的3维子集。在共焦设置下，公式(1)可简化为：
τ(t；o,s)＝Γ(s)∫Pδ(t-2(to→s+ts→p))f(p；ωp→s)g(p；s)dAp (3)
共焦成像模型在系统标定方面具有优势，因为s和o之间的传播时间to→s较易确定。τ(t；o,s)包含两个分量：τLOS(t；o,s)沿着中继面和探测器之间的直接光路，以及τhidden(t；s)沿着中继面和隐藏物体之间的间接光路。这两个分量之间是卷积的关系。
τhidden(t；s)＝∫Pδ(t-2ts→p)f(p；ωp→s)g(p；s)dAp (4)
τLOS(t；o,s)＝Γ(s)δ(t-2to→s) (5)
在NLOS重建中，LOS分量通常被屏蔽或去除以获得hidden分量，相当于假设在l处有一虚拟光源，s处有一虚拟探测器。τLOS包含中继面上的信息，如深度和反射率等，使本申请能够标定采集系统。
如图3所示，展示为本申请于一实施例中的采集系统的结构示意图。如图所示，所述采集系统包含了光路和硬件设备的光路设计。所述采集系统包括：硬件模块、LOS模块和NLOS模块。
所述硬件模块，包括：脉冲激光器Laser、作为探测器的单光子雪崩二极管SPAD、分束器Splitter、振镜Galvanometer及控制器Computer，同时还有光子计数器TCSPC、延时器PSD和数据采集设备NI-DAQ。
所述LOS模块，用于将将硬件模块和中继面联系起来，并对应于瞬态的LOS分量；其中，利用所述LOS模块定义中继面、扫描模式和可测量的边界框，位于边界框内的隐藏物体可被探测到。
所述NLOS模块，用于收集在中继面和隐藏物体之间传播的球面光波，并包含有关隐藏对象的信息以进行重建。
本申请可结合硬件设备制造商提供的应用程序，例如TCSPC和振镜SPAD，并以最少的人为干预操作整个程序。
于本申请一实施例中，从所述采集系统获得的实测瞬态数据受SPAD特性(包括光子检测效率、后脉冲和堆积效应)、激光和SPAD的时间抖动的影响。时间抖动描述时间分辨机制中的不确定性。本申请采用一近似模型描述时间抖动。SPAD在探测点上生成光子计数与时间间隔(4ps)的直方图中每个时间区间的光子数具有泊松统计的特性。背景噪声b通常被认为在单个检测点上与时间无关，来源包括暗计数和环境光。考虑这些因素，本申请将SPAD(单光子雪崩二极管)记录的数据建模为：
τSPAD＝Pois(τ*j+b) (6)
其中，τ表示瞬态数据；这里j代表整个系统的时间抖动，具有高斯峰和指数尾两部分：
j(t；μ,σ,κ0,κ1,γ)＝Gaus(t,μ,σ)+γExp(t；μ,κ0,κ1)(t>0) (7)
其中，μ,σ,κ0,κ1是时间抖动的相关参数，γ是指数尾的权重，b表示SPAD背景噪声。LOS瞬态测量
可被用于采集系统时间抖动j的计算。通过交叉熵损失函数来进行优化：
计算多个探测点的时间抖动，取平均值作为所述采集系统的时间抖动。
步骤S202：基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定。
于本申请中，提出了一种在线校准技术，该技术直接将现场扫描获得的瞬态信号解耦到LOS分量和隐藏分量中，前者包含了中继面和探测点的几何结构和反射率信息。本申请根据LOS分量计算的Gamma图，在场景/障碍物配置、扫描区域或扫描模式发生变化时，直接(重新)校准系统及归一化。这也为动态调整提供了一个有用的参考：本申请可以扫描少量的探测点，预览重建结果以确定当前扫描设置是否可被接受。
标定的目的是最小化本申请采集系统测量得到的瞬态数据和基于共焦成像模型理论上计算的瞬态数据的差异来精确测量。本申请的在线标定能够以很少的人为干预(再)调整硬件设备，来标定包括振镜、中继面和NLOS边界框，并使用Gamma图来预览标定效果。
于本申请一实施例中，在公式(2)中，可观察到Γ(s)与激光的No，与探测器的Ad，与中继面的ρ，以及探测点s相关，还与d到s的距离|s-d|相关。当探测器d固定时，本申请可以通过确定中继面上的探测点s的坐标来定义Γ(s)。基于共焦成像模型，考虑到δ函数的积分为1，通过对每个探测点处公式(5)中的LOS部分τLOS(t；s)求和来计算Γ系数。Γ(s)系数，或Gamma图，是针对中继面上所有探测点计算的。
Γ(s)＝∫τLOS(t；o,s)dt(11)
在线标定后可使用Gamma图预览扫描范围、视场NLOS边界框等。在基于SPAD的采集系统的等式(6)中，时间抖动j的积分与δ函数同样为1。再考虑到泊松分布的可加性，以及背景计数b相对于LOS瞬态测量很小，本申请仍然可以根据公式(11)使用LOS瞬态数据来计算Gamma图。
于本申请一实施例中，针对硬件模块进行校准的方式，首先通过观察中继面(例如白纸)上的激光光斑来初步调整光路。然后，调整分束器和振镜使得中继墙上的光斑清晰可见。最后微调SPAD的位置使得其接受到的来自中继面的一次反射光达到最高。在高激光功率设置下，由于中继面上直接反射的光可能会淹没SPAD，因此本申请将SPAD的位置稍微错位，以降低测量到的一次反射光的强度。
于本申请一实施例中，本申请使用的双轴振镜支持约±40°的光学扫描角度，具体取决于激光束直径和输入电压等因素。通常振镜与伺服电机耦合，伺服电机可在扫描时反馈偏转角度。本申请标定输入电压和偏转角度之间的关系，并进一步确定扫描点的位置。
如图4所示，其说明了坐标系和扫描区域。两个笛卡尔坐标系包括原点位于o(激光向中继面发射到自由空间处)的XYZ坐标系，和原点位于中继面上检测区域的中心os的xyz坐标系(中继面方程为z＝0)。扫描区域：区域A由振镜决定，区域B考虑了遮挡因素，区域C是决定的扫描范围。
于本申请中，为了标定振镜，本申请假设扫描系统是线性的，对光学偏转角度θX,θY与输入电压VX,VY的关系进行建模：
其中，初始偏转角∈X和∈Y由两个反射镜在未输入电压的偏移决定，β矩阵表示一对角度相对于一对输入电压的系数。初始角度∈X,∈Y以及系数β可能由制造商提供，为了精确起见，本申请采集N组光学扫描角度θn和给定电压范围内的输入电压Vn来计算它们。β的系数首先使用具有损失函数
的多元线性回归算法来进行优化：
然后，将测量和计算得到的光学扫描角度之间的平均误差作为∈X和∈Y。
最后，计算每组扫描角度的输入电压以控制任意表面上的的扫描点并定义振镜的可扫描区域(图4中的区域A)，须知的是，该区域A不一定是矩形。
于本申请一实施例中，对于中继面来说，其对采集系统起至关重要的作用。瞬态的LOS分量，如等式(5)所示，可用于重建中继面的反射率和表面法向。具体地，本申请提取每个探测点的直方图τLOS(t；s)及其对应的t，并计算中继面的深度
然后，使用振镜的光学偏转角度θX,θY以及深度
来估计XYZ中探测点的3维坐标，如下所示：
中继面可被视为平面W(WX,WY,WZ)，方程为：
W:WXX+WYY+WZZ+1＝0 (15)
需要说明的是，Gamma图中考虑了反射率和中继面的方向。因此，标定技术不需要任何额外设备或具有纹理的目标。通过最小化损失函数
即点到平面的距离的均方根误差(root mean square error,RMSE)来求解平面。
于本申请一实施例中，对于扫描模式来说，其用于将硬件模块与中继面和NLOS边界框相关联，可以预览整个系统标定的效果。在现有文献中，探测点通常分布在规则网格中，在中继面上点分布间距均匀。本申请的采集系统通过计算与中继面上每个探测点的坐标响应的输入电压来实现任意的扫描模式。具体来说，本申请将公式(15)用w(wX,wY,wZ)改写：
在受Gamma图限制的有效扫描范围中，本申请定义了一个扫描区域(图4中的区域C)，原点os位于中继面的中心。可以通过正交基
构造一组新的正交基
根据公式(12)和(18)，可以通过计算中继面上每个探测点的扫描角再得到振镜输入电压。
本申请预览了振镜扫描区域、中继面和扫描模式的标定效果。首先扫描了少量探测点勾勒出可扫描区域，并计算Gamma图，调整中继面相对于振镜的位置。然后计算Gamma图检查采集系统的整个设置被遮挡的区域。选择扫描模式后，可以计算Gamma图以验证由扫描模式定义的视场，用于NLOS测量。
于本申请一实施例中，对于NLOS边界框：重建精度取决于采集系统的几个因素，包括硬件模块的几何设置和中继面上的扫描区域。为了有效地测量，本申请定义了一个边界框来指定采集系统可探测的物体位于隐藏场景中的位置。
Ahn等学者指出，重建结果的正交投影应在中继面上扫描范围内。在实践中，本申请通过利用方向和位置可调节的中继墙来创建一个自由空间来允许更大的隐藏物体。这个设置相当于调整了整个硬件设置的位置。扫描范围的正交投影限制了具有扫描区域最大宽度和高度的NLOS场景的可测量边界框。而边界框的最小深度近似为：
zmin＝ctdelay(20)
其中，z表示边界框的深度；tdelay表示从中继面和隐藏物体返回的光子到达时间的延时，c表示光速。
由于隐藏物体和中继面之间的距离在光子衰减中起重要作用，本申请认为他决定边界框的最大深度：
其中Gamma图的最小值Γmin限制了扫描范围和边界框的体积。边界框帮助预览隐藏物体的可探测尺寸和位置以及重建质量的粗略估计。
于本申请一实施例中，首先重对齐每个探测点的直方图(瞬态数据)，使得中继面直接反射光子的达到时间位于零时刻。使用Gamma图，本申请对瞬态τ(t；s)进行归一化以获得更高的质量。在等式(6)中，可以注意到时间抖动j(t)是SPAD特性的重要因素。因此，可以应用维纳滤波对瞬态数据τSPAD进行降噪：
其中，
和
分别代表τ(t；s)和τSPAD(t；s)的傅里叶变换，v是频率。频域的维纳滤波核
可通过时间抖动的傅里叶变换
和信噪比η计算：
O’Toole等学者将维纳滤波嵌入在LCT算法内，而Velten等人对反投影算法的结果应用拉普拉斯滤波来降噪。和他们不同，本申请将降噪算法在重建算法之前使用，使得不同的重建算法均可适用去噪后的数据。和这些研究一样，本申请忽略了泊松分布在噪声中的作用，而本申请的优化算法考虑了这点对NLOS重建的影响。
步骤S203：基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
已经有许多重建隐藏物体的算法被提出。基于体素(体积元素(Volume Pixel))的算法，例如光锥变换(LCT)、f-k迁移和相量场等方法，假设隐藏场景被表示为3维体素，并使用快速傅里叶变换(FFT)来解逆问题从而重建场景。这些算法需要规则形式的瞬态作为输入。另一方面，基于优化和基于学习的算法(例如神经瞬态场NeTF)支持任意扫描模式的瞬态输入，而后者需要数十小时的训练。
本申请实现了一种基于共焦成像模型的优化算法。与大多数现有方法一样，该算法假设隐藏物体是完全漫反射的，并且隐藏物体和中继面之间不存在遮挡，同时也不考虑出隐藏物体表面之间的相互反射。基于这些假设，公式(4)中的衰减项g(p；s)可被视为
双向反射函数BRDF项f(p；ωp→s)与视角无关，可写为f(p)。公式(4)可简化为线性模型
τ＝Ψf (24)
其中，τ是离散化后的瞬态测量，Ψ是含g(p；s)的线性测量矩阵。物体的反射率f可被通过最小化Ψf和τ的差异的优化方法求解。本申请采用泊松似然函数来评估相似度。损失函数还包含全变分(total variation,TV)作为正则项。
这里ei是第i标准单位向量，τi是τ的第i元素，而λ是全变分项的权重。本申请采用梯度下降法来实现优化算法。
由于本申请支持均匀和非均匀的扫描模式，因此本申请继承了现有的非视域重建算法，以基于空间、频率或基于学习的技术处理隐藏分量。许多基于快速傅里叶变化(FFT)的算法，例如LCT、FK和PF，需要规则网格中的瞬态信号作为输入；而基于学习的方法，例如神经瞬态场(NeTF)，允许更灵活的采样模式，但需要更长的计算时间来训练网络。
定性评估：如图5所示，显示为本申请在三种不同的扫描方式下(任意扫描、规则网格和同心圆)的标定验证，以供验证了本申请的在线标定的准确性。其中，a为任意方式。其中，a中的圆点表示扫描点。
对于任意扫描模式，本申请随机地在不同方向上扫描数个点，并确定所有探测点s的坐标，以及中继面方程。之后，再根据估计得到的中继面方程计算对应的新坐标sW和输入电压。使用这些电压，振镜重新在中继面上进行扫描。图5中a展示了前后两组探测点：方框表示目标探测点s，圆点表示重投影点sW。
本申请所述系统也适配了均匀扫描模式。在L×L的范围内扫描N×N个探测点，探测点s(i,j)的坐标可表示为：
受到圆形扫描模式的启发，本申请进一步提出了同心圆扫描模式。在半径为R的扫描区域中，在Nr个同心圆的每个圆上定义了Nφ个点。探测点s(i,j)可表示为：
类似地，在4个圆上扫描32个探测点，即每个圆上8个圆点。
图5中的扫描模式的结果表明，扫描点以规则或不规则，等间距或不等间距的方式，均与所需位置高度吻合。
定量评估：此外，本申请通过改变扫描点和输入电压范围定量验证了标定精度。表1展示了标定实验的细节。
表1.基于均方根误差的对标定精度的定量验证
本申请选择三组规则扫描点，同时输入电压保持在相同的范围内。本申请计算这些扫描点的3维坐标并估计中继面。然后在指定的电压范围内随机的选择4×4个扫描点。计算新扫描点的坐标到估计的中继面的距离。距离的均方根误差，对直径为4mm的激光散斑和从系统原点到中继面的距离为1500mm，标定精度约为9mm。
同样地，本申请在扫描点相同(5×5)的情况下选择三组输入电压范围，并估计扫描点和中继面的3维坐标。距离的均方根误差(RMSE)表明标定精度约为7mm。对于NLOS成像和重建，标定误差足够小。
于一些实施例中，本申请通过仿真数据和实测数据的重建结果来进一步验证本采集系统与标定技术。使用最先进的(state of the art,SOTA)方法(包括LCT、FK和PF)和本申请的优化算法。最后，通过模拟和测量的隐藏场景对标定误差如何影响NLOS重建质量进行了消融研究。
仿真瞬态：本申请开发了一个基于共焦成像模型生成仿真数据的算法。中继面上的照明点与探测点匹配，光以球面波的形式向隐藏物体散射。假设在探测点s获得了亮度图L(u,v；s)和深度图D(u,v；s)，其中u,v表示图中的对应像素。然后提取每个思昂苏的亮度和深度，在对应的t时刻计算瞬态τ(t；s)。这一流程对逐个探测点进行。
本申请对0.6m×0.6m的‘S’和0.6m×0.4m的白板渲染了瞬态数据τ(t；s)，时间分辨率为4ps，空间分辨率为64×64。考虑公式(6)中的时间抖动、背景计数和泊松分布特性，‘S’和白板的仿真数据中也加入了噪声。
实测瞬态：本申请使用了来自Micro Photon Devises的快速门控SPAD，它使用时间相关单光子计数器PicoHarp 300提供4ps的时间分辨率。利用消色差透镜(佳能EF 50mmf/1.8)将返回光聚焦到SPAD上。带有可调谐波长滤波器(SuperK VARIA)的激光器(SuperKEXTREME FUI-15)通过偏振分束器立方体(Thorlabs VA5-PBS251)发射准直光。然后由数据采集设备控制的2D振镜(Thorlabs GVS012)引导光。SPAD通过使用门款为12ns的延时器(PicoQuantPSD-065-A-MOD)对直接光进行选通来记录来自NLOS场景的间接光。整个系统的时间抖动约为200ps。
本申请的硬件设备位于距离中继墙1.0m处，这是一块三聚氰胺白色面板，其位置和方向可以针对不同尺寸和形状的NLOS物体进行调整。测量了白板和‘S’的瞬态，它们的设置类似于仿真中的设置。与仿真瞬态相比，由于SPAD的特性，例如暗计数和堆积效应，测量瞬态的较小峰值有所下降。请注意，去噪瞬态仍然包含来自泊松分布和堆积效应等因素的噪声。其他NLOS场景包括棋盘、人体模型和设计有不同宽度和长度的条纹的分辨率板。所有被测量的物体都是纸、棉或木头的漫反射材料。在本申请的系统中会自动采集瞬态数据，大多数实验需要2.5s来记录单个检测点的测量结果并过渡到下一个检测点。
于一些实施例中，本申请使用仿真和实测的瞬态数据进行实验。源代码为MATLAB语言，包括公开可用的LCT、FK和PF算法，在配备Inteli7-8750H CPU(2.2GHz)、16GBRAM、GPU1050Ti的个人计算机上运行。
图6展示了使用LCT、FK和PF算法重建的‘S’。其中，(a)和(c)分别为无噪的和有噪的仿真数据，(b)和(d)分别为原始的和去噪的实测数据，原始的和去噪的(原始的和去噪的)实测数据和(无噪的和有噪的)仿真数据均是有个规则网格方式测量。正如预期，从瞬态中很好地重建了‘S’，并且本申请的数据增强方法可以提高重建质量。
本申请也使用规则网格模式测量棋盘格、分辨率板和人偶，将归一化后的瞬态数据来重建。图7展示了规则网格模式下归一化瞬态数据的重建验证，从上至下分别为棋盘格、分辨率板和人偶模型。使用SOTA算法和OPT算法来重建隐藏对象。棋盘格和分辨率板与照片或参考标准吻合，而算法对重建质量有很大影响。SOTA算法需要数秒来重建每个NLOS场景，而本申请的优化算法需要数分钟才能进行1000次迭代。
消融实验：标定误差是从整个采集系统的标定过程中逐步累积起来的，例如振镜标定、中继面标定、扫描点的决定，会影响非视域场景的重建质量。在这里，本申请验证中继面标定的误差如何影响NLOS重建。本申请通过仿真精确的中继面(误差为0°)，然后本申请考虑验证误差从2.5°到10°的情况，并通过错误标定的中继面重建隐藏的兔子。同样地，在实测系统中，本申请在不同偏转角度下进行扫描、数据处理与重建。
图8显示了偏转从2.5°(2.0°)到10.0°(20.0°)兔子和棋盘格的重建结果以及标定误差。NLOS场景的重建质量随着中继面标定误差的增加迅速恶化。
综上所述，本申请提出了一种基于在线标定的现场非视域成像方法，可使用户在线标定振镜和中继面后，能够(重新)调整探测点的扫描区域和模式，通过Gamma图预览。本申请可以定义任意扫描模式以准确测量不同的隐藏场景，并支持任意扫描模式的输入瞬态用于NLOS重建。大量实验证明了本申请的NLOS成像解决方案的效率和功效。
如图9所示，展示为本申请于一实施例中的电子装置的模块示意图。如图所示，所述装置1000包括：
解耦模块1001，用于将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；
标定模块1002，用于基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；
重建模块1003，用于基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，重建模块1003可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上重建模块1003的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图10所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备1100包括：存储器1101、及处理器1102；所述存储器1101用于存储计算机指令；所述处理器1102运行计算机指令实现如图2所述的方法。
在一些实施例中，所述计算机设备1100中的所述存储器1101的数量均可以是一或多个，所述处理器1102的数量均可以是一或多个，而图10中均以一个为例。
于本申请一实施例中，所述计算机设备1100中的处理器1102会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器1101中，并由处理器1102来运行存储在存储器1101中的应用程序，从而实现如图2所述的方法。
所述存储器1101可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。所述存储器1101存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器1102可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备1100的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图10中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图2所述的方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
综上所述，本申请提供的一种基于在线标定的现场非视域成像方法、装置、设备和介质，通过将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (16)
1.一种基于在线标定的现场非视域成像方法，其特征在于，所述方法包括：
将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；
基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；
基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
2.根据权利要求1所述的方法，其特征在于，所述采集系统包括：硬件模块、LOS模块和NLOS模块；
所述硬件模块，包括：脉冲激光器、作为探测器的SPAD、分束器、振镜及控制器；
所述LOS模块，用于将硬件模块和中继面进行关联，并对应于瞬态的LOS分量；其中，利用所述LOS模块定义中继面、扫描模式和可测量的边界框，以探测位于边界框内的隐藏物体；
所述NLOS模块，用于收集在中继面和隐藏物体之间传播的球面光波，并包含有关隐藏对象的信息以进行重建。
3.根据权利要求2所述的方法，其特征在于，所述瞬态数据包括：
其中，τ表示瞬态数据；t表示时间；o表示光源的照射点；l表示光源照射至中继面上的光斑位置；s表示光源从中继面散射后经隐藏物体P上的反射点p反射回中继面的反射位置；d表示用于检测返回光子数的探测器的探测点；Γ(s)表示对光源在中继面上反射后的强度变化系数，且能描述探测器视场；积分∫Pδ表示从以反射点p为中心的微面元Ap反射的光子数总和；→表示光源路径；单位向量
表示从l到p的方向向量；单位向量
表示从p到s的方向向量；f表示对应反射点p的入射方向ωl→p和出射方向ωp→s的双向反射函数；函数g表示包含距离、光影和遮挡效应的衰减项；No表示光源从照射点o发射一次脉冲的总光子数；ρ表示中继面的反射率；Ad表示探测器的有效面积；As表示探测器投影至中继面的探测面积；ns表示反射位置s处的表面法向量。
4.根据权利要求3所述的方法，其特征在于，所述方法包括：
SPAD记录的数据建模为：
τSPAD＝Pois(τ*j+b)；
j(t；μ，σ，κ0，κ1，γ)＝Gaus(t，μ，σ)+γExp(t；μ，κ0，κ1)；
其中，SPAD表示作为探测器的单光子雪崩二极管；τ表示瞬态数据；Pois泊松似然函数；j表示整个系统的时间抖动，时间抖动包括Gaus表示的高斯峰和Exp(t；μ，κ0，κ1)表示的指数尾两部分；μ，σ，κ0，κ1表示时间抖动的相关参数；γ表示指数尾的权重；b表示SPAD背景噪声；
计算多个探测点的时间抖动，取平均值作为所述采集系统的时间抖动。
5.根据权利要求4所述的方法，其特征在于，所述方法包括：
重对齐每个探测点的瞬态数据，使得中继面直接反射光子的达到时间位于零时刻；
使用Gamma图，对瞬态数据τ(t；s)进行归一化，以增强获取质量；
应用维纳滤波对瞬态数据τSPAD进行降噪：
其中，
和
分别代表τ(t；s)和τSPAD(t；s)的傅里叶变换；v是频率；频域的维纳滤波核
通过时间抖动的傅里叶变换
和信噪比η计算：
6.根据权利要求3所述的方法，其特征在于，所述将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量，包括：
当照射点o和探测点d重合构成共焦时，所述瞬态数据简化为：
τ(t；o，s)＝Γ(s)∫Pδ(t-2(to→s+ts→p))f(p；ωp→s)g(p；s)dAp；
τhidden(t；s)＝∫Pδ(t-2ts→p)f(p；ωp→s)g(p；s)dAp；
τLOS(t；o，s)＝Γ(s)δ(t-2to→s)；
其中，τ(t；o，s)包含：τLOS(t；o，s)沿着中继面和探测器之间的直接光路的可视域瞬态分量、τhidden(t；s)沿着中继面和隐藏物体之间的间接光路的隐藏瞬态分量。
7.根据权利要求6所述的方法，其特征在于，所述基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建，包括：
基于隐藏物体P是完全漫反射，并且隐藏物体P和中继面之间不存在遮挡，同时也不考虑出隐藏物体P表面之间的相互反射，衰减项g(p；s)可视为
双向反射函数f(p；ωp→s)与视角无关，可写为f(p)，τhidden(t；s)可简化为：
τ＝Ψf；
其中，τ表示瞬态数据，Ψ表示含g(p；s)的线性测量矩阵；f表示反射率；
其中，NLOS表示非可视域；
表示损失函数；ei表示第i标准单位向量，τi表示τ的第i元素，λ是全变分正则项的权重；TV表示全变分正则项；
采用梯度下降法实现对隐藏物体进行非可视域场景现场重建。
8.根据权利要求3所述的方法，其特征在于，所述基于可视域瞬态分量计算Gamma图，包括：
当探测点d固定时，通过确定中继面上的反射位置s的坐标来定义光源在中继面上反射后的强度变化系数Γ(s)；基于共焦成像，δ函数的积分为1，Γ(s)表示为：
Γ(s)＝∫τLOS(t；o，s)dt。
9.根据权利要求2所述的方法，其特征在于，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：
通过观察中继面上的光斑调整光路；
调整分束器和振镜使得中继面上的光斑清晰可见；
微调SPAD的位置使得其接受来自中继面的一次反射光达到最高。
10.根据权利要求2所述的方法，其特征在于，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：
假设扫描系统为线性对振镜在线标定；
对光学偏转角度θX，θY与输入电压VX，VY的关系进行建模：
其中，初始偏转角∈X和∈Y由两个反射镜在未输入电压的偏移决定；β矩阵表示一对角度相对于一对输入电压的系数；
β的系数使用具有对应振镜的损失函数
的多元线性回归算法进行优化；
将测量和计算得到的光学扫描角度之间的平均误差作为∈X和∈Y；
计算每组扫描角度的输入电压以控制任意表面上的的扫描点并定义振镜的可扫描区域。
11.根据权利要求6所述的方法，其特征在于，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：
基于所述可视域瞬态分量τLOS重建中继面的反射率和表面法向量；
提取每个探测点的τLOS(t；s)及其对应的t，并计算中继面的深度l；
使用振镜的光学偏转角度θX，θY以及深度l来估计XYZ中探测点的3维坐标：
其中，中继面被视为平面W(WX，WY，WZ)，方程为：
W：WXX+WYY+WZZ+1＝0；
通过最小化损失函数
采用点到平面的距离的均方根误差求解中继面的平面W(WX，WY，WZ)：
12.根据权利要求11所述的方法，其特征在于，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：
通过计算与中继面上每个探测点的坐标响应的输入电压来实现任意的扫描模式；
定义一个扫描区域，原点os位于中继面的中心，通过正交基
构造一组新的正交基
其中，
是中继面的单位法向量；对于平面中继面z＝0，因此探测点在两个坐标系下可分别表示为：
通过计算中继面上每个探测点的扫描角再得到振镜输入电压。
13.根据权利要求3所述的方法，其特征在于，所述根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定，包括：
通过利用方向和位置可调节的中继面创建一自由空间来允许更大的隐藏物体；
所述扫描范围的正交投影用于限制具有扫描区域最大宽度和高度的NLOS场景的可测量边界框，所述边界框的最小深度近似为：
zmin＝ctdelay；
其中，z表示边界框的深度；tdelay表示从中继面和隐藏物体返回的光子到达时间的延时，c表示光速；
隐藏物体和中继面之间的光子衰减决定边界框的最大深度；
其中，强度变化系数最小值Γmin用于限制扫描范围和边界框的体积；b表示SPAD背景噪声。
14.一种电子装置，其特征在于，所述装置包括：
解耦模块，用于将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬态分量；
标定模块，用于基于可视域瞬态分量计算Gamma图，根据场景、中继面设置、扫描区域及扫描模式中至少一个变化时重新对采集系统进行在线校准与标定；
重建模块，用于基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重建。
15.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至13中任意一项所述的方法。
16.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至13中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210871698.9A CN115825983A (zh) | 2022-07-22 | 2022-07-22 | 基于在线标定的现场非视域成像方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210871698.9A CN115825983A (zh) | 2022-07-22 | 2022-07-22 | 基于在线标定的现场非视域成像方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115825983A true CN115825983A (zh) | 2023-03-21 |
Family
ID=85522895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210871698.9A Pending CN115825983A (zh) | 2022-07-22 | 2022-07-22 | 基于在线标定的现场非视域成像方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115825983A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116087983A (zh) * | 2023-04-07 | 2023-05-09 | 清华大学 | 一种针对极少量探测点的非视域成像方法及装置 |
-
2022
- 2022-07-22 CN CN202210871698.9A patent/CN115825983A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116087983A (zh) * | 2023-04-07 | 2023-05-09 | 清华大学 | 一种针对极少量探测点的非视域成像方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Iseringhausen et al. | Non-line-of-sight reconstruction using efficient transient rendering | |
| TWI707139B (zh) | 使用影像重建以用於缺陷偵測之系統及方法 | |
| EP3004925B1 (en) | Indirect reflection suppression in depth imaging | |
| Wu et al. | Decomposing global light transport using time of flight imaging | |
| EP2585853B1 (en) | Calibration of a probe in ptychography | |
| CN102239426B (zh) | 图像数据的提供 | |
| DE102016107959B4 (de) | Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung | |
| JP6841863B2 (ja) | Ｏｃｔ網膜画像データレンダリング方法、ｏｃｔ網膜画像データレンダリングプログラムを記憶した記憶媒体、ｏｃｔ網膜画像データレンダリングプログラム及びｏｃｔ網膜画像データレンダリング装置 | |
| Fuchs et al. | Compensation for multipath in ToF camera measurements supported by photometric calibration and environment integration | |
| US9759995B2 (en) | System and method for diffuse imaging with time-varying illumination intensity | |
| Karel et al. | Modelling and compensating internal light scattering in time of flight range cameras | |
| US20210148694A1 (en) | System and method for 3d profile determination using model-based peak selection | |
| CN115825983A (zh) | 基于在线标定的现场非视域成像方法、装置、设备和介质 | |
| García-Moreno et al. | Error propagation and uncertainty analysis between 3D laser scanner and camera | |
| Plack et al. | Fast differentiable transient rendering for non-line-of-sight reconstruction | |
| Pan et al. | Onsite non-line-of-sight imaging via online calibration | |
| Kavli et al. | Modelling and compensating measurement errors caused by scattering in time-of-flight cameras | |
| Nair et al. | Ground truth for evaluating time of flight imaging | |
| Lutzke et al. | Monte Carlo simulation of three-dimensional measurements of translucent objects | |
| Goesele et al. | Accuracy of 3D range scanners by measurement of the slanted edge modulation transfer function | |
| Langmann | Wide area 2D/3D imaging: development, analysis and applications | |
| Klein et al. | Transient imaging for real-time tracking around a corner | |
| Zheng et al. | Converting non-confocal measurements into semi-confocal ones with timing-accuracy improving for non-line-of-sight imaging | |
| Giddings et al. | Numerical simulation of the incoherent electro-optical imaging process in plane-stratified media | |
| Klein et al. | A calibration scheme for non-line-of-sight imaging setups |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |