CN115615349A - 一种基于单光子探测的三维信息采集和重建方法 - Google Patents
一种基于单光子探测的三维信息采集和重建方法 Download PDFInfo
- Publication number
- CN115615349A CN115615349A CN202110792694.7A CN202110792694A CN115615349A CN 115615349 A CN115615349 A CN 115615349A CN 202110792694 A CN202110792694 A CN 202110792694A CN 115615349 A CN115615349 A CN 115615349A
- Authority
- CN
- China
- Prior art keywords
- photon
- dimensional
- time
- laser
- tau
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 230000001052 transient effect Effects 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000036962 time dependent Effects 0.000 claims description 7
- 230000001276 controlling effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 235000020280 flat white Nutrition 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011555 rabbit model Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001161 time-correlated single photon counting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于单光子探测的三维信息采集和重建方法。该方法的具体步骤如下：(1)搭建皮秒级别时间分辨率的非视域成像系统；(2)皮秒激光器发射激光并由二维扫描振镜投射到中继面；(3)收光镜头收集到达中继面探测区域中的所有光子并投射到空间光调制器上进行调制，单光子雪崩探测器和计数器检测和记录光子事件并由数据预处理得到三维光子瞬态图τ′；(4)根据调制后的τ′恢复出完整的非共聚焦光子数据τrecon；(5)将τrecon利用NMO变换近似为共聚焦数据τrecon_conf；(6)将τrecon_conf利用共聚焦后向算法重建出包含隐藏场景表面反照率信息。利用本方法可将采集时间降低为原先的10％‑20％。
Description
技术领域
本发明涉及计算摄像学和图像处理领域，尤其涉及一种基于单光子探测的三维信息采集和重建方法。
背景技术
实现对隐藏在可见视野之外场景的成像可以极大程度地拓展现有成像技术的成像边界，在机器视觉、国防、遥感、医学成像和自动驾驶等领域具有重要的研究意义和广泛的应用价值。区别于传统的成像技术，非视域(NLOS)成像技术通过采集场景的间接光传输成分和计算重建，获取可视域范围之外场景的信息。近十年来，非视域成像技术获得了广泛的关注并取得了阶段性的进展，成像质量和计算重建速度在不断提升。然而，信号采集时间长，不能实现实时非视域成像成为制约该成像技术的发展瓶颈。
另一方面，自2006年以来，压缩感知在“探索信号的稀疏冗余机制、极大程度降低信号采集要求的同时，实现几乎无损地重建信号”问题上提供了扎实的理论和方法依据，在生物、天文、医疗成像等领域得到了充分和广泛的应用，为在保证重建效果的同时减少非视域成像的采集时间以期实现实时成像提供了借鉴和参考。因此，如何将压缩感知应用于非视域成像是当前解决成像速度慢这一瓶颈问题的有益尝试。
然而，压缩感知虽然在二维场景中取得了不错的效果，但对于非视域成像中的三维场景，如何处理深度信息尚未有很好的理论支持，并且从硬件的角度出发，相较于传统的光子采集方式，空间光调制器和透镜的使用涉及到一系列几何光学知识，需要根据仪器的光学特性进行严谨的设计，这增加了压缩感知在非视域成像中应用的成本。
发明内容
针对以上现有非视域成像方法中存在的问题与思考，本发明的目的在于提出一种基于单光子探测的三维信息采集和重建方法。
为达上述目的，本发明采用的技术方案如下：
一种基于单光子探测的三维信息采集和重建方法，包括如下步骤：
步骤1，基于光子飞行时间采集原理搭建皮秒级别时间分辨率的非视域成像系统，该系统包括皮秒激光器、二维扫描振镜、收光镜头、空间光调制器、聚光透镜、单光子雪崩探测器和时间相关光子时间统计计数器，其中皮秒激光器用于发射激光，二维扫描振镜负责调控激光出射方向，收光镜头用于将携带时空信息的光子汇聚到空间光调制器进行调制，聚光透镜用于汇聚调制后的光子输送给单光子雪崩探测器；
步骤2，开启皮秒激光器发射激光，二维扫描振镜将激光投射到由漫反射平整白墙充当的中继面，光子在中继面和隐藏场景中发生多次反射；
步骤3，经过中继面和隐藏场景的多次反射和衰减后，最开始发射的光子只有极少部分能够回到中继面探测区域，此时由收光镜头收集所有这些经多次反射后的光子，并投射到空间光调制器上，空间光调制器调制经收集透镜聚焦之后的中继面探测区域得到的光子信息，并最终由聚光透镜汇聚调制后的信息输送给单光子雪崩探测器记录，时间相关光子时间统计计数器据此记录光子事件并生成光子计数直方图，经过数据预处理得到三维光子瞬态图τ′；
步骤4，根据调制后的三维光子瞬态图τ′压缩恢复出包含所有光子信息的非共聚焦光子数据τrecon；
步骤5，将非共聚焦光子数据τrecon利用正常时差校正方法近似为共聚焦数据τrecon_conf；
步骤6，将共聚焦数据τrecon_conf利用共聚焦后向算法重建出隐藏场景包含表面反照率信息的三维深度图像。
进一步地，所述步骤2的具体处理步骤为：
步骤21，皮秒激光器发射特定波长以及设定好重复频率和能量的激光，激光经由二维扫描振镜改变传输方向投射到中继面上，入射光子经过中继面的反射，部分到达隐藏场景并再次由场景表面反射回中继面，以中继面探测区域中心为原点建立三维直角坐标系，x、y轴位于中继面，z轴正方向垂直于中继面指向隐藏场景，中继面的z坐标为0；令当前激光打在中继面的点坐标为(xl,1,yl,1,0)，隐藏场景中的某点坐标为(x,y,z)；
步骤22，调控二维扫描振镜上下两镜片的偏转角度，改变激光传输方向，进而改变打在中继面的位置(xl,i,yl,j,0)，其中i＝1,2,…,w；j＝1,2,…,w，w为扫描点个数；
步骤23，按一定的扫描顺序重复步骤22，直至中继面探测区域已完全被逐点扫描到，探测区域的空间分辨率为扫描点个数w×w，设探测区域坐标集合为S，隐藏场景表面点的集合为F。
进一步地，所述步骤3的具体步骤为：
步骤31，对于扫描点(xl,1,yl,1,0)、隐藏场景表面某点(x,y,z)∈F以及中继面探测区域某点(xp,yp,0)∈S，利用时间相关光子时间统计计数器输出单光子雪崩探测器记录到的光子事件，并根据激光源、单光子雪崩探测器以及扫描点的空间坐标对由光子事件统计得到的直方图进行预处理，减去激光发射到墙面和墙面返回单光子雪崩探测器这两段路径对时间的影响，即时间轴的坐标平移；令
作为该情况下对应的3维光子采集数据，其表现为一个以时间为轴的锥形，通道维代表时间，每一帧对应该空间分辨率下得到的光子瞬态图像，则有：
在某一扫描点(xl,yl,0)∈S下，返回中继面探测区域的光子被收光镜头采集，此时采集到了所有(x,y,z)∈F和(xp,yp,0)∈S累加得到的光子数据，即不同的锥形在空间上的时间错位叠加：
以上各式中，c是光速，rl,1、rp分别对应扫描点(xl,1,yl,1,0)到场景表面(x,y,z)和(x,y,z)到探测点(xp,yp,0)的路径，函数ρ是3D半空间Ω中z>0对应的隐藏场景中的点(x,y,z)的反照率，F∈Ω，狄拉克函数δ模拟光传播的时空关系，
项模拟光子随距离的衰减，每次衰减与距离的平方成反比；
步骤32，空间光调制器上显示有设计好的掩膜M以供调制光子瞬态图像τ(xl,1,yl,1,t)，掩膜M与光子瞬态图像τ(xl,1,yl,1,t)的空间分辨率相同，均为w×w；光子瞬态图像τ(xl,1,yl,1,t)的每一帧作为一幅二维图像与掩膜M逐元素相乘，再由聚光透镜收集传送给单像素的单光子雪崩探测器求和并最终由时间相关光子时间统计计数器给出一个只含时间维的一维向量，通过设计掩膜的数量m并在空间光调制器上按一定频率滚动显示，可以得到m个这样的一维向量，在宽度维进行拼接，就可以得到新的包含光子时空信息的三维矩阵：
τ′(xl,1,yl,1,t)＝M·τ(xl,1,yl,1,t)
其大小为1×m×t_res，t_res由时间相关光子时间统计计数器的时间分辨率给出；
步骤33，对于中继面上的所有扫描点(xl,i,yl,j,0)∈S，i＝1,2,…,w；j＝1,2,…,w，重复步骤31和步骤32，每个扫描点通用掩膜M，都对应一个矩阵τ′(xl,i,yl,j,t)，将这些大小为1×m×t_res的三维矩阵在高度维按扫描顺序进行拼接，得到最终的包含所有光子信息的三维矩阵τ′，大小为w2×m×t_res。
进一步地，所述步骤4的具体过程为：
将压缩之前光子瞬态图像τ(xl,i,yl,j,t)的每一帧作为一幅二维图像I，压缩之后图像τ′(xl,i,yl,j,t)的每一帧作为压缩采集结果y，根据压缩感知原理，将I展平为一维向量x，令Ф表示m个掩膜展平并逐行拼接的测量矩阵，则有：
y＝Φx＝ΦΨs＝Θs
其中，x满足稀疏性条件，可由选定的稀疏矩阵Ψ与在该基下对应的稀疏系数s得乘积表示，Θ表示传感矩阵，由测量矩阵Ф和稀疏矩阵Ψ相乘得到。
本发明受单像素成像启发，成功地将压缩感知运用到三维场景中，利用光飞行时间(TOF)原理，将深度信息转换为时间信息，通过在时间轴上对瞬态图像进行切片以满足压缩感知的要求。相较于传统的exhaustive型非共聚焦扫描，本发明在减少了采样次数的同时，在探测过程中使用电显掩膜而非机械地逐点探测，获得了更短的采集时间，经过测试可以仅用传统采集时间的10％-20％重建出质量依旧可观的三维场景；相较于共聚焦扫描和单点非共聚焦扫描，由于中继面上的光子信息得以充分应用，信噪比得到了很大的提升。本发明方法为实现实时的非视域成像提供了现实依据。
附图说明
图1为本发明方法的流程图；
图2为成像系统构造示意图；
图3为压缩感知重建效果图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1，本实施例的一种基于单光子探测的三维信息采集和重建方法，具体步骤如下：
步骤1，基于光子飞行时间(TOF)采集原理搭建皮秒级别时间分辨率的非视域成像系统，该系统主要包括皮秒激光器、二维扫描振镜、空间光调制器(SLM)、单光子雪崩探测器(SPAD)、时间相关光子时间统计计数器(TCSPC)等，系统搭建方式由图2所示。
步骤2，皮秒激光器发射激光并由二维扫描振镜投射到中继面，光子在中继面和隐藏场景中发生多次反射；具体过程如下：
步骤21，皮秒激光器发射特定波长以及设定好重复频率和能量的激光，激光经由二维扫描振镜改变传输方向投射到中继面上，中继面为漫反射平整白墙，入射光子经过中继面的反射，部分到达隐藏场景并再次由场景表面反射回中继面，以中继面探测区域中心为原点建立三维直角坐标系，x、y轴位于中继面，z轴正方向垂直于中继面指向隐藏场景，中继面的z坐标为0。令此时激光打在中继面的点坐标为(xl,1,yl,1,0)，隐藏场景中的某点坐标为(x,y,z)；
步骤22，调控振镜上下两镜片的偏转角度，改变激光传输方向，进而改变打在中继面的位置(xl,i,yl,j,0)(i＝1,2,…,w；j＝1,2,…,w)；
步骤23，按一定的扫描顺序重复步骤22，直至中继面探测区域已完全被逐点扫描到，探测区域的空间分辨率为扫描点个数w×w，设探测区域坐标集合为S，隐藏场景表面点的集合为F。
步骤3，经过中继面和隐藏场景的多次反射和衰减后，最开始发射的光子只有极少部分能够回到中继面探测区域，此时由收光镜头收集所有这些经多次反射后的光子，并投射到空间光调制器上，该空间光调制器上显示设计好的掩膜图案以调制经收光镜头聚焦之后的中继面探测区域得到的光子信息，并最终由聚光透镜汇聚调制后的信息输送给单光子雪崩探测器，计数器据此记录光子事件并生成光子计数直方图，经过数据预处理得到三维光子瞬态图τ′；具体过程如下：
步骤31，先作以下假设：墙后只有单次散射(即不考虑光子在场景中的多次反射)、光各向同性散射(认为墙面和待测物体表面是郎博特表面)、隐藏场景内没有遮挡。入射到中继面的光子经过中继面反射，其中一部分入射到隐藏场景表面，到达场景表面的光子一部分再次被反射回中继面，并最终由中继面反射回成像系统被收光镜头收集。由于光子传输路径的不同，这些光子返回成像系统的时间也不一致，因此携带了空间和时间信息；
对于扫描点(xl,1,yl,1,0)、隐藏场景表面某点(x,y,z)∈F以及中继面探测区域某点(xp,yp,0)∈S，本实施例采用光锥变换(LCT)作为理论模型，利用计数器的TTTR模式输出SPAD记录到的光子事件，并根据激光源、SPAD以及扫描点的空间坐标对由光子事件统计得到的直方图进行预处理，减去激光发射到墙面和墙面返回SPAD这两段路径对时间的影响，即时间轴的坐标平移。令
作为该情况下对应的3维光子采集数据，其表现为一个以时间为轴的锥形，可以理解为“泛开的涟漪”，通道维代表时间，每一帧对应该空间分辨率下得到的光子瞬态图像，则有：
在某一扫描点(xl,yl,0)∈S下，返回中继面探测区域的光子被收光镜头采集，此时采集到了所有(x,y,z)∈F和(xp,yp,0)∈S累加得到的光子数据，即不同的锥形在空间上的时间错位叠加：
以上各式中，c是光速，rl,1、rp分别对应扫描点(xl,1,yl,1,0)到场景表面(x,y,z)和(x,y,z)到探测点(xp,yp,0)的路径，函数ρ是3D半空间Ω中z>0对应的隐藏场景中的点(x,y,z)的反照率，F∈Ω，狄拉克函数δ模拟光传播的时空关系，
项模拟光子随距离的衰减，每次衰减与距离的平方成反比；
步骤32，空间光调制器上显示有设计好的掩膜M以供调制τ(xl,1,yl,1,t)，本实施例中选用Hadamard矩阵作为掩膜；M与τ(xl,1,yl,1,t)的空间分辨率相同，均为w×w。τ(xl,1,yl,1,t)的每一帧作为一幅二维图像与M逐元素相乘，再由聚光透镜收集传送给单像素的SPAD求和并最终由计数器给出一个只含时间维的一维向量，通过设计掩膜的数量m并在SLM上按一定频率滚动显示，可以得到m个这样的一维向量，在宽度维进行拼接，就可以得到新的包含光子时空信息的三维矩阵：
τ′(xl,1,yl,1,t)＝M·τ(xl,1,yl,1,t) (5)
其大小为1×m×t_res，t_res由计数器的时间分辨率(bin数)给出；
步骤33，对于中继面上的所有扫描点(xl,i,yl,j,0)∈S(i＝1,2,…,w；j＝1,2,…,w)，重复步骤31和步骤32，每个扫描点通用掩膜M，都对应一个τ′(xl,i,yl,j,t)，将这些大小为1×m×t_res的三维矩阵在高度维按扫描顺序进行拼接，得到最终的包含所有光子信息的三维矩阵τ′，大小为w2×m×t_res。
步骤4，根据调制后的光子三维矩阵τ′压缩恢复出完整的大小为w2×w2×t_res的τrecon，由线性代数的知识，掩膜数量m与空间分辨率w×w相等时才可以由处理后的信号直接解出原始数据，为了降低采样时间，考虑在m<w×w的情况下不失真地恢复原始信号，定义压缩率：
将压缩之前τ(xl,i,yl,j,t)的每一帧(大小为w×w)作为一幅二维图像I，压缩之后τ′(xl,i,yl,j,t)的每一帧(大小为1×m)作为压缩采集结果y，根据压缩感知原理，将I展平为一维向量x，令Ф表示m个掩膜展平并逐行拼接的测量矩阵，则有：
y＝Φx＝ΦΨs＝Θs (7)
其中，x满足稀疏性条件，可由选定的稀疏矩阵Ψ与在该基下对应的稀疏系数s得乘积表示，Θ表示传感矩阵，由测量矩阵Ф和稀疏矩阵Ψ相乘得到。由此，解压缩的过程转化为w2×t_res次由包含m次测量值的y恢复出稀疏系数s，进而恢复原始二维图像I的问题。需要注意的是，测量矩阵Ф和稀疏矩阵Ψ要足够不相关，本实施例采用DCT作为稀疏基，TV(全变差正则化)作为解压算法。
步骤5，将非共聚焦光子数据τrecon利用正常时差校正(NMO)变换近似为共聚焦数据τrecon_conf，对于非共聚焦光传输路径，令(xl,yl),(xp,yp)分别代表照明点和探测点，考虑两点连线的中垂线上距离墙面z的场景中的点1，坐标为
并将两点连线的中点作为共聚焦扫描点，记为(xe,ye,0),则非共聚焦时间与等效之后共聚焦时间的关系为：
其中，
代表非共聚焦传输时间，
代表等效后的时间。经过上述变换就可以将非共聚焦每个探测点的数据转化成该点与照明点连线中点处的共聚焦测量数据，此时需要对式(1)进行修正：
由于共聚焦每次探测只收集返回照明点的光子信息而非整个中继面，因此:
经过变量代换和矩阵化，前向模型可以表示为:
τrecon_conf＝Aρ＝Rt -1HRz (11)
其中H是卷积核h的傅里叶变换，A代表前向模型感知矩阵，Rt、Rz代表对瞬态图像时间t和z轴的重采样。考虑加性噪声η，则:
τrecon_conf＝Rt -1HRz+η (12)
虽然以上只假定了场景中处在照明点与探测点连线的中垂线上的特定点满足上述关系，但当待测物体距离墙面足够远(大约几十厘米)时，即使偏离中垂线，也是可以使用上述变换作为近似的，误差忽略不计。
步骤6，将近似成共聚焦数据后的光子三维瞬态图像τrecon_conf利用共聚焦后向算法重建出隐藏场景包含表面反照率信息的三维深度图像，本实施例使用LCT算法，场景的反照率可由下式解出：
其中α代表信噪比(SNR)，F是傅里叶变换。
本实施例还使用f-k偏移算法进行对比，最终由matlab等软件的画图函数即可显示隐藏场景的三维空间信息。
为了验证本发明的可行性，以Graphics and Imaging Lab提供的真实采集的非视域数据集中，空间分辨率为16×16的斯坦福兔模型为例，图3提供了两种重建算法在不同压缩率下的重建效果。在后向重建方面，f-k算法更重视细节的恢复，兔子模型表面的起伏与轮廓被重建得很清晰，但其余地方效果不好；而LCT则更重视整体形状的构造，对于隐藏场景中存在物体的区域进行了着重凸显，缺点是伪影较多。在压缩方面，LCT算法最大压缩率可至20％，而f-k算法在压缩率为10％时仍旧能够重建出兔模型的结构信息。
Claims (4)
1.一种基于单光子探测的三维信息采集和重建方法，其特征在于，该方法包括如下步骤：
步骤1，基于光子飞行时间采集原理搭建皮秒级别时间分辨率的非视域成像系统，该系统包括皮秒激光器、二维扫描振镜、收光镜头、空间光调制器、聚光透镜、单光子雪崩探测器和时间相关光子时间统计计数器，其中皮秒激光器用于发射激光，二维扫描振镜负责调控激光出射方向，收光镜头用于将携带时空信息的光子汇聚到空间光调制器进行调制，聚光透镜用于汇聚调制后的光子输送给单光子雪崩探测器；
步骤2，开启皮秒激光器发射激光，二维扫描振镜将激光投射到由漫反射平整白墙充当的中继面，光子在中继面和隐藏场景中发生多次反射；
步骤3，经过中继面和隐藏场景的多次反射和衰减后，最开始发射的光子只有极少部分能够回到中继面探测区域，此时由收光镜头收集所有这些经多次反射后的光子，并投射到空间光调制器上，空间光调制器调制经收集透镜聚焦之后的中继面探测区域得到的光子信息，并最终由聚光透镜汇聚调制后的信息输送给单光子雪崩探测器记录，时间相关光子时间统计计数器据此记录光子事件并生成光子计数直方图，经过数据预处理得到三维光子瞬态图τ′；
步骤4，根据调制后的三维光子瞬态图τ′压缩恢复出包含所有光子信息的非共聚焦光子数据τrecon；
步骤5，将非共聚焦光子数据τrecon利用正常时差校正方法近似为共聚焦数据τrecon_conf；
步骤6，将共聚焦数据τrecon_conf利用共聚焦后向算法重建出隐藏场景包含表面反照率信息的三维深度图像。
2.根据权利要求1所述的一种基于单光子探测的三维信息采集和重建方法，其特征在于，所述步骤2的具体处理步骤为：
步骤21，皮秒激光器发射特定波长以及设定好重复频率和能量的激光，激光经由二维扫描振镜改变传输方向投射到中继面上，入射光子经过中继面的反射，部分到达隐藏场景并再次由场景表面反射回中继面，以中继面探测区域中心为原点建立三维直角坐标系，x、y轴位于中继面，z轴正方向垂直于中继面指向隐藏场景，中继面的z坐标为0；令当前激光打在中继面的点坐标为(xl，1，yl，1，0)，隐藏场景中的某点坐标为(x，y，z)；
步骤22，调控二维扫描振镜上下两镜片的偏转角度，改变激光传输方向，进而改变打在中继面的位置(xl，i，yl，j，0)，其中i＝1，2，...，w；j＝1，2，...，w，w为扫描点个数；
步骤23，按一定的扫描顺序重复步骤22，直至中继面探测区域已完全被逐点扫描到，探测区域的空间分辨率为扫描点个数w×w，设探测区域坐标集合为S，隐藏场景表面点的集合为F。
3.根据权利要求2所述的一种基于单光子探测的三维信息采集和重建方法，其特征在于，所述步骤3的具体步骤为：
步骤31，对于扫描点(xl，1，yl，1，0)、隐藏场景表面某点(x，y，z)∈F以及中继面探测区域某点(xp，yp，0)∈S，利用时间相关光子时间统计计数器输出单光子雪崩探测器记录到的光子事件，并根据激光源、单光子雪崩探测器以及扫描点的空间坐标对由光子事件统计得到的直方图进行预处理，减去激光发射到墙面和墙面返回单光子雪崩探测器这两段路径对时间的影响，即时间轴的坐标平移；令
作为该情况下对应的3维光子采集数据，其表现为一个以时间为轴的锥形，通道维代表时间，每一帧对应该空间分辨率下得到的光子瞬态图像，则有：
在某一扫描点(xl，yl，0)∈S下，返回中继面探测区域的光子被收光镜头采集，此时采集到了所有(x，y，z)∈F和(xp，yp，0)∈S累加得到的光子数据，即不同的锥形在空间上的时间错位叠加：
以上各式中，c是光速，rl，1、rp分别对应扫描点(xl，1，yl，1，0)到场景表面(x，y，z)和(x，y，z)到探测点(xp，yp，0)的路径，函数p是3D半空间Ω中z＞0对应的隐藏场景中的点(x，y，z)的反照率，F∈Ω，狄拉克函数δ模拟光传播的时空关系，
项模拟光子随距离的衰减，每次衰减与距离的平方成反比；
步骤32，空间光调制器上显示有设计好的掩膜M以供调制光子瞬态图像τ(xl，1，yl，1，t)，掩膜M与光子瞬态图像τ(xl，1，yl，1，t)的空间分辨率相同，均为w×w；光子瞬态图像τ(xl，1，yl，1，t)的每一帧作为一幅二维图像与掩膜M逐元素相乘，再由聚光透镜收集传送给单像素的单光子雪崩探测器求和并最终由时间相关光子时间统计计数器给出一个只含时间维的一维向量，通过设计掩膜的数量m并在空间光调制器上按一定频率滚动显示，可以得到m个这样的一维向量，在宽度维进行拼接，就可以得到新的包含光子时空信息的三维矩阵：
τ′(xl，1，yl，1，t)＝M·τ(xl，1，yl，1，t)
其大小为1×m×t_res，t_res由时间相关光子时间统计计数器的时间分辨率给出；
步骤33，对于中继面上的所有扫描点(xl，i，yl，j，0)∈S，i＝1，2，...，w；j＝1，2，...，w，重复步骤31和步骤32，每个扫描点通用掩膜M，都对应一个矩阵τ′(xl，i，yl，j，t)，将这些大小为1×m×t_res的三维矩阵在高度维按扫描顺序进行拼接，得到最终的包含所有光子信息的三维矩阵τ′，大小为w2×m×t_res。
4.根据权利要求2所述的一种基于单光子探测的三维信息采集和重建方法，其特征在于，所述步骤4的具体过程为：
将压缩之前光子瞬态图像τ(xl，i，yl，j，t)的每一帧作为一幅二维图像I，压缩之后图像τ′(xl，i，yl，j，t)的每一帧作为压缩采集结果y，根据压缩感知原理，将I展平为一维向量x，令Φ表示m个掩膜展平并逐行拼接的测量矩阵，则有：
y＝Φx＝ΦΨs＝Θs
其中，x满足稀疏性条件，可由选定的稀疏矩阵Ψ与在该基下对应的稀疏系数s得乘积表示，Θ表示传感矩阵，由测量矩阵Φ和稀疏矩阵Ψ相乘得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792694.7A CN115615349A (zh) | 2021-07-14 | 2021-07-14 | 一种基于单光子探测的三维信息采集和重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792694.7A CN115615349A (zh) | 2021-07-14 | 2021-07-14 | 一种基于单光子探测的三维信息采集和重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115615349A true CN115615349A (zh) | 2023-01-17 |
Family
ID=84855977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110792694.7A Pending CN115615349A (zh) | 2021-07-14 | 2021-07-14 | 一种基于单光子探测的三维信息采集和重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115615349A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116560080A (zh) * | 2023-07-10 | 2023-08-08 | 之江实验室 | 一种透过厚散射介质单光子单像素成像装置及方法 |
| CN117452433A (zh) * | 2023-12-25 | 2024-01-26 | 之江实验室 | 基于单点单光子探测器的360度三维成像装置及方法 |
-
2021
- 2021-07-14 CN CN202110792694.7A patent/CN115615349A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116560080A (zh) * | 2023-07-10 | 2023-08-08 | 之江实验室 | 一种透过厚散射介质单光子单像素成像装置及方法 |
| CN116560080B (zh) * | 2023-07-10 | 2023-09-26 | 之江实验室 | 一种透过厚散射介质单光子单像素成像装置及方法 |
| CN117452433A (zh) * | 2023-12-25 | 2024-01-26 | 之江实验室 | 基于单点单光子探测器的360度三维成像装置及方法 |
| CN117452433B (zh) * | 2023-12-25 | 2024-03-05 | 之江实验室 | 基于单点单光子探测器的360度三维成像装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Musarra et al. | Non-line-of-sight three-dimensional imaging with a single-pixel camera | |
| KR101590778B1 (ko) | 3차원 장면으로부터 시각 정보의 실시간 포착을 위한 방법 및 카메라 | |
| CN109477710B (zh) | 基于点的结构化光系统的反射率图估计 | |
| CN115615349A (zh) | 一种基于单光子探测的三维信息采集和重建方法 | |
| CN107462932B (zh) | 一种基于光计算的可视化计算鬼成像系统及成像方法 | |
| CN107817641B (zh) | 基于多模光纤的单像素相机系统 | |
| CN108369399A (zh) | 全息光场成像装置和及其使用方法 | |
| JP2006004432A (ja) | シーンの反射率関数を推定する方法 | |
| CN113365014B (zh) | 一种并行压缩感知gpu加速实时成像系统与方法 | |
| CN114200425B (zh) | 一种隐蔽目标的三维成像系统和方法 | |
| US20230125131A1 (en) | Ultrafast light field tomography | |
| Kurmi et al. | A statistical view on synthetic aperture imaging for occlusion removal | |
| CN114659635B (zh) | 一种基于像面分割光场的光谱深度成像装置及方法 | |
| CN112113661B (zh) | 一种深度学习型快照式光谱成像装置及其探测方法 | |
| Descour et al. | Nonscanning no-moving-parts imaging spectrometer | |
| AU2020408599A1 (en) | Light field reconstruction method and system using depth sampling | |
| Peng et al. | Towards non-line-of-sight photography | |
| Li et al. | A brief review on 2D and 3D image reconstruction using single-pixel imaging | |
| CN115824170A (zh) | 一种摄影测量与激光雷达融合测量海洋波浪的方法 | |
| CN110044474B (zh) | 一种基于插值算法的关联成像优化方法 | |
| Magee et al. | Comparison of techniques for image reconstruction using reflective tomography | |
| CN106131517A (zh) | 一种彩色图像获取方法 | |
| CN205029743U (zh) | 一种被动式单像素望远成像系统 | |
| CN117148477B (zh) | 降水粒子多角度立体成像测量装置及方法 | |
| CN217639540U (zh) | 一种基于互补的压缩感知成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |