CN108335324A - 基于偏振瞬态成像的散射场景深度重建方法以及设备 - Google Patents

基于偏振瞬态成像的散射场景深度重建方法以及设备 Download PDF

Info

Publication number
CN108335324A
CN108335324A CN201810085553.XA CN201810085553A CN108335324A CN 108335324 A CN108335324 A CN 108335324A CN 201810085553 A CN201810085553 A CN 201810085553A CN 108335324 A CN108335324 A CN 108335324A
Authority
CN
China
Prior art keywords
transient state
scattering
scene
depth
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810085553.XA
Other languages
English (en)
Inventor
戴琼海
吴日辉
索津莉
张勇东
代锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
University of Chinese Academy of Sciences
Original Assignee
Tsinghua University
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, University of Chinese Academy of Sciences filed Critical Tsinghua University
Priority to CN201810085553.XA priority Critical patent/CN108335324A/zh
Publication of CN108335324A publication Critical patent/CN108335324A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于偏振瞬态成像的散射场景深度重建方法以及设备。其中方法应用于用于散射场景的瞬态成像设备,该设备包括激光光源、与激光光源位于同一水平面的深度相机、设置于激光光源与目标被拍摄物体之间的起偏器和设置于深度相机与目标被拍摄物体之间检偏器,方法包括:设定激光光源发射的入射光的起偏方向,并设定检偏器的参考方向;控制激光光源发射入射光,并旋转检偏器,通过深度相机分别在多个检偏方向上对目标被拍摄物体进行拍摄,并重构得到多组瞬态图序列;对多组瞬态图序列进行预处理以分离当前场景中的反射分量和散射分量;从瞬态图序列的反射分量得到图像空间坐标点的时间剖面图;根据时间剖面图的峰值位置,重建场景深度。

Description

基于偏振瞬态成像的散射场景深度重建方法以及设备
技术领域
本发明涉及计算摄像学领域,尤其涉及一种基于偏振瞬态成像的散射场景深度重建方法及用于散射场景的瞬态成像设备。
背景技术
相关技术中,散射场景深度重建方法通常采用基于传统人工光源的方法来实现。其中,基于传统人工光源的方法主要有结构光和主动偏振光方法:基于结构光的方法,其本质上是双目视觉,并且该双目视觉的对应点是需要预先标定的,而且需要通过扫描来找到该对应点。具体做法是,使用投影仪向场景投射片状强光,使得相机可以直接观测到场景的表面,由于对应点已经预先标定,不需要像传统的双目视觉一样通过算法找对应点,而是,直接使用三角法重建深度即可。之所以要投射片状强光,是因为如果投射面阵光源,反射光会被散射光湮灭。然而,该基于结构光的方法的缺点是需要预先对物理空间进行标定,需要扫描拍摄,拍摄次数与图像的空间分辨率成正比。
基于主动偏振光的方法主要使用一个较强的假设,即整个视场内的散射光的偏振度是一个可以测量的常数,其中,偏振度是指光束中的偏振部分的光强度和整体光强度的比值。然而,这个假设在弱散射以及入射光是偏振光的条件下才成立,使得在散射稍强的环境下,单次散射模型不再成立。
因此,如何能够在散射较强的复杂环境下进行散射场景深度重建以及实现瞬态成像,已经成为亟待解决的问题。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种基于偏振瞬态成像的散射场景深度重建方法。该方法可以使得得到的场景深度具有绝对深度值,同时只需在现有的瞬态成像设备上添加一个起偏器和检偏器,即可实现基于偏振的散射场景深度的重建,成本较低,并且在散射较强的复杂环境成像,特别是水下成像、海洋勘探、生物显微等技术领域具有广阔的应用前景。
本发明的第二个目的在于提出一种用于散射场景的瞬态成像设备。
为达到上述目的,本发明第一方面实施例提出的基于偏振瞬态成像的散射场景深度重建方法,包括:所述方法应用于用于散射场景的瞬态成像设备,所述设备包括激光光源、与所述激光光源位于同一水平面的深度相机、设置于所述激光光源与目标被拍摄物体之间的起偏器和设置于所述深度相机与目标被拍摄物体之间检偏器,所述方法包括以下步骤:调整所述起偏器以设定所述激光光源发射的入射光的起偏方向,并设定所述检偏器的参考方向;控制所述激光光源发射所述入射光,并旋转所述检偏器,通过所述深度相机分别在多个检偏方向上对所述目标被拍摄物体进行拍摄,并重构得到多组瞬态图序列;对所述多组瞬态图序列进行预处理以分离当前场景中的反射分量和散射分量;从所述瞬态图序列的反射分量得到图像空间坐标点的时间剖面图;根据所述时间剖面图的峰值位置,重建场景深度。
根据本发明实施例的基于偏振瞬态成像的散射场景深度重建方法,利用偏振光经过散射和反射后的偏振态的差异分离光照的散射分量(即散射光)及反射分量(即反射光),并利用瞬态成像算法获得瞬态图序列,然后根据该瞬态图序列重建场景深度,其在散射较强的复杂环境成像,特别是水下成像、海洋勘探、生物显微等技术领域具有广阔的应用前景,并且根据光速以及每个图像空间坐标点的反射分量时间剖面图的峰值位置计算场景深度,使得得到的场景深度具有绝对深度值,同时只需在现有的瞬态成像设备上添加一个起偏器和检偏器,即可实现基于偏振的散射场景深度的重建,成本较低。
为达到上述目的,本发明第二方面实施例提出的用于散射场景的瞬态成像设备,所述设备通过本发明第一方面实施例所述的基于偏振瞬态成像的散射场景深度重建方法进行场景深度的重建。
根据本发明实施例的用于散射场景的瞬态成像设备,利用偏振光经过散射和反射后的偏振态的差异分离光照的散射分量(即散射光)及反射分量(即反射光),并利用瞬态成像算法获得瞬态图序列,然后根据该瞬态图序列重建场景深度,其在散射较强的复杂环境成像,特别是水下成像、海洋勘探、生物显微等技术领域具有广阔的应用前景,并且根据光速以及每个像素的反射分量时间剖面图的峰值位置计算对应场景点的深度,使得得到的场景深度具有绝对深度值,同时只需在现有的瞬态成像设备上添加一个起偏器和检偏器,即可实现基于偏振的散射场景深度的重建,成本较低。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是本发明实施例的偏振光散射的示意图;
图2是根据本发明一个实施例的基于偏振瞬态成像的散射场景深度重建方法的流程图;
图3是根据本发明一个实施例的用于瞬态成像的设备的示例图;
图4是根据本发明一个实施例的瞬态成像设备的原理示例图;
图5是根据本发明一个具体实施例的基于偏振瞬态成像的散射场景深度重建方法的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明实施例的散射场景深度重建方法是基于偏振来实现的。因此,首先需要对本发明所涉及到的基本知识进行介绍:
偏振(英文名称为Polarization)指的是波动能够朝着不同方向振荡的性质。光是电磁波,具有偏振的性质,光的偏振方向指的是电场的偏振方向。在垂直于传播方向的平面内,包含一切可能方向的横振动,且任一方向上具有相同的振幅,这种横振动对称于传播方向的光称为非偏振光。凡其振动失去这种对称性的光统称偏振光。在光的传播过程中,只包含一种振动,其振动方向始终保持在光的偏振同一平面内,这种光称为线偏振光(或平面偏振光)。光波包含一切可能方向的横振动,但不同方向上的振幅不等,在两个互相垂直的方向上振幅具有最大值和最小值,这种光称为部分偏振光。自然光和部分偏振光实际上是由许多振动方向不同的线偏振光组成。
散射颗粒受入射光子的电场的影响,其周围的电子加速,在散射颗粒周围产生与入射光子的电场方向一致的电场。入射光子被微粒吸收,而微粒周围电子在电场的作用下,向外辐射光子,此时出射的光子即为散射光。出射光子的电场方向与传播方向垂直,并且与电场方向在同一平面上。若入射光是偏振光,则入射光子的电场是确定的,则出射光子的电场方向只有唯一解(如图1所示)。此时出射光是偏振光。此处考虑的散射是一次散射,事实上,在散射介质中存在多次散射。所以出射光线实际上是部分偏振光。
本发明所使用的是非准直的且不具有偏振性的激光。当激光经过起偏器,出射光为偏振光,偏振方向由起偏器决定。当激光经过散射介质时会发生散射。偏振光在目标被拍摄物体表面发生漫反射,变成非偏振光,而经散射后,则是部分偏振光。需要说明的是,本发明实施例中的入射光是线偏振光。
具体地,下面参考附图描述本发明实施例的基于偏振瞬态成像的散射场景深度重建方法以及用于瞬态成像的设备。
图2是根据本发明一个实施例的基于偏振瞬态成像的散射场景深度重建方法的流程图。需要说明的是,本发明实施例的基于偏振瞬态成像的散射场景深度重建方法可应用于散射场景的瞬态成像的设备。例如,如图3所示,所述设备30可包括激光光源31、与该激光光源31位于同一水平面的深度相机32、设置于激光光源31与目标被拍摄物体A之间的起偏器33和设置于深度相机32与目标被拍摄物体A之间的检偏器34。其中,该激光光源31可以是可调制激光光源,深度相机32可为多频率PMD(Photonic Mixer Devices,光子耦合器件),该激光光源31和深度相机32可组成瞬态成像设备。本发明实施例的用于散射场景的瞬态成像设备就是在现有瞬态成像设备中的激光光源31前添加一个起偏器33,并在深度相机32前添加一个检偏器34,以实现光传输分解及瞬态成像。
如图2所示,该基于偏振瞬态成像的散射场景深度重建方法可以包括:
S210,调整起偏器以设定激光光源发射的入射光的起偏方向,并设定检偏器的参考方向。其中,在本发明的实施例中,该起偏器可为偏振片或尼科耳棱镜。
具体地,可先任意选定激光光源发射的入射光的起偏方向,并任意确定检偏器的参考方向。
S220,控制激光光源发射入射光,并旋转检偏器,通过深度相机分别在多个检偏方向上对目标被拍摄物体进行拍摄,并重构得到多组瞬态图序列。
具体地,可开启激光光源发射入射光,并旋转检偏器,通过深度相机分别在多个检偏方向上对目标被拍摄物体进行拍摄,以得到多组测量值。也就是说,可分别任选多个检偏方向,然后用深度相机在该多个检偏方向上分别进行拍摄,并重构得到多组瞬态图序列。作为一种示例,可基于傅里叶变换的瞬态成像算法重构瞬态图序列。可以理解,瞬态图序列的重构算法还可以有其他方式,本发明对此不作具体限定。
S230,对多组瞬态图序列行预处理以分离当前场景中的反射分量和散射分量。
具体地,可根据多组瞬态图序列计算斯托克斯Stokes参数,其中,该Stokes参数可包括入射光的总强度参数、0°与90°线偏振光分量之差参数、45°与135°线偏振光分量之差参数。之后,可根据预先标定的散射介质的偏振度、所述0°与90°线偏振光分量之差参数、以及所述45°与135°线偏振光分量之差参数,计算散射分量,并根据入射光的总强度参数和散射分量计算反射分量。
其中,在本发明的实施例中,可通过以下公式(1)计算出上述Stokes参数:
其中,θi为检偏器的第i个检偏方向,为在第i个检偏方向上的光强,I为入射光的总强度参数,Q为0°与90°线偏振光分量之差参数,U为45°与135°线偏振光分量之差参数。
也就是说,偏振光经过目标物反射后,失去偏振性,而被散射介质散射后,偏振性得以部分保持。任意确定偏振光的起偏方向后,任意选定检偏器的参考坐标系,即Stokes参数的参考坐标系,每次改变的角度是可控的。起偏方向及检偏器的参考坐标系选定后,偏振光的Stokes参数是确定的,但此时是未知的。通过改变检偏方向,联立线性方程,即可解出Stokes参数。并得到偏振度图,从而区分偏振分量及非偏振分量的大小,即可区分散射分量和反射分量。
S240,根据瞬态图序列的反射分量获取图像空间坐标点(spatial coordinate)的时间剖面图。
作为一种示例,上述瞬态图像序列可通过对以下公式(2)进行重构获得:
其中,为在NT曝光时间内的深度相机的输出值,α(τ)为瞬态图像序列,sω(t-τ)为激光光源的调制信号,为深度相机中光门的解调信号,解调信号的周期与激光光源的光源信号的周期一致。
在本实施例中,重构结果记为
其中,α(τ)为瞬态图像序列,即不同时刻的场景的光强值序列。对于散射场景
α(τ)=D(τ)+S(τ)
其中,D(τ)与S(τ)分别为场景在τ时刻的反射光强度和散射光强度,本发明称之为反射分量和散射分量。重构瞬态图序列并从中分离出反射分量D(τ)。对于一个给定的图像空间坐标点(spatial coordinate),由D(τ)可得到对应的时间剖面图。其横轴为时间,纵轴为强度。其峰值出现的时刻即为反射光的飞行时间,即可求解该图像空间坐标点对应的场景点的深度。
下面将介绍上述式(2)的推导原理,以方便本领域技术人员对本发明的理解。可以理解,本发明实施例采用的是瞬态成像设备,如图4所示,该设备可包括一个非相干激光器(即激光光源)和一个传感器(即多频率PMD),其中,该激光器和传感器采用同频率的信号源调制。假设激光器的输出为sω(t),其中ω为调制信号角频率。为了能够从采集的图像中解出场景信息,传感器端有一个光门,用均值为0、与光源信号同周期的信号解调,其中是可用程序选择的、与光源信号锁定的相差。
经过时间τ,到达传感器的光信号rω(t)为:
rω(t)=E0+αsω(t-τ) (3)
其中,E0是环境光及系统等因素产生的直流分量,α是由光路决定的衰减系数,τ是飞行时间(与光路的长度相关)。实际到达传感器的信号是所有光路的光的叠加,即
右边第二项是场景的激励项sω(t)和场景响应α(τ)的卷积。其中,
α(τ)=∫pδ(|p|=τ)αpdp (5)
其中,p为所有可能路径,|p|为经过路径p所消耗的时间,αp是沿路径p的衰减系数,δ(·)为冲激函数,当括号内条件成立时,取值为1,否则取值为0。
即α(t)为场景在τ时刻的响应,即待求的瞬态图像序列。
实际拍摄过程是积分过程,因此在NT曝光时间内的传感器输出为
即根据上述式(4)、(5)和(6)即可得到上述式(2)。这样改变ω和即可得到一组使用优化算法或者基于傅立叶变化的算法,可以得到瞬态图序列。对于一个给定的图像空间坐标点(“像素”),每张瞬态图上取该位置的值,即构成该图像空间坐标点的时间剖面图。
S250,根据时间剖面图的峰值位置,重建对应场景点的深度。
作为一种示例,可通过以下公式(7),根据时间剖面图的峰值位置重建场景深度:
d=ct0/2/n (7)
其中,d为场景深度,c为光速,t0为时间剖面图的峰值位置,n为散射介质的折射率。
根据本发明实施例的基于偏振瞬态成像的散射场景深度重建方法,利用偏振光经过散射和反射后的偏振态的差异分离光照的散射分量(即散射光)及反射分量(即反射光),并利用瞬态成像算法获得瞬态图序列,然后根据该瞬态图序列重建场景深度,其在散射较强的复杂环境成像,特别是水下成像、海洋勘探、生物显微等技术领域具有广阔的应用前景,并且根据光速以及每个像素的反射分量时间剖面图的峰值位置计算对应场景点的深度,使得得到的场景深度具有绝对深度值,同时只需在现有的瞬态成像设备上添加一个起偏器和检偏器,即可实现基于偏振的散射场景深度的重建,成本较低。
为了能够本领域技术人员能够更加了解本发明,下面将以多个检偏方向为3个,多组瞬态图序列为3组为例对本发明进行详细描述。图5是根据本发明一个具体实施例的基于偏振瞬态成像的散射场景深度重建方法的流程图。如图5所示,该基于偏振瞬态成像的散射场景深度重建方法可以包括:
S510,调整起偏器以设定激光光源发射的入射光的起偏方向,并设定检偏器的参考方向。其中,在本发明的实施例中,该起偏器可为偏振片或尼科耳棱镜。
具体地,可先任意选定激光光源发射的入射光的起偏方向,并任意确定检偏器的参考方向。
S520,控制激光光源发射入射光,并旋转检偏器,通过深度相机分别在3个检偏方向上对目标被拍摄物体进行拍摄,并重构得到3组瞬态图序列。
具体地,可开启激光光源发射入射光,并旋转检偏器,通过深度相机分别在θ1、θ2和θ3这3个检偏方向上对目标被拍摄物体进行拍摄,并重构以得到3组瞬态图序列,即 为讨论方便,下文分别记为例如,可分别选择0°、60°、120°三个检偏方向上对目标被拍摄物体进行拍摄,并重构以得到3组瞬态图像序列。需要说明的是,理论上只需要为检偏器任意选定3个方向拍摄即可。本实施例选定的方向只是为了计算方便,本发明并不限定于本实施例使用的三个方向。
S530,从3组瞬态图序列中分离当前场景中的反射分量和散射分量。
具体而言,在本发明的实施例中,可根据3组瞬态图序列计算斯托克斯Stokes参数,其中,Stokes参数包括入射光的总强度参数、0°与90°线偏振光分量之差参数、45°与135°线偏振光分量之差参数,之后,根据预先标定的散射介质的偏振度、0°与90°线偏振光分量之差参数、以及45°与135°线偏振光分量之差参数,计算散射分量,最后,根据入射光的总强度参数和散射分量计算反射分量。
可以理解,重构的瞬态图序列由两部分组成,即
I(τ)=D(τ)+S(τ) (8)
其中,I(τ)表示所述瞬态图序列,D(τ)表示所述瞬态图序列中的反射分量,S(τ)表示所述瞬态图序列中的散射分量。
上述变量可分解为平行于偏振方向及垂直于偏振方向,即
I(τ)=I||(τ)+I(τ) (9)
D(τ)=D||(τ)+D(τ) (10)
S(τ)=S||(τ)+S(τ) (11)
在本步骤中,假设检偏器的检偏方向分别为θ1、θ2和θ3,则重构的瞬态图序列可通过上述式(1),联立方程组即可解出Stokes参数I(τ)、Q(τ)、U(τ)。由于并不限定光强的积分时间,所以对于瞬态场景,上述(1)式同样适用,Q,U分别换成Q(τ),U(τ)即可。
根据Stokes参数I(τ)、Q(τ)、U(τ)即可得到瞬态偏振度:
根据偏振度的定义可知:
由此,根据上述式(12)、(13)即可得到I||(τ)、I(τ)。
之后,针对反射分量和散射分量分别定义其瞬态偏振度
其中,上述pobj(τ)为反射分量下定义的瞬态偏振度,pscat(τ)为散射分量下定义的瞬态偏振度。
由上述等式(1)、(2)、(3)、(4)、(8)和(9)即可得到以下等式:
I||(τ)+I(τ)=D(τ)+S(τ) (16)
I||(τ)-I(τ)=pobj(τ)D(τ)+pscat(τ)S(τ) (17)
其中,由于反射分量不具有偏振性,所以pobj=0。
因此,根据上述等式(16)、(17)可以得到反射分量和散射分量
根据上述等式(12)、(13)可知,由此,根据该等式以及上述式(18)即可得到散射分量然后,根据上述式(19)即可得到反射分量。
其中,由于本发明针对的散射介质的属性是全局一致的,上述散射介质的瞬态偏振度pscat(τ)与τ无关,例如可通过以下方式预先标定:
1)将一块漫反射平板依次放置在只含有散射介质的水缸的不同深度。对于每一个深度,分别使用工业相机拍摄两帧,分别为光强最强和光强最弱的图片S||和S
2)每个深度分别计算散射介质的偏振度pscat
3)经过多次测试并去平均值,即可得到散射介质的偏振度pscat
S540,根据瞬态图序列的反射分量获取图像空间坐标点的时间剖面图。
作为一种示例,所述瞬态图像序列可通过对以下公式(2)进行重构获得:
其中,为在NT曝光时间内的深度相机的输出值,α(t)为瞬态图像序列,sω(t-τ)为激光光源的调制信号,为深度相机中光门的解调信号,解调信号的周期与激光光源的光源信号的周期一致。
在本实施例中,重构结果记为
其中,α(τ)为瞬态图像序列,即不同时刻的场景的光强值序列。对于散射场景
α(τ)=D(τ)+S(τ)
其中,D(τ)与S(τ)分别为场景在τ时刻的反射光强度和散射光强度,本发明称之为反射分量和散射分量。重构瞬态图序列并从中分离出反射分量D(τ)。对于一个给定的图像空间坐标点(spatial coordinate),由D(τ)可得到对应的时间剖面图。其横轴为时间,纵轴为强度。其峰值出现的时刻即为反射光的飞行时间,即可求解该图像空间坐标点对应的场景点的深度。
S550,根据时间剖面图的峰值位置,重建场景深度。
作为一种示例,可通过以下公式(7),根据时间剖面图的峰值位置重建场景深度:
d=ct0/2/n (3)
其中,d为场景深度,c为光速,t0为时间剖面图的峰值位置,n为散射介质的折射率。
为了实现上述实施例,本发明还提出了一种用于散射场景的瞬态成像设备。在本发明的实施例中,该用于散射场景的瞬态成像设备可通过本发明上述任一个实施例所述的基于偏振瞬态成像的散射场景深度重建方法进行场景深度的重建。
举例而言,本发明可由所述设备中的激光光源发出650nm的红色激光经起偏器后,变成偏振光,入射到散射介质中,穿透散射介质到达目标被拍摄物体表面,被拍摄物体表面反射的光线及被散射介质散射的部分光线穿过检偏器后,最终进入PMD。并在该过程中,改变检偏器的检偏角度,分离散射光和被物体直接反射的光线,并利用所述设备及本发明实施例的基于偏振瞬态成像的散射场景深度重建方法,计算直接反射光的瞬态图序列,即可得到直接光照在空间中的传播过程(即可重建场景深度)。本发明在散射较强的复杂环境成像,特别是水下成像、海洋勘探、生物显微等技术领域具有广阔的应用前景。
根据本发明实施例的用于散射场景的瞬态成像设备,利用偏振光经过散射和反射后的偏振态的差异分离光照的散射分量(即散射光)及反射分量(即反射光),并利用瞬态成像算法获得瞬态图序列,然后根据该瞬态图序列重建场景深度,其在散射较强的复杂环境成像,特别是水下成像、海洋勘探、生物显微等技术领域具有广阔的应用前景,并且根据光速以及每个像素的反射分量时间剖面图的峰值位置计算场景深度,使得得到的场景深度具有绝对深度值,同时只需在现有的瞬态成像设备上添加一个起偏器和检偏器,即可实现基于偏振的散射场景深度的重建,成本较低。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于偏振瞬态成像的散射场景深度重建方法,其特征在于,所述方法应用于用于散射场景的瞬态成像设备,所述设备包括激光光源、与所述激光光源位于同一水平面的深度相机、设置于所述激光光源与目标被拍摄物体之间的起偏器和设置于所述深度相机与目标被拍摄物体之间的检偏器,所述方法包括以下步骤:
调整所述起偏器以设定所述激光光源发射的入射光的起偏方向,并设定所述检偏器的参考方向;
控制所述激光光源发射所述入射光,并旋转所述检偏器,通过所述深度相机分别在多个检偏方向上对所述目标被拍摄物体进行拍摄,并重构得到多组瞬态图序列;
对所述多组瞬态图序列行预处理以分离当前场景中的反射分量和散射分量;
根据所述瞬态图序列的反射分量获取图像空间坐标点的时间剖面图;
根据所述时间剖面图的峰值位置,重建对应场景点的深度。
2.如权利要求1所述的方法,其特征在于,当所述多个检偏方向为3个时,所述多组瞬态图序列为3组。
3.如权利要求2所述的方法,其特征在于,所述对所述多组瞬态图序列进行预处理以分离当前场景中的反射分量和散射分量,包括:
根据所述3组瞬态图序列计算斯托克斯Stokes参数,其中,所述Stokes参数包括所述入射光的总强度参数、0°与90°线偏振光分量之差参数、45°与135°线偏振光分量之差参数;
根据预先标定的散射介质的偏振度、所述0°与90°线偏振光分量之差参数、以及所述45°与135°线偏振光分量之差参数,计算所述散射分量;
根据所述入射光的总强度参数和所述散射分量计算所述反射分量。
4.如权利要求3所述的方法,其特征在于,通过以下公式计算出斯托克斯Stokes参数:
其中,i=1,2,3,θi为所述检偏器的第i个检偏方向,为在第i个检偏方向上的光强,I为所述入射光的总强度参数,Q为所述0°与90°线偏振光分量之差参数,U为所述45°与135°线偏振光分量之差参数。
5.如权利要求1所述的方法,其特征在于,所述瞬态图像序列通过对以下公式进行重构获得:
其中,为在NT曝光时间内的所述深度相机的输出值,α(τ)为所述瞬态图序列,sω(t-τ)为所述激光光源的调制信号,为所述深度相机中光门的解调信号,所述解调信号的周期与所述激光光源的光源信号的周期一致。
6.如权利要求1所述的方法,其特征在于,通过以下公式重建所述场景深度:
d=ct0/2/n
其中,d为所述场景深度,c为光速,t0为所述时间剖面图的峰值位置,n为散射介质的折射率。
7.如权利要求1所述的方法,其特征在于,所述起偏器为偏振片或尼科耳棱镜。
8.一种用于散射场景的瞬态成像设备,其特征在于,所述设备通过如权利要求1至7中任一项所述的基于偏振瞬态成像的散射场景深度重建方法进行场景深度的重建。
CN201810085553.XA 2018-01-29 2018-01-29 基于偏振瞬态成像的散射场景深度重建方法以及设备 Pending CN108335324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810085553.XA CN108335324A (zh) 2018-01-29 2018-01-29 基于偏振瞬态成像的散射场景深度重建方法以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810085553.XA CN108335324A (zh) 2018-01-29 2018-01-29 基于偏振瞬态成像的散射场景深度重建方法以及设备

Publications (1)

Publication Number Publication Date
CN108335324A true CN108335324A (zh) 2018-07-27

Family

ID=62926109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810085553.XA Pending CN108335324A (zh) 2018-01-29 2018-01-29 基于偏振瞬态成像的散射场景深度重建方法以及设备

Country Status (1)

Country Link
CN (1) CN108335324A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993784A (zh) * 2019-05-13 2019-07-09 浙江舜宇光学有限公司 深度图像的构建方法、装置以及系统
CN110244309A (zh) * 2019-06-21 2019-09-17 浙江舜宇光学有限公司 深度的检测系统和方法
CN110580686A (zh) * 2019-08-02 2019-12-17 天津大学 在散射环境中基于双目视觉的偏振图像复原装置及方法
CN111123619A (zh) * 2020-01-21 2020-05-08 青岛理工大学 短相干照明与偏振结合的水下远距离光学成像装置及方法
CN111343368A (zh) * 2020-02-18 2020-06-26 清华大学 基于偏振的散射介质深度恢复方法及装置
CN111932677A (zh) * 2020-06-29 2020-11-13 南京理工大学 基于偏振参数显微序列图像的金纳米球的三维重建方法
CN112907472A (zh) * 2021-02-09 2021-06-04 大连海事大学 一种基于场景深度信息的偏振水下图像优化方法
CN113283420A (zh) * 2021-05-20 2021-08-20 维沃移动通信有限公司 电子设备、材质检测方法、材质检测装置和可读存储介质
CN113554709A (zh) * 2020-04-23 2021-10-26 华东交通大学 一种基于偏振信息的相机-投影仪系统标定方法
WO2023279249A1 (en) * 2021-07-05 2023-01-12 Shanghaitech University Non-line-of-sight imaging via neural transient field

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000069333A1 (en) * 1999-05-19 2000-11-23 The Regents Of The University Of California Optical detection of dental disease using polarized light
WO2007129326A2 (en) * 2006-05-09 2007-11-15 Technion Research & Development Foundation Ltd Imaging systems and methods for recovering object visibility
WO2012104784A1 (en) * 2011-01-31 2012-08-09 Mustech Computing Services Ltd. Optical polarimetric imaging
CN105466561A (zh) * 2015-12-30 2016-04-06 天津大学 基于光强测量积分时间优化的线偏振度测量装置及方法
CN106407927A (zh) * 2016-09-12 2017-02-15 河海大学常州校区 基于偏振成像的适用于水下目标检测的显著性视觉方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000069333A1 (en) * 1999-05-19 2000-11-23 The Regents Of The University Of California Optical detection of dental disease using polarized light
WO2007129326A2 (en) * 2006-05-09 2007-11-15 Technion Research & Development Foundation Ltd Imaging systems and methods for recovering object visibility
WO2012104784A1 (en) * 2011-01-31 2012-08-09 Mustech Computing Services Ltd. Optical polarimetric imaging
CN105466561A (zh) * 2015-12-30 2016-04-06 天津大学 基于光强测量积分时间优化的线偏振度测量装置及方法
CN106407927A (zh) * 2016-09-12 2017-02-15 河海大学常州校区 基于偏振成像的适用于水下目标检测的显著性视觉方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINGYU LIN ET AL.: "Frequency-Domain Transient Imaging", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
RIHUI WU ET AL.: "Scattering robust 3D reconstruction via polarized transient imaging", 《OPTICS LETTERS》 *
WENJING ZHANG ET AL.: "Sky light polarization detection with linear polarizer triplet in light field camera inspired by insect vision", 《APPLIED OPTICS》 *
吴日辉等: "基于瞬态成像技术的穿透散射介质成像", 《计算机学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932598B (zh) * 2019-05-13 2024-03-08 浙江舜宇光学有限公司 深度图像的构建方法
CN111932598A (zh) * 2019-05-13 2020-11-13 浙江舜宇光学有限公司 深度图像的构建方法
CN109993784B (zh) * 2019-05-13 2023-12-08 浙江舜宇光学有限公司 深度图像的构建方法、装置以及系统
CN109993784A (zh) * 2019-05-13 2019-07-09 浙江舜宇光学有限公司 深度图像的构建方法、装置以及系统
CN110244309A (zh) * 2019-06-21 2019-09-17 浙江舜宇光学有限公司 深度的检测系统和方法
CN110580686A (zh) * 2019-08-02 2019-12-17 天津大学 在散射环境中基于双目视觉的偏振图像复原装置及方法
CN110580686B (zh) * 2019-08-02 2023-01-20 天津大学 在散射环境中基于双目视觉的偏振图像复原装置及方法
CN111123619B (zh) * 2020-01-21 2022-04-22 青岛理工大学 短相干照明与偏振结合的水下远距离光学成像装置及方法
CN111123619A (zh) * 2020-01-21 2020-05-08 青岛理工大学 短相干照明与偏振结合的水下远距离光学成像装置及方法
CN111343368B (zh) * 2020-02-18 2021-08-20 清华大学 基于偏振的散射介质深度恢复方法及装置
CN111343368A (zh) * 2020-02-18 2020-06-26 清华大学 基于偏振的散射介质深度恢复方法及装置
CN113554709A (zh) * 2020-04-23 2021-10-26 华东交通大学 一种基于偏振信息的相机-投影仪系统标定方法
CN111932677A (zh) * 2020-06-29 2020-11-13 南京理工大学 基于偏振参数显微序列图像的金纳米球的三维重建方法
CN112907472A (zh) * 2021-02-09 2021-06-04 大连海事大学 一种基于场景深度信息的偏振水下图像优化方法
CN113283420A (zh) * 2021-05-20 2021-08-20 维沃移动通信有限公司 电子设备、材质检测方法、材质检测装置和可读存储介质
WO2023279249A1 (en) * 2021-07-05 2023-01-12 Shanghaitech University Non-line-of-sight imaging via neural transient field

Similar Documents

Publication Publication Date Title
CN108335324A (zh) 基于偏振瞬态成像的散射场景深度重建方法以及设备
US8134555B2 (en) Acquisition of surface normal maps from spherical gradient illumination
Schechner et al. Recovery of underwater visibility and structure by polarization analysis
Bülthoff et al. Integration of depth modules: stereo and shading
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
Jimenez et al. Screen-space perceptual rendering of human skin
Ropinski et al. Interactive volumetric lighting simulating scattering and shadowing
Schott et al. A directional occlusion shading model for interactive direct volume rendering
CN109785423A (zh) 图像补光方法、装置及计算机设备
CN107995434A (zh) 图像获取方法、电子装置和计算机可读存储介质
WO2014153022A1 (en) Specular object scanner for measuring reflectance properties of objects
US11671580B2 (en) System and method for reconstructing 3-D shapes of objects from reflection images
US10964099B2 (en) Image processing for diffuse-specular separation
US11004255B2 (en) Efficient rendering of high-density meshes
CN110753954A (zh) 用于组合彩色3d图像的系统和方法
Maurus et al. Realistic heatmap visualization for interactive analysis of 3D gaze data
EP3009887B1 (en) Optical imaging processing system
US5526471A (en) Rendering of non-opaque media using the p-buffer to account for polarization parameters
US9905042B2 (en) Method and visualization apparatus for the volumetric visualization of a three-dimensional object
US11410378B1 (en) Image processing for generating three-dimensional shape and spatially-varying reflectance of the object using a deep neural network
WO2022175688A1 (en) Image processing
NL2006111C2 (nl) Werkwijze en inrichting voor het volumetrisch afbeelden van een driedimensionaal object in een lichtverstrooiend medium.
KR101451792B1 (ko) 영상 렌더링 장치 및 그 방법
Minetomo et al. Acquiring non-parametric scattering phase function from a single image
CN112055194A (zh) 三维空间激光投影切片显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727