CN111340936A - 一种基于偏振漫反射分离的被动三维重建方法 - Google Patents

一种基于偏振漫反射分离的被动三维重建方法 Download PDF

Info

Publication number
CN111340936A
CN111340936A CN202010097783.5A CN202010097783A CN111340936A CN 111340936 A CN111340936 A CN 111340936A CN 202010097783 A CN202010097783 A CN 202010097783A CN 111340936 A CN111340936 A CN 111340936A
Authority
CN
China
Prior art keywords
polarization
matrix
surface normal
reconstructed
gradient field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010097783.5A
Other languages
English (en)
Other versions
CN111340936B (zh
Inventor
刘飞
蔡玉栋
邵晓鹏
韩平丽
李轩
闫明宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010097783.5A priority Critical patent/CN111340936B/zh
Publication of CN111340936A publication Critical patent/CN111340936A/zh
Application granted granted Critical
Publication of CN111340936B publication Critical patent/CN111340936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种基于偏振漫反射分离的被动三维重建方法,包括:获取待重建物体的若干不同偏振角度的偏振图像;去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像;根据所述无镜面反射的偏振图像,获取第一表面法线梯度场;利用SFS算法,根据所述无镜面反射的偏振图像的光强值得到第二表面法线梯度场;利用所述第二表面法线梯度场校正所述第一表面法线梯度场,得到所述待重建物体的第三表面法线梯度场;根据所述第三表面法线梯度场实现所述待重建物体的三维重建。本发明的三维重建方法,克服了传统偏振漫反射三维成像技术依赖于理想漫反射表面的条件,解决了非朗伯目标物的偏振三维重建问题。

Description

一种基于偏振漫反射分离的被动三维重建方法
技术领域
本发明属于计算成像技术领域,具体涉及一种基于偏振漫反射分离的被动三维重建方法。
背景技术
高精度、非接触三维重建技术是当今工业3.0时代智能制造等信息获取的重要方式,被广泛应用于空间位姿估计感知、工业检测、医疗、建筑设计、航空航天和虚拟现实等领域。然而在三维数据实时测量过程中,针对非朗伯体物体,由于表面具有局部镜面反射特性易产生镜面耀光,传统的非接触式三维重建测量技术如:基于结构光栅的三维重建技术由于目标表面的镜面耀光的存在,光栅结构条纹被掩盖,造成重构结果出现大区域的数据空洞。双目立体视觉技术无法提取有效的目标纹理结构实现特征匹配,极大降低了深度信息的测量精度;阴影恢复形状SFS(shape from shading)是基于朗伯体模型进行处理的,针对此种情况,重建会有严重的畸变。
不同于现有光学测量技术通过捕获目标的反射和辐射强度信息来反映目标特征,基于偏振的三维成像技术作为一项新型的光学探测技术,利用目标表面反射光的偏振态解析,反映目标的材料特性、粗糙程度、表面性状以及纹理分布等信息,其不依赖于背景照度、温度、对比度等因素,能极大提高目标探测识别性能。
目前,常用的单目偏振三维重建的方法,是基于相机得到的偏振信息而实现物体表面的三维重建,但是,此方法在实现三维重建的过程中,只能处理具有理想漫反射表面的物体,而且需要使用积分球作为主动光源去照射目标物才能进行重建,不能在自然光场景下简单的利用光强梯度场去校正偏振求得的梯度场而实现重建,导致使用该方法时需要设置严格的实验场景,使得其使用成本较高,应用范围较小,而且重建难度较高,重建准确度较低。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于偏振漫反射分离的被动三维重建方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种基于偏振漫反射分离的被动三维重建方法,包括:
获取待重建物体的若干不同偏振角度的偏振图像;
去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像;
根据所述无镜面反射的偏振图像,获取第一表面法线梯度场;
利用SFS算法,根据所述无镜面反射的偏振图像的光强值得到第二表面法线梯度场;
利用所述第二表面法线梯度场校正所述第一表面法线梯度场,得到所述待重建物体的第三表面法线梯度场;
根据所述第三表面法线梯度场实现所述待重建物体的三维重建。
在本发明的一个实施例中,获取待重建物体的若干不同偏振角度的偏振图像,包括:
选取待重建物体和相机的拍摄位置;
在所述相机与所述待重建物体之间设置等高同轴的偏振片;
旋转所述偏振片,依次获取偏振角度为0°、45°、90°和135°的偏振图像I0、I45、I90和I135
在本发明的一个实施例中,去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像,包括:
根据所述偏振图像得到所述待重建物体的最小透射辐射光强Imin
根据所述最小透射辐射光强Imin去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像。
在本发明的一个实施例中,根据所述偏振图像得到所述待重建物体的最小透射辐射光强Imin,包括:
根据所述偏振图像I0、I45、I90和I135,计算得到所述偏振图像的斯托克斯矢量I、Q和U,
Figure BDA0002385785340000031
根据所述斯托克斯矢量I、Q和U,计算得到所述最小透射辐射光强Imin
Figure BDA0002385785340000032
在本发明的一个实施例中,根据所述最小透射辐射光强Imin去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像,包括:
根据所述最小透射辐射光强Imin,得到去除非偏振光强的偏振图像,
Figure BDA0002385785340000033
其中,Id表示物体表面的偏振部分的漫反射光强分布,Is表示物体表面的偏振部分的镜面反射光强分布,fd和fs分别为Id和Is的系数,均是关于偏振片旋转角度的函数;
根据所述去除非偏振光强的偏振图像,构建观测矩阵X,
Figure BDA0002385785340000041
其中,矩阵M表示物体表面偏振部分的漫反射强度和镜面反射强度的系数,矩阵R表示矢量化的物体表面偏振部分的漫反射图像和镜面反射图像;
根据所述观测矩阵X,计算得到矩阵M和矩阵R;
根据所述矩阵M和矩阵R,得到无镜面反射的偏振图像I0_new、I45_new、I90_new和I135_new
Figure BDA0002385785340000042
其中,M11、M21、M31、M41为矩阵M的第一列元素。
在本发明的一个实施例中,根据所述观测矩阵X,计算得到矩阵M和矩阵R,包括:
根据马吕斯定律,得到矩阵M为,
Figure BDA0002385785340000051
对所述观测矩阵X进行奇异值分解,得到所述观测矩阵X的奇异值分解表达式为,
X=UDVT
其中,所述观测矩阵X的奇异值为σ1≥σ2≥σ3≥σ4
根据所述奇异值分解表达式构建矩阵W,根据所述矩阵W重新确定所述观测矩阵X的奇异值分解表达式,计算得到矩阵W,
Figure BDA0002385785340000052
其中,
Figure BDA0002385785340000053
Figure BDA0002385785340000054
表示矩阵U的子矩阵,
Figure BDA0002385785340000055
表示矩阵V的子矩阵;
根据所述矩阵W计算得到矩阵M和矩阵R。
在本发明的一个实施例中,根据所述无镜面反射的偏振图像,获取第一表面法线梯度场,包括:
根据所述无镜面反射的偏振图像I0_new、I45_new、I90_new和I135_new,计算得到所述无镜面反射的偏振图像的斯托克斯矢量I′、Q′和U′,
Figure BDA0002385785340000056
根据所述无镜面反射的偏振图像的斯托克斯矢量I′、Q′和U′,计算得到所述待重建物体的偏振度P,
Figure BDA0002385785340000061
根据所述待重建物体的偏振度P,计算得到所述待重建物体表面微面元的法线方位角
Figure BDA0002385785340000062
和法线天顶角θ,
Figure BDA0002385785340000063
Figure BDA0002385785340000064
其中,n表示所述待重建物体的折射率;
根据所述法线方位角
Figure BDA0002385785340000065
和所述法线天顶角θ,计算得到所述待重建物体的第一表面法线
Figure BDA0002385785340000066
Figure BDA0002385785340000067
其中,ppolar表示第一表面法线
Figure BDA0002385785340000068
在x轴方向上的分量,qpolar表示第一表面法线
Figure BDA0002385785340000069
在y轴方向上的分量,Z(x,y)表示所述待重建物体的表面函数;
根据所述第一表面法线
Figure BDA00023857853400000610
得到所述第一表面法线梯度场。
在本发明的一个实施例中,利用所述第二表面法线梯度场校正所述第一表面法线梯度场,得到所述待重建物体的第三表面法线梯度场,包括:
根据所述第二表面法线梯度场对所述第一表面法线梯度场进行校正,得到所述待重建物体表面的二元操作数集合,
Figure BDA0002385785340000071
其中,
Figure BDA0002385785340000077
表示二元操作数集合,Gdepth表示第二表面法线梯度场,Gpolar表示第一表面法线梯度场,A表示一个二元操作符,A=1或A=-1;
根据所述二元操作数集合
Figure BDA0002385785340000072
得到所述第三表面法线梯度场G,
Figure BDA0002385785340000073
在本发明的一个实施例中,根据所述第三表面法线梯度场实现所述待重建物体的三维重建,包括:
根据所述第三表面法线梯度场得到所述待重建物体的三维信息,
Figure BDA0002385785340000074
其中,F{·}表示离散傅里叶变换,F-1{·}表示离散傅里叶逆变换,H表示所述偏振图像的横向像素的个数,L表示述偏振图像的纵向像素的个数,(u,v)表示离散傅里叶变换中的频率坐标;p表示第三表面法线
Figure BDA0002385785340000075
在x轴方向上的分量,q表示第三表面法线
Figure BDA0002385785340000076
在y轴方向上的分量;
根据所述待重建物体的三维信息实现所述待重建物体的三维重建。
与现有技术相比,本发明的有益效果在于:
1、本发明的基于偏振漫反射分离的被动三维重建方法,通过分析目标反射光的偏振特性分离出镜面反射与漫反射,在自然光场景下就可以实现偏振三维重建,该技术解决了传统偏振漫反射三维成像技术依赖于理想漫反射表面的条件,克服了复杂光照环境对目标的影响。
2、本发明的基于偏振漫反射分离的被动三维重建方法,对去除镜面反射光强后的偏振图像的光强值,利用SFS算法得到的表面法线梯度场对利用偏振图像获取的表面法线梯度场进行校正,克服了由于法线方位角的二值性导致的三维重建结果畸变的问题。
3、本发明的基于偏振漫反射分离的被动三维重建方法,使得偏振漫反射三维成像技术难度降低,应用场景广,而且成本较低,仅需要一个偏振相机就可以实现物体的三维重建,而且重建精度较高。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1是本发明实施例提供的一种基于偏振漫反射分离的被动三维重建方法的流程示意图;
图2是本发明实施例提供的一种偏振图像拍摄过程示意图;
图3是本发明实施例提供的光强随偏振片旋转角度变化的余弦曲线图;
图4是本发明实施例提供的一种物体表面一点的法线与该点法线方位角以及法线天顶角的关系图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种基于偏振漫反射分离的被动三维重建方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
实施例一
请参见图1,图1是本发明实施例提供的一种基于偏振漫反射分离的被动三维重建方法的流程示意图,如图所示,本实施的基于偏振漫反射分离的被动三维重建方法,包括以下步骤:
S1:获取待重建物体的若干不同偏振角度的偏振图像;
具体地,请参见图2,图2是本发明实施例提供的一种偏振图像拍摄过程示意图,如图所示,在获取待重建物体的偏振图像时,首先选取待重建物体和相机的拍摄位置;在相机与待重建物体之间设置等高同轴的偏振片,在拍摄过程中,保证待重建物体、相机和偏振片的相对位置保持不变;随后,旋转偏振片,依次获取偏振角度为0°、45°、90°和135°的偏振图像I0、I45、I90和I135
S2:去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像;也就是,恢复出待重建物体表面真实的漫反射光强分布。
具体地,包括:
S21:根据所述偏振图像得到所述待重建物体的最小透射辐射光强Imin
在本实施例中,根据所述偏振图像I0、I45、I90和I135,计算得到所述偏振图像的斯托克斯矢量I、Q和U,
Figure BDA0002385785340000091
根据所述斯托克斯矢量I、Q和U,计算得到所述最小透射辐射光强Imin
Figure BDA0002385785340000101
在其他实施例中,最小透射辐射光强Imin还可以根据以下方式得到,请参见图3,图3是本发明实施例提供的光强随偏振片旋转角度变化的余弦曲线图。如图所示,利用不同角度的偏振图像I0、I45、I90和I135使用最小二乘法拟合出光强I随偏振片旋转角度θpol变化的余弦曲线,根据所述余弦曲得到光强I的最小值Imin,即,最小透射辐射光强Imin
S22:根据所述最小透射辐射光强Imin去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像。
具体地,包括:
S221:根据所述最小透射辐射光强Imin,得到去除非偏振光强的偏振图像,
Figure BDA0002385785340000102
其中,Id表示物体表面的偏振部分的漫反射光强分布,Is表示物体表面的偏振部分的镜面反射光强分布,fd和fs分别为Id和Is的系数,均是关于偏振片旋转角度的函数;
在自然界中,存在的物体实际表面反射的光可分为偏振光和非偏振光。按照类型可划分为镜面反射光(specular light)、漫反射光(diffuse light)。考虑到镜面反射光与漫反射光中的非偏振与偏振特性,那么,光强I可以表示为,
Figure BDA0002385785340000111
其中,Id表示物体表面的偏振部分的漫反射光强分布,Is表示物体表面的偏振部分的镜面反射光强分布,
Figure BDA0002385785340000112
表示物体表面的非偏振部分的漫反射光强分布,
Figure BDA0002385785340000113
表示物体表面的非偏振部分的镜面反射光强分布。
值得说明的是,物体表面的非偏振部分的镜面反射光强占比较小,在去除偏振图像的镜面反射光强过程中可以忽略不计。
通过旋转偏振片采集物体表面不同偏振角度的光强图像,能够得到的反射光光强I,根据马吕斯定律可以表示为:
Figure BDA0002385785340000114
其中,fd和fs分别为Id和Is的系数,均是关于偏振片旋转角度的函数,Iun表示物体表面的非偏振部分的光强分布。
由于最小透射辐射光强Imin是反射光中的非偏振分量的一半,因此,可以用来去除公式(5)中非偏振光的成分,从而得到去除非偏振光强的偏振图像。
S222:根据所述去除非偏振光强的偏振图像,构建观测矩阵X,
Figure BDA0002385785340000115
其中,矩阵M表示物体表面偏振部分的漫反射强度和镜面反射强度的系数,矩阵R表示矢量化的物体表面偏振部分的漫反射图像和镜面反射图像;
从上式可以看出,镜面反射与漫反射分离的问题,转换为将观测矩阵X分解成矩阵M和矩阵R的乘积问题。
S223:根据所述观测矩阵X,计算得到矩阵M和矩阵R;
具体地,包括:
在旋转偏振片采集不同光强度图像时,漫反射的完全偏振部分的透光轴方向被选做0度方向,考虑到镜面反射光与漫反射光的透光轴不在同一个位置,根据马吕斯定律,矩阵M可以写为,
Figure BDA0002385785340000121
由于,矩阵M和矩阵R的秩是2,所以它们的乘积的秩应该是2,也就是观测矩阵X的秩是2。因此,采用一个秩为2的矩阵来近似X,并将其分解成两个矩阵的乘积。
对所述观测矩阵X进行奇异值分解,得到所述观测矩阵X的奇异值分解表达式为,
X=UDVT (7),
其中,所述观测矩阵X的奇异值为σ1≥σ2≥σ3≥σ4
最终期望所述观测矩阵X分解的表达式如下:
Figure BDA0002385785340000122
其中,
Figure BDA0002385785340000123
Figure BDA0002385785340000124
表示矩阵U的子矩阵,
Figure BDA0002385785340000125
表示矩阵V的子矩阵。
因此,需要构建矩阵W,并计算得到矩阵W,从而根据矩阵W计算得到矩阵M和矩阵R。在本实施例中,矩阵W是一个任意的2×2的非奇异矩阵。
矩阵W的计算过程如下:
设矩阵W为,
Figure BDA0002385785340000131
其中,r1和r2都是正实数,而且r1和α的值可以通过矩阵M的第一列元素(M11、M21、M31、M41)求得。同时考虑到矩阵W的行列式为Δ=ad-bc=r1r2sin(β-α),Δ的绝对值对应于镜面反射图像的缩放。因此,不失一般性可以令Δ=1,作为一个结果,考虑β,r2>0,逐步改变β并且利用R=W-1DVT计算漫反射图像和镜面反射图像。利用漫反射图像和镜面反射图像的直方图计算它们之间的相互信息,找到最小值对应的r2和β。在本实施例中,在0≤β≤π范围内对β取值,确定矩阵W,然后根据矩阵W计算得到矩阵M和矩阵R,进而分离出镜面反射与漫反射。
S224:根据所述矩阵M和矩阵R,得到无镜面反射的偏振图像I0_new、I45_new、I90_new和I135_new
Figure BDA0002385785340000132
S3:根据所述无镜面反射的偏振图像,获取第一表面法线梯度场;
具体地,包括:
S31:根据所述无镜面反射的偏振图像I0_new、I45_new、I90_new和I135_new,计算得到所述无镜面反射的偏振图像的斯托克斯矢量I′、Q′和U′,
Figure BDA0002385785340000141
S32:根据所述无镜面反射的偏振图像的斯托克斯矢量I′、Q′和U′,计算得到所述待重建物体的偏振度P,
Figure BDA0002385785340000142
值得说明的是,在其他实施例中,待重建物体的偏振度P还可以根据以下方式得到,利用不同角度的偏振图像使用最小二乘法拟合出光强I随偏振片旋转角度θpol变化的余弦曲线,根据所述余弦曲得到光强I的最大值Imax与最小值Imin。根据偏振度的定义式得到偏振度P,其计算公式为:
Figure BDA0002385785340000143
在本实施例中,则是利用无镜面反射的偏振图像I0_new、I45_new、I90_new和I135_new,使用最小二乘法进行拟合。
S33:根据所述待重建物体的偏振度P,计算得到所述待重建物体表面微面元的法线方位角
Figure BDA0002385785340000144
和法线天顶角θ,
Figure BDA0002385785340000145
Figure BDA0002385785340000146
其中,n表示所述待重建物体的折射率,经过实验验证大多数自然界物体的折射率在1.3-1.6,在本实施例中n取值为1.5;
在其他实施例中,法线方位角
Figure BDA0002385785340000151
还可以根据以下方式得到,根据Malus’s Law(马吕斯定律)可知,在光强I随偏振片旋转角度θpol变化的余弦曲线中,Imax所对应的偏振角θpol就是物体表面微面元的法线方位角
Figure BDA0002385785340000152
即,当I=Imax时,
Figure BDA0002385785340000153
S33:根据所述法线方位角
Figure BDA0002385785340000154
和所述法线天顶角θ,计算得到所述待重建物体的第一表面法线
Figure BDA0002385785340000155
Figure BDA0002385785340000156
其中,ppolar表示第一表面法线
Figure BDA0002385785340000157
在x轴方向上的分量,qpolar表示第一表面法线
Figure BDA0002385785340000158
在y轴方向上的分量,Z(x,y)表示所述待重建物体的表面函数;
S34:根据所述第一表面法线
Figure BDA0002385785340000159
得到所述第一表面法线梯度场。
表面法线梯度场是对物体表面曲面沿着x轴方向和y轴方向求导得到的,即,待重建物体的表面函数Z(x,y)关于x轴的偏导数
Figure BDA00023857853400001510
以及待重建物体的表面函数Z(x,y)关于y轴的偏导数
Figure BDA00023857853400001511
在本实施例中,第一表面法线
Figure BDA00023857853400001512
在x轴方向上的分量ppolar和在y轴方向上的分量qpolar的集合为第一表面法线梯度场Gpolar
请参见图4,图4是本发明实施例提供的一种物体表面一点的法线与该点法线方位角以及法线天顶角的关系图,如图所示,由于两个不同方向的法线(图中n与n’)具有同一个反射光偏振角,从图中可以看出,n与n’具有相同大小的|ppolar|,但方向相反,n与n’具有相同大小的|qpolar|,但方向相反。由于法线方位角
Figure BDA0002385785340000161
存在
Figure BDA0002385785340000162
Figure BDA0002385785340000163
不确定性问题,此时仅能够根据公式(16)确定待重建物体的第一表面法线
Figure BDA0002385785340000164
在x轴和y轴方向上的分量ppolar和qpolar的模,无法获取待重建物体的表面法线梯度场的准确方向,即待重建物体的表面法线梯度场ppolar和qpolar可能的值分别为±ppolar和±qpolar,从而导致待重建物体的表面重建的结果出现畸变甚至与真实表面相反的情况。因此,在进行三维重建之前需要对第一表面法线梯度场的ppolar和qpolar进行校正。
S4:利用SFS算法,根据所述无镜面反射的偏振图像的光强值得到第二表面法线梯度场;
具体得,包括以下步骤:
S41:根据所述待重建物体的光强值N0得到第二表面法线
Figure BDA0002385785340000165
满足的函数关系。
需要说明的是,在本实施例中,N0为所述无镜面反射的偏振图像的光强值。在本发明实施例中,SFS指的是一种明暗恢复形状法,它是一种利用光强度图像重建出物体形状的方法。
需要说明的是,在本发明实施例中,物体表面的反射光遵循LambertianReflection规律。Lambertian Reflection指的是朗伯反射模型,它是一种经典的光照模型。
假设在无限远处的点光源照射下物体表面的Lambertian Reflection模型为:
Figure BDA0002385785340000166
式中,Li表示入射光强;η表示表面反射率;θi表示入射角。
归一化N0,消除Li、η的影响,同时,由于cosθi的取值范围为(0,1),因此也可以忽略π的影响。
归一化后的公式为:
N0=cosθi (18)。
所述第二表面法线
Figure BDA0002385785340000171
可以表示为,
Figure BDA0002385785340000172
n1表示第二表面法线在x轴的分量;n2表示第二表面法线在y轴的分量;n3表示第二表面法线在z轴的分量。
而光源方向可以表示为,
Figure BDA0002385785340000173
L1表示光源方向在x轴的分量;L2表示光源方向在y轴的分量;L3表示光源方向在z轴的分量。
则第二表面法线满足的函数关系为:
Figure BDA0002385785340000174
Figure BDA0002385785340000181
其中,nsx表示对z轴归一化后的第二x轴分量;nsy表示对z轴归一化后的第二y轴分量;Lx表示归一化后的光源方向在x轴的分量;Ly表示归一化后的光源方向在y轴的分量。
假设光源方向已知,所以Lx、Ly已知,R(nsx,nsy)为由SFS算法恢复的物体表面所估计的反射强度,所以利用SFS计算所述第二表面法线就是来求两个未知量nsx,nsy
S42:利用正则化模型,根据所述函数关系得到第二表面法线在x轴和y轴的第二x轴分量nsx和第二y轴分量nsy
根据R(nsx,nsy)建立SFS最小值方法的正则化模型,所述正则化模型为一种求解最小值方法的数学模型。
所述正则化模型的公式为:
Figure BDA0002385785340000182
式中,Ω为(x,y)的取值范围。
当所述物体的光强N(x,y)与由SFS算法恢复的物体表面所估计的反射强度R(nsx,nsy)之间的差值最小时,第二x轴分量nsx、第二y轴分量nsy即为最终的结果。
在得到正则化模型之后,可以加上光滑性约束条件,并构造极值问题,利用松弛迭代法求解相应的欧拉-拉格朗日方程组。具体的计算方法,为本领域人员熟知的方法,此处不作具体介绍。
S43:根据第二x轴分量nsx和第二y轴分量nsy得到第二表面法线
Figure BDA0002385785340000183
第二表面法线
Figure BDA0002385785340000191
在x轴方向上的分量pdepth和在y轴方向上的分量qdepth的集合为第二表面法线梯度场Gdepth
S5:利用所述第二表面法线梯度场校正所述第一表面法线梯度场,得到所述待重建物体的第三表面法线梯度场;
具体地,根据第二表面法线梯度场Gdepth,根据公式(24)对第一表面法线梯度场Gpolar进行校正,得到所述待重建物体表面的二元操作数集合,
Figure BDA0002385785340000192
其中,
Figure BDA0002385785340000193
表示二元操作数集合,Gdepth表示第二表面法线梯度场,Gpolar表示第一表面法线梯度场,A表示一个二元操作符,A=1或A=-1;argminA表示
Figure BDA0002385785340000194
为最小值时A的取值。
根据所述二元操作数集合
Figure BDA0002385785340000195
得到所述第三表面法线梯度场G,
Figure BDA0002385785340000196
在本实施例中,第一表面法线
Figure BDA0002385785340000197
通过第二表面法线梯度场Gdepth校正确定其准确方向后,记为第三表面法线
Figure BDA0002385785340000198
第三表面法线
Figure BDA0002385785340000199
在x轴方向上的分量p和在y轴方向上的分量q的集合为第三表面法线梯度场G。
S6:根据所述第三表面法线梯度场实现所述待重建物体的三维重建。
具体地,根据第三表面法线梯度场G得到所述待重建物体的三维信息。在本实施例中,利用第三表面法线
Figure BDA00023857853400001910
通过表面积分Frankot-Chellappa算法(Frankot-Chellappa算法是一种从法线到高度的全局算法,可以从图像法线恢复物体表面高度信息),假定待重建物体的表面函数为Z(x,y),满足可积分条件,即表面函数Z(x,y)在其正交的两个方向(x,y方向上)的偏导数都存在。其将求表面积分的问题看作一个正交投影的过程,然后通过利用一系列的正交函数的组合来尽可能的逼近表面函数Z(x,y),从而得到真实的待重建物体的三维信息,以根据所述待重建物体的三维信息实现所述待重建物体的三维重建,其中,
Figure BDA0002385785340000201
其中,F{·}表示离散傅里叶变换,F-1{·}表示离散傅里叶逆变换,H表示所述偏振图像的横向像素的个数,L表示述偏振图像的纵向像素的个数,(u,v)表示离散傅里叶变换中的频率坐标;p表示第三表面法线
Figure BDA0002385785340000203
在x轴方向上的分量,q表示第三表面法线
Figure BDA0002385785340000202
在y轴方向上的分量。在本实施例中,频率坐标(u,v)的取值范围为(-[N/2],-[M/2])至([N/2],[M/2])。
本实施例的基于偏振漫反射分离的被动三维重建方法,通过分析目标反射光的偏振特性分离出镜面反射与漫反射,在自然光场景下就可以实现偏振三维重建,解决了传统偏振漫反射三维成像技术依赖于理想漫反射表面的条件,克服了复杂光照环境对目标的影响。而且,对去除镜面反射光强后的偏振图像的光强值,利用SFS算法得到的表面法线梯度场对利用偏振图像获取的表面法线梯度场进行校正,克服了由于法线方位角的二值性导致的三维重建结果畸变的问题。除此之外,本实施例的三维重建方法,应用场景广,成本较低,仅需要一个偏振相机就可以实现物体的三维重建,且重建精度较高。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于偏振漫反射分离的被动三维重建方法,其特征在于,包括:
获取待重建物体的若干不同偏振角度的偏振图像;
去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像;
根据所述无镜面反射的偏振图像,获取第一表面法线梯度场;
利用SFS算法,根据所述无镜面反射的偏振图像的光强值得到第二表面法线梯度场;
利用所述第二表面法线梯度场校正所述第一表面法线梯度场,得到所述待重建物体的第三表面法线梯度场;
根据所述第三表面法线梯度场实现所述待重建物体的三维重建。
2.根据权利要求1所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,获取待重建物体的若干不同偏振角度的偏振图像,包括:
选取待重建物体和相机的拍摄位置;
在所述相机与所述待重建物体之间设置等高同轴的偏振片;
旋转所述偏振片,依次获取偏振角度为0°、45°、90°和135°的偏振图像I0、I45、I90和I135
3.根据权利要求2所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像,包括:
根据所述偏振图像得到所述待重建物体的最小透射辐射光强Imin
根据所述最小透射辐射光强Imin去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像。
4.根据权利要求3所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,根据所述偏振图像得到所述待重建物体的最小透射辐射光强Imin,包括:
根据所述偏振图像I0、I45、I90和I135,计算得到所述偏振图像的斯托克斯矢量I、Q和U,
Figure FDA0002385785330000021
根据所述斯托克斯矢量I、Q和U,计算得到所述最小透射辐射光强Imin
Figure FDA0002385785330000022
5.根据权利要求3所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,根据所述最小透射辐射光强Imin去除所述偏振图像的镜面反射光强,得到无镜面反射的偏振图像,包括:
根据所述最小透射辐射光强Imin,得到去除非偏振光强的偏振图像,
Figure FDA0002385785330000023
其中,Id表示物体表面的偏振部分的漫反射光强分布,Is表示物体表面的偏振部分的镜面反射光强分布,fd和fs分别为Id和Is的系数,均是关于偏振片旋转角度的函数;
根据所述去除非偏振光强的偏振图像,构建观测矩阵X,
Figure FDA0002385785330000031
其中,矩阵M表示物体表面偏振部分的漫反射强度和镜面反射强度的系数,矩阵R表示矢量化的物体表面偏振部分的漫反射图像和镜面反射图像;
根据所述观测矩阵X,计算得到矩阵M和矩阵R;
根据所述矩阵M和矩阵R,得到无镜面反射的偏振图像I0_new、I45_new、I90_new和I135_new
Figure FDA0002385785330000032
其中,M11、M21、M31、M41为矩阵M的第一列元素。
6.根据权利要求5所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,根据所述观测矩阵X,计算得到矩阵M和矩阵R,包括:
根据马吕斯定律,得到矩阵M为,
Figure FDA0002385785330000033
对所述观测矩阵X进行奇异值分解,得到所述观测矩阵X的奇异值分解表达式为,
X=UDVT
其中,所述观测矩阵X的奇异值为σ1≥σ2≥σ3≥σ4
根据所述奇异值分解表达式构建矩阵W,根据所述矩阵W重新确定所述观测矩阵X的奇异值分解表达式,计算得到矩阵W,
Figure FDA0002385785330000041
其中,
Figure FDA0002385785330000042
Figure FDA0002385785330000043
表示矩阵U的子矩阵,
Figure FDA0002385785330000044
表示矩阵V的子矩阵;
根据所述矩阵W计算得到矩阵M和矩阵R。
7.根据权利要求5所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,根据所述无镜面反射的偏振图像,获取第一表面法线梯度场,包括:
根据所述无镜面反射的偏振图像I0_new、I45_new、I90_new和I135_new,计算得到所述无镜面反射的偏振图像的斯托克斯矢量I′、Q′和U′,
Figure FDA0002385785330000045
根据所述无镜面反射的偏振图像的斯托克斯矢量I′、Q′和U′,计算得到所述待重建物体的偏振度P,
Figure FDA0002385785330000046
根据所述待重建物体的偏振度P,计算得到所述待重建物体表面微面元的法线方位角
Figure FDA0002385785330000047
和法线天顶角θ,
Figure FDA0002385785330000051
Figure FDA0002385785330000052
其中,n表示所述待重建物体的折射率;
根据所述法线方位角
Figure FDA0002385785330000053
和所述法线天顶角θ,计算得到所述待重建物体的第一表面法线
Figure FDA0002385785330000054
Figure FDA0002385785330000055
其中,ppolar表示第一表面法线
Figure FDA0002385785330000056
在x轴方向上的分量,qpolar表示第一表面法线
Figure FDA0002385785330000057
在y轴方向上的分量,Z(x,y)表示所述待重建物体的表面函数;
根据所述第一表面法线
Figure FDA0002385785330000058
得到所述第一表面法线梯度场。
8.根据权利要求1所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,利用所述第二表面法线梯度场校正所述第一表面法线梯度场,得到所述待重建物体的第三表面法线梯度场,包括:
根据所述第二表面法线梯度场对所述第一表面法线梯度场进行校正,得到所述待重建物体表面的二元操作数集合,
Figure FDA0002385785330000059
其中,
Figure FDA0002385785330000061
表示二元操作数集合,Gdepth表示第二表面法线梯度场,Gpolar表示第一表面法线梯度场,A表示一个二元操作符,A=1或A=-1;
根据所述二元操作数集合
Figure FDA0002385785330000062
得到所述第三表面法线梯度场G,
Figure FDA0002385785330000063
9.根据权利要求1所述的基于偏振漫反射分离的被动三维重建方法,其特征在于,根据所述第三表面法线梯度场实现所述待重建物体的三维重建,包括:
根据所述第三表面法线梯度场得到所述待重建物体的三维信息,
Figure FDA0002385785330000064
其中,F{·}表示离散傅里叶变换,F-1{·}表示离散傅里叶逆变换,H表示所述偏振图像的横向像素的个数,L表示述偏振图像的纵向像素的个数,(u,v)表示离散傅里叶变换中的频率坐标;p表示第三表面法线
Figure FDA0002385785330000065
在x轴方向上的分量,q表示第三表面法线
Figure FDA0002385785330000066
在y轴方向上的分量;
根据所述待重建物体的三维信息实现所述待重建物体的三维重建。
CN202010097783.5A 2020-02-17 2020-02-17 一种基于偏振漫反射分离的被动三维重建方法 Active CN111340936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010097783.5A CN111340936B (zh) 2020-02-17 2020-02-17 一种基于偏振漫反射分离的被动三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010097783.5A CN111340936B (zh) 2020-02-17 2020-02-17 一种基于偏振漫反射分离的被动三维重建方法

Publications (2)

Publication Number Publication Date
CN111340936A true CN111340936A (zh) 2020-06-26
CN111340936B CN111340936B (zh) 2023-06-30

Family

ID=71187801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010097783.5A Active CN111340936B (zh) 2020-02-17 2020-02-17 一种基于偏振漫反射分离的被动三维重建方法

Country Status (1)

Country Link
CN (1) CN111340936B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899290A (zh) * 2020-07-09 2020-11-06 武汉大学 一种联合偏振和双目视觉的三维重建方法
CN112330789A (zh) * 2020-11-12 2021-02-05 北京环境特性研究所 一种基于目标偏振特征的三维重建方法及装置
CN113340793A (zh) * 2021-06-03 2021-09-03 北京理工大学 微粒子偏光显微成像的三维重建方法和系统
CN115775303A (zh) * 2023-02-13 2023-03-10 南京航空航天大学 一种基于深度学习与光照模型的高反光物体三维重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
US20170178399A1 (en) * 2015-12-22 2017-06-22 Raytheon Company 3-d polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections
CN109285213A (zh) * 2018-07-18 2019-01-29 西安电子科技大学 全方位偏振三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
US20170178399A1 (en) * 2015-12-22 2017-06-22 Raytheon Company 3-d polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections
CN109285213A (zh) * 2018-07-18 2019-01-29 西安电子科技大学 全方位偏振三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨进华等: "反射光偏振特性分析与物体形状的测量", 《光学学报》 *
郝婧蕾等: "偏振多光谱机器视觉的高反光无纹理目标三维重构方法", 《测绘学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899290A (zh) * 2020-07-09 2020-11-06 武汉大学 一种联合偏振和双目视觉的三维重建方法
CN112330789A (zh) * 2020-11-12 2021-02-05 北京环境特性研究所 一种基于目标偏振特征的三维重建方法及装置
CN112330789B (zh) * 2020-11-12 2023-05-09 北京环境特性研究所 一种基于目标偏振特征的三维重建方法及装置
CN113340793A (zh) * 2021-06-03 2021-09-03 北京理工大学 微粒子偏光显微成像的三维重建方法和系统
CN115775303A (zh) * 2023-02-13 2023-03-10 南京航空航天大学 一种基于深度学习与光照模型的高反光物体三维重建方法
CN115775303B (zh) * 2023-02-13 2023-05-05 南京航空航天大学 一种基于深度学习与光照模型的高反光物体三维重建方法

Also Published As

Publication number Publication date
CN111340936B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN111340936A (zh) 一种基于偏振漫反射分离的被动三维重建方法
CN111899290B (zh) 一种联合偏振和双目视觉的三维重建方法
CN111402395B (zh) 一种基于cnn校正的被动偏振三维重建方法
Chen et al. Normalized total gradient: A new measure for multispectral image registration
CN114746717A (zh) 利用偏振进行表面法线感测的系统和方法
CN110969667B (zh) 基于边缘特征的多光谱相机外参自校正算法
CN108765476B (zh) 一种偏振图像配准方法
CN107680156B (zh) 基于偏振信息的三维重建方法
WO2021098083A1 (zh) 基于显著特征的多光谱相机动态立体标定算法
CN110807815B (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
Sun et al. A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines
Liu et al. Polarization Maintaining 3-D Convolutional Neural Network for Color Polarimetric Images Denoising
CN110910457A (zh) 基于角点特征的多光谱立体相机外参计算方法
Wong et al. 3D model reconstruction by constrained bundle adjustment
Li Stereo matching using normalized cross-correlation in LogRGB space
Zhu et al. Distortion correction method of a zoom lens based on the vanishing point geometric constraint
CN111597880B (zh) 一种基于单幅条纹投影的多视角三维指纹获取方法
CN114972451A (zh) 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法
Sabzevari et al. Structure from motion and photometric stereo for dense 3d shape recovery
CN113340793B (zh) 微粒子偏光显微成像的三维重建方法和系统
Bourdon et al. A data-driven approach to feature space selection for robust micro-endoscopic image reconstruction
Yoon et al. Development of image error correction system for 3D optical microscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant