CN111899290A - 一种联合偏振和双目视觉的三维重建方法 - Google Patents

一种联合偏振和双目视觉的三维重建方法 Download PDF

Info

Publication number
CN111899290A
CN111899290A CN202010656633.3A CN202010656633A CN111899290A CN 111899290 A CN111899290 A CN 111899290A CN 202010656633 A CN202010656633 A CN 202010656633A CN 111899290 A CN111899290 A CN 111899290A
Authority
CN
China
Prior art keywords
polarization
binocular
reconstruction
depth map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010656633.3A
Other languages
English (en)
Other versions
CN111899290B (zh
Inventor
田昕
刘芮
朱凯
余典
曾昊旻
李松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010656633.3A priority Critical patent/CN111899290B/zh
Publication of CN111899290A publication Critical patent/CN111899290A/zh
Application granted granted Critical
Publication of CN111899290B publication Critical patent/CN111899290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种联合偏振和双目视觉的三维重建方法。针对偏振三维重建结果和双目视觉重建结果特点的互补性，以配准后的双目的深度数据为基准，对偏振重建结果的方位角误差进行校正，解决偏振重建的凹凸性模糊问题。在假设线性关系的前提下，对偏振初始重建结果和配准后的双目深度图进行空间拟合，用偏振重建的表面数据对双目深度图的缺失部分进行补全。采用交叉迭代思想，循环校正过程和补全过程，以解决双目深度图中数据缺失问题对重建结果的影响。重建结果表面分辨率高，形状信息准确，物体表面细节纹理还原度高，且最终重建结果具有较为真实的深度。

Description

一种联合偏振和双目视觉的三维重建方法
技术领域
本发明属于物体表面三维重建领域，涉及一种联合偏振和双目视觉的三维重建方法，适用于各种资源受限的三维重建应用场景。
背景技术
与二维图像相比，物体表面的三维数据可以提供更全面的特征信息，三维重建技术已经在测绘导航、身份识别，无人系统和文物保护等诸多领域得到应用。
偏振三维成像技术作为一项新型的三维成像技术，利用物体表面反射光的偏振态信息估计目标物体三维深度数据，可反映目标物体的材质、粗糙度等理化特征及表面性状、分布等几何信息，尤其对目标物体表面的纹理细节信息有较强的三维重建能力[1]。然而通过偏振信息获得目标物体表面法向量的技术还不成熟，直接由偏振信息获取的表面法向量会存在严重的失真，引起表面法向量失真的原因有以下几点：(1)表面法向量的方位角分量包含π弧度的模糊度，这导致部分重建表面形状的凹凸性模糊翻转；(2)计算表面法向量的天顶角分量需要获得目标物体表面折射率以精确重建三维表面，而在大多情况下目标物体表面折射率是未知的；(3)当目标物体表面天顶角分量接近零时，即物体表面接近垂直于成像传感器光轴的部分，获得的法向量存在一定的噪声。
利用其他表面重建方法对偏振重建的法向量进行约束是目前解决凹凸性模糊的主流方法。例如，Rahmann和Canterakis将镜面偏振模型与立体声成像相结合[2]。Huynh等将多光谱成像与偏振相结合，估计绝缘体目标的折射系数以及三维信息[3]。Mahmoud等将阴影三维成像和偏振结合，假设朗伯反射率和已知的照明方向和反照率，以解决表面法线模糊度问题[4]。Kadambi等在2015年提出将偏振图像与Kinect相机获得的深度图组合的方法，以偏振得到的法向量信息为辅助，通过结合深度图得到了高精度的目标三维重建结果，很好的消除了方位角的不确定性[5]。但Kinect相机有限的工作距离和应用环境使得这种融合方法的使用情景有很大的局限性。
双目相机获取的表面深度数据在低频部分有良好的准确性，但有数据缺失问题，且高频部分存在严重噪声，这和偏振重建的表面结果特点互补，可以用于校正偏振重建的初始结果。而且利用双目相机得到深度数据比采用3D扫描和多视角重建等方法更简单，可应用于更多实用场景中。如何构建出有效的联合重建算法，利用双目深度数据校正偏振三维重建数据，是联合三维重建的关键问题。
发明内容
本发明针对现有技术的不足，利用偏振三维成像结果和双目视觉图像的特点互补关系，提出来一种联合偏振和双目视觉的三维重建算法。通过双目深度图解决了偏振三维成像结果的方向角模糊和深度不真实问题，得到形状准确，细节纹理重建度高的三维重建结果。并针对双目视觉深度图像中区域数据缺失问题对偏振重建结果校正过程中的影响提出了解决方法。
本发明所采用的技术方案是：一种联合偏振和双目视觉的三维重建算法，首先根据偏振三维重建算法，首先获取目标表面偏振信息得到偏振三维重建初始结果，并由双目相机获取双目原始深度图，再通过Harris-SIFT算法对偏振初始重建结果和双目原始深度图进行匹配，并标记双目深度图的数据缺失区域。然后将偏振初始重建结果和双目深度图进行空间线性拟合，利用偏振初始重建结果对双目深度图进行缺失补全，得到双目补全深度图，再利用双目补全深度图分别对偏振初始重建结果的方位角和梯度进行校正，得到深度重建校正图。再次利用深度重建校正图对双目原始数据进行缺失补全得到新的双目补全深度图，然后重复误差校正过程。重复迭代缺失补全过程和误差校正过程，直到误差校正过程中被校正的数据点一直低于某一定值，即可得到最终三维重建结果。该方法包括以下步骤：
步骤1：通过偏振成像获取目标物体表面偏振图像信息，并利用传统偏振三维重建算法获得偏振初始重建结果，偏振三维重建算法流程图如附图1所示；
步骤2：利用双目相机获取双目原始深度图和双目RGB图像；
步骤3：对偏振初始重建结果和双目RGB图像进行特征点提取和匹配，并根据双目RGB图像和双目原始深度图的已知对应关系，对双目原始深度图进行投影变换和重采样，获得配准后的双目深度图，实现偏振初始重建结果和双目原始深度图的配准；
步骤4：标记配准后的双目深度图中数据缺失区域，将偏振初始重建结果和双目深度图进行空间线性拟合，得到坐标变换后的偏振重建结果；
步骤5：利用空间变换后的偏振重建结果对配准后的双目深度图进行缺失补全，得到双目补全深度图；再利用双目补全深度图分别对空间变换后的偏振重建结果的方位角和梯度进行校正，得到深度重建校正图；通过交叉迭代法，重复迭代缺失补全过程和误差校正过程，直到误差校正过程中被校正的数据点一直低于某一定值，可得最终三维重建结果。
进一步的，步骤1的具体实现包括以下子步骤：
步骤1.1，利用偏振相机，在3个以上的偏振角度获取目标物体表面的偏振图像；
步骤1.2，获取的偏振图像的每个像素点的光强变化与相应的偏振角度
Figure BDA0002577008370000031
和其表面法向量有关，根据菲涅尔公式可知，其符合(1)式：
Figure BDA0002577008370000032
将每点光强变化进行余弦曲线拟合，根据拟合曲线得到各点的最大光强Imax，最小光强Imin和相位角度
Figure BDA0002577008370000033
步骤1.3，利用(2)式求得具有不确定性的法向量方位角分量
Figure BDA0002577008370000034
Figure BDA0002577008370000035
或
Figure BDA0002577008370000036
步骤1.4，物体表面的偏振度ρ可由(3)式求出：
Figure BDA0002577008370000037
利用前置掩模和镜面反射掩模将图像分为镜面反射区域和漫反射区域，根据 (4)(5)式,在已知偏振度ρ和物体表面折射率n时，可确定相应的天顶角θspec和θ：
Figure BDA0002577008370000038
Figure BDA0002577008370000039
式中，k表示材料的衰减指数。
步骤1.5，目标物体表面每点的法向量可由相应的方位角和天顶角确定：
Figure BDA00025770083700000310
步骤1.6，利用Shapelets算法，由表面法向量积分得到表面深度数据，即得到偏振三维初始重建结果DP。
进一步的，步骤3中利用Harris-SIFT算法对双目RGB图像和偏振图像进行特征点提取和配对，再利用RANSAC(Random Sample Consensus)算法对误匹配点对进行剔除，提高图像匹配的准确性。由于深度图像受噪声影响，目标物体边缘特征点不易提取，而双目RGB图像与深度图像具有确定的转换关系，所以利用更为清晰的RGB图像标定目标物体的特征点。将多尺度Harris检测的亚像素角点替代SIFT(Scale Invariant Feature Transform)算法原有检测的特征点，可以减少多余的特征点数量以提高算法速度，并可获得更稳定的特征点。
根据上述配准算法和双目RGB图像与深度图像的转换关系可以得到双目深度图和偏振初始重建结果图中对应特征点的转换关系，对双目深度图进行相应的仿射变换得到配准后的双目深度图；
进一步的，偏振重建方法的结果表面基于像素坐标系，而双目深度数据基于空间坐标系，所以偏振初始重建结果和配准后的双目深度图还存在深度方向的不匹配。本发明中利用空间线性拟合的方法对双目深度图和偏振重建图进行深度方向上的匹配问题。步骤4中分别从配准后的双目深度图和偏振初始重建结果图中分别取出x×y个对应点阵，用点集ZB和ZP表示
Figure BDA0002577008370000041
Figure BDA0002577008370000042
其中要确保点集ZB中的数据点均为有效的，即所取数据点要避开双目深度图的数据缺失部分。一般取x，y≥6。利用最小二乘法对点集ZB和ZP进行线性拟合
ZB＝kZP+b+ε (9)
得到相应的缩放系数k和平移系数b，ε表示误差集，然后将偏振初始重建图 DP变换到双目深度图所在的空间坐标系中得到变换后的偏振重建结果
Figure BDA0002577008370000043
Figure BDA0002577008370000044
变换后的偏振重建结果与配准后的双目深度图在三维空间坐标系中具有一致性。
进一步的，步骤5的具体实现包括以下子步骤：
步骤5.1，对于配准后的双目深度图
Figure BDA0002577008370000051
中被标记的缺失部分Mloss，利用偏振重建图的对应部分对Mloss进行补全
Figure BDA0002577008370000052
得到第一个双目补全深度图
Figure BDA0002577008370000053
步骤5.2，利用
Figure BDA0002577008370000054
对
Figure BDA0002577008370000055
进行误差校正，得到第一个深度重建图D1，再利用D1重新补全双目原始深度图
Figure BDA0002577008370000056
得到第二个双目补全图
Figure BDA0002577008370000057
步骤5.3，再利用
Figure BDA0002577008370000058
对D1进行误差校正得到第二个深度重建图D2，重复步骤 5.1和步骤5.2的交叉迭代过程，直到
Figure BDA0002577008370000059
且sum[!logical(Dn-Dn-1)]＜μ0(13)
其中δ0和μ0均为截止参数，即迭代过程中，深度重建图Dn满足截止条件时，认为Dn为最终重建结果。
与现有技术相比，本发明的优点和有益效果：本发明针对偏振三维重建结果和双目视觉重建结果特点的互补性，提出了一种联合偏振重建和双目视觉的交叉迭代三维重建框架，以双目稀疏的深度数据为基准，对偏振重建结果的方位角误差进行循环校正，解决偏振重建的凹凸性模糊问题。重建结果表面分辨率高，低频深度信息相对准确，物体表面细节纹理还原度高，且最终重建结果具有较为真实的深度。
附图说明
图1是偏振三维重建算法流程图。
图2是实施例的目标物体在偏振角度为0°时的偏振图像。
图3是实施例的双目深度图像和RGB图像，(a)为双目深度图，(b)为双目 RGB图像。
图4是实施例的双目RGB图像与偏振图像的特征点匹配结果图。
图5是实施例的目标物体表面三维重建结果。
图6是实施例的目标物体表面利用不同重建方法的结果对比图。
图7是标准球面利用不同重建方法的结果对比图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施施例仅用于解释本发明，并不用于限定本发明。
本发明主要针对具有精细纹理的表面三维形状重建的应用需求。根据偏振三维重建算法和双目深度数据的特点，我们提出了一种联合偏振和双目视觉的三维重建算法。基于双目深度数据对偏振重建初始结果进行法向量方位角的错误校正，解决偏振重建算法的凹凸性模糊问题。再利用交叉迭代的思想，消除双目深度图中数据缺失问题对重建结果的影响，以获得形状准确，纹理还原度高的三维重建结果。
图2是目标物体在偏振角度为0°时的偏振图像(分辨率为2592*1944)，图3 是利用双目相机(Intel RealSense R200)获取的深度图像(分辨率为628*468)和 RGB图像(分辨率为640*480)。本实施例提供一种联合偏振和双目视觉的三维重建算法来重建目标物体表面的三维形状，具体包括以下步骤：
步骤1：通过偏振成像获取目标物体表面偏振图像信息，并利用传统偏振三维重建算法获得偏振初始重建结果。具体实现包括以下子步骤：
步骤1.1：将线偏振片在相机前固定，旋转偏振片，从0°每隔30°拍摄一张偏振图像，共12张。理论上取3张偏振图像便可实现偏振重建，此处取12张偏振图像的目的是减少重建过程中的参数拟合误差。
步骤1.2：获取的偏振图像的每个像素点的光强变化与相应的偏振角度以下关系：
Figure BDA0002577008370000061
将每点光强变化进行余弦曲线拟合，根据拟合曲线得到各点的最大光强Imax，最小光强Imin和相位角度
Figure BDA0002577008370000062
步骤1.3：计算具有不确定性的法向量方位角分量
Figure BDA0002577008370000063
方位角分量有两种取值。
Figure BDA0002577008370000064
或
Figure BDA0002577008370000065
实际目标表面的法向量方位角在同一位置只对应其中一种取值。实施例中取前一种取值方法，错误取值的部分会在后续步骤中被校正，即有
Figure BDA0002577008370000066
步骤1.4：物体表面的偏振度ρ由(3)式求出：
Figure BDA0002577008370000071
根据目标物体表面的0°偏振图像，确定前置掩膜来分离目标和背景，确定镜面反射掩膜来分离出镜面反射区域。利用前置掩模和镜面反射掩模将图像分为漫反射区域和镜面反射区域，根据(4)(5)式，在已知偏振度ρ和物体表面折射率n时，确定相应的天顶角θspec和θ：
Figure BDA0002577008370000072
Figure BDA0002577008370000073
式中，k表示材料的衰减指数；
步骤1.5：目标物体表面每点的法向量可由相应的方位角和天顶角确定：
Figure BDA0002577008370000074
步骤1.6：利用Shapelets算法，由表面法向量积分得到表面深度数据，即得到偏振三维初始重建结果DP。
步骤2：利用双目相机(Intel RealSense R200)获取双目原始深度图和双目 RGB图像。拍摄图像时，双目相机需要保持在与偏振相机同一角度获取图像。
步骤3：利用Harris-SIFT算法对双目RGB图像和偏振图像进行特征点提取和配对，再利用RANSAC(Random Sample Consensus)算法对误匹配点对进行剔除，提高图像匹配的准确性。由于深度图像受噪声影响，目标物体边缘特征点不易提取，而双目RGB图像与深度图像具有确定的转换关系，所以利用更为清晰的RGB图像标定目标物体的特征点，图像特征点匹配结果如附图4中所示。获取双目RGB图像和偏振图像的转换关系后，根据双目RGB图像与双目原始深度图的对应关系，得到双目原始深度图和偏振初始重建结果的转换关系，通过对双目原始深度图进行投影变换和重采样，获得配准后的双目深度图
Figure BDA0002577008370000075
步骤4：标记配准后的双目深度图中数据缺失区域，将偏振初始重建结果DP和配准后的双目深度图
Figure BDA0002577008370000076
进行空间线性拟合，得到坐标变换后的偏振重建结果
Figure BDA0002577008370000077
分别从双目深度图
Figure BDA0002577008370000078
和偏振重建图DP中分别取出10×10个对应点，用点集ZB和ZP表示
Figure BDA0002577008370000081
Figure BDA0002577008370000082
利用最小二乘法对点集ZB和ZP进行线性拟合
ZB＝kZP+b+ε
得到相应的缩放系数k和平移系数b，ε表示误差集，然后将偏振初始重建图 DP变换到双目深度图所在的空间坐标系中得到变换后的偏振重建结果
Figure BDA0002577008370000083
Figure BDA0002577008370000084
步骤5：坐标变换后的偏振重建结果
Figure BDA0002577008370000085
依然具有方向角误差，但表面数据完整性高，细节纹理还原度好。配准后的双目深度图
Figure BDA0002577008370000086
深度信息准确，但具有区域数据缺失问题和噪声点。通过交叉迭代算法可以使基于双目深度图
Figure BDA0002577008370000087
中的有效深度数据点对偏振重建结果
Figure BDA0002577008370000088
进行方向角误差的有效校正，从而得到最终的三维重建结果。
利用偏振重建结果
Figure BDA0002577008370000089
对双目深度图
Figure BDA00025770083700000810
进行缺失补全，得到双目补全深度图；再利用双目补全深度图分别对偏振初始重建结果的方位角和梯度进行校正，得到深度重建校正图；通过交叉迭代法，重复迭代缺失补全过程和误差校正过程，直到误差校正过程中被校正的数据点一直低于某一定值，得到最终的目标物体表面三维重建结果。具体实现包括以下子步骤：
步骤5.1：对于配准后的双目深度图
Figure BDA00025770083700000811
中被标记的缺失部分Mloss，利用偏振重建图的对应部分对Mloss进行补全
Figure BDA00025770083700000812
得到第一个双目补全深度图
Figure BDA00025770083700000813
步骤5.2：利用
Figure BDA00025770083700000814
对
Figure BDA00025770083700000815
进行误差校正，得到第一个深度重建图D1，再利用D1重新补全双目原始深度图
Figure BDA00025770083700000816
得到第二个双目补全图
Figure BDA00025770083700000817
步骤5.3：再利用
Figure BDA00025770083700000818
对D1进行误差校正得到第二个深度重建图D2，重复步骤 5.1和步骤5.2的交叉迭代过程，直到
Figure BDA00025770083700000819
且sum[！logical(Dn-Dn-1)]＜μ0(12)
其中δ0和μ0均为截止参数，即迭代过程中，深度重建图Dn满足截止条件时，认为Dn为最终重建结果。目标物体的重建结果如附图5所示。
基于上述步骤得到目标物体表面的三维重建结果，为了与其他方法进行比较，我们使用DRLPR[6]，SP[4]方法与我们的方法进行对比，得出的结果如附图6所示。
为了定量的评价三维重建结果，我们选取了另一目标物体：标准球面，使用DRLPR，SP方法与我们的方法进行对比，引入平均绝对误差(MSE)作为评价指标，得出的结果如附图7所示，定量对比结果如下：
表1不同重建方法的定量分析
Figure BDA0002577008370000091
可以看到我们提出的方法联合物体表面偏振信息的双目深度数据，较好的校正了偏振初始结果的凹凸性模糊问题，得到的三维重建结果具有更准确的表面形状，且对表面的纹理特征具有较好的还原能力。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
参考文献
[1]Stolz,Christophe,Mathias Ferraton,and Fabrice Meriaudeau."Shapefrom polarization:a method for solving zenithal angle ambiguity."Opticsletters 37.20 (2012):4218-4220.
[2]Rahmann,S.,and N.Canterakis."Reconstruction of specular surfacesusing polarization imaging."Computer Vision and Pattern Recognition,2001.CVPR2001.Proceedings of the 2001IEEE Computer Society Conference on IEEE, 2001.
[3]Huynh,Cong Phuoc,A.Robles-Kelly,and E.Hancock."Shape andrefractive index recovery from single-view polarisation images."2010IEEEComputer Society Conference on Computer Vision and Pattern Recognition IEEE,2010.
[4]Mahmoud,Ali H.,M.T.El-Melegy,and A.A.Farag."Direct method forshape recovery from polarization and shading."IEEE International Conferenceon Image Processing IEEE,2012.
[5]Kadambi,Achuta,et al."Polarized 3D:High-Quality Depth Sensing withPolarization Cues."2015 IEEE International Conference on Computer Vision(ICCV)IEEE,2015.
[6]E.Hecht et al.,Optics,vol.4(Addison Wesley San Francisco,2002)。

Claims (6)

1.一种联合偏振和双目视觉的三维重建方法，其特征在于，包含以下步骤：
步骤1，通过偏振成像获取目标物体表面偏振图像信息，并利用偏振三维重建算法获得偏振初始重建结果DP；
步骤2，利用双目相机获取双目原始深度图和双目RGB图像；
步骤3，对偏振初始重建结果DP和双目RGB图像进行图像配准，根据双目RGB图像与双目原始深度图的对应关系，得到双目原始深度图和偏振初始重建结果的转换关系，通过对双目原始深度图进行投影变换和重采样，获得配准后的双目深度图
Figure FDA0002577008360000014
实现偏振初始重建结果和双目原始深度图的配准；
步骤4，标记配准后的双目深度图
Figure FDA0002577008360000015
中数据缺失区域，将偏振初始重建结果和双目深度图进行空间线性拟合，得到坐标变换后的偏振重建结果
Figure FDA0002577008360000017
步骤5，利用空间变换后的偏振重建结果
Figure FDA0002577008360000016
对配准后的双目深度图进行缺失补全，得到双目补全深度图；再利用双目补全深度图分别对空间变换后的偏振重建结果的方位角和梯度进行校正，得到深度重建校正图；通过交叉迭代法，重复迭代缺失补全过程和误差校正过程，直到误差校正过程中被校正的数据点一直低于某一定值，得到最终三维重建结果。
2.如权利要求1所述的一种联合偏振和双目视觉的三维重建方法，其特征在于：步骤1的具体实现包括以下子步骤：
步骤1.1，利用偏振相机，在m个以上的偏振角度获取目标物体表面的偏振图像；
步骤1.2，获取的偏振图像的每个像素点的光强变化与相应的偏振角度
Figure FDA00025770083600000110
和其表面法向量有关，根据菲涅尔公式可知，其符合(1)式：
Figure FDA0002577008360000011
将每点光强变化进行余弦曲线拟合，根据拟合曲线得到各点的最大光强Imax，最小光强Imin和相位角度
Figure FDA0002577008360000019
步骤1.3，利用(2)式求得具有不确定性的法向量方位角分量
Figure FDA0002577008360000018
Figure FDA0002577008360000012
步骤1.4，物体表面的偏振度ρ由(3)式求出：
Figure FDA0002577008360000013
利用前置掩模和镜面反射掩模将图像分为漫反射区域和镜面反射区域，根据(4)(5)式，在已知偏振度ρ和物体表面折射率n时，确定相应的天顶角θspec和θ：
Figure FDA0002577008360000021
Figure FDA0002577008360000022
式中，k表示材料的衰减指数；
步骤1.5，目标物体表面每点的法向量由相应的方位角和天顶角确定：
Figure FDA0002577008360000023
步骤1.6，利用Shapelets算法，由表面法向量积分得到表面深度数据，即得到偏振三维初始重建结果DP。
3.如权利要求1所述的一种联合偏振和双目视觉的三维重建方法，其特征在于：步骤3中利用Harris-SIFT算法对双目RGB图像和偏振初始重建结果DP进行特征点提取和配对，再利用RANSAC(Random Sample Consensus)算法对误匹配点对进行剔除，提高图像匹配的准确性。
4.如权利要求1所述的一种联合偏振和双目视觉的三维重建方法，其特征在于：步骤4中分别从配准后的双目深度图和偏振初始重建结果图中分别取出x×y个对应点，用点集ZB和ZP表示：
Figure FDA0002577008360000024
Figure FDA0002577008360000025
其中，确保ZB中的数据点均为有效的，x，y均为常数，然后利用最小二乘法对点集ZB和ZP进行线性拟合；
ZB＝kZP+b+ε (8)
得到相应的缩放系数k和平移系数b，ε表示误差集，然后将偏振初始重建图DP变换到双目深度图所在的空间坐标系中得到变换后的偏振重建结果
Figure FDA0002577008360000027
Figure FDA0002577008360000026
变换后的偏振重建结果与配准后的双目深度图在三维空间坐标系中具有一致性。
5.如权利要求1所述的一种联合偏振和双目视觉的三维重建方法，其特征在于：步骤5的具体实现包括以下子步骤：
步骤5.1，对于配准后的双目深度图
Figure FDA0002577008360000031
中被标记的缺失部分Mloss，利用偏振重建图的对应部分对Mloss进行补全，
Figure FDA0002577008360000032
得到第一个双目补全深度图
Figure FDA0002577008360000039
步骤5.2，利用
Figure FDA0002577008360000037
对
Figure FDA0002577008360000038
进行误差校正，得到第一个深度重建图D1，再利用D1重新补全双目原始深度图
Figure FDA0002577008360000036
得到第二个双目补全图；
Figure FDA0002577008360000033
步骤5.3，再利用
Figure FDA0002577008360000035
对D1进行误差校正得到第二个深度重建图D2，重复步骤5.1和步骤5.2的交叉迭代过程，直到
Figure FDA0002577008360000034
其中δ0和μ0均为截止参数，即迭代过程中，深度重建图Dn满足截止条件时，认为Dn为最终重建结果。
6.如权利要求4所述的一种联合偏振和双目视觉的三维重建方法，其特征在于：x，y≥6。
CN202010656633.3A 2020-07-09 2020-07-09 一种联合偏振和双目视觉的三维重建方法 Active CN111899290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010656633.3A CN111899290B (zh) 2020-07-09 2020-07-09 一种联合偏振和双目视觉的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010656633.3A CN111899290B (zh) 2020-07-09 2020-07-09 一种联合偏振和双目视觉的三维重建方法

Publications (2)

Publication Number Publication Date
CN111899290A true CN111899290A (zh) 2020-11-06
CN111899290B CN111899290B (zh) 2022-05-13

Family

ID=73192079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010656633.3A Active CN111899290B (zh) 2020-07-09 2020-07-09 一种联合偏振和双目视觉的三维重建方法

Country Status (1)

Country Link
CN (1) CN111899290B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330789A (zh) * 2020-11-12 2021-02-05 北京环境特性研究所 一种基于目标偏振特征的三维重建方法及装置
CN112509035A (zh) * 2020-11-26 2021-03-16 江苏集萃未来城市应用技术研究所有限公司 一种光学镜头和热成像镜头的双镜头图像像素点匹配方法
CN113706693A (zh) * 2021-08-27 2021-11-26 武汉大学 一种微光条件下偏振三维重建方法
CN113963107A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN114972653A (zh) * 2022-06-14 2022-08-30 陕西师范大学 基于天顶角定位的单目偏振三维重构成像方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058352A1 (en) * 2003-07-16 2005-03-17 Shrenik Deliwala Optical encoding and reconstruction
CN107680156A (zh) * 2017-09-08 2018-02-09 西安电子科技大学 基于偏振信息的三维重建方法
CN109147029A (zh) * 2018-06-25 2019-01-04 西安电子科技大学 一种单目偏振三维重建方法
US10198790B1 (en) * 2015-07-16 2019-02-05 Hrl Laboratories, Llc Multi-domain foveated compressive sensing system for adaptive imaging
CN110580686A (zh) * 2019-08-02 2019-12-17 天津大学 在散射环境中基于双目视觉的偏振图像复原装置及方法
CN111340936A (zh) * 2020-02-17 2020-06-26 西安电子科技大学 一种基于偏振漫反射分离的被动三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058352A1 (en) * 2003-07-16 2005-03-17 Shrenik Deliwala Optical encoding and reconstruction
US10198790B1 (en) * 2015-07-16 2019-02-05 Hrl Laboratories, Llc Multi-domain foveated compressive sensing system for adaptive imaging
CN107680156A (zh) * 2017-09-08 2018-02-09 西安电子科技大学 基于偏振信息的三维重建方法
CN109147029A (zh) * 2018-06-25 2019-01-04 西安电子科技大学 一种单目偏振三维重建方法
CN110580686A (zh) * 2019-08-02 2019-12-17 天津大学 在散射环境中基于双目视觉的偏振图像复原装置及方法
CN111340936A (zh) * 2020-02-17 2020-06-26 西安电子科技大学 一种基于偏振漫反射分离的被动三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIZHONG ZHU ETAL.: "Depth from a polarisation + RGB stereo pair", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
平茜茜等: "基于偏振双目视觉的无纹理高反光目标三维重构", 《红外与毫米波学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330789A (zh) * 2020-11-12 2021-02-05 北京环境特性研究所 一种基于目标偏振特征的三维重建方法及装置
CN112330789B (zh) * 2020-11-12 2023-05-09 北京环境特性研究所 一种基于目标偏振特征的三维重建方法及装置
CN112509035A (zh) * 2020-11-26 2021-03-16 江苏集萃未来城市应用技术研究所有限公司 一种光学镜头和热成像镜头的双镜头图像像素点匹配方法
CN113706693A (zh) * 2021-08-27 2021-11-26 武汉大学 一种微光条件下偏振三维重建方法
CN113706693B (zh) * 2021-08-27 2023-11-17 武汉大学 一种微光条件下偏振三维重建方法
CN113963107A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN113963107B (zh) * 2021-09-22 2024-04-02 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN114972653A (zh) * 2022-06-14 2022-08-30 陕西师范大学 基于天顶角定位的单目偏振三维重构成像方法

Also Published As

Publication number Publication date
CN111899290B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN111899290B (zh) 一种联合偏振和双目视觉的三维重建方法
US11398053B2 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN110807815B (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
CN112200203A (zh) 斜视场下弱相关散斑图像的匹配方法
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN111340936A (zh) 一种基于偏振漫反射分离的被动三维重建方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Koide et al. General, single-shot, target-less, and automatic lidar-camera extrinsic calibration toolbox
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
Sun et al. A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
Coorg Pose imagery and automated three-dimensional modeling of urban environments
CN116205993A (zh) 一种用于3d aoi的双远心镜头高精度标定方法
Zhang et al. Non-rigid registration of mural images and laser scanning data based on the optimization of the edges of interest
CN114972451A (zh) 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法
Mortazavi et al. High resolution surface reconstruction of cultural heritage objects using shape from polarization method
Niu et al. A 3D Measurement Method Based on Coded Image.
Vera et al. Relevance of Accurately Determining the Center of Radial Distortion in 3-D Reconstruction
Zhang et al. Adaptive Hierarchical Dense Matching of Multi-View Airborne Oblique Imagery
WO2024113260A1 (zh) 一种双目偏振三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant