CN113108720B - 一种基于线偏振光和条纹反射的表面三维重建方法 - Google Patents

一种基于线偏振光和条纹反射的表面三维重建方法 Download PDF

Info

Publication number
CN113108720B
CN113108720B CN202110369458.4A CN202110369458A CN113108720B CN 113108720 B CN113108720 B CN 113108720B CN 202110369458 A CN202110369458 A CN 202110369458A CN 113108720 B CN113108720 B CN 113108720B
Authority
CN
China
Prior art keywords
camera
light
reflection
polarization
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110369458.4A
Other languages
English (en)
Other versions
CN113108720A (zh
Inventor
赵洁
蔡昂
王大勇
戎路
王云新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110369458.4A priority Critical patent/CN113108720B/zh
Publication of CN113108720A publication Critical patent/CN113108720A/zh
Application granted granted Critical
Publication of CN113108720B publication Critical patent/CN113108720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于线偏振光和条纹反射的表面三维重建方法，当投影设备加载均匀照明图案时，调旋转相机前的线偏振片采集四张偏振图像计算线偏振度；当投影设备投影编码图案时，偏振片方向固定，采集多张经过物体表面面型调制的反射编码图像。信息处理设备配置为采集四张偏振图像，计算反射光线偏振度并分析天顶角分布；采集经过物体表面面型调制的反射编码图像，通过图像处理和解码过程得到相互匹配的投影设备发光点与相机像素点；将偏振分析得到的天顶角分布与入射平面三角形几何约束条件融合，得到物体表面法线信息，并通过对表面梯度积分重建物体面型。本发明消除偏振三维重建中天顶角二义性误差问题，并显著降低硬件成本和操作复杂度。

Description

一种基于线偏振光和条纹反射的表面三维重建方法
技术领域
本发明涉及光学三维检测技术领域，更具体地，涉及一种基于线偏振光和条纹反射的表面三维重建方法。
背景技术
针对透明物体的三维重建方法主要分为两大类：基于偏振信息的三维重建方法和特殊光源照明扫描重建法。利用特殊光源照明的重建方法需要使用红外或者紫外光波段的照明设备和荧光接收器或者是热辐射探测器获取经过物体不同位置表面反射之后的图像信息进行重建。该方法测量的样品可选择余地受到了限制，不适用于一般介质的透明物体。基于偏振信息的三维重建是通过物体的偏振度分布获得物体表面法向量，但是存在重建过程中的天顶角与方位角的歧义性，引入了测量误差，需要系统设计方面的特殊约束条件和多次改变相机采集位置消除测量多义性误差，这为整体的重建模型引入了操作复杂性和较低的测量效率。
非接触式的三维重建技术是一种快速、无损的视觉重建方法，目前在各种领域得到了广泛的应用，例如工业自动化测量、产品缺陷检测、生物医疗检测、目标跟踪、逆向工程等应用场景。偏振光三维重建是计算机视觉中针对透明、半透明或者高反射材料物体的有效三维重建方法之一。
传统的视觉重建方法比如线激光扫描技术、结构光扫描技术等是通过匹配物体表面特征信息得到点云数据再进行重建，然而针对透明材料物体的三维重建是失效的。偏振光三维重建技术通过分析物体反射光的状态变化对物体进行重建，因而不需要额外投射特征图案就可以对透明物体实现高效率、无损的三维重建。一方面减少了设备成本，另一方面使用起来比较灵活。目前对于一些透明工业零件的表面质量检测具有很好的应用前景及研究价值。
具体地，现有的三维形貌测量技术方案包括：专利申请201710849051.5(基于偏振信息的三维重建方法)提出了一种基于偏振信息的三维重建方法，用于解决现有的利用偏振信息进行三维重建方法中表面法向量校正过程复杂的技术问题。包括利用暗箱中深度传感器Kinect获取待重建物体深度信息；旋转三次偏振片得到三个场景的偏振图像并与深度图进行图像配准；根据偏振图像计算反射光偏振度分布以及入射角和方位角；通过配准深度信息得到物体表面法线并以此为基准对根据偏振数据得到的法向量进行x方向和y方向上的校正最终获得消除歧义的表面法线并积分完成三维重建。专利申请201810664105.5(一种单目偏振三维重建方法)提出了一种单目偏振三维重建方法，用于简化系统结构和后续法线校正步骤，包括获取物体多张偏振图像和光强图像；从偏振图像得到的偏振度中获取入射角和方位角并计算出第一物体法线；利用SFS算法得到第二物体表面法向量并对第一物体法线进行校正得到第三物体表面法线，第三物体表面法线即为经过消除测量歧义性之后的物体表面法线，最终利用梯度积分公式完成物体的三维重建。
经分析，一般基于偏振分析的三维重建方法为了消除光线入射角(天顶角)歧义性通常需要在系统结构中增加额外的照明设备或者是图像采集设备，例如环形LED灯、双波段激光器、多目的偏振相机；或者多次移动物体和相机位置；或者通过设计系统设备的摆放方位形成特殊的光线照射范围，人为限制入射角分布使之满足单调性，从而去除法线测量二义性误差。这些方法都是利用硬件增加约束条件去除了法线歧义，首先增加了使用成本其次测量过程中操作繁复，不利于高效率的三维重建，并且后续的数据往往需要繁琐的匹配处理，为整体的重建带来较大的复杂性。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种基于线偏振光和条纹反射的表面三维重建方法，无需多次移动相机、旋转物体或者增加其他波段光照明的结构简单、测量快速的偏振分析三维重建方法，旨在通过分析反射光的偏振态变化确定物体表面各点的唯一光线入射角，消除天顶角歧义误差，提高后续法线测量精度、提高重建精度。
根据本发明的第一方面，提供一种基于线偏振光和条纹反射的表面三维重建装置。该装置包括投影设备、相机和信息处理设备，投影设备和相机前分别设有偏振片，其中：
投影设备设置为加载均匀照明图像和投影编码图案，当投影设备加载均匀照明图案时，旋转相机前的偏振片采集四张偏振图像；当投影设备投影编码图案时，将偏振片方向固定，采集经过物体表面面型调制的反射编码图像；
信息处理设备被配置为：采集所述多张偏振图像，根据偏振图像分析物体天顶角分布；采集经过物体表面面型调制的反射编码图像，通过图像处理和解码过程得到液晶显示屏与相机之间的匹配点对；将偏振分析得到的天顶角分布与光纤入射平面三角形约束关系相联合获取物体表面法线信息，并通过对表面梯度积分重建物体面型。
根据本发明的第二方面，提供一种基于线偏振光和条纹反射的表面三维重建方法。该方法包括以下步骤：
液晶显示屏加载均匀照明图案，调整液晶显示屏前面的线偏振片方向得到具有合适的线性偏振态的均匀入射光场，旋转相机前的偏振片采集四张偏振图像；
投影设备投影编码图案，将偏振片方向固定，采集多张经过物体表面面型调制的反射编码图像；
采集所述多张偏振图像，根据反射光线偏振度的分布获取物体表面各点天顶角；
采集多张经过物体表面面型调制的反射编码图像，通过图像处理和解码过程得到液晶显示屏与相机之间的匹配点对；
将偏振分析得到的天顶角分布与光纤入射平面三角形约束关系进行联合，得到物体表面法线信息，并通过对表面梯度积分重建物体面型。
与现有技术相比，本发明的优点在于，采用液晶显示屏作为线偏振光源进行重建，通过反射光线偏振度变化能够确定唯一的天顶角(光线入射角)能够较低成本的实现消除偏振重建中天顶角二义性问题，相比增加照明设备和多次移动相机的方式，大大降低了硬件成本和操作复杂度。是一种较高效、灵活的偏振三维重建技术，不仅可以较精确地应用于镜面等高反射物体的面型检测，也可以用于透明物体的轮廓测量。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的基于线偏振光和条纹反射的表面三维重建方法的结构示意图；
图2是根据本发明一个实施例的基于线偏振光和条纹反射的表面三维重建方法的流程图；
图3是根据本发明一个实施例的几何条件约束关系示意图；
图4是根据本发明一个实施例的基于线偏振光和条纹反射的表面三维重建方法的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明提供基于线偏振光和条纹反射的表面三维重建方法所用装置及对应的重建方法，简言之，该装置(或称系统)包括：投影设备(如显示器)、摄像机(如工业相机)、偏振片和信息处理设备，其中，显示器作为偏振光源，摄像机用于采集偏振图像，信息处理设备用于分析采集的图像，获得重建结果。在下文中，将以液晶显示器、工业相机、计算机作为信息处理设备为例进行说明。
参见图1所示，所提供的基于线偏振光和条纹反射的表面三维重建方法的装置包括一个液晶显示器，一个工业级相机以及各自前面的线偏振片。该装置的基本原理是：设置合适的光源入射方向以及相机采集范围；调整液晶显示屏前面的线偏振片方向得到具有合适的线性偏振态的均匀入射光场，之后固定系统。液晶显示屏投影均匀照明光时通过旋转相机前的线偏振片采集四张偏振图像，计算反射光线偏振度并分析物体表面各点的天顶角。液晶显示屏投影编码图案时，将偏振片方向固定，采集多张经过物体表面面型调制的反射编码图像，经过后续的图像处理和解码过程得到显示器与相机之间的匹配点对。最后将偏振分析得到的天顶角分布与光线入射平面三角形约束关系进行联合获得物体表面法线信息，最后通过对物体表面梯度积分重建物体面型。
在一个实施例中，所提供基于线偏振光和条纹反射的表面三维重建方法所用装置包括：一个液晶显示器、一个工业级相机、两个线偏振片以及一台计算机。该装置的工作方式：液晶显示屏属于偏振光源，液晶显示屏幕首先加载均匀照明图案，旋转相机前面的线偏振片采集四张偏振图像，计算反射光线偏振信息。此时固定线偏振片方向，液晶显示屏幕加载面结构光编码图案，由计算机采集物体表面反射的形变条纹后进行解码并计算匹配点对信息。最后将偏振信息与匹配点对信息融合得到物体表面梯度，计算机对梯度积分进行重建。
具体地，结合图1和图2所示，所提供的基于线偏振光和条纹反射的表面三维重建方法包括以下步骤。
步骤S210，进行相机标定，并计算显示屏与相机之间的位姿变换矩阵。
例如，单目相机标定采用张正友提出的方法，将世界坐标系建立在平面反射镜表面，采集多组棋盘格图片，获取相机内参。利用平面反射镜获得液晶显示屏相对平面镜对称的虚像，并利用显示屏加载的标定图案进行标定获得相机外参，最后根据转换关系获得液晶显示屏与相机之间的位姿变换矩阵。
需说明的是，除了采用上述基于标准平面镜的相机与投影设备之间的位姿计算方式外，也可采用其他现有方法获得液晶显示屏与相机之间的位姿变换矩阵，本发明对此不进行限制。
步骤S220，根据物体表面反射光偏振图像分析天顶角。
类镜面物体表面的反射光与照射到物体表面的入射光之间遵循菲涅耳公式：反射光中垂直偏振态光波能量以及水平偏振态光波能量分别相对于入射光中相应偏振态光波能量的变化是随着光线入射角的改变而呈现线性变化趋势。其中偏振方向垂直于入射面的垂直方向偏振态光波能量变化随着入射角的增大呈递增趋势。利用这一曲线，可以从图像灰度图中反推光线入射角分布。令E’s1代表反射光垂直偏振态光波振幅，令Es1代表入射光垂直偏振态振幅，i1表示入射角，i2表示折射角，则光能量变化与入射角关系用公式表示如下：
利用公式(1)可获得照明光线至物体表面的入射角分布情况。
在照明光场为自然光的条件下，也可以根据反射光的线偏振度(Degree ofLinearPolarization,DOLP)分布获取天顶角数据。线偏振度描述的是反射光中线偏振光能量占比。通过旋转四次相机前面的线偏振片，依次记录偏振方向为0°、45°、90°和135°时的四副图像I0°、I45°、I90°和I135°，并根据公式(2)计算斯托克斯stokes参数：
令n为被探测物体的折射率。当折射率n已知时，根据公式(3)和公式(4)所代表的线偏振度与入射角之间的函数关系曲线即可确定天顶角θ：
步骤S230，根据入射平面三角形约束条件计算物体表面各点法线信息。
具体地，将液晶显示屏由均匀照明模式更换为加载时间编码面结构光照明，采用的编码方式为格雷码加相移。采集经过物体表面轮廓调制的形变编码图案，根据相应的解码方法可以得到与相机图像平面各个像素点相匹配的液晶显示屏幕发光点，由于入射光线与反射光线在同一个入射平面内，且待测物体是类镜面反射型物体，入射角与反射角相等并分别位于物点法向量两侧。此时根据镜面反射模型以及光线入射三角平面能够计算得到物点法向量信息，标记入射光线单位向量为反射光线单位向量为/>单位法向量标记为则法向量通过数学关系式(5)计算得到：
相机成像过程满足针孔成像原理，液晶显示屏和相机图像平面上相位对应点的连线与该点反射光线以及从显示屏上对应相位点发出的光线均在同一个入射平面上，利用光线之间构成的几何关系计算得到物体表面各点在相机坐标系下的高度并进一步计算入射光线向量。几何约束条件的原理图如图3所示，其中m1、m2分别表示相机图像平面M上的像素点，其坐标分别用(u1，v1)和(u2，v2)表示。液晶显示屏上的像素点p1和p2分别是与相机像素平面对应的匹配相位发光点，即p1和m1相匹配，p2和m2相匹配。待测物体表面的点用O表示，其对应的世界坐标系下的高度分别用h1和h2代表，O1、O2表示其中的两个点。连接物点与相机光心(Oc)、连接光心与显示屏上各个相位点用线段L表示，以及连接显示屏上的相位点与待测物点，在光线入射平面内，上述线段形成三角形，令线段OOc和线段OP之间的夹角为β，线段OOc即为反射光线线段OcP即为入射光线/>令线段OOc和线段OcP之间的夹角为β，则根据三角形几何关系以及小孔成像原理计算得到入射光线向量并进一步获得待测物体表面各个点的梯度分布。
步骤S240，根据梯度数据重建物体面型。
法线信息与实际梯度数据之间的关系为：/>其中p代表沿物体x轴方向分布的梯度，q代表沿物体y方向分布的梯度。用上述公式即可获得两个正交方向的梯度数据。令Z表示物体面型分布则梯度数据与真实面型的关系为：
则物体轮廓通过积分过程求解。构建真实面型与积分面型之间的损失函数：
通过最小二乘方法求解使得损失函数值最小的解即为最优面型解。梯度数据积分的方法一般选择基于傅里叶变换的重建方法，数值计算中将最终面型分布用离散傅里叶级数形式表示：
或者通过有限差分的思想根据数值积分公式进行面型重建。
总体上，如图4所示，基于线偏振光和条纹反射的表面三维重建方法包括：步骤S410，确定投影设备以及相机的位置并进行系统标定；步骤S420，显示屏投影均匀照明光，旋转相机前面偏振片采集斯托克斯图像并计算线偏振度；步骤S430，根据线偏振度曲线确定物体表面各点天顶角。步骤S440，显示屏加载编码图案，解码后获取与相机图像像素点相匹配的屏幕发光点；步骤S450，根据镜面反射定律、入射平面三角形几何约束以及针孔成像原理计算入射光线向量和物体法线信息；步骤S460，由表面梯度数据积分重建物体面型。
综上，本发明采用液晶显示屏作为线偏振光源，无需更换不同的照明设备，或者多次移动物体位姿，通过反射光线偏振度或者反射图灰度与照明入射角的关系能够确定唯一的入射角(天顶角)。结合天顶角分布以及根据编码图案得到的液晶显示器上各个相位发光点与相机像平面上像素点的对应关系，并且结合入射平面三角形约束和针孔成像原理构成的几何关系，计算获取待测物体表面法线信息，并作为后续积分重建的输入。
综上所述，本发明采用液晶显示屏作为线偏振光源进行重建，通过反射光线偏振度变化能够确定唯一的天顶角(光线入射角)能够较低成本的实现消除偏振重建中天顶角二义性问题，相比增加照明设备和多次移动相机的方式，大大降低了硬件成本和操作复杂度。是一种较高效、灵活的偏振三维重建技术，不仅可以较精确地应用于镜面等高反射物体的面型检测，也可以用于透明物体的轮廓测量。与现有的基于偏振光进行三维重建的技术相比，本发明的优势在于：系统结构简单，仅需要单一的照明设备和工业相机，且采集数据过程中无需对设备和待重建物体进行移动；测量操作简便，仅需要旋转相机前的线偏振片获取偏振图像和调整液晶显示屏前的线偏振片取向调节入射光偏振态即可，或者选择自然光照明条件；利用反射光偏振状态的变化能够确定物体表面唯一的光线入射角，一次性消除光线入射角的歧义性，从而提高了法线测量精度；重建范围广泛，对待重建物体的材料特性不敏感，同时由于液晶显示器前的线偏振片可调整，对于具有不同响应特性的物体能够灵活调整入射光场偏振状态，采集到有效的反射图像，尤其对于表面光滑的高反射率物体或者是透射率较高的透明、半透明材料物体具有很好的应用效果。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (3)

1.一种基于线偏振光和条纹反射的表面三维重建方法，包括投影设备、相机和信息处理设备，投影设备和相机前分别设有线偏振片，其中：
投影设备设置为加载照明图像和投影编码图案，当投影设备加载均匀照明图案时，旋转相机前的线偏振片采集四张偏振图像；当投影设备投影编码图案时，将偏振片方向固定，采集多张经过物体表面面型调制的反射编码图像；信息处理设备被配置为：采集四张偏振图像，计算反射光线偏振度并根据偏振度关系曲线分析天顶角分布；采集经过物体表面面型调制的反射编码图像，通过图像处理和解码过程得到相互匹配的投影设备发光点与相机像素点；将偏振分析得到的天顶角分布与入射平面三角形几何约束条件融合，得到物体表面法线信息，并通过对表面梯度积分重建物体面型；
根据以下步骤重建物体面型：
进行相机标定，计算相机与投影设备之间的位姿，获得相机和投影设备之间的位姿变换矩阵；
根据反射图像的线偏振度分布得到照明光线至物体的入射角分布；
根据经过物体反射的形变的编码图案解码获取显示屏发光位置与相机接收像素的对应匹配点对；
结合天顶角分布、融合入射平面三角形几何约束条件、以及相机投影设备之间对应的编码数值，计算得到入射光线向量并进一步计算得到物面法线信息；
根据梯度数据重建物体面型；
所述计算相机与投影设备之间的位姿变换矩阵包括：
采用张正友标定法进行单目相机标定，将世界坐标系建立在平面反射镜表面，采集多组棋盘格图片，获取相机内参；
利用平面反射镜获得投影设备相对平面镜对称的虚像，并利用投影设备加载的标定图案进行标定获得相机外参，进而根据转换关系获得投影设备与相机之间的位姿变换矩阵；
基于反射光斯托克斯参量以及线偏振度(Degree of Linear Polarization,DOLP)分布获得所述照明光线至物体的入射角分布，表示为：
其中，Es'1代表反射光垂直偏振态光波振幅，Es1代表入射光垂直偏振态振幅，i1表示入射角，i2表示折射角，θ表示天顶角；S0、S1、S2、S3均表示斯托克斯参量，I0°、I45°、I90°、I135°分别表示偏振方向为0°、45°、90°和135°时的反射图像的光强，n表示物体折射率。
2.根据权利要求1所述的基于线偏振光和条纹反射的表面三维重建方法，其特征在于，根据形变条纹解码获得匹配点对并结合入射平面三角形约束条件计算物体表面各点法线：
液晶显示屏由均匀照明模式更换为加载时间编码面结构光照明，采用的编码方式为格雷码加相移；采集经过物体表面轮廓调制的形变编码图案，根据相应的解码方法得到与相机图像平面各个像素点相匹配的液晶显示屏幕发光点，由于入射光线与反射光线在同一个入射平面内，且待测物体是类镜面反射型物体，入射角与反射角相等并分别位于物点法向量两侧；此时根据镜面反射模型以及光线入射三角平面能够计算得到物点法向量信息，标记入射光线单位向量为反射光线单位向量为/>单位法向量标记为/>则法向量通过如下数学关系式计算得到：
具体原理是：相机成像过程满足针孔成像原理，液晶显示屏和相机图像平面上相位对应点的连线与该点反射光线以及从显示屏上对应相位点发出的光线均在同一个入射平面上，利用光线之间构成的几何关系计算得到物体表面各点在相机坐标系下的高度并进一步计算入射光线向量。
3.根据权利要求1所述的基于线偏振光和条纹反射的表面三维重建方法，其特征在于，所述根据梯度数据重建物体面型；
法线信息与实际梯度数据之间的关系为：/>
其中p代表沿物体x轴方向分布的梯度，q代表沿物体y方向分布的梯度；用上述公式即可获得两个正交方向的梯度数据；令Z表示物体面型分布则梯度数据与真实面型的关系为：则物体轮廓通过积分过程求解；构建真实面型与积分面型之间的损失函数：
通过最小二乘方法求解使得损失函数值最小的解即为最优面型解；梯度数据积分的方法选择基于傅里叶变换的重建方法，数值计算中将最终面型分布用离散傅里叶级数形式表示：
或者通过有限差分的思想根据数值积分公式进行面型重建。
CN202110369458.4A 2021-04-06 2021-04-06 一种基于线偏振光和条纹反射的表面三维重建方法 Active CN113108720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110369458.4A CN113108720B (zh) 2021-04-06 2021-04-06 一种基于线偏振光和条纹反射的表面三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110369458.4A CN113108720B (zh) 2021-04-06 2021-04-06 一种基于线偏振光和条纹反射的表面三维重建方法

Publications (2)

Publication Number Publication Date
CN113108720A CN113108720A (zh) 2021-07-13
CN113108720B true CN113108720B (zh) 2023-07-21

Family

ID=76714141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110369458.4A Active CN113108720B (zh) 2021-04-06 2021-04-06 一种基于线偏振光和条纹反射的表面三维重建方法

Country Status (1)

Country Link
CN (1) CN113108720B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113029040B (zh) * 2021-02-26 2022-09-27 中国科学院深圳先进技术研究院 一种偏振相位偏折测量方法和装置
CN113706693B (zh) * 2021-08-27 2023-11-17 武汉大学 一种微光条件下偏振三维重建方法
CN113847885B (zh) * 2021-09-24 2022-10-25 云南特可科技有限公司 一种适用于强反光环境的多维测量方法
CN114972653B (zh) * 2022-06-14 2023-06-30 陕西师范大学 基于天顶角定位的单目偏振三维重构成像方法
CN115876124A (zh) * 2023-01-09 2023-03-31 中国科学院深圳先进技术研究院 基于偏振结构光相机的高反光表面三维重建方法及装置
CN116448020B (zh) * 2023-06-19 2023-08-25 长春理工大学 基于pBRDF与动态TS算法的粗糙度测量装置及方法
CN117523112B (zh) * 2024-01-05 2024-05-17 深圳市宗匠科技有限公司 三维模型建立方法及其系统、控制设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683187B (zh) * 2016-11-17 2020-07-21 长春理工大学 单表面三维重构方法、装置和系统
CN107680156B (zh) * 2017-09-08 2020-06-05 西安电子科技大学 基于偏振信息的三维重建方法
CN108692677B (zh) * 2018-04-11 2020-03-13 四川大学 基于反射光场偏振与空时编码的表面三维重建方法和系统
CN109147029B (zh) * 2018-06-25 2022-11-08 西安电子科技大学 一种单目偏振三维重建方法
US11671580B2 (en) * 2019-05-14 2023-06-06 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College System and method for reconstructing 3-D shapes of objects from reflection images

Also Published As

Publication number Publication date
CN113108720A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113108720B (zh) 一种基于线偏振光和条纹反射的表面三维重建方法
CN113029040B (zh) 一种偏振相位偏折测量方法和装置
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
Jia et al. Two-step triangular-pattern phase-shifting method for three-dimensional object-shape measurement
CN104111036A (zh) 一种基于双目视觉的镜面物体测量装置及方法
CN111328370A (zh) 一种表面缺陷检测系统及方法
Mériaudeau et al. Review and comparison of non-conventional imaging systems for three-dimensional digitization of transparent objects
Xiao et al. Optical fringe-reflection deflectometry with bundle adjustment
Fan et al. Deviation correction method for close-range photometric stereo with nonuniform illumination
Zou et al. High-accuracy calibration of line-structured light vision sensors using a plane mirror
Tan et al. A welding seam positioning method based on polarization 3D reconstruction and linear structured light imaging
Xiao et al. Large-scale structured light 3D shape measurement with reverse photography
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
Karami et al. Exploiting light directionality for image‐based 3d reconstruction of non‐collaborative surfaces
Zhang et al. Screen-monitored stitching deflectometry based on binocular stereo vision
Li et al. Monocular underwater measurement of structured light by scanning with vibrating mirrors
Osorio et al. Three-dimensional digitization of highly reflective and transparent objects using multi-wavelength range sensing
Shim et al. Performance evaluation of time-of-flight and structured light depth sensors in radiometric/geometric variations
Li et al. Projective Parallel Single-pixel Imaging to Overcome Global Illumination in 3D Structure Light Scanning
Ainouz et al. Adaptive processing of catadioptric images using polarization imaging: towards a pola-catadioptric model
Zhu et al. Three-dimensional measurement of fringe projection based on the camera response function of the polarization system
Li et al. Posed relationship calibration with parallel mirror reflection for stereo deflectometry
Lee et al. Stereo Moire Technique: A novel 3-D measurement method using a stereo camera and a digital pattern projector
Gu et al. Joint dense 3D reconstruction method for endoscopic images of weak texture scenes
Blalock et al. Measurement of mid-spatial frequency errors on freeform optics using deflectometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhao Jie

Inventor after: Cai Ang

Inventor after: Wang Dayong

Inventor after: Rong Lu

Inventor after: Wang Yunxin

Inventor before: Cai Ang

Inventor before: Wang Dayong

Inventor before: Rong Lu

Inventor before: Wang Yunxin

Inventor before: Zhao Jie

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant