CN112562007B - 一种基于三目约束的包裹相位非展开快速立体匹配方法 - Google Patents

一种基于三目约束的包裹相位非展开快速立体匹配方法 Download PDF

Info

Publication number
CN112562007B
CN112562007B CN202011332881.9A CN202011332881A CN112562007B CN 112562007 B CN112562007 B CN 112562007B CN 202011332881 A CN202011332881 A CN 202011332881A CN 112562007 B CN112562007 B CN 112562007B
Authority
CN
China
Prior art keywords
phase
point
constraint
frequency
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011332881.9A
Other languages
English (en)
Other versions
CN112562007A (zh
Inventor
姜宏志
王季源
赵慧洁
李旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011332881.9A priority Critical patent/CN112562007B/zh
Publication of CN112562007A publication Critical patent/CN112562007A/zh
Application granted granted Critical
Publication of CN112562007B publication Critical patent/CN112562007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于三目约束的包裹相位非展开快速立体匹配方法，将基于三目约束的包裹相位非展开快速立体匹配方法应用至双目立体视觉测量中，可以在保证高精度测量的情况下提高三维形貌数据测量速度。首先，通过事先标定好的投影仪投射双频四步相移正弦条纹图像，采用相机拍摄得到对应的图像，计算机对所获图像进行处理，并对两种频率条纹进行外差合成，得到两种频率及合成频率下的包裹相位；利用包裹相位寻找左右相机极线上经相位修正后的等相位点待匹配点，对等相位点待匹配点通过深度范围约束、双频相位约束、合成相位约束、三目约束将误匹配点筛除，利用三角法对所有真实匹配点重建，实现稠密点云获取。基于三目约束的包裹相位非展开快速立体匹配方法与传统外差三频四步相移技术相比，在保证高精度测量的情况下，测量速度提升百分之三十以上。

Description

一种基于三目约束的包裹相位非展开快速立体匹配方法
技术领域
本发明涉及一种基于三目约束的包裹相位非展开快速立体匹配方法，通过投射双频标准四步相移条纹图像，利用双频相位约束、合成相位约束、三目约束、深度范围约束对相机获取图像进行处理。不需相位展开，实现快速匹配，极大的提高了三维重建速度。本发明属于光学测量领域。
背景技术
投影光栅相位法是一种典型的主动结构光三维形貌测量方法，其使用投影仪投射相移正弦条纹，利用双目相机拍摄经被成像场景表面调制后的条纹图，经解相与相位展开，再利用三角测量原理或双目立体视觉原理，得到被成像场景的三维形貌。该方法可以保证测量效率高，深度方向测量范围大。在基于条纹投影的三维重建方法中，较为常见，利用三种不同频率的光栅折叠相位函数，合成频率不小于1的全场连续相位函数，然后再进行全场连续相位的展开。利用极线约束寻找匹配点，同时利用三角法重建，获取高精度的单视场三维数据。
但外差三频四步相移技术测量一个视场至少需要12张条纹图像，在进行复杂型面测量时，需要测量多个视场，测量时间相对较长。因此本发明采用一种基于三目约束的包裹相位非展开快速立体匹配方法。在保证测量精度的前提下，仅须投射双频四步相移条纹，结合外差合成技术，同时利用双频相位约束、合成相位约束、三目约束、深度范围约束筛除误匹配点，无须进行相位展开，便可实现快速三维重建。
发明内容
本发明提出一种基于三目约束的包裹相位非展开快速立体匹配方法，将基于三目约束的包裹相位非展开快速立体匹配方法应用于基于主动结构光的双目系统中，与传统外差三频四步相位展开技术相比，极大的提高了测量速度，测量速度提高百分之三十以上，同时保证了测量精度。
本发明基于主动结构光的双目系统，主要由一台投影仪及两台工业相机组成。由于光路的可逆性，投影仪可看作一个相机，投影仪与两台工业相机便组成了一个三目系统。事先标定好的投影仪投射出双频四步相移正弦条纹，两台工业相机对投影仪投射在被成像场景表面的调制图像进行采集，利用条纹相位之间的关系，可求出空间点在左相机、右相机及投影仪上对应点之间的关系。便可利用此三目约束关系进行两相机图像平面等相位匹配点约束。再加上极线约束、双频相位约束、深度范围约束得到有效的等相位匹配点。实现高精度三维重建。
本发明的技术解决方案为：首先利用实现标定好的投影仪向被成像场景投射双频四步相移正弦条纹图像。通过外差合成与解相获取两种频率下及合成频率下的包裹相位，并进行极线校正。根据左相机图像平面上像素点的包裹相位，先利用深度范围约束缩小右相机图像平面上搜索范围，再利用极线约束搜索范围内等相位点，如果等相位亚像素点在条纹周期边缘，进行相位修正后插值计算；然后利用深度范围约束、双频相位约束、合成相位约束、以及三目约束排除误匹配点，利用三角法完成重建。具体匹配过程主要包含以下步骤：
(1)先将事先标定好的投影仪和两个工业相机面向被成像场景放置，投影仪的投射区域应尽量与相机视场重合；
(2)利用投影仪向被成像场景投射双频四步相移正弦条纹图像，并通过两个工业相机拍摄；
(3)根据拍摄到双频四步相移正弦条纹图像，通过四步相移解相与外差合成获取两种频率下及合成频率下的包裹相位，并进行极线校正；
(4)根据左相机图像平面上像素点的包裹相位，先利用深度范围约束缩小右相机图像平面上搜索范围，再利用极线约束搜索范围内等相位点，如果等相位亚像素点在条纹周期边缘，进行相位修正后插值计算；
(5)利用双频相位约束印证并筛选误匹配点，将剩余所有匹配点进行三维重建，将三维空间点重投影至投影仪图像平面上，利用与合成相位约束与三目约束得到唯一匹配点，消除误匹配点，实现真实匹配点的对应，完成被成像场景的重建。
所述步骤(3)中包裹相位的获取，包括单频包裹相位的获取及合成相位的获取。
单频包裹相位的获取公式为：
Figure GDA0003903878940000031
Figure GDA0003903878940000032
其中，b(x,y)为背景光强，r(x,y)为条纹对比度，
Figure GDA0003903878940000033
为待求相位，φi为引入的初始相位，取值分别为0,π/2,π,3/2π构成四步相移图像模式。对gi(x,y)中的背景光强和条纹对比度进行消除，得到包裹相位
Figure GDA0003903878940000034
假设有两种条纹周期分别为Ta和Tb，通过四步相移得到的像素点的相位值分别为φa(x,y)和φb(x,y)。根据外差原理可以合成一个新的宽条纹，相位为φ1(x,y)。
则合成包裹相位的获取公式为：
φ1(x,y)＝φa(x,y)-φb(x,y)
所述步骤(4)中深度范围约束，是指在对被成像场景进行三维重建时，被成像场景在世界坐标系下的位置应在测量系统的工作距离附近。因此将左相机匹配点与右相机等相位点待匹配点进行重建时，与误匹配点重建的三维点坐标基本都在测量空间以外。
空间三维点的测量空间只有系统的基线距离，极线校正后的焦距以及视差有关。用视差进行表示的公式为：
Figure GDA0003903878940000041
其中Zmin和Zmax是测量空间的深度的最小最大值。因此，只要确定了三维点的深度范围，便可以得到图像平面上的视差范围，缩小右相片中等相位点的搜索范围，提高重建速度。当视差范围内只有一个等相位点时，便是正确匹配点。当视差范围内≥1个匹配点时，再通过双频相位约束、合成相位约束、三目约束进行甄别，保证对应点查找的正确性。
所述步骤(4)中相位修正，是指在单频条纹周期边缘及合成条纹周期边缘时容易造成误匹配。误匹配的原因是当右相机平面上待匹配点为亚像素点时，利用亚像素点周围整像素点进行插值时，该点的左右插值像素可能差一个2π周期，造成相位阶跃，插值错误。因此对待匹配点及待插值点小于0的相位作加2π修正后再进行插值，实现了条纹周期边缘处匹配点的正确对应，解决了周期边缘错误匹配造成点云数据缺失的问题。
所述步骤(5)中双频相位约束、合成相位约束、三目约束。首先将一种频率的包裹相位进行深度范围约束与相位修正后，左相机上匹配点可在右相片视差范围内搜索等相位待匹配点，将搜寻到的等相位待匹配点代入另一种频率进行验证。若同时满足在另一频率也为等相位点，将此点保留。双频相位约束后，将所有等相位点进行三维重建，将所有三维点重投影至投影仪图像平面，寻找重投影点在合成频率图像上的相位，利用三目约束将误匹配点筛除，从而实现真实点的重建。
本发明的优点在于：
(1)投射双频四步相移正弦条纹，增加匹配点个数，且可利用双频相位约束、合成相位约束增加匹配精度，最终重建精度不弱于外差三频四步相位展开技术。
(2)传统外差三频四步相位展开技术单视场测量至少投射12幅条纹图像，而一种基于三目约束的包裹相位非展开快速立体匹配方法仅需投射8幅条纹图像。测量速度提高了百分之三十以上。
总之，本发明提出的一种基于三目约束的包裹相位非展开快速立体匹配方法，只需投射双频四步相移正弦条纹，获取包裹相位，无须进行全场连续相位展开，通过极线约束、深度范围约束、双频相位约束、合成相位约束、三目约束，最终实现待测物的快速重建。与外差三频四步相位展开技术相比，测量速度提高了百分之三十以上，同时保证了测量精度。
附图说明
图1为本发明的实施流程图；
图2为本发明实施时的系统结构图，其中1为投影仪，2为左相机，3右相机，4为被成像场景。
图3为条纹周期边缘相位阶跃四种情况；
图4为深度范围约束原理图；
图5为三目约束原理图，1为左相机图像平面，2为右相机图像平面，3为投影仪图像平面，4为空间点P。根据空间点P在三个图像平面所成像之间的关系，进行三目约束。
图6为基于三目约束的包裹相位非展开快速立体匹配方法重建的原理图。
图7为使用基于三目约束的包裹相位非展开快速立体匹配方法重建的石膏像。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步说明。
本发明提出一种基于三目约束的包裹相位非展开快速立体匹配方法，其组成结构如图2所示，主要由一个投影仪和两台工业相机和被成像场景组成。投影仪投射双频四步相移条纹，获取两种频率及合成频率下的包裹相位。对包裹相位进行极线校正与相位修正后，利用深度范围约束、双频相位约束、合成相位约束、三目约束最后得到真实匹配点，完整被成像场景的快速重建。
具体操作如下：
1、先将事先标定好的投影仪和两个相机面向被成像场景放置，投影仪的投射区域应尽量与相机视场重合；
2、利用投影仪向被成像场景投射双频四步相移正弦条纹图像，并通过两个相机拍摄；
3、根据拍摄到双频四步相移正弦条纹图像，通过四步相移解相与外差合成获取两种频率下及合成频率下的包裹相位，并进行极线校正；
假设有两种条纹周期分别为Ta和Tb，通过四步相移得到的像素点的相位值分别为φa(x,y)和φb(x,y)。根据外差原理可以合成一个新的宽条纹周期为
Figure GDA0003903878940000061
在点(x,y)的相位值为φ1(x,y)＝φa(x,y)-φb(x,y)。
4、根据左相机图像平面上像素点的包裹相位，先利用深度范围约束缩小右相机图像平面上搜索范围，再利用极线约束搜索范围内等相位点，如果等相位亚像素点在条纹周期边缘，进行相位修正后插值计算；
对于深度范围约束，根据深度范围求取视差范围：
Figure GDA0003903878940000062
其中Zmin和Zmax是测量空间的深度的最小最大值。因此，只要确定了三维点的深度范围，便可以得到图像平面上的视差范围，缩小右相片中等相位点的搜索范围。
对于搜索范围内的条纹周期边缘进行相位修正，假设左相机一条纹周期待匹配点P，相位值为
Figure GDA0003903878940000063
P点对应的右相机亚像素点左右相邻整像素点分别为
Figure GDA0003903878940000064
和
Figure GDA0003903878940000065
首先根据判断该点是否在周期边缘：
Figure GDA0003903878940000066
其次对所有相位值小于0的点进行加2π处理。然后对相邻相位点进行插值处理，最终实现了条纹周期边缘处匹配点的正确对应。
5、利用双频相位约束印证并筛选误匹配点，将剩余所有匹配点进行三维重建，将三维空间点重投影至投影仪图像平面上，利用与合成相位约束与三目约束得到唯一匹配点。实现真实匹配点的对应，完成被成像场景的重建。
三目约束本质上类似于基本矩阵的作用，描述了空间三维点在左右相机平面上投影点与空间点在投影仪平面上对应点之间的关系。将经深度范围约束、双频相位约束筛选后的点重投影至投影仪图像平面，求出这些投影点在投影仪合成条纹图像中的相位值，利用三目约束，与相机合成条纹图像中待匹配点相位对比印证，满足相位相同即真实匹配点。最终实现被成像场景的重建。

Claims (3)

1.一种基于三目约束的包裹相位非展开快速立体匹配方法，其特征在于：成像过程包括以下步骤：
(1)先将事先标定好的投影仪和两个工业相机面向被成像场景放置，投影仪的投射区域应尽量与相机视场重合；
(2)利用投影仪向被成像场景投射双频四步相移正弦条纹图像，并通过两个工业相机拍摄；
(3)根据拍摄到双频四步相移正弦条纹图像，通过四步相移解相与外差合成获取两种频率下及合成频率下的包裹相位，并进行极线校正；
(4)根据左相机图像平面上像素点的包裹相位，先利用深度范围约束，即在对被成像场景进行三维重建时，被成像场景在世界坐标系下的位置应在测量系统的工作距离附近，从而缩小右相机图像平面上搜索范围，再利用极线约束搜索范围内等相位点，如果等相位亚像素点在条纹周期边缘，进行相位修正后插值计算，其中相位修正技术，是指在单频条纹周期边缘及合成条纹周期边缘时容易造成误匹配，因此对待匹配点及待插值点小于0的相位作加2π修正后再进行插值，实现了条纹周期边缘处匹配点的正确对应；
(5)根据双频相位约束，即将某一频率左右相片上的等相位待匹配点代入另一频率包裹相位图中，验证是否为等相位点，从而筛选误匹配点，将剩余所有匹配点进行三维重建，将三维空间点重投影至投影仪图像平面上，利用合成相位约束与三目约束，采用经双频条纹约束后的所有匹配点进行重建，并重投影至投影仪合成条纹图像中，求取投影点在投影仪合成条纹图像中的相位值，将此相位值与待匹配点在合成条纹图像中相位值比较，相同即为真实匹配点，完成被成像场景的重建。
2.根据权利要求1所述的方法，其特征在于：所述步骤(4)中深度范围约束，是指在对被成像场景进行三维重建时，被成像场景在世界坐标系下的位置应在测量系统的工作距离附近，将左相机匹配点与右相机等相位待匹配点进行三维重建时，误匹配点重建的三维坐标可能在测量空间以外，因此选取三维坐标在测量空间范围内的等相位点作为待匹配点。
3.根据权利要求1所述的方法，其特征在于：所述步骤(5)中的双频相位约束，是指将一种频率的包裹相位进行深度范围约束与相位修正后，左相片上匹配点可在右相片深度范围内搜索等相位待匹配点，将搜寻到的等相位待匹配点代入另一种频率包裹相位图中进行验证，若同时满足在另一频率也为等相位点，才将此点保留，从而提高匹配重建精度。
CN202011332881.9A 2020-11-24 2020-11-24 一种基于三目约束的包裹相位非展开快速立体匹配方法 Active CN112562007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011332881.9A CN112562007B (zh) 2020-11-24 2020-11-24 一种基于三目约束的包裹相位非展开快速立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011332881.9A CN112562007B (zh) 2020-11-24 2020-11-24 一种基于三目约束的包裹相位非展开快速立体匹配方法

Publications (2)

Publication Number Publication Date
CN112562007A CN112562007A (zh) 2021-03-26
CN112562007B true CN112562007B (zh) 2023-01-24

Family

ID=75043377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011332881.9A Active CN112562007B (zh) 2020-11-24 2020-11-24 一种基于三目约束的包裹相位非展开快速立体匹配方法

Country Status (1)

Country Link
CN (1) CN112562007B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284187B (zh) * 2021-04-26 2024-04-12 南京航空航天大学 一种基于相位匹配与极线几何约束的数字投影仪投影标示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
WO2018107427A1 (zh) * 2016-12-15 2018-06-21 深圳大学 相位映射辅助三维成像系统快速对应点匹配的方法及装置
CN109242895A (zh) * 2018-07-20 2019-01-18 南京理工大学 一种基于多相机系统实时三维测量的自适应深度约束方法
CN110375675A (zh) * 2019-08-30 2019-10-25 易思维（杭州）科技有限公司 基于空间相位展开的双目光栅投影测量方法
CN110567398A (zh) * 2019-09-02 2019-12-13 武汉光发科技有限公司 双目立体视觉三维测量方法及系统、服务器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
WO2018107427A1 (zh) * 2016-12-15 2018-06-21 深圳大学 相位映射辅助三维成像系统快速对应点匹配的方法及装置
CN109242895A (zh) * 2018-07-20 2019-01-18 南京理工大学 一种基于多相机系统实时三维测量的自适应深度约束方法
CN110375675A (zh) * 2019-08-30 2019-10-25 易思维（杭州）科技有限公司 基于空间相位展开的双目光栅投影测量方法
CN110567398A (zh) * 2019-09-02 2019-12-13 武汉光发科技有限公司 双目立体视觉三维测量方法及系统、服务器及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种单双目视觉系统结合的三维测量方法;雷彦章 等;《光学学报》;20080731;第28卷(第7期);全文 *
基于极线校正的快速相位立体匹配;姜宏志 等;《光学精密工程》;20111031;第19卷(第10期);全文 *

Also Published As

Publication number Publication date
CN112562007A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
Zhang Absolute phase retrieval methods for digital fringe projection profilometry: A review
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN102721376B (zh) 一种大视场三维视觉传感器的标定方法
CN111473744B (zh) 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统
Liu et al. Real-time 3D surface-shape measurement using background-modulated modified Fourier transform profilometry with geometry-constraint
WO2001020539A1 (en) Method and apparatus for three dimensional surface contouring and ranging using a digital video projection system
CN110672039A (zh) 一种基于平面反射镜的物体全方位三维测量方法
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
Aliaga et al. A self-calibrating method for photogeometric acquisition of 3D objects
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及系统
CN110692084B (zh) 用于导出场景的拓扑信息的装置和机器可读存储介质
CN109307483A (zh) 一种基于结构光系统几何约束的相位展开方法
CN114111637A (zh) 一种基于虚拟双目的条纹结构光三维重建方法
KR101411568B1 (ko) 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법
CN112562007B (zh) 一种基于三目约束的包裹相位非展开快速立体匹配方法
CN113763540A (zh) 一种基于散斑条纹混合调制的三维重建方法及设备
CN103954239A (zh) 一种三维测量系统及方法
CN104567718A (zh) 一种基于多角度投影pmp的集成成像微图像阵列生成方法
CN111815697B (zh) 一种热变形动态三维测量方法
Jiang et al. High-speed 3D shape measurement using efficient moiré-assisted three-frequency heterodyne phase unwrapping algorithm
CN116129033A (zh) 一种基于单幅单频的双目结构光动态三维重建方法
Arold et al. Hand-guided 3D surface acquisition by combining simple light sectioning with real-time algorithms
CN116242277A (zh) 基于全场三维视觉的电源机箱结构件尺寸自动测量方法
CN114264253A (zh) 高温物体三维轮廓非接触测量装置及其测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant