CN114739322B - 一种三维测量方法、设备和存储介质 - Google Patents

一种三维测量方法、设备和存储介质 Download PDF

Info

Publication number
CN114739322B
CN114739322B CN202210649253.6A CN202210649253A CN114739322B CN 114739322 B CN114739322 B CN 114739322B CN 202210649253 A CN202210649253 A CN 202210649253A CN 114739322 B CN114739322 B CN 114739322B
Authority
CN
China
Prior art keywords
camera
phase
right camera
left camera
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210649253.6A
Other languages
English (en)
Other versions
CN114739322A (zh
Inventor
高健
庄逸钟
张揽宇
邓海祥
陈云
陈新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210649253.6A priority Critical patent/CN114739322B/zh
Publication of CN114739322A publication Critical patent/CN114739322A/zh
Application granted granted Critical
Publication of CN114739322B publication Critical patent/CN114739322B/zh
Priority to PCT/CN2023/093885 priority patent/WO2023236725A1/zh
Priority to US18/423,054 priority patent/US20240159521A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种三维测量方法、设备和存储介质，结合三步相移法将标志线信息嵌入正弦条纹图案中得到目标条纹图案；将目标条纹图案投影到待测物体表面，求解左右相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像；根据均值强度图像、调制强度图像求解掩码图像，以提取标志线；在包裹相位图像中进行以标志线为起点的空间相位展开，得到空间相位；根据左右相机基于标志线的空间相位的唯一对应关系进行空间相位匹配，得到右相机的最佳匹配点，进而计算左相机的绝对相位，根据三角测距重建三维点云，得到待测物体的三维模型，改善了现有技术采用几何约束匹配法进行相位匹配，存在匹配精度低，导致三维重建精度低的技术问题。

Description

一种三维测量方法、设备和存储介质
技术领域
本申请涉及三维测量技术领域，尤其涉及一种三维测量方法、设备和存储介质。
背景技术
结构光测量技术具有非接触、全场无损耗测量、高速、高精度等优点，已在工业检测、机器视觉、文物数字化、医学等领域得到大量运用。在现有的多视场结构光测量系统中，由两个相机和一个投影仪组成的多视场结构光三维测量系统，因具有投影图案数量少、绝对相位求解速度快、点云重建效率高等优点而被广泛使用。
现有技术在进行三维测量时，多采用几何约束匹配法进行相位匹配，以求解绝对相位，几何约束匹配法是利用左右相机和投影仪的几何关系，结合相位匹配唯一确定空间中的三维点，虽然不需要投影额外的图案，解算速度快，但由于单像素点的特征信息单一、特征差异不明显等原因，该方法匹配精度低。
发明内容
本申请提供了一种三维测量方法、设备和存储介质，用于改善现有技术采用几何约束匹配法进行相位匹配，存在匹配精度低，导致三维重建精度低的技术问题。
有鉴于此，本申请第一方面提供了一种三维测量方法，包括：
结合三步相移法将标志线信息嵌入若干幅正弦条纹图案中，得到若干幅目标条纹图案；
通过投影仪将各所述目标条纹图案投影到待测物体表面，通过左右相机采集该待测物体表面的条纹图案；
求解左右相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像；
根据左右相机采集的条纹图案的均值强度图像、调制强度图像求解左右相机对应的掩码图像，通过最小值滤波器对左右相机对应的所述掩码图像进行全局搜索，提取左右相机对应的标志线；
根据提取的左右相机对应的标志线，在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位；
根据左右相机基于标志线的空间相位的唯一对应关系，基于几何约束进行包裹相位粗匹配，得到右相机的候选点，并对右相机的候选点进行空间相位精匹配，得到右相机的最佳匹配点；
根据右相机像素坐标到投影仪像素坐标的转换关系，获取所述最佳匹配点在投影仪像素坐标下的横坐标值，并通过所述最佳匹配点在投影仪像素坐标下的横坐标值计算左相机的绝对相位；
基于左相机的所述绝对相位，根据三角测距重建三维点云，得到所述待测物体的三维模型。
可选的，所述目标条纹图案为：
Figure 723046DEST_PATH_IMAGE001
；
式中，(u,v)为目标条纹图案的像素点坐标，I n (u,v)为第n幅目标条纹图案，N为目标条纹图案数量，A为目标条纹图案的均值强度，B为目标条纹图案的调制强度，
Figure 843187DEST_PATH_IMAGE002
为目标条纹图案的包裹相位，U为目标条纹图案横坐标最大值，m为标志线信息。
可选的，所述根据左右相机采集的条纹图案的均值强度图像、调制强度图像求解左右相机对应的掩码图像，包括：
计算左右相机采集的条纹图案的调制强度图像与均值强度图像在各个像素点的比值，得到左右相机对应的初始掩码图像；
将左右相机对应的所述初始掩码图像中大于预置比值阈值的掩码值设置为1，得到左右相机对应的最终的掩码图像。
可选的，所述通过最小值滤波器对左右相机对应的所述掩码图像进行全局搜索，提取左右相机对应的标志线，包括：
通过最小值滤波器获取左右相机对应的所述掩码图像中每一个像素点邻域内的最小值；
通过左右相机对应的所述掩码图像中每一个像素点邻域内的最小值提取左右相机对应的所述掩码图像中每一行的最小值对应的点，得到标志线。
可选的，所述根据提取的左右相机对应的标志线，在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位，包括：
根据提取的左右相机对应的标志线，通过空间相位展开公式在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位；所述空间相位展开公式为：
Figure 870049DEST_PATH_IMAGE003
；
Figure 868092DEST_PATH_IMAGE004
；
式中，x'为标志线在第y行的横坐标值，
Figure 998596DEST_PATH_IMAGE005
为左相机或右相机对应的包裹相位图像在像素点(x, y)处的包裹相位，
Figure 384578DEST_PATH_IMAGE006
为中间参数，
Figure 570840DEST_PATH_IMAGE007
为左相机或右相机基于标志线在像素点(x, y)处的空间相位，fabs(·)为绝对值函数，ceil(·)为向上取整函数。
可选的，所述根据左右相机基于标志线的空间相位的唯一对应关系，基于几何约束进行包裹相位粗匹配，得到右相机的候选点，包括：
根据左右相机基于标志线的空间相位的唯一对应关系，计算右相机对应的包裹相位图像与左相机对应的包裹相位图像中对应的各像素点的包裹相位差值；
将所述包裹相位差值小于第一阈值或大于第二阈值对应的右相机的包裹相位图像中的像素点作为右相机的候选点。
可选的，所述对右相机的候选点进行空间相位精匹配，得到右相机的最佳匹配点，包括：
计算右相机的候选点中各像素点的空间相位与对应左相机的像素点的空间相位的绝对差值；
将最小的绝对差值对应的候选点作为右相机的最佳匹配点。
可选的，所述通过所述最佳匹配点在投影仪像素坐标下的横坐标值计算左相机的绝对相位，包括：
计算所述最佳匹配点在投影仪像素坐标下的横坐标值与条纹周期数的乘积；
计算所述乘积与单个条纹周期的像素数的比值，得到左相机的绝对相位。
本申请第二方面提供了一种三维测量设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的三维测量方法。
第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的三维测量方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种三维测量方法，将标志线信息嵌入到正弦条纹图案中得到目标条纹图案，然后将其投影到待测物体表面，通过左右相机采集条纹图案并解码提取标志线进行空间解相，利用左右相机空间相位的唯一对应关系基于几何约束进行包裹相位粗匹配，以提高几何约束解相的精度，并对提取的右相机的候选点进行空间相位精匹配，进一步保证匹配精度，从而提高三维重建精度，改善了现有技术采用几何约束匹配法进行相位匹配，存在匹配精度低，导致三维重建精度低的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种三维测量方法的一个流程示意图；
图2为本申请实施例提供的一种求解绝对相位过程的一个可视化图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
典型的双相机结构光三维测量系统在测量过程中由投影装置把条纹图案投影到被测物体表面，同时使用左右相机采集经被测物体高度调制而发生变形的条纹图案，然后对采集的条纹图像进行相位求解，利用左右相机的相位信息完成像素匹配，最后根据相位信息、匹配结果和已标定出的系统参数，利用三角原理获得被测物体的三维信息。
多视场结构光根据相位匹配求解绝对相位的方法可分为散斑匹配法、双频条纹匹配法和几何约束匹配法。散斑匹配法能获得较高的空间分辨率和测量精度，但需要投影额外的散斑图案；双频条纹匹配法是投影两种频率的条纹图案，通过双频外差法将高频条纹转化为低频条纹，结合高度约束进行相位匹配，但需要投影额外的条纹图案；几何约束匹配法是利用左右相机和投影仪的几何关系，结合相位匹配唯一确定空间中的三维点，虽然不需要投影额外的图案，但由于单像素点的特征信息单一、特征差异不明显等原因，该方法匹配精度低，只适用于低频条纹。对于多视场结构光求解绝对相位，目前仍然存在着需要投影额外的条纹图案、匹配精度低等问题。因此，为了实现高速高精度的三维测量，在不增加投影图案幅数的前提下提高相位的匹配精度和解算速度一直是多视场结构光的研究重点。
为了改善上述问题，请参阅图1，本申请实施例提供了一种三维测量方法，包括：
步骤101、结合三步相移法将标志线信息嵌入若干幅正弦条纹图案中，得到若干幅目标条纹图案。
根据三步相移法将标志线信息嵌入若干幅正弦条纹图案中，得到若干幅目标条纹图案，即：
Figure 903733DEST_PATH_IMAGE001
；
式中，(u,v)为目标条纹图案的像素点坐标，I n (u,v)为第n幅目标条纹图案，N为目标条纹图案数量，A为目标条纹图案的均值强度，B为目标条纹图案的调制强度，
Figure 452526DEST_PATH_IMAGE002
为目标条纹图案的包裹相位，U为目标条纹图案横坐标最大值，m为标志线信息，m=255。
本申请实施例优选嵌入3幅正弦条纹图案，获取3幅目标条纹图案，即N=3，n=0,1,2，
Figure 274988DEST_PATH_IMAGE008
。
步骤102、通过投影仪将各目标条纹图案投影到待测物体表面，通过左右相机采集该待测物体表面的条纹图案。
通过投影仪将生成的各目标条纹图案投影到待测物体表面，然后通过位于待测物体左右两边的左右相机采集该待测物体表面的条纹图案，左右相机包括位于待测物体坐标的左相机和位于待测物体右边的右相机。
左相机采集的条纹图案可以表示为：
Figure 204939DEST_PATH_IMAGE009
；
右相机采集的条纹图案可以表示为：
Figure 403840DEST_PATH_IMAGE010
；
式中，(x, y)为左右相机采集的条纹图案的像素点坐标，
Figure 541560DEST_PATH_IMAGE011
和
Figure 800503DEST_PATH_IMAGE012
分别为左相机、右相机采集的第n张条纹图案，
Figure 695778DEST_PATH_IMAGE013
和
Figure 432790DEST_PATH_IMAGE014
分别为左相机、右相机采集的第n张条纹图案的标志线信息，
Figure 392393DEST_PATH_IMAGE015
和
Figure 822237DEST_PATH_IMAGE016
分别为左相机、右相机采集的条纹图案的均值强度，
Figure 532704DEST_PATH_IMAGE017
和
Figure 73407DEST_PATH_IMAGE018
分别为左相机、右相机采集的条纹图案的调制强度，
Figure 857824DEST_PATH_IMAGE019
和
Figure 192990DEST_PATH_IMAGE020
分别为左相机、右相机采集的条纹图案的包裹相位。
要说明的是，本申请实施例中的采集的图像的像素坐标是以图像左上角的点为原点。
步骤103、求解左右相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像。
根据左相机采集的条纹图案
Figure 859595DEST_PATH_IMAGE011
求解左相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像，即：
Figure 938409DEST_PATH_IMAGE021
；
Figure 170807DEST_PATH_IMAGE022
；
Figure 676875DEST_PATH_IMAGE023
；
通过上述公式求解得到左相机采集的条纹图案中各个像素点处的包裹相位、均值强度和调制强度，也就得到了左相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像。
根据右相机采集的条纹图案求解右相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像，即：
Figure 532573DEST_PATH_IMAGE024
；
Figure 415079DEST_PATH_IMAGE025
；
Figure 501983DEST_PATH_IMAGE026
；
通过上述公式求解得到右相机采集的条纹图案中各个像素点处的包裹相位、均值强度和调制强度，也就得到了右相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像。
步骤104、根据左右相机采集的条纹图案的均值强度图像、调制强度图像求解左右相机对应的掩码图像，通过最小值滤波器对左右相机对应的掩码图像进行全局搜索，提取左右相机对应的标志线。
计算左右相机采集的条纹图案的调制强度图像与均值强度图像在各个像素点的比值，得到左右相机对应的初始掩码图像；将左右相机对应的初始掩码图像中大于预置比值阈值T的掩码值设置为1，得到左右相机对应的最终的掩码图像，左右相机对应的掩码图像可以表示为：
Figure 444532DEST_PATH_IMAGE027
；
Figure 23412DEST_PATH_IMAGE028
；
式中，
Figure 444029DEST_PATH_IMAGE029
为左相机对应的掩码图像，
Figure 352817DEST_PATH_IMAGE030
为右相机对应的掩码图像，其中，可以设置T为大于0.8的数值。
可以参考图2中的均值强度图和调制强度图，标志线的均值强度的编码为255，标志线的调制强度的编码为0，因此，可以通过最小值滤波器获取左右相机对应的掩码图像中每一个像素点邻域内的最小值；通过左右相机对应的掩码图像中每一个像素点邻域内的最小值提取左右相机对应的掩码图像中每一行的最小值对应的点，得到标志线。
具体的，提取左相机对应的标志线时，可以先通过最小值滤波器提取左相机对应的掩码图像中每一个像素点邻域内的最小值，即：
Figure 200687DEST_PATH_IMAGE031
；
再通过左相机对应的掩码图像中每一个像素点邻域内的最小值提取左相机对应的掩码图像中每一行的最小值对应的点，得到标志线
Figure 860338DEST_PATH_IMAGE032
，即：
Figure 84646DEST_PATH_IMAGE033
；
式中，fl x 为左相机对应的掩码图像中每一行横坐标为x的像素点在最小值滤波后的结果，MinFilter(·)为最小值滤波器，X为掩码图像的横坐标最大值，
Figure 552668DEST_PATH_IMAGE034
为左相机对应的掩码图像中第y行的最小掩码值，x'为对应的第y行最小掩码值的横坐标值，即标志线在第y行的横坐标值，min(·)为最小值函数。
提取右相机对应的标志线时，可以先通过最小值滤波器提取右相机对应的掩码图像中每一个像素点邻域内的最小值，即：
Figure 774702DEST_PATH_IMAGE035
；
再通过右相机对应的掩码图像中每一个像素点邻域内的最小值提取右相机对应的掩码图像中每一行的最小值对应的点，得到标志线
Figure 187229DEST_PATH_IMAGE014
，即：
Figure 684069DEST_PATH_IMAGE036
；
式中，fr x 为右相机对应的掩码图像中每一行横坐标为x的像素点在最小值滤波后的结果，
Figure 865652DEST_PATH_IMAGE037
为右相机对应的掩码图像中第y行的最小掩码值，x'为对应的第y行最小掩码值的横坐标值。
步骤105、根据提取的左右相机对应的标志线，在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位。
根据提取的左右相机对应的标志线，通过空间相位展开公式在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位；空间相位展开公式为：
Figure 960384DEST_PATH_IMAGE003
；
Figure 860207DEST_PATH_IMAGE038
；
式中，x'为标志线在第y列的横坐标，
Figure 160738DEST_PATH_IMAGE005
为左相机或右相机对应的包裹相位图像在像素点(x, y)处的包裹相位，
Figure 196828DEST_PATH_IMAGE006
为中间参数，
Figure 963926DEST_PATH_IMAGE007
为左相机或右相机基于标志线在像素点(x, y)处的空间相位，fabs(·)为绝对值函数，ceil(·)为向上取整函数。在计算左相机的空间相位时，
Figure 787264DEST_PATH_IMAGE039
，在计算右相机的空间相位时，
Figure 891486DEST_PATH_IMAGE040
。
步骤106、根据左右相机基于标志线的空间相位的唯一对应关系，基于几何约束进行包裹相位粗匹配，得到右相机的候选点，并对右相机的候选点进行空间相位精匹配，得到右相机的最佳匹配点。
由于在投影仪投影的目标条纹图案中嵌入了标志线信息，左右相机分别采集条纹图案并求解包裹相位，获取的标志线信息具有相同的物理意义，即都对应于投影的目标条纹图案中嵌入的标志线信息；由于标志线的物理意义相同，即空间解相的起点相同，因此左右相机基于标志线的空间相位具有唯一对应关系，这个唯一对应关系指的是，基于标志线的空间相位，左相机某一像素点能够在右相机中找到唯一的匹配点，因为这两点的空间相位相同。因此，可以根据左右相机基于标志线的空间相位的唯一对应关系，计算右相机对应的包裹相位图像与左相机对应的包裹相位图像中对应的各像素点的包裹相位差值；将包裹相位差值小于第一阈值R或大于第二阈值2π-R对应的右相机的包裹相位图像中的像素点作为右相机的候选点，即：
Figure 782082DEST_PATH_IMAGE041
；
式中，
Figure 579136DEST_PATH_IMAGE042
为包裹相位粗匹配之后的右相机的候选点的包裹相位，(x i , y i )为右相机的第i个候选点，
Figure 328918DEST_PATH_IMAGE019
为右相机的候选点(x i , y i )对应的左相机的像素点(x,y)的包裹相位，R一般在0.2π~0.4π之间取值。
几何约束相位匹配是一种已有的常见的双目结构光匹配算法，其原理是，在获取左相机包裹相位图像和右相机包裹相位图像后，利用几何约束找到左相机包裹相位图像中的像素点在右相机包裹相位图像中的多个对应点，计算左相机像素点和右相机多个对应点的包裹相位差值，将包裹相位差值小于第一阈值或大于第二阈值对应的右相机的包裹相位图像中的像素点作为右相机的候选点，该过程即为粗匹配。
计算右相机的候选点中各像素点的空间相位与对应左相机的像素点的空间相位的绝对差值；将最小的绝对差值对应的候选点作为右相机的最佳匹配点，即：
Figure 502410DEST_PATH_IMAGE043
；
Figure 450774DEST_PATH_IMAGE044
；
式中，
Figure 418730DEST_PATH_IMAGE045
为右相机的候选点(x i , y i )的空间相位，
Figure 249283DEST_PATH_IMAGE046
为左相机的像素点(x, y)的空间相位，diff i 为右相机的第i个候选点的空间相位与左相机对应像素点的空间相位的绝对差值，
Figure 334789DEST_PATH_IMAGE047
为最小的空间相位的绝对差值，(x best , y best )为最佳匹配点。
步骤107、根据右相机像素坐标到投影仪像素坐标的转换关系，获取最佳匹配点在投影仪像素坐标下的横坐标值，并通过最佳匹配点在投影仪像素坐标下的横坐标值计算左相机的绝对相位。
根据右相机像素坐标到投影仪像素坐标的转换关系，将右相机的最佳匹配点的像素坐标转换到投影仪像素坐标下的像素坐标，获取最佳匹配点在投影仪像素坐标下的横坐标值x p ，右相机像素坐标到投影仪像素坐标的转换关系通过标定参数确定，具体标定过程属于现有技术，在此不再进行赘述。
计算最佳匹配点在投影仪像素坐标下的横坐标值与条纹周期数
Figure 465556DEST_PATH_IMAGE048
的乘积
Figure 338834DEST_PATH_IMAGE049
；计算乘积与单个条纹周期的像素数f的比值，得到左相机的绝对相位
Figure 922262DEST_PATH_IMAGE050
，即：
Figure 312923DEST_PATH_IMAGE051
；
步骤108、基于左相机的绝对相位，根据三角测距重建三维点云，得到待测物体的三维模型。
基于左相机的绝对相位，结合标定参数，根据三角测距重建三维点云，得到待测物体的三维模型，三维重建的具体过程属于现有技术，在此不再进行赘述。
本申请实施例中，将标志线信息嵌入到正弦条纹图案中得到目标条纹图案，然后将其投影到待测物体表面，通过左右相机采集条纹图案并解码提取标志线进行空间解相，利用左右相机空间相位的唯一对应关系基于几何约束进行包裹相位粗匹配，以提高几何约束解相的精度，并对提取的右相机的候选点进行空间相位精匹配，进一步保证匹配精度，从而提高三维重建精度，改善了现有技术采用几何约束匹配法进行相位匹配，存在匹配精度低，导致三维重建精度低的技术问题。
本申请实施例中的三维测量方法，相比于常规的散斑匹配、双频条纹匹配，无需投影额外的条纹图案，减少投影时间和相位解算数据，能够提高匹配的速度；相比常规的几何约束匹配法能够提高匹配精度，减少由于特征信息单一、特征差异不明显而造成的匹配误差。
本申请实施例还提供了一种三维测量设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的三维测量方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的三维测量方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-Only Memory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种三维测量方法，其特征在于，包括：
结合三步相移法将标志线信息嵌入若干幅正弦条纹图案中，得到若干幅目标条纹图案；
通过投影仪将各所述目标条纹图案投影到待测物体表面，通过左右相机采集该待测物体表面的条纹图案；
求解左右相机采集的条纹图案的包裹相位图像、均值强度图像和调制强度图像；
根据左右相机采集的条纹图案的均值强度图像、调制强度图像求解左右相机对应的掩码图像，通过最小值滤波器对左右相机对应的所述掩码图像进行全局搜索，提取左右相机对应的标志线；
根据提取的左右相机对应的标志线，在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位；
根据左右相机基于标志线的空间相位的唯一对应关系，基于几何约束进行包裹相位粗匹配，得到右相机的候选点，并对右相机的候选点进行空间相位精匹配，得到右相机的最佳匹配点；
根据右相机像素坐标到投影仪像素坐标的转换关系，获取所述最佳匹配点在投影仪像素坐标下的横坐标值，并通过所述最佳匹配点在投影仪像素坐标下的横坐标值计算左相机的绝对相位；
基于左相机的所述绝对相位，根据三角测距重建三维点云，得到所述待测物体的三维模型。
2.根据权利要求1所述的三维测量方法，其特征在于，所述目标条纹图案为：
Figure 183072DEST_PATH_IMAGE001
；
式中，(u,v)为目标条纹图案的像素点坐标，I n (u,v)为第n幅目标条纹图案，N为目标条纹图案数量，A为目标条纹图案的均值强度，B为目标条纹图案的调制强度，
Figure 242163DEST_PATH_IMAGE002
为目标条纹图案的包裹相位，U为目标条纹图案横坐标最大值，m为标志线信息。
3.根据权利要求1所述的三维测量方法，其特征在于，所述根据左右相机采集的条纹图案的均值强度图像、调制强度图像求解左右相机对应的掩码图像，包括：
计算左右相机采集的条纹图案的调制强度图像与均值强度图像在各个像素点的比值，得到左右相机对应的初始掩码图像；
将左右相机对应的所述初始掩码图像中大于预置比值阈值的掩码值设置为1，得到左右相机对应的最终的掩码图像。
4.根据权利要求1所述的三维测量方法，其特征在于，所述通过最小值滤波器对左右相机对应的所述掩码图像进行全局搜索，提取左右相机对应的标志线，包括：
通过最小值滤波器获取左右相机对应的所述掩码图像中每一个像素点邻域内的最小值；
通过左右相机对应的所述掩码图像中每一个像素点邻域内的最小值提取左右相机对应的所述掩码图像中每一行的最小值对应的点，得到标志线。
5.根据权利要求1所述的三维测量方法，其特征在于，所述根据提取的左右相机对应的标志线，在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位，包括：
根据提取的左右相机对应的标志线，通过空间相位展开公式在左右相机对应的包裹相位图像中进行以标志线为起点的空间相位展开，得到左右相机基于标志线的空间相位；所述空间相位展开公式为：
Figure 422478DEST_PATH_IMAGE003
；
Figure 911228DEST_PATH_IMAGE004
；
式中，x'为标志线在第y行的横坐标值，
Figure 648240DEST_PATH_IMAGE005
为左相机或右相机对应的包裹相位图像在像素点(x, y)处的包裹相位，
Figure 561838DEST_PATH_IMAGE006
为中间参数，
Figure 929366DEST_PATH_IMAGE007
为左相机或右相机基于标志线在像素点(x, y)处的空间相位，fabs(·)为绝对值函数，ceil(·)为向上取整函数。
6.根据权利要求1所述的三维测量方法，其特征在于，所述根据左右相机基于标志线的空间相位的唯一对应关系，基于几何约束进行包裹相位粗匹配，得到右相机的候选点，包括：
根据左右相机基于标志线的空间相位的唯一对应关系，计算右相机对应的包裹相位图像与左相机对应的包裹相位图像中对应的各像素点的包裹相位差值；
将所述包裹相位差值小于第一阈值或大于第二阈值对应的右相机的包裹相位图像中的像素点作为右相机的候选点。
7.根据权利要求1所述的三维测量方法，其特征在于，所述对右相机的候选点进行空间相位精匹配，得到右相机的最佳匹配点，包括：
计算右相机的候选点中各像素点的空间相位与对应左相机的像素点的空间相位的绝对差值；
将最小的绝对差值对应的候选点作为右相机的最佳匹配点。
8.根据权利要求1所述的三维测量方法，其特征在于，所述通过所述最佳匹配点在投影仪像素坐标下的横坐标值计算左相机的绝对相位，包括：
计算所述最佳匹配点在投影仪像素坐标下的横坐标值与条纹周期数的乘积；
计算所述乘积与单个条纹周期的像素数的比值，得到左相机的绝对相位。
9.一种三维测量设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的三维测量方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-8任一项所述的三维测量方法。
CN202210649253.6A 2022-06-09 2022-06-09 一种三维测量方法、设备和存储介质 Active CN114739322B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210649253.6A CN114739322B (zh) 2022-06-09 2022-06-09 一种三维测量方法、设备和存储介质
PCT/CN2023/093885 WO2023236725A1 (zh) 2022-06-09 2023-05-12 一种三维测量方法、设备和存储介质
US18/423,054 US20240159521A1 (en) 2022-06-09 2024-01-25 Three-dimensional measurement method, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210649253.6A CN114739322B (zh) 2022-06-09 2022-06-09 一种三维测量方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114739322A CN114739322A (zh) 2022-07-12
CN114739322B true CN114739322B (zh) 2022-09-16

Family

ID=82286758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210649253.6A Active CN114739322B (zh) 2022-06-09 2022-06-09 一种三维测量方法、设备和存储介质

Country Status (3)

Country Link
US (1) US20240159521A1 (zh)
CN (1) CN114739322B (zh)
WO (1) WO2023236725A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114739322B (zh) * 2022-06-09 2022-09-16 广东工业大学 一种三维测量方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113063371A (zh) * 2021-03-23 2021-07-02 广东工业大学 面向正弦条纹的非线性自矫正结构光三维测量方法及系统
CN113506348A (zh) * 2021-07-15 2021-10-15 吉林省凯迪科技有限公司 一种基于格雷码辅助的三维坐标计算方法
CN114234850A (zh) * 2021-12-20 2022-03-25 广东工业大学 一种调制级次相位于周期边缘的三维测量方法
CN114234852A (zh) * 2021-12-20 2022-03-25 广东工业大学 基于最佳映射点集匹配的多目结构光三维测量方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
CN102032877B (zh) * 2010-11-30 2012-05-23 东南大学 基于小波变换的三维测量方法
CN102155924B (zh) * 2010-12-17 2012-07-04 南京航空航天大学 基于绝对相位恢复的四步相移方法
US9948920B2 (en) * 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
CN110375675B (zh) * 2019-08-30 2020-12-08 易思维（杭州）科技有限公司 基于空间相位展开的双目光栅投影测量方法
CN111473744B (zh) * 2020-06-03 2022-01-14 北京航空航天大学 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统
CN113074667B (zh) * 2021-03-22 2022-08-23 苏州天准软件有限公司 基于标志点的全局绝对相位对齐方法、存储介质和系统
CN114739322B (zh) * 2022-06-09 2022-09-16 广东工业大学 一种三维测量方法、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113063371A (zh) * 2021-03-23 2021-07-02 广东工业大学 面向正弦条纹的非线性自矫正结构光三维测量方法及系统
CN113506348A (zh) * 2021-07-15 2021-10-15 吉林省凯迪科技有限公司 一种基于格雷码辅助的三维坐标计算方法
CN114234850A (zh) * 2021-12-20 2022-03-25 广东工业大学 一种调制级次相位于周期边缘的三维测量方法
CN114234852A (zh) * 2021-12-20 2022-03-25 广东工业大学 基于最佳映射点集匹配的多目结构光三维测量方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目视觉的三维测量方法;曲学军等;《计算机仿真》;20110215;第28卷(第02期);第373-377页 *

Also Published As

Publication number Publication date
CN114739322A (zh) 2022-07-12
US20240159521A1 (en) 2024-05-16
WO2023236725A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
CN104061879B (zh) 一种连续扫描的结构光三维面形垂直测量方法
CN101986098B (zh) 基于三色光投影的傅里叶变换三维测量法
CN111998800B (zh) 一种基于散斑嵌入条纹的三维面形测量方法及系统
US20240159521A1 (en) Three-dimensional measurement method, device, and storage medium
CN111947599B (zh) 基于学习的条纹相位恢复和散斑相关的三维测量方法
CN110375675B (zh) 基于空间相位展开的双目光栅投影测量方法
CN116793247A (zh) 一种基于区域统计的条纹投影轮廓术条纹级数校正方法
CN114152203B (zh) 基于相位编码结构光的轴承内外径尺寸测量方法
CN112212806B (zh) 一种基于相位信息导向的立体相位展开方法
CN111947600B (zh) 基于相位级次代价滤波的鲁棒立体相位展开方法
JP5656018B2 (ja) 球体の検出方法
CN110530287B (zh) 基于条纹级数不准度的解包裹相位误差检测与校正方法
CN114234851B (zh) 一种调制二进制码于周期边缘的三维测量方法
CN114234850B (zh) 一种调制级次相位于周期边缘的三维测量方法
JP4101478B2 (ja) 人体端点検出方法及び装置
CN113137939B (zh) 基于二值特征模式匹配的解包裹方法
CN104463863A (zh) 基于时间外差投影的运动干涉场的标定方法与系统
CN112945086A (zh) 一种基于空间序列及光强阈值分割的结构光编码方法
CN111815697A (zh) 一种热变形动态三维测量方法
Da et al. Fringe projection profilometry based on complementary color-encoded fringe patterns
JP4062581B2 (ja) 縞解析用領域抽出方法
CN112611320A (zh) 一种基于梯度光强的多频外差面结构光三维重建方法
CN110375671A (zh) 一种相位误差的自校正方法
CN114719781B (zh) 一种三维测量方法及相关装置
CN114322845B (zh) 投射激光阵列图像的系统及利用其进行三维重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant