CN108088391A - 一种三维形貌测量的方法和系统 - Google Patents

一种三维形貌测量的方法和系统 Download PDF

Info

Publication number
CN108088391A
CN108088391A CN201810011176.5A CN201810011176A CN108088391A CN 108088391 A CN108088391 A CN 108088391A CN 201810011176 A CN201810011176 A CN 201810011176A CN 108088391 A CN108088391 A CN 108088391A
Authority
CN
China
Prior art keywords
value random
phase
speckle image
random speckle
current period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810011176.5A
Other languages
English (en)
Other versions
CN108088391B (zh
Inventor
徐玉华
朱宪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Innovation Technology (shenzhen) Co Ltd
Original Assignee
Deep Innovation Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Innovation Technology (shenzhen) Co Ltd filed Critical Deep Innovation Technology (shenzhen) Co Ltd
Priority to CN201810011176.5A priority Critical patent/CN108088391B/zh
Publication of CN108088391A publication Critical patent/CN108088391A/zh
Application granted granted Critical
Publication of CN108088391B publication Critical patent/CN108088391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种三维形貌测量的方法，包括：周期性地向被测物投影M幅第一相移图像和N幅第一二值随机散斑图像；其中，当前周期的N幅第一二值随机散斑图像不同且与上一周期的N幅第一二值随机散斑图像也不同；周期性地采集上述图像得到对应的M对第二相移图像和N对第二二值随机散斑图像；根据当前周期的M对第二相移图像计算得到包裹相位；根据当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像结合包裹相位进行视差图计算，再根据视差图恢复被测物的三维形貌。此外，还公开了一种三维形貌测量的系统。上述方法和系统不仅有效提高了对被测物三维形貌测量的精度和测量的效率。

Description

一种三维形貌测量的方法和系统
技术领域
本发明涉及三维表面测量技术，尤其涉及一种三维形貌测量的方法和系统。
背景技术
三维表面测量在产品检测、逆向工程、3D打印、人体测量、人机交互、动画制作等领域有着广泛的应用。目前流行的方法包括激光扫描方法、立体视觉方法、飞行时间(ToF)方法以及结构光方法等。
其中，基于条纹投影的结构光方法以其效率高、造价低等优点被广泛使用。与之相应的相移算法需要向被测物表面投射至少3张相移图像，再对通过立体相机对上述相移图像采集得到对应的至少3对相移图像进行处理得到各个像素点处的相位值，即包裹相位；为恢复被测物的三维形貌，进一步地，还需要对包裹相位进行解相位得到对应的绝对相位；最后利用各个像素点的绝对相位与视差的对应关系完成被测物三维形貌的重建与测量。
然而，在传统的解相位方法中，匹配过程中通常只在候选匹配像素对的邻域空间内进行比较。但在实际测量过程中，由于被测物表面会有光照和/或外观等因素的变化，因此，这种仅在二维匹配窗口进行像素点匹配的方法会产生粗大的匹配误差。
发明内容
为了解决上述技术问题，本发明的目的是提供一种三维形貌测量的方法，包括：
周期性地向被测物投影M幅第一相移图像和N幅第一二值随机散斑图像；其中，当前周期的N幅第一二值随机散斑图像不同且当前周期的N幅第一二值随机散斑图像与当前周期的上一周期的N幅第一二值随机散斑图像也不同，M为不小于3的自然数，N为自然数；
周期性地采集M幅第一相移图像和N幅第一二值随机散斑图像得到对应的M对第二相移图像和N对第二二值随机散斑图像；
根据当前周期的M对第二相移图像计算得到包裹相位；
根据当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像结合包裹相位进行视差图计算，再根据视差图恢复被测物的三维形貌。
进一步地，奇数周期投影的N幅第一二值随机散斑图像相同，偶数周期投影的N幅第一二值随机散斑图像相同。
进一步地，N的取值为1。
进一步地，在根据当前周期的M对第二相移图像计算得到包裹相位的步骤中，计算得到包裹相位包括计算得到第一包裹相位图和第二包裹相位图；相应地，
根据当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像结合包裹相位进行视差图计算，再根据视差图恢复被测物的三维形貌的步骤包括：
摄像机参数标定；
根据相位差的绝对值小于预设相位差阈值的判断获取第一包裹相位图中特定像素点在第二包裹相位图中对应的候选匹配像素点集；
利用当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像，从候选匹配像素点集中根据相似性最大获取特定像素点对应的匹配像素点，特定像素点和对应的匹配像素点构成匹配像素对；
根据匹配像素对的坐标差值获取被测物的视差图，再根据视差图恢复被测物的三维形貌。
进一步地，在根据匹配像素对的坐标差值获取被测物的视差图，再根据视差图恢复被测物的三维形貌的步骤之前，还包括：
根据匹配像素点的邻域空间中的若干个像素点拟合多项式，利用多项式获取特定像素点更新后的对应的匹配像素点，特定像素点和更新后的对应的匹配像素点构成更新后的匹配像素对。
进一步地，在根据匹配像素对的坐标差值获取被测物的视差图，再根据视差图恢复被测物的三维形貌的步骤之前，还包括：
通过双向匹配去除误匹配像素对。
此外，本发明的目的是还提供一种三维形貌测量的系统，包括：
周期投影模块，用于周期性地向被测物投影M幅第一相移图像和N幅第一二值随机散斑图像；其中，当前周期的N幅第一二值随机散斑图像不同且当前周期的N幅第一二值随机散斑图像与当前周期的上一周期的N幅第一二值随机散斑图像也不同，M为不小于3的自然数，N为自然数；
周期采集模块，用于周期性地采集M幅第一相移图像和N幅第一二值随机散斑图像得到对应的M对第二相移图像和N对第二二值随机散斑图像；
相位计算模块，用于根据当前周期的M对第二相移图像计算得到包裹相位；
时空立体匹配模块，用于根据当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像结合包裹相位进行视差图计算，再根据视差图恢复被测物的三维形貌。
进一步地，奇数周期投影的N幅第一二值随机散斑图像相同，偶数周期投影的N幅第一二值随机散斑图像相同。
进一步地，N的取值为1。
进一步地，在相位计算模块中，计算得到包裹相位包括计算得到第一包裹相位图和第二包裹相位图；相应地，
时空立体匹配模块包括：
参数标定单元，用于摄像机参数标定；
候选像素集获取单元，用于根据相位差的绝对值小于预设相位差阈值的判断获取第一包裹相位图中特定像素点在第二包裹相位图中对应的候选匹配像素点集；
匹配像素点获取单元，用于利用当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像，从候选匹配像素点集中根据相似性最大获取特定像素点对应的匹配像素点，特定像素点和对应的匹配像素点构成匹配像素对；
三维形貌恢复单元，用于根据匹配像素对的坐标差值获取被测物的视差图，再根据视差图恢复被测物的三维形貌。
进一步地，在三维形貌恢复单元之前，还包括：
匹配像素点更新单元，用于根据匹配像素点的邻域空间中的若干个像素点拟合多项式，利用多项式获取特定像素点更新后的对应的匹配像素点，特定像素点和更新后的对应的匹配像素点构成更新后的匹配像素对。
进一步地，在三维形貌恢复单元之前，还包括：
误匹配去除单元，用于通过双向匹配去除误匹配像素对。
由上述技术方案可知，在解相位的匹配过程中利用了两对二值随机散斑图像，其中之一是当前周期的上一周期的二值随机散斑图像。由于引入的两对二值随机散斑图像可记录图像在被测物表面随时间变化的情况，因此，相当于在匹配函数中增加了时间维度，将二维匹配窗口扩展成了三维匹配窗口，提高了匹配窗口的唯一性，从而可以获取到被测物密集、可靠的视差图。
在进一步的技术方案中，奇数周期投影的N幅第一二值随机散斑图像相同，偶数周期投影的N幅第一二值随机散斑图像相同，这样，只需要预先准备2*N幅第一二值随机散斑图像即可。特别地，当N的取值为1时，仅需要2幅第一二值随机散斑图像就可完成被测物的三维形貌测量，在保证被测物三维形貌测量精度的同时还有效提升了测量效率。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是一个实施例中三维形貌测量的方法流程图；
图2是一个实施例中第K-1个投影周期、第K个投影周期及第K+1个投影周期投影的图像示意图；
图3是现有技术中立体视觉算法的匹配过程示意图；
图4是一个实施例中时空立体视觉算法的匹配过程示意图；
图5是一个实施例中时空立体视觉算法的输入输出示意图；
图6是一个实施例中步骤S170的流程示意图；
图7是一个实施例中利用多项式拟合获取像素点更新后的对应的匹配像素点的示意图；
图8是分别展示向大卫雕塑投影的相移图像和二值随机散斑图像的示意图；
图9是分别使用本发明技术方案和现有技术方案对被测物三维形貌恢复的结果对比示意图；
图10是一个实施例中三维形貌测量的系统结构示意图；
图11是一个实施例中时空立体匹配模块的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如前所述的，当三维形貌测量的对象为表面有光照和/或外观变化的被测物时，由于对其采集得到的立体图像中除了包含空间轴信息，还包含时间轴信息，因此，若仍采用传统立体视觉匹配方法中的二维匹配窗口来完成像素对的匹配，那么，不可避免地会造成匹配的精度降低。
鉴于此，特提出一种三维形貌测量的方法，见图1是一个实施例中三维形貌测量的方法流程图，本方法包括：
S110、周期性地向被测物投影M幅第一相移图像和N幅第一二值随机散斑图像；其中，当前周期的N幅第一二值随机散斑图像不同且当前周期的N幅第一二值随机散斑图像与当前周期的上一周期的N幅第一二值随机散斑图像也不同，M为不小于3的自然数，N为自然数。
二值随机散斑图像在投影后可以在被测物表面形成丰富的纹理，这种纹理可用来记录光照和/或外观等因素变化在被测物表面引起的变化，有利于匹配过程中匹配像素对的获取。在实际应用中，第一二值随机散斑图像可由计算机预先生成并存储于指定空间，每个投影周期从指定空间提取符合要求的N幅第一二值随机散斑图像即可。
优选地，奇数周期投影的N幅第一二值随机散斑图像相同，偶数周期投影的N幅第一二值随机散斑图像相同。也就是说，第K-1个投影周期和第K+1个投影周期使用的N幅第一二值随机散斑图像相同，第K个投影周期和第K+2个投影周期使用的N幅第一二值随机散斑图像相同，K为自然数。这样，本方法用于投影的第一二值随机散斑图像最多需要2*N幅，这样，用于投影的第一二值随机散斑图像的生成时间以及存储量都可以足够小，这对于本方法的执行效率提高是很有利的。
更为优选地，在每个投影周期中只使用一幅第一二值随机散斑图像，即令N的取值为1，表示在任意两个相邻的投影周期内交替使用两幅不同的第一二值随机散斑图像。参见图2是一个实施例中第K-1个投影周期、第K个投影周期及第K+1个投影周期投影的图像示意图，第K个投影周期的第一相移图像为P(K)，第K+1个投影周期的第一相移图像为P(K+1)，两幅不同的第一二值随机散斑图像分别为第一散斑图像R1和第二散斑图像R2，在第K-1个投影周期和第K+1个投影周期Tp(K+1)使用第一散斑图像R1，在第K个投影周期Tp(K)使用第二散斑图像R2，依次类推。
S130、周期性地采集M幅第一相移图像和N幅第一二值随机散斑图像得到对应的M对第二相移图像和N对第二二值随机散斑图像。
投影机每投影一幅图像，双目立体相机同步采集得到对应的一对立体图像。若步骤S110中的一个投影周期只使用一幅第一二值随机散斑图像，那么本步骤中通过双目立体相机采集得到对应的一对第二二值随机散斑图像。
S150、根据当前周期的M对第二相移图像计算得到包裹相位。
在一个实施例中，在第K个投影周期投影三幅第一相移图像(M＝3)，即三步相移法，这三幅第一相移图像可以分别表示为：
其中，I1(x,y)、I2(x,y)、I3(x,y)分别表示像素点(x,y)在三幅第一相移图像中的光强，I′(x,y)表示像素点(x,y)的平均光强，I″(x,y)为像素点(x,y)的调制信号幅度，φ(x,y)表示像素点(x,y)的相位。
求解方程(1)可得到：
由于公式(4)获取到的是在[-π,π]内取值的包裹相位，仅利用包裹相位还不能直接进行视差图的计算。
S170、根据当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像结合包裹相位进行视差图计算，再根据视差图恢复被测物的三维形貌。
在第K个重建周期中，除了使用第K个投影周期对应的M对第二相移图像和N对第二二值随机散斑图像，还包括使用第K-1个投影周期对应的N对第二二值随机散斑图像，也就是说，在第K个重建周期中，总共使用了M+2*N对立体图像。仍然参见图2，在第K个重建周期TR(k)使用第K-1个投影周期的第一散斑图像R1、第K个投影周期Tp(K)的第一相移图像P(K)和第二散斑图像R2分别对应的立体图像，在第K+1个重建周期TR+1(k)使用第K个投影周期Tp(K)的第二散斑图像R2、第K+1个投影周期Tp(K)的第一相移图像P(K+1)和第一散斑图像R1分别对应的立体图像。
步骤S150中计算得到的包裹相位包括左包裹相位图和右包裹相位图，由于条纹周期的不确定性，仅仅依靠上述两幅包裹相位图，不能建立起立体视觉匹配的对应关系。
参见图3是现有技术中立体视觉算法的匹配过程示意图以及图4是一个实施例中时空立体视觉算法的匹配过程示意图，其中，表示左包裹相位图，表示右包裹相位图，SD表示搜索方向，spatial表示空间邻域，图5中的time表示时间维。可见，现有技术的匹配过程是在像素点的空间邻域内搜索，而本技术方案的匹配过程不仅包括空间邻域内搜索还包括时间维度的搜索。
参见图5是一个实施例中时空立体视觉算法的输入输出示意图，即当M＝3、N＝1的情况。可看出，本步骤输入为两对第二二值随机散斑图像和由三对第二相移图像计算得到的两幅包裹相位图(左包裹相位图和右包裹相位图)，输出为被测物的视差图，该视差图可以直接用于计算被测物表面的三维点云。
由上述可知，本发明提出的技术方案在重建周期的匹配过程中采用了时空立体视觉算法，即通过引入上一个投影周期的二值随机散斑图像将传统的二维匹配窗口扩展为一个同时包括空间维、时间维的三维匹配窗口，获取到了更多的特征点信息，提升了特征点匹配的质量，增强了每个匹配窗口的唯一性，因而能有效提高被测物三维形貌测量的精度。
在另一个实施例中，见图6是一个实施例中步骤S170的流程示意图，该步骤S170包括：
S171、摄像机参数标定。
为了减小像素匹配的计算量，提高像素匹配的速度和精度，首先通过对摄像机参数标定来校正采集得到的每对立体图像，以获得按行排列的对极几何。
经过立体视觉校正以后，搜索一幅包裹相位图中特定像素点的匹配像素点时，只需要在另一幅包裹相位图的同一行内进行，也就是说，任何一对匹配像素对的列坐标差值(即X坐标差值)就为视差，该视差可以用来表示被测物的深度信息。
S173、根据相位差的绝对值小于预设相位差阈值的判断获取第一包裹相位图中特定像素点在第二包裹相位图中对应的候选匹配像素点集。
在本实施例中，为方便描述，只以在右相位图中获取左相位图中特定像素点的匹配像素点为例进行说明。对于左相位图中的某个特定像素点，理论上右相位图的同一行上最多有P(相移图像中条纹数)个相同相位值的像素点，这些像素点称为该特定像素点的候选匹配像素点；反之亦然，即对于右相位图中的某个特定像素点，理论上左相位图的同一行上最多有P个相同相位值的候选匹配像素点。但在实际情况中，要找到相位完全相同的候选匹配像素点是基本不可能的。
一个实施例中，假设左相位图中某一行的像素点pL和右相位图中同一行的像素点之间的相位差小于预设的相位差阈值Tp(Tp>0)并且是局部最小值，就认为像素点为像素点pL的候选匹配像素点。像素点pL的P'(P'≤P)个候选匹配像素点构成相应的候选匹配像素点集其中，1≤c≤P′。
需要强调的是，由于包裹相位的周期是2π，因此在比较相位值是否相等时，要考虑相位值的周期性，即：和(k为整数)表示相同的相位值。
根据相位差的绝对值小于预设的相位差阈值的判断找出一幅包裹相位图中特定像素点在另一幅包裹相位图中对应的候选匹配像素点集，这样，在后续更进一步的匹配过程中，只需对候选匹配像素点集中的像素点进行匹配运算即可，因而，可以显著加快立体视觉匹配的速度。
S175、利用当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像，从候选匹配像素点集中根据相似性最大获取特定像素点对应的匹配像素点，特定像素点和对应的匹配像素点构成匹配像素对。
具体地，相似性最大可采用归一化互相关(NCC)相似性来判断。以两幅不同的二值随机散斑图像用于投影为例，获取左相位图中像素点pL在右相位图中对应的最佳候选匹配像素点时采用NCC相似度函数的定义如下：
其中，T为二值随机散斑图像的数量，这里T＝2，2R+1为空间窗口的宽度W，(xL,y)和(xR,y)分别为像素点pL和pR的坐标，(xL+p,y+q)和(xR+p,y+q)分别为像素点pL和pR的邻域像素点的坐标，和分别为以像素点pL和pR为中心大小为T×W×W的三维窗口中像素的灰度值，和分别为左、右相机采集的第t幅二值随机散斑图像的灰度值。
对像素点pL，根据公式(5)计算得到对应的P'个NCC值，其中最大NCC值对应的像素点认为是像素点pL的最佳候选匹配像素点。
如果像素点pL和其最佳候选匹配像素点的NCC值比预定义的相关性阈值TNCC(TNCC>0)大，就认为最佳候选匹配像素点为像素点pL的匹配像素点。
重复步骤S173和步骤S175直到为左相位图中的所有像素点获取到在右相位图中对应的匹配像素点为止，即获取到所有的匹配像素对为止。
S177、根据匹配像素对的坐标差值获取被测物的视差图，再根据所述视差图恢复所述被测物的三维形貌。
这里获取到的被测物的视差为像素级的视差。
在另一个实施例中，在步骤S177之前还包括：
根据匹配像素点的邻域空间中的若干个像素点拟合多项式，利用多项式获取像素点更新后的对应的匹配像素点，构成更新后的匹配像素对。
下面以匹配像素对(pL,pR)为例进行说明，参见图7是一个实施例中利用多项式拟合获取像素点更新后的对应的匹配像素点的示意图，其中，xL表示像素点pL的X坐标，xR表示像素点pR的X坐标，表示像素点pL的相位，表示像素点pR的相位，x'R表示像素点pR更新后的对应的匹配像素点的X坐标，τ表示x'R与xR之间的坐标差值。
用一个三次多项式拟合右包裹相位图中像素点pR的局部相位曲线。具体地，可选择像素点pR的邻域空间中对称分布的2L(L≥2)个像素点进行三阶多项式拟合，以L＝2为例，三阶多项式如下：
其中，为像素点pR的邻域像素点的图像X坐标，为该邻域像素点对应的相位。
通过取像素点pR的4个邻域像素点对应的图像X坐标和相位信息，即可获取到三阶多项式(6)中的系数a0、a1、a2、a3。
然后，将左包裹相位图中像素点pL处的相位值代入公式(6)，参见公式(7)，即可获取到右包裹相位图中像素点pR的亚像素级的坐标x′R，如下：
进一步地，根据公式(8)即可获取到匹配像素点(pL,pR)的更新后的亚像素级的视差d'，如下：
d'＝xL-x′R (8)
在另一个实施例中，在步骤S177之前还包括：
通过双向匹配去除误匹配像素对。
假设在步骤S175中获取到的匹配像素对为(pL,pR)，即表示左相位图中的一个像素点pL在右相位视图中对应的匹配像素点为pR。在本步骤的执行包括：对右相位图中的像素点pR在左相位图中进行反向匹配得到对应的匹配像素点p′L，判断是否满足|pL-p′L|≤p0，若否，则认为是误匹配像素对，将该匹配像素对(pL,pR)去除；其中，p0为预设的反向匹配阈值，具体地，其值可取1。
通过双向匹配可有效减少噪声数量，进一步提高匹配精度。
参见图8是分别展示向大卫雕塑投影的相移图像和二值随机散斑图像的示意图，参见图9是分别使用本发明技术方案和现有技术方案对被测物三维形貌恢复的结果对比示意图，其中，图9(a)和图9(b)是深度图像，图9(c)和图9(d)是点云图像，图9(a)和图9(c)是使用时空立体视觉方法(使用两对二值随机散斑图像)得到的结果，图9(b)和图9(d)是只使用一对二值随机散斑图像得到的结果。显然，使用本发明技术方案得到的效果更好。
在另一个实施例中，具体地，投影机是德州仪器的LightCrafter4500，它能够以每秒120帧的速率投影8位的灰度图像(1140×912)和以每秒4225帧的速率投影二值图像。立体相机是两个同步单色的CCD相机，它们能够以每秒160帧的速度记录分辨率为640*480的投影图像，且每个相机都配有8mm的镜头。采用OpenCV-2.4.13标定立体相机的参数(包括每个相机的焦距、主点坐标、畸变系数以及两个相机空间坐标之间的3*3旋转矩阵和3*1平移相移)。
在一个实施例中，为解决上述问题，还提出了一种三维形貌测量的系统，参见图10是一个实施例中三维形貌测量的系统结构示意图，包括：
周期投影模块1010，用于周期性地向被测物投影M幅第一相移图像和N幅第一二值随机散斑图像；其中，当前周期的所述N幅第一二值随机散斑图像不同且当前周期的所述N幅第一二值随机散斑图像与当前周期的上一周期的所述N幅第一二值随机散斑图像也不同，M为不小于3的自然数，N为自然数。
周期采集模块1030，用于周期性地采集所述M幅第一相移图像和所述N幅第一二值随机散斑图像得到对应的M对第二相移图像和N对第二二值随机散斑图像。
相位计算模块1050，用于根据当前周期的所述M对第二相移图像计算得到包裹相位。
时空立体匹配模块1070，用于根据当前周期的上一周期的所述N对第二二值随机散斑图像和当前周期的所述N对第二二值随机散斑图像结合所述包裹相位进行视差图计算，再根据所述视差图恢复所述被测物的三维形貌。
在另一个实施例中，奇数周期投影的N幅第一二值随机散斑图像相同，偶数周期投影的N幅第一二值随机散斑图像相同。
在另一个实施例中，N的取值为1。
在另一个实施例中，在相位计算模块中，计算得到包裹相位包括计算得到第一包裹相位图和第二包裹相位图；相应地，参见图11是一个实施例中时空立体匹配模块的结构示意图，该时空立体匹配模块1070包括：
参数标定单元1071，用于摄像机参数标定。
候选像素集获取单元1073，用于根据相位差的绝对值小于预设相位差阈值的判断获取第一包裹相位图中特定像素点在第二包裹相位图中对应的候选匹配像素点集。
匹配像素点获取单元1075，用于利用当前周期的上一周期的N对第二二值随机散斑图像和当前周期的N对第二二值随机散斑图像，从候选匹配像素点集中根据相似性最大获取特定像素点对应的匹配像素点，特定像素点和对应的匹配像素点构成匹配像素对。
三维形貌恢复单元1077，用于根据匹配像素对的坐标差值获取被测物的视差图，再根据视差图恢复被测物的三维形貌。
在另一个实施例中，在三维形貌恢复单元1077之前，还包括：
匹配像素点更新单元，用于根据匹配像素点的邻域空间中的若干个像素点拟合多项式，利用多项式获取特定像素点更新后的对应的匹配像素点，特定像素点和更新后的对应的匹配像素点构成更新后的匹配像素对。
在另一个实施例中，在三维形貌恢复单元1077之前，还包括：
误匹配去除单元，用于通过双向匹配去除误匹配像素对。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (12)

1.一种三维形貌测量的方法，其特征在于，包括：
周期性地向被测物投影M幅第一相移图像和N幅第一二值随机散斑图像；其中，当前周期的所述N幅第一二值随机散斑图像不同且当前周期的所述N幅第一二值随机散斑图像与当前周期的上一周期的所述N幅第一二值随机散斑图像也不同，M为不小于3的自然数，N为自然数；
周期性地采集所述M幅第一相移图像和所述N幅第一二值随机散斑图像得到对应的M对第二相移图像和N对第二二值随机散斑图像；
根据当前周期的所述M对第二相移图像计算得到包裹相位；
根据当前周期的上一周期的所述N对第二二值随机散斑图像和当前周期的所述N对第二二值随机散斑图像结合所述包裹相位进行视差图计算，再根据所述视差图恢复所述被测物的三维形貌。
2.根据权利要求1所述的三维形貌测量的方法，其特征在于，奇数周期投影的所述N幅第一二值随机散斑图像相同，偶数周期投影的所述N幅第一二值随机散斑图像相同。
3.根据权利要求1或2所述的三维形貌测量的方法，其特征在于，N的取值为1。
4.根据权利要求1所述的三维形貌测量的方法，其特征在于，在所述根据当前周期的所述M对第二相移图像计算得到包裹相位的步骤中，所述计算得到包裹相位包括计算得到第一包裹相位图和第二包裹相位图；相应地，
所述根据当前周期的上一周期的所述N对第二二值随机散斑图像和当前周期的所述N对第二二值随机散斑图像结合所述包裹相位进行视差图计算，再根据所述视差图恢复所述被测物的三维形貌的步骤包括：
摄像机参数标定；
根据相位差的绝对值小于预设相位差阈值的判断获取所述第一包裹相位图中特定像素点在所述第二包裹相位图中对应的候选匹配像素点集；
利用当前周期的上一周期的所述N对第二二值随机散斑图像和当前周期的所述N对第二二值随机散斑图像，从所述候选匹配像素点集中根据相似性最大获取所述特定像素点对应的匹配像素点，所述特定像素点和对应的匹配像素点构成匹配像素对；
根据所述匹配像素对的坐标差值获取被测物的视差图，再根据所述视差图恢复所述被测物的三维形貌。
5.根据权利要求4所述的三维形貌测量的方法，其特征在于，在所述根据所述匹配像素对的坐标差值获取被测物的视差图，再根据所述视差图恢复所述被测物的三维形貌的步骤之前，还包括：
根据所述匹配像素点的邻域空间中的若干个像素点拟合多项式，利用所述多项式获取所述特定像素点更新后的对应的匹配像素点，所述特定像素点和更新后的对应的匹配像素点构成更新后的匹配像素对。
6.根据权利要求4所述的三维形貌测量的方法，其特征在于，在所述根据所述匹配像素对的坐标差值获取被测物的视差图，再根据所述视差图恢复所述被测物的三维形貌的步骤之前，还包括：
通过双向匹配去除误匹配像素对。
7.一种三维形貌测量的系统，其特征在于，包括：
周期投影模块，用于周期性地向被测物投影M幅第一相移图像和N幅第一二值随机散斑图像；其中，当前周期的所述N幅第一二值随机散斑图像不同且当前周期的所述N幅第一二值随机散斑图像与当前周期的上一周期的所述N幅第一二值随机散斑图像也不同，M为不小于3的自然数，N为自然数；
周期采集模块，用于周期性地采集所述M幅第一相移图像和所述N幅第一二值随机散斑图像得到对应的M对第二相移图像和N对第二二值随机散斑图像；
相位计算模块，用于根据当前周期的所述M对第二相移图像计算得到包裹相位；
时空立体匹配模块，用于根据当前周期的上一周期的所述N对第二二值随机散斑图像和当前周期的所述N对第二二值随机散斑图像结合所述包裹相位进行视差图计算，再根据所述视差图恢复所述被测物的三维形貌。
8.根据权利要求7所述的三维形貌测量的系统，其特征在于，奇数周期投影的所述N幅第一二值随机散斑图像相同，偶数周期投影的所述N幅第一二值随机散斑图像相同。
9.根据权利要求7或8所述的三维形貌测量的系统，其特征在于，N的取值为1。
10.根据权利要求7所述的三维形貌测量的系统，其特征在于，在所述相位计算模块中，所述计算得到包裹相位包括计算得到第一包裹相位图和第二包裹相位图；相应地，
所述时空立体匹配模块包括：
参数标定单元，用于摄像机参数标定；
候选像素集获取单元，用于根据相位差的绝对值小于预设相位差阈值的判断获取所述第一包裹相位图中特定像素点在所述第二包裹相位图中对应的候选匹配像素点集；
匹配像素点获取单元，用于利用当前周期的上一周期的所述N对第二二值随机散斑图像和当前周期的所述N对第二二值随机散斑图像，从所述候选匹配像素点集中根据相似性最大获取所述特定像素点对应的匹配像素点，所述特定像素点和对应的匹配像素点构成匹配像素对；
三维形貌恢复单元，用于根据所述匹配像素对的坐标差值获取被测物的视差图，再根据所述视差图恢复所述被测物的三维形貌。
11.根据权利要求10所述的三维形貌测量的系统，其特征在于，在所述三维形貌恢复单元之前，还包括：
匹配像素点更新单元，用于根据所述匹配像素点的邻域空间中的若干个像素点拟合多项式，利用所述多项式获取所述特定像素点更新后的对应的匹配像素点，所述特定像素点和更新后的对应的匹配像素点构成更新后的匹配像素对。
12.根据权利要求10所述的三维形貌测量的系统，其特征在于，在所述三维形貌恢复单元之前，还包括：
误匹配去除单元，用于通过双向匹配去除误匹配像素对。
CN201810011176.5A 2018-01-05 2018-01-05 一种三维形貌测量的方法和系统 Active CN108088391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810011176.5A CN108088391B (zh) 2018-01-05 2018-01-05 一种三维形貌测量的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810011176.5A CN108088391B (zh) 2018-01-05 2018-01-05 一种三维形貌测量的方法和系统

Publications (2)

Publication Number Publication Date
CN108088391A true CN108088391A (zh) 2018-05-29
CN108088391B CN108088391B (zh) 2020-02-07

Family

ID=62181564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810011176.5A Active CN108088391B (zh) 2018-01-05 2018-01-05 一种三维形貌测量的方法和系统

Country Status (1)

Country Link
CN (1) CN108088391B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029294A (zh) * 2018-08-21 2018-12-18 合肥工业大学 基于聚焦二值图案的快速灰度条纹合成方法
CN109540041A (zh) * 2019-01-14 2019-03-29 吉林大学 双目主动视觉矢量正交归一化汽车形貌测量系统与方法
CN109945802A (zh) * 2018-10-11 2019-06-28 宁波深浅优视智能科技有限公司 一种结构光三维测量方法
CN110375671A (zh) * 2019-02-19 2019-10-25 西安理工大学 一种相位误差的自校正方法
CN111707216A (zh) * 2020-06-30 2020-09-25 西安工业大学 一种基于随机两步相移的面形检测方法
CN111721236A (zh) * 2020-05-24 2020-09-29 深圳奥比中光科技有限公司 一种三维测量系统、方法及计算机设备
US10810750B1 (en) * 2017-02-24 2020-10-20 Shining 3D Tech Co., Ltd. Three-dimensional scanning system and scanning method thereof
CN111947599A (zh) * 2020-07-24 2020-11-17 南京理工大学 基于学习的条纹相位恢复和散斑相关的三维测量方法
CN111947600A (zh) * 2020-07-24 2020-11-17 南京理工大学 基于相位级次代价滤波的鲁棒立体相位展开方法
CN112461158A (zh) * 2020-10-22 2021-03-09 天津大学 散斑投影相移高频率立体视觉三维测量方法及装置
CN113284197A (zh) * 2021-07-22 2021-08-20 浙江华睿科技股份有限公司 Agv的tof相机外参标定方法及装置、电子设备
CN114061489A (zh) * 2021-11-15 2022-02-18 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
US20150070472A1 (en) * 2013-09-11 2015-03-12 National Taiwan University Measuring apparatus for three-dimensional profilometry and method thereof
CN104596439A (zh) * 2015-01-07 2015-05-06 东南大学 一种基于相位信息辅助的散斑匹配三维测量方法
CN106091987A (zh) * 2016-06-14 2016-11-09 中国科学院上海光学精密机械研究所 基于散斑时域相关的大尺寸光学毛坯三维测量方法
CN106447661A (zh) * 2016-09-28 2017-02-22 深圳市优象计算技术有限公司 一种深度图快速生成方法
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量系统及测量方法
CN107228625A (zh) * 2017-06-01 2017-10-03 深度创新科技（深圳）有限公司 三维重建方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
US20150070472A1 (en) * 2013-09-11 2015-03-12 National Taiwan University Measuring apparatus for three-dimensional profilometry and method thereof
CN104596439A (zh) * 2015-01-07 2015-05-06 东南大学 一种基于相位信息辅助的散斑匹配三维测量方法
CN106091987A (zh) * 2016-06-14 2016-11-09 中国科学院上海光学精密机械研究所 基于散斑时域相关的大尺寸光学毛坯三维测量方法
CN106447661A (zh) * 2016-09-28 2017-02-22 深圳市优象计算技术有限公司 一种深度图快速生成方法
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量系统及测量方法
CN107228625A (zh) * 2017-06-01 2017-10-03 深度创新科技（深圳）有限公司 三维重建方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱昱: "《数字条纹投影三维形貌测量技术》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810750B1 (en) * 2017-02-24 2020-10-20 Shining 3D Tech Co., Ltd. Three-dimensional scanning system and scanning method thereof
CN109029294A (zh) * 2018-08-21 2018-12-18 合肥工业大学 基于聚焦二值图案的快速灰度条纹合成方法
CN109029294B (zh) * 2018-08-21 2020-09-01 合肥工业大学 基于聚焦二值图案的快速灰度条纹合成方法
CN109945802A (zh) * 2018-10-11 2019-06-28 宁波深浅优视智能科技有限公司 一种结构光三维测量方法
CN109945802B (zh) * 2018-10-11 2021-03-09 苏州深浅优视智能科技有限公司 一种结构光三维测量方法
CN109540041A (zh) * 2019-01-14 2019-03-29 吉林大学 双目主动视觉矢量正交归一化汽车形貌测量系统与方法
CN110375671B (zh) * 2019-02-19 2021-04-02 西安理工大学 一种相位误差的自校正方法
CN110375671A (zh) * 2019-02-19 2019-10-25 西安理工大学 一种相位误差的自校正方法
CN111721236A (zh) * 2020-05-24 2020-09-29 深圳奥比中光科技有限公司 一种三维测量系统、方法及计算机设备
CN111721236B (zh) * 2020-05-24 2022-10-25 奥比中光科技集团股份有限公司 一种三维测量系统、方法及计算机设备
CN111707216A (zh) * 2020-06-30 2020-09-25 西安工业大学 一种基于随机两步相移的面形检测方法
CN111707216B (zh) * 2020-06-30 2021-07-02 西安工业大学 一种基于随机两步相移的面形检测方法
CN111947599A (zh) * 2020-07-24 2020-11-17 南京理工大学 基于学习的条纹相位恢复和散斑相关的三维测量方法
CN111947600A (zh) * 2020-07-24 2020-11-17 南京理工大学 基于相位级次代价滤波的鲁棒立体相位展开方法
CN112461158A (zh) * 2020-10-22 2021-03-09 天津大学 散斑投影相移高频率立体视觉三维测量方法及装置
CN113284197A (zh) * 2021-07-22 2021-08-20 浙江华睿科技股份有限公司 Agv的tof相机外参标定方法及装置、电子设备
CN114061489A (zh) * 2021-11-15 2022-02-18 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统

Also Published As

Publication number Publication date
CN108088391B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN108088391A (zh) 一种三维形貌测量的方法和系统
CN105120257B (zh) 一种基于结构光编码的垂直深度感知装置
Kolev et al. Turning mobile phones into 3D scanners
CN102710951B (zh) 基于散斑结构光深度相机的多视点计算成像方法
CN101356546B (zh) 图像高分辨率化装置、方法及系统
CN104197861B (zh) 基于结构光灰度向量的三维数字成像方法
CN105931240A (zh) 三维深度感知装置及方法
US20170171525A1 (en) Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
US20130286017A1 (en) Method for generating depth maps for converting moving 2d images to 3d
US10585533B1 (en) Method and apparatus for creating an adaptive Bayer pattern
Frahm et al. Fast robust large-scale mapping from video and internet photo collections
JP6097903B2 (ja) ３次元形状の取得装置、処理方法およびプログラム
CN103761721A (zh) 一种适用于空间绳系机器人的立体视觉快速图像拼接方法
CA2245044C (fr) Procede de production de donnees cartographiques par stereovision
US20160232705A1 (en) Method for 3D Scene Reconstruction with Cross-Constrained Line Matching
Furukawa et al. One-shot entire shape acquisition method using multiple projectors and cameras
CN115035235A (zh) 三维重建方法及装置
Ramirez et al. Open challenges in deep stereo: the booster dataset
CN112595263A (zh) 正弦光栅与散斑混合图案投影的双目视觉三维点云重建测量方法
CN107360354A (zh) 拍照方法、装置、移动终端和计算机可读存储介质
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
JP6285686B2 (ja) 視差画像生成装置
CN107330974A (zh) 商品展示方法、装置及移动设备
Erich et al. Neural Scanning: Rendering and determining geometry of household objects using Neural Radiance Fields
Um et al. Three-dimensional scene reconstruction using multiview images and depth camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant