CN110285775A - 基于结构光周期编码图案的三维重建方法及系统 - Google Patents

基于结构光周期编码图案的三维重建方法及系统 Download PDF

Info

Publication number
CN110285775A
CN110285775A CN201910710771.2A CN201910710771A CN110285775A CN 110285775 A CN110285775 A CN 110285775A CN 201910710771 A CN201910710771 A CN 201910710771A CN 110285775 A CN110285775 A CN 110285775A
Authority
CN
China
Prior art keywords
phase
coding pattern
pattern
pixel
object surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910710771.2A
Other languages
English (en)
Other versions
CN110285775B (zh
Inventor
刘凯
宋健文
龚俊
朱策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910710771.2A priority Critical patent/CN110285775B/zh
Publication of CN110285775A publication Critical patent/CN110285775A/zh
Application granted granted Critical
Publication of CN110285775B publication Critical patent/CN110285775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供了一种基于结构光周期编码图案的三维重建方法及系统,包括:在目标物体表面投射指定相移步数的编码图案,并采集每帧编码图案在目标物体表面的反射图案;根据每帧编码图案对应的反射图案,计算反射图案每个像素点的测量相位;按照已构建的相位误差关系,获取测量相位对应的校正相位;校正相位对应于指定相移步数的编码图案;根据反射图案每个像素点的校正相位,构建目标物体表面的三维形状信息。本申请提供的技术方案,可以使用任意周期编码图案对目标物体进行三维重建,可以快速得到准确的相位进行三维重建,提高三维重建的准确性。

Description

基于结构光周期编码图案的三维重建方法及系统
技术领域
本申请涉及图像处理技术领域,特别涉及一种基于结构光周期编码图案的三维重建方法及系统。
背景技术
相移结构光技术是一种快速,准确的用于三维重建的技术。在相移结构光中,不同的编码图案包括正弦图案、二值图案,三角图案,梯形图案、线编码图案等,这些编码图案被设计出来,用于高精度的三维重建。
每种编码图案都需要特定的解码方法来获取相位,用于三维重建。设计好的投影图案可能因投影机的质量问题而发生畸变,虽然畸变图案的周期性一般可以得到保障。但是使用传统的解码方法对有畸变的图案进行解码,得到的相位会存在误差,从而造成质量不高的三维重建结果。
发明内容
本申请实施例的目的在于提供一种基于结构光周期编码图案的三维重建方法,提高三维重建结果的准确性。
本申请提供了一种基于结构光周期编码图案的三维重建方法,包括:
在目标物体表面投射指定相移步数的编码图案,并采集每帧编码图案在所述目标物体表面的反射图案;
根据每帧所述编码图案对应的反射图案,计算所述反射图案每个像素点的测量相位;
按照已构建的相位误差关系,获取所述测量相位对应的校正相位;所述校正相位对应于所述指定相移步数的编码图案;
根据所述反射图案每个像素点的校正相位,构建所述目标物体表面的三维形状信息。
于一实施例中,在所述按照已构建的相位误差关系,获取所述测量相位对应的相位校正之前,所述方法还包括:
通过在平坦物体表面投射一组相移步数为N=H/f的所述编码图案,计算得到所述平坦物体表面所捕获图案的相位真值;H为所述编码图案的高度,f为所述编码图案的空间频率,N为所述编码图案的相移步数;
通过在平坦物体表面投射一组所述指定相移步数的所述编码图案,计算得到所述平坦物体表面所捕获图案的实际相位;所述指定相移步数小于N;
根据投射所述编码图案时所述平坦物体表面所捕获图案的实际相位以及相位真值,构建投射所述编码图案时的所述相位误差关系。
于一实施例中,所述根据投射所述编码图案时所述平坦物体表面所捕获图案的实际相位以及相位真值,构建投射所述编码图案时的所述相位误差关系,包括:
根据投射所述编码图案时所述平坦物体表面所捕获图案的相位真值,拟合出存在的谐波系数;
根据投射所述编码图案时所述平坦物体表面所捕获图案的实际相位以及所述谐波系数,计算得到所述实际相位对应的校正相位;
遍历每个实际相位对应的校正相位,以查找表的形式一一对应存储每个实际相位对应的校正相位,得到所述相位误差关系。
于一实施例中,按照已构建的相位误差关系,获取所述测量相位对应的校正相位,包括:
根据所述测量相位,从查找表中提取与所述测量相位对应存储的校正相位。
于一实施例中,通过在平坦物体表面投射一组相移步数为N=H/f的所述编码图案,计算得到所述平坦物体表面所捕获图案的相位真值之前,所述方法还包括:
投射相移步数满足N=H/f的任意周期编码图案;
通过相位测量轮廓术对所述任意周期编码图案进行解码,验证相移步数为N=H/f时相位解码无误差。
于一实施例中,通过相位测量轮廓术对所述任意周期编码图案进行解码,验证相移步数为N=H/f时相位解码无误差,包括:
采集对应于所述任意周期编码图案的反射测试图案;
对所述反射测试图案进行傅里叶变换,并将变换结果输入线性系统中,验证得到的输出结果仅包含主频成分;
其中,所述线性系统的传递函数为相位测量轮廓术的传递函数。
于一实施例中,所述根据每帧所述编码图案对应的反射图案,计算所述反射图案每个像素点的测量相位,包括:
针对每一像素点,根据每帧反射图案中所述像素点的亮度值,计算得到所述像素点的测量相位。
于一实施例中,所述根据所述反射图案每个像素点的校正相位,构建所述目标物体表面的三维形状信息,包括:
根据所述反射图案中每个像素点的校正相位,对所述校正相位进行解缠绕,得到每个像素点对应的绝对相位;
根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将所述每个像素点对应的绝对相位转换到世界坐标系下,获得所述目标物体表面的三维形状信息。
于一实施例中,根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将所述每个像素点对应的绝对相位转换到世界坐标系下,获得所述目标物体的三维形状信息,包括:
将每个像素点对应的绝对相位转换到投影坐标系下,得到每个像素点在投影坐标系下的纵坐标;
根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将所述投影坐标系下的纵坐标转换到世界坐标系下,获得所述目标物体表面的三维形状信息。
另一方面,本申请还提供了一种基于结构光周期编码图案的三维重建系统,所述系统包括:投影装置;控制装置,连接于所述投影装置;以及图像采集装置,连接于所述控制装置;其中,所述投影装置,用于在目标物体表面投射指定相移步数的编码图案;所述图像采集装置,用于采集每帧编码图案在所述目标物体表面的反射图案;所述控制装置用于根据每帧所述编码图案对应的反射图案,计算所述反射图案的测量相位;按照已构建的相位误差关系,获取所述测量相位对应的校正相位;所述校正相位对应于所述指定相移步数的编码图案;根据所述反射图案的测量相位,构建所述目标物体的三维形状信息。
本申请上述实施例提供的技术方案,按照事先构建的相位误差关系,直接获取反射图案每个像素点测量相位对应的校正相位,由此可以快速得到准确的相位进行三维重建,提高三维重建的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一示例性实施例示出的一种基于结构光周期编码图案的三维重建系统;
图2为本申请一示例性实施例示出的一种基于结构光周期编码图案的三维重建方法的部分流程图;
图3为本申请一示例性实施例示出的正弦编码图案的时域波形;
图4为本申请一示例性实施例示出的的离散傅里叶变换;
图5为本申请一示例性实施例示出的是归一化传递函数以及线性系统输出结果的频域图;
图6为本申请一示例性实施例示出的一种基于结构光周期编码图案的三维重建方法的流程图;
图7为本申请一示例性实施例示出的五种波形及其对应的编码图案;
图8为不同编码图案解码得到的相位误差标准差的对数比较图;
图9是采用不同方法对不同物体进行三维重建的结果对比图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
图1为本申请提供的一种基于结构光周期编码图案的三维重建系统,该系统包括:控制装置110,与控制装置110连接的图像采集装置120和投影装置130。于一实施例中,投影装置130可以投射正弦编码图案、二值编码图案、三角编码图案、梯形编码图案或线编码图案等。控制装置包括处理器以及存储装置,存储装置可用于存储可执行程序码,处理器可用于执行存储于存储装置中的程序码。
投影装置130可以在目标物体表面投射指定相移步数的编码图案;图像采集装置120采集每帧编码图案在目标物体表面的反射图案;控制装置110根据每帧编码图案对应的反射图案,计算反射图案的测量相位;控制装置110按照已构建的相位误差关系,获取测量相位对应的校正相位;校正相位对应于指定相移步数的编码图案;控制装置110根据反射图案的测量相位,构建目标物体的三维形状信息。
下面对图1所示系统进行三维重建的过程展开详细描述。图2所示,本申请提供的基于结构光周期编码图案的三维重建方法,该方法包括以下步骤,并可借由图1所示系统来执行。
步骤210:投射相移步数满足N=H/f的任意周期编码图案。
当编码图案满足条件N=H/f时,利用一般解码方法可以对周期编码图案进行解码。通过步骤210投射相移步数满足N=H/f的任意周期编码图案,N代表相移步数,也就是帧数,H代表周期性编码图案的高度,f代表频率。可以由投影装置130投射上述相移步数满足N=H/f的任意周期编码图案。下文以投射正弦编码图案进行举例说明。
步骤220:通过相位测量轮廓术对任意周期编码图案进行解码,验证相移步数为N=H/f时相位解码无误差。
相位测量轮廓术,是一种基于光栅投影和相位测量的光学三维面形测量技术,可有效实现物体表面三维轮廓的自动测量。解码是指通过图像采集装置捕获投影装置投射的任意周期编码图案,测量所捕获图案的相位。无误差是指测量的相位没有受到谐波的影响。
其中,步骤220可以包括下述步骤221和步骤222。
步骤221:采集对应于上述任意周期编码图案的反射测试图案。
步骤222:对反射测试图案进行傅里叶变换,并将变换结果输入线性系统中,验证得到的输出结果仅包含主频成分;其中,线性系统的传递函数为相位测量轮廓术的传递函数。
反射测试图案是指投影设备投射任意周期的编码图案时,图像采集装置同步采集到的反射图案,为进行区分,此处称为反射测试图案。
于一实施例中,延竖直方向变化的相移结构光的周期编码图案以傅里叶级数的形式表达为
其中,是投影坐标下(xp,yp)处的亮度,Ap是一个常数,是m阶谐波的系数,f为空间频率,H为投影图案的高度,n为相移系数,N=H/f为总的相移步数。正弦编码图案是公式(1)的一种特殊形式,也就是只有主频率成分存在,其他谐波均为0。相移系数n同时也是编码图案在时间域的索引。
图3为正弦编码图案的时域波形图如,图3所示,为N=H=600,f=1的一组正弦图案在时间域所示的波形。公式(1)所示的总相移为N=H/f的情况下,每幅编码图案的相移是逐像素变化的,此时时域变化的波形可以视为一个完整周期的离散信号。根据傅里叶级数的基本性质,该信号的傅里叶级数形式只存在H/f个谐波。
对应的,相机捕获的图案可以表达为
其中,(xc,yc)为相机空间坐标,为捕获图案的亮度,Ac为平均亮度,为m阶谐波的亮度调制分量,ω0=2π/N,φ为相位,也就是用于三维重建的重要参数,为了简化表达,可以将相机坐标(xc,yc)省去。
对反射测试图案进行傅里叶变换可以是对公式(2)进行离散傅里叶变换(DFT,discrete Fourier transform),由此可以得到
图4是对捕获图案的亮度的离散傅里叶变换示意图,如图4所示的例子中N=600,每个频率成分的间隔为ω0=π/300。
在频率传递函数的框架下,传统的相位测量轮廓术的传递函数可以表达为
对应地,进行DFT后,可以得到
根据DFT的基本性质可知,H(ω)的点数同样为H/f,分辨率为ω0。为了从存在谐波的信号中恢复相位信息,我们需要从众多频率分量中分离出一个分量来。通过分析公式(2),我们发现,H(ω)满足以下条件
H(ω0)≠0,H(-mω0)=H(0)=H(mω0)=0 for m>0 (3)
其中,m∈[-H/(2f),H/(2f)-1]。将变换结果输入线性系统可以是将I(ω)输入到传递函数为H(ω)的线性系统中,由此可以得到输出结果
图5是线性系统的输出结果示意图。如图5所示,输出仅有主频成分保留下来。由此公式(7)中的相位φ可以由以下公式计算得到
即和传统的相位测量轮廓术同样的解码方法。通过上述步骤验证得到:当相移步数满足N=H/f时,使用传统的相位测量轮廓术对任意周期编码图案进行解码时,都可以准确的得到相位。
本申请提供的三维重建方法还可以包括以下步骤230-步骤250,构建相位误差关系的过程。具体通过构建查找表,从而在实际应用中可以通过查找表进行相位校正。
步骤230:通过在平坦物体表面投射一组相移步数为N=H/f的编码图案,计算得到平坦物体表面所捕获图案的相位真值;H为编码图案的高度,f为编码图案的空间频率,N为编码图案的相移步数。
平坦物体可以是墙面、桌面等表面平整的物体。投影设备可以投射相移步数为N=H/f的编码图案,图像采集装置同步捕捉反射的编码图案,将所捕获图案的亮度代入公式(8)计算得到所捕获图案的相位真值。
步骤240:通过在平坦物体表面投射一组指定相移步数的编码图案,计算得到平坦物体表面所捕获图案的实际相位;指定相移步数小于N。
投影装置可以投射相移步数小于N=H/f的编码图案,图像采集装置同步捕捉反射的编码图案,将所捕获图案的亮度代入公式(8)计算得到所捕获图案的实际相位值。实际相位值由于受到谐波的影响,存在误差。
步骤250:根据投射编码图案时平坦物体表面所捕获图案的实际相位以及相位真值,构建投射编码图案时的相位误差关系。
由于受到谐波的影响,实际测量的存在误差的相位可以由以下公式来表示
其中φ为满足条件N=H/f求得的相位真值,B为谐波系数。相位误差关系是指测量得到的有误差的相位值与正确值之间的一一对应关系。
其中,步骤250可以包括以下步骤251-252。
步骤251:根据投射编码图案时平坦物体表面所捕获图案的相位真值,拟合出存在的谐波系数。
结合公式(8)和公式(9),相位误差的计算公式可以表示为
通过相位误差公式以及满足条件N=H/f求得的相位作为真值,可以构建相位误差关系进行相位校正。具体通过拟合出存在的谐波系数,从而可以利用这些谐波系数,在实际测量中消除谐波引起的相位误差。谐波系数拟合过程如下:
使用以下公式计算平均亮度Ac
将相机捕获的相移步数为的实际图案减去平均亮度,得到
其中
使用满足条件N=H/f的图案计算得到的相位作为真值,构建大小为的矩阵
其中,M为一个设定的值,M可以为小于等于J的一个值。φn=φ-nω1,n=0,1,2.....N-1。
将减去平均亮度后的实际图案构建为矩阵
根据最小二乘法,拟合得到谐波系数
将谐波系数构建为矩阵
步骤252:根据投射编码图案时平坦物体表面所捕获图案的实际相位以及谐波系数,计算得到实际相位对应的校正相位。
在得到谐波系数后,将谐波系数以及实际测量的相位(即实际相位)利用以下公式
求得校正的相位φc(即校正相位)。
步骤253:遍历每个实际相位对应的校正相位,以查找表的形式一一对应存储每个实际相位对应的校正相位,得到相位误差关系。
于一实施例中,可以事先建立一个查找表,将存在误差的相位以及校正的相位的对应关系存在查找表中,直接利用该查找表对存在误差的相位进行校正。由于相位的范围为[0,2π],因此可以将所有可能出现的实际相位以及其对应的校正相位的关系都存储到查找表(Look-up table,LUT)中,即
其中L为查找表的大小,即将相位映射到整数所取的量化的级别,φc-Δφ即公式(11)等号的右半边,l为[0,L-1]内的整数,2mπ/L相当于量化前的S{·}为大括号内等式为0时的解φc。利用公式(12),遍历l以得到大小为L的查找表。利用查找表对实际测量相位进行校正即可得到校正后的相位,可以用以下公式表示
如图6所示,在上述步骤250之后,本申请提供的三维重建方法可以包括以下步骤260-步骤290。
步骤260:在目标物体表面投射指定相移步数的编码图案,并采集每帧编码图案在目标物体表面的反射图案。
于一实施例中,目标物体是指待测物体。投影装置可以投射指定相移步数的编码图案,为缩短扫描时间及计算时间,指定相移步数当然,相移步数也可以是其他数值。图像采集装置可以是相机,在投射编码图案时同步拍摄每帧编码图案在目标物体表面的反射图案。
步骤270:根据每帧编码图案对应的反射图案,计算反射图案每个像素点的测量相位。
其中,测量相位采用上述公式(8)计算得到,具体可以针对每一像素点,根据每帧反射图案中该像素点的亮度值,并将亮度值代入公式(8),计算得到该像素点的测量相位。依次对每个像素点进行计算,可以得到一张测量相位图,其中包括每个像素点的测量相位。
步骤280:按照已构建的相位误差关系,获取测量相位对应的校正相位;校正相位对应于指定相移步数的编码图案。
于一实施例中,编码图案可以是正弦编码图案,二值编码图案、三角编码图案、梯形编码图案或线编码图案等,可以事先构建每种编码图案对应的查找表。根据步骤270计算得到的测量相位,从步骤260编码图案对应的查找表中,查找该测量相位对应的校正相位,依次对每个像素点的测量相位进行校正,可以从测量相位图转换得到一张校正相位图。
步骤290:根据反射图案每个像素点的校正相位,构建目标物体表面的三维形状信息。
对于投射到编码图案的目标物体表面,可以根据所捕获反射图案每个像素点的校正相位,计算每个像素点在目标物体表面对应点的三维信息,即三维坐标信息。根据目标物体表面不同点的三维信息,可以得到目标物体表面的三维形状信息。三维形状信息是指投射到编码图案的目标物体表面每个点的世界坐标。
于一实施例中,上述步骤290包括以下步骤。
步骤291:根据反射图案中每个像素点的校正相位,对校正相位进行解缠绕,得到每个像素点对应的绝对相位。
其中,绝对相位可以采用通过公式计算得到。Φc代表绝对相位,φc代表校正相位,f为频率,k为正整数。解缠绕是指校正相位被周期折叠后位于正负π之间,它与真实的相位之间存在着2kπ的区别,所以必须对校正相位进行解缠绕。
步骤292:根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将每个像素点对应的绝对相位转换到世界坐标系下,获得目标物体表面的三维形状信息。
步骤292可以包括:步骤2921:将每个像素点对应的绝对相位转换到投影坐标系下,得到每个像素点在投影坐标系下的纵坐标。步骤2922:根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将投影坐标系下的纵坐标转换到世界坐标系下,获得目标物体表面的三维形状信息。
其中,图像坐标系是指相机成像平面构成的二维坐标系。世界坐标系是系统的绝对坐标系,在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。投影坐标系是指投影机投射平面的二维坐标系。
在对校正相位解缠绕后,可以得到绝对相位所对应图像中点在投影坐标系下相应的坐标yp=Φc/(2πf),其中Φc为φc解缠绕后得到的绝对相位。需要解释的是,图像平面的某一个坐标点(xc,yc)的绝对相位为Φc,它其实最本质的就是,这个图像平面中坐标点对应的投影坐标系下坐标点yp。在当前实施例中投影机扫的编码图案,是纵轴方向变换的,编码的内容是yp,所以算出的绝对相位其实本质就是投影坐标系下的纵坐标。
在结构光系统中,相机假定为“针孔”模型,相机坐标(即图像坐标系下坐标)为(xc,yc),世界坐标为(Xw,Yw,Zw),投影机坐标(即投影坐标系下坐标)为(xp,yp)。相机坐标和世界坐标的转换方程为:
相机参数矩阵为:
投影机坐标和世界坐标的转换方程为:
投影机参数矩阵为:
对结构光系统进行标定得到相机参数矩阵Mwc和投影机参数矩阵Mwp,再联立公式(14)(15)(17),即可计算得到世界坐标:
Pw=[Xw Yw Zw]T=C-1D (19)
其中
由此,根据反射图案中每个像素点的校正相位,可以计算出该像素点测量得到的目标物体表面对应点的世界坐标,通过对目标物体表面每个点世界坐标的计算,可以得到目标物体表面的三维形状信息。
如图7所示,本申请提供的三维重建方法,采用了五种波形及其对应的编码图案,图7中(a)代表五种波形,图7中(b)代表五种波形对应的单位频率编码图案其中的一帧。其中,正弦图案为理想正弦图案经过了γ=3的非线性畸变。编码图案分辨率对应投影仪分辨率,为H×W=600×800,并且编码图案为竖直方向的相移变化,频率组合为f=1和f=20。单位频率的组别对应的N=60,用于生成稳定的参考相位,来对高频的相位进行解缠绕,可选地,我们可以使用互质双频相位解缠绕或内嵌编码的方法来减少或避免额外的用于相位解缠绕的图案。高频组别对应的N为集合{N|N=26,27,…,33,34}中的一个元素,当N=30时,条件N=H/f得以满足。
首先,直接对上述编码图案进行解码,并利用理想正弦求得的相位作为真值,计算不同波形以及不同相移步数情况下,恢复的相位的误差大小。结果如图8所示,纵坐标为相位误差的标准差取以10为底的对数,每种编码图案对应的最小值以黑色圆点表示。可以观察到,当N=30时,五种波形对应的相位误差的标准差均为最小,且达到10-16级别,基本可以视为0,而不完全为0主要是由量化误差引起。这样的结果,验证了对传统解码方法的傅里叶域拓展的正确性。
进一步地,为了验证本申请的快速高精度的三维重建方法,按照该方法的操作步骤,对白墙进行扫描,并建立及保存校正相位的查找表,用于校正白墙、圆柱体和面具组别的相移步数为N=3对应的相位,频率组合同样为f=1和f=20。所采用的系统包括作为控制装置的计算机,作为图像采集装置的一个AVT Prosilica GC650C相机,以及作为投影装置的一台Casio XJ-M140投影机构成,其中相机工作在灰度模式,相机和投影机的分辨率分别设为640×480,800×600。相位校正是针对包裹相位进行校正,在校正后,再利用相位解包裹的方法得到绝对相位,进而可以将其应用到三维重建过程中。表1所示为分别使用传统解码方法及本申请的快速通用三维重建方法,再进行相位解包裹后得到的绝对相位误差标准差以及本申请的误差较传统方法误差减小的倍数,可以观察到本申请的方法是十分有效的,相位误差相对于传统方法要减少很多。针对类似方波这种谐波系数较大,吉布斯相应较强的波形,虽然误差减小的倍数不如其他波形,但仍然有效果。
表1在N=3的情况下,分别使用传统解码方法及本申请的快速通用三维重建方法得到的相位误差标准差(单位:10-3弧度)及本申请的误差较传统方法误差减小的倍数。
通过对白墙、圆柱体和面具三种扫描对象进行了三维重建,并对比使用传统解码方法以及本发明的解码方法的重建结果,如图9所示(a)(b)是白墙;(c)(d)是圆柱体;(e)(f)是面具;(a)(c)(e)采用传统解码方法;(b)(d)(f)采用本申请的三维重建方法。可以发现,使用本发明的三维重建方法得到的重建结果比传统方法的结果质量高很多。
本申请上述提供的技术方案,事先构建了误差关系,通过查找表即可快速确定校正相位进行三维建模,进一步,可以利用很小的相移步数(即使是最小值3)的编码图案得到存在误差的相位,进而通过这个建立好的误差关系将其进行校正,可以得到不错的精度。
查找表的建立,可以减少计算量,使得相位校正这个过程比较快。相移步数小,意味着投影图案数量少,扫描时间短,所以速度快,相移步数大的话,投影图案也就多,就会造成扫描时间长,本申请采用较小的相移步数更利于进行快速高精度三维重建。
本申请还提供了一种电子设备,该电子设备可以包括:处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行上述控制装置执行的步骤。
本申请还提供了一种计算机可读存储介质,存储介质存储有计算机程序,计算机程序可由处理器执行以完成上述由控制装置执行的步骤。
在本申请所提供的几个实施例中,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于结构光周期编码图案的三维重建方法,其特征在于,包括:
在目标物体表面投射指定相移步数的编码图案,并采集每帧编码图案在所述目标物体表面的反射图案;
根据每帧所述编码图案对应的反射图案,计算所述反射图案每个像素点的测量相位;
按照已构建的相位误差关系,获取所述测量相位对应的校正相位;所述校正相位对应于所述指定相移步数的编码图案;
根据所述反射图案每个像素点的校正相位,构建所述目标物体表面的三维形状信息。
2.根据权利要求1所述的方法,其特征在于,在所述按照已构建的相位误差关系,获取所述测量相位对应的相位校正之前,所述方法还包括:
通过在平坦物体表面投射一组相移步数为N=H/f的所述编码图案,计算得到所述平坦物体表面所捕获图案的相位真值;H为所述编码图案的高度,f为所述编码图案的空间频率,N为所述编码图案的相移步数;
通过在平坦物体表面投射一组所述指定相移步数的所述编码图案,计算得到所述平坦物体表面所捕获图案的实际相位;所述指定相移步数小于N;
根据投射所述编码图案时所述平坦物体表面所捕获图案的实际相位以及相位真值,构建投射所述编码图案时的所述相位误差关系。
3.根据权利要求2所述的方法,其特征在于,所述根据投射所述编码图案时所述平坦物体表面所捕获图案的实际相位以及相位真值,构建投射所述编码图案时的所述相位误差关系,包括:
根据投射所述编码图案时所述平坦物体表面所捕获图案的相位真值,拟合出存在的谐波系数;
根据投射所述编码图案时所述平坦物体表面所捕获图案的实际相位以及所述谐波系数,计算得到所述实际相位对应的校正相位;
遍历每个实际相位对应的校正相位,以查找表的形式一一对应存储每个实际相位对应的校正相位,得到所述相位误差关系。
4.根据权利要求3所述的方法,其特征在于,按照已构建的相位误差关系,获取所述测量相位对应的校正相位,包括:
根据所述测量相位,从查找表中提取与所述测量相位对应存储的校正相位。
5.根据权利要求2所述的方法,其特征在于,通过在平坦物体表面投射一组相移步数为N=H/f的所述编码图案,计算得到所述平坦物体表面所捕获图案的相位真值之前,所述方法还包括:
投射相移步数满足N=H/f的任意周期编码图案;
通过相位测量轮廓术对所述任意周期编码图案进行解码,验证相移步数为N=H/f时相位解码无误差。
6.根据权利要求5所述的方法,其特征在于,通过相位测量轮廓术对所述任意周期编码图案进行解码,验证相移步数为N=H/f时相位解码无误差,包括:
采集对应于所述任意周期编码图案的反射测试图案;
对所述反射测试图案进行傅里叶变换,并将变换结果输入线性系统中,验证得到的输出结果仅包含主频成分;
其中,所述线性系统的传递函数为相位测量轮廓术的传递函数。
7.根据权利要求1所述的方法,其特征在于,所述根据每帧所述编码图案对应的反射图案,计算所述反射图案每个像素点的测量相位,包括:
针对每一像素点,根据每帧反射图案中所述像素点的亮度值,计算得到所述像素点的测量相位。
8.根据权利要求1所述的方法,其特征在于,所述根据所述反射图案每个像素点的校正相位,构建所述目标物体表面的三维形状信息,包括:
根据所述反射图案中每个像素点的校正相位,对所述校正相位进行解缠绕,得到每个像素点对应的绝对相位;
根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将所述每个像素点对应的绝对相位转换到世界坐标系下,获得所述目标物体表面的三维形状信息。
9.根据权利要求8所述的方法,其特征在于,根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将所述每个像素点对应的绝对相位转换到世界坐标系下,获得所述目标物体的三维形状信息,包括:
将每个像素点对应的绝对相位转换到投影坐标系下,得到每个像素点在投影坐标系下的纵坐标;
根据图像坐标系、世界坐标系以及投影坐标系之间的关系转换,将所述投影坐标系下的纵坐标转换到世界坐标系下,获得所述目标物体表面的三维形状信息。
10.一种基于结构光周期编码图案的三维重建系统,其特征在于,所述系统包括:投影装置,用于在目标物体表面投射指定相移步数的编码图案;
控制装置,连接于所述投影装置;以及
图像采集装置,连接于所述控制装置,用于采集每帧编码图案在所述目标物体表面的反射图案;
其中,所述控制装置用于执行:
根据每帧所述编码图案对应的反射图案,计算所述反射图案的测量相位;
按照已构建的相位误差关系,获取所述测量相位对应的校正相位,所述校正相位对应于所述指定相移步数的编码图案;以及
根据所述反射图案的测量相位,构建所述目标物体的三维形状信息。
CN201910710771.2A 2019-08-02 2019-08-02 基于结构光周期编码图案的三维重建方法及系统 Active CN110285775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910710771.2A CN110285775B (zh) 2019-08-02 2019-08-02 基于结构光周期编码图案的三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910710771.2A CN110285775B (zh) 2019-08-02 2019-08-02 基于结构光周期编码图案的三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN110285775A true CN110285775A (zh) 2019-09-27
CN110285775B CN110285775B (zh) 2020-07-31

Family

ID=68024752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910710771.2A Active CN110285775B (zh) 2019-08-02 2019-08-02 基于结构光周期编码图案的三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN110285775B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383234A (zh) * 2020-03-04 2020-07-07 中国空气动力研究与发展中心超高速空气动力研究所 一种基于机器学习的结构光在线密集三维重建方法
CN113340236A (zh) * 2021-06-28 2021-09-03 四川大学 一种高动态表面形貌测量方法
CN113405461A (zh) * 2021-04-23 2021-09-17 封泽希 用于深度检测的结构光编码、解码方法及编码、解码装置
CN113506348A (zh) * 2021-07-15 2021-10-15 吉林省凯迪科技有限公司 一种基于格雷码辅助的三维坐标计算方法
CN114708316A (zh) * 2022-04-07 2022-07-05 四川大学 基于圆形条纹的结构光三维重建方法、装置和电子设备
CN115379182A (zh) * 2022-08-19 2022-11-22 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19720160A1 (de) * 1996-05-06 1998-02-26 Fraunhofer Ges Forschung Verfahren zum Bestimmen von dreidimensionalen Oberflächen
WO2001020539A1 (en) * 1998-12-31 2001-03-22 The Research Foundation Of State University Of New York Method and apparatus for three dimensional surface contouring and ranging using a digital video projection system
CN102175179A (zh) * 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
CN104048621A (zh) * 2014-06-11 2014-09-17 西安交通大学 一种基于恒定相位编码的数字相移三维测量轮廓术相位误差检测方法
CN108645354A (zh) * 2018-07-06 2018-10-12 四川大学 高反光对象表面的结构光三维成像方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19720160A1 (de) * 1996-05-06 1998-02-26 Fraunhofer Ges Forschung Verfahren zum Bestimmen von dreidimensionalen Oberflächen
WO2001020539A1 (en) * 1998-12-31 2001-03-22 The Research Foundation Of State University Of New York Method and apparatus for three dimensional surface contouring and ranging using a digital video projection system
CN102175179A (zh) * 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
CN104048621A (zh) * 2014-06-11 2014-09-17 西安交通大学 一种基于恒定相位编码的数字相移三维测量轮廓术相位误差检测方法
CN108645354A (zh) * 2018-07-06 2018-10-12 四川大学 高反光对象表面的结构光三维成像方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383234A (zh) * 2020-03-04 2020-07-07 中国空气动力研究与发展中心超高速空气动力研究所 一种基于机器学习的结构光在线密集三维重建方法
CN111383234B (zh) * 2020-03-04 2022-05-17 中国空气动力研究与发展中心超高速空气动力研究所 一种基于机器学习的结构光在线密集三维重建方法
CN113405461A (zh) * 2021-04-23 2021-09-17 封泽希 用于深度检测的结构光编码、解码方法及编码、解码装置
CN113340236A (zh) * 2021-06-28 2021-09-03 四川大学 一种高动态表面形貌测量方法
CN113340236B (zh) * 2021-06-28 2023-02-24 四川大学 一种高动态表面形貌测量方法
CN113506348A (zh) * 2021-07-15 2021-10-15 吉林省凯迪科技有限公司 一种基于格雷码辅助的三维坐标计算方法
CN113506348B (zh) * 2021-07-15 2023-02-28 吉林省凯迪科技有限公司 一种基于格雷码辅助的三维坐标计算方法
CN114708316A (zh) * 2022-04-07 2022-07-05 四川大学 基于圆形条纹的结构光三维重建方法、装置和电子设备
CN115379182A (zh) * 2022-08-19 2022-11-22 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质
CN115379182B (zh) * 2022-08-19 2023-11-24 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110285775B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN110285775A (zh) 基于结构光周期编码图案的三维重建方法及系统
US10584963B2 (en) System and methods for shape measurement using dual frequency fringe pattern
CN104137150B (zh) 测距成像中的运动补偿
Lin et al. Three-dimensional shape measurement technique for shiny surfaces by adaptive pixel-wise projection intensity adjustment
US9879985B2 (en) Simultaneous multiple view surface geometry acquisition using structured light and mirrors
Falcao et al. Plane-based calibration of a projector-camera system
CN110514143A (zh) 一种基于反射镜的条纹投影系统标定方法
CN110006365B (zh) 基于二维查找表的相位展开方法、装置及电子设备
CN105844633B (zh) 基于De序列和相位编码的单帧结构光深度获取方法
CN108955571B (zh) 双频外差与相移编码相结合的三维测量方法
CN108225216A (zh) 结构光系统标定方法及装置、结构光系统及移动设备
CN108230399A (zh) 一种基于结构光技术的投影仪标定方法
JP6598673B2 (ja) データ処理装置およびその方法
CN110692084B (zh) 用于导出场景的拓扑信息的装置和机器可读存储介质
CN100561118C (zh) 三维数字化测量中的一种颜色渲染方法
Huang et al. A single-shot-per-pose camera-projector calibration system for imperfect planar targets
Koutsoudis et al. Using noise function-based patterns to enhance photogrammetric 3D reconstruction performance of featureless surfaces
CN114111633A (zh) 结构光三维测量的投影机镜头畸变误差校正方法
CN114792345B (zh) 一种基于单目结构光系统的标定方法
WO2010013289A1 (ja) カメラ校正画像作成装置およびカメラ校正画像作成プログラム
CN102798354A (zh) 基于二进制条纹叠加的正弦光栅生成方法
CN105698708A (zh) 一种三维视觉重建方法
CN111462331A (zh) 扩展对极几何并实时计算三维点云的若干方法
RU2573767C1 (ru) Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения
CN116645466A (zh) 一种三维重建方法及电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant