CN116912334B - 基于光栅条纹投影的相位映射高精度投影仪标定方法 - Google Patents
基于光栅条纹投影的相位映射高精度投影仪标定方法 Download PDFInfo
- Publication number
- CN116912334B CN116912334B CN202311167828.1A CN202311167828A CN116912334B CN 116912334 B CN116912334 B CN 116912334B CN 202311167828 A CN202311167828 A CN 202311167828A CN 116912334 B CN116912334 B CN 116912334B
- Authority
- CN
- China
- Prior art keywords
- phase
- projector
- point
- calibration
- local area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013507 mapping Methods 0.000 title claims abstract description 43
- 230000010363 phase shift Effects 0.000 claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 230000000295 complement effect Effects 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 28
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于光栅条纹投影的相位映射高精度投影仪标定方法,包括以下步骤:搭建基于光栅条纹投影的相位映射标定系统;通过相机对标定板进行采样,得到带标记点的相机图像;投影仪对标定板连续投射带编码信息的横、竖相移条纹以及互补格雷码图案,通过相机采集图像,并进行相位解算,得到标记点附近局部区域的相位信息;进行相位平面拟合得到最佳拟合相位平面,并完成相位去噪;计算去噪后的标记点附近的局部区域中各点的高斯径向基函数值,并计算该标记点附近的局部区域对应的相位插值,映射到投影仪中对其进行参数标定。本发明提高了光栅条纹投影系统中投影仪标定的精度,进而提高光栅条纹投影三维测量的精度。
Description
技术领域
本发明涉及三维测量领域,尤其涉及一种基于光栅条纹投影的相位映射高精度投影仪标定方法及系统。
背景技术
近年来,结构光三维重建技术在机械工程、生物医学、工业检测和逆向工程等领域得到了广泛的研究和应用。其采用相位编码的条纹投影轮廓术因具有点密度高、测量精度高、速度快、成本低等优点,许多公司对该方法进行了深入的研究。
结构光三维重建系统主要部件包括相机、DLP投影仪和计算机。由系统测量原理可知,需要预先标定获得的相机和投影仪的系统参数,即可恢复出物体的三维信息。投影仪标定作为系统标定的重要组成部分,其标定精度将直接影响系统测量的精度。目前,由于投影仪不能像相机一样直接捕捉图像,其标定难度和精度仍然存在很大的问题,主要是标定过程困难,标定精度差。因此,一种高精度投影仪标定方法是目前许多公司迫切需要的。
发明内容
本发明针对现有投影仪标定技术中,投影仪标定精度不够,且在相位映射方法中经相位映射后,投影仪亚像素坐标不准确等问题,提供一种能精确映射投影仪亚像素标记点坐标的方法,并且提供高精度投影仪标定流程,以提高投影仪标定精度,从而提高光栅条纹投影三维测量的精度。
本发明所采用的技术方案是:
提供一种基于光栅条纹投影的相位映射高精度投影仪标定方法,包括以下步骤:
S1、搭建基于光栅条纹投影的相位映射标定系统,包括相机、投影仪和带棋盘格的标定板,其上设有多个标记点;
S2、通过相机对处于不同姿态位置的标定板进行采样,提取多幅采样图像中的标记点,得到带标记点的相机图像;
S3、投影仪对标定板连续投射带编码信息的横、竖相移条纹,后续投射互补格雷码图案,通过相机采集带相移条纹和带互补格雷码图案的图像,并进行相位解算,得到标记点附近局部区域的相位信息;
S4、根据标记点附近局部区域的相位信息进行相位平面拟合得到最佳拟合相位平面,计算各个相位点到最佳拟合相位平面的距离,若大于预设距离阈值,则删除相应的相位点,完成相位去噪;
S5、通过高斯径向基函数算法G-RBF计算去噪后的标记点附近的局部区域中各点的高斯径向基函数值,其中/>,表示局部区域内各数据点/>到标记点/>的欧式距离,/>表示高斯基函数的控制范围,并根据高斯径向基函数值计算该标记点附近的局部区域对应的相位插值,且将该相位插值映射到投影仪中作为投影仪的标记点图像,通过多个投影仪的标记点图像对投影仪进行标定,得到投影仪的内外参数;其中相位插值/>的计算公式如下:
其中,是局部区域中各个点的相位数据,/>,其中/>为局部区域中的点到相应的最佳拟合相位平面的距离,n为局部区域内数据点的个数。
接上述技术方案,该方法还包括步骤:
S6、基于光束平差算法的原理,对投影仪内外参数进行联合优化,完成投影仪参数最终标定。
接上述技术方案,步骤S2中具体采用随机抽样一致性算法RANSAC来拟合最佳拟合相位平面。
接上述技术方案,步骤S3中,具体采用互补格雷码解相位技术获取图像相应的水平和竖直相位分布图,根据标记点位置提取其附近N×N像素的局部区域并获取像素点对应的相位信息,其中N大于等于50。
接上述技术方案,步骤S4具体为:
通过在所选标记点附近局部区域内随机采样至少三个相位点以拟合相位平面,具体基于最小二乘方法拟合,然后计算局部区域内所有数据点到拟合相位平面的距离,距离通过以下公式计算:
其中,为待定参数,/>是所选区域内各像素坐标点,/>为每个坐标对应的相位值;
通过预设距离阈值来区分内、外点,在拟合出最佳相位平面后,找出相位噪声点,距离阈值判断公式具体如下:
将外点判定为相位噪声点并去除,内点判定为准确的相位点并保留。
接上述技术方案,步骤S5中相位插值的映射过程具体为:
将所得的相位插值经过如下相位映射公式映射到投影仪中:
其中,表示相机端下的标记点/>对应的横向相位,/>表示投影仪端下的标记点/>的横向相位,/>表示投影仪端下的标记点/>的竖直相位,/>为编码条纹的视场宽度;
对获取的投影仪标记点图像,采用Zhang式标定法标定,获取投影仪内、外部参数。
接上述技术方案,标定板为17×17的棋盘格。
本发明还提供一种基于光栅条纹投影的相位映射高精度投影仪标定系统,包括:
标记点提取模块,用于通过相机对处于不同姿态位置的标定板进行采样,提取多幅采样图像中的标记点,得到带标记点的相机图像;其中标定板为带棋盘格的标定板,其上设有多个标记点;
相位信息解算模块,用于通过投影仪对标定板连续投射带编码信息的横、竖相移条纹,后续投射互补格雷码图案,通过相机采集带相移条纹和带互补格雷码图案的图像,并进行相位解算,得到标记点附近局部区域的相位信息;
拟合去噪模块,用于根据标记点附近局部区域的相位信息进行相位平面拟合得到最佳拟合相位平面,计算各个相位点到最佳拟合相位平面的距离,若大于预设距离阈值,则删除相应的相位点,完成相位去噪;
投影仪标定模块,用于通过高斯径向基函数算法G-RBF计算去噪后的标记点附近的局部区域中各点的高斯径向基函数值,其中,表示局部区域内各数据点/>到标记点/>的欧式距离,/>表示高斯基函数的控制范围,并根据高斯径向基函数值计算该标记点附近的局部区域对应的相位插值,且将该相位插值映射到投影仪中作为投影仪的标记点图像,通过多个投影仪的标记点图像对投影仪进行标定,得到投影仪的内外参数;其中相位插值/>的计算公式如下:
其中,是局部区域中各个点的相位数据,/>,其中/>为局部区域中的点到相应的最佳拟合相位平面的距离,n为局部区域内数据点的个数。
接上述技术方案,该系统还包括:
投影仪标定优化模块,用于基于光束平差算法的原理,对投影仪内外参数进行联合优化,完成投影仪参数最终标定。
本发明还提供一种计算机存储介质,其特征在于,其内存储有可被处理器执行的计算机程序,该计算机程序执行上述技术方案所述的基于光栅条纹投影的相位映射高精度投影仪标定方法。
本发明产生的有益效果是: 本发明通过将相机拍摄的标定板图像中的标记点计算相位插值并映射到投影仪中,其中在进行相位平面拟合时,计算标记点附近局部区域内各点的高斯径向基函数值及各点到拟合相位平面的高度距离,且将高斯径向基函数值通过与相应的高度距离成反比的权值进行修正,使得数据点离待插值点越近(即高度距离越小),则权值越大,从而更好地进行局部逼近。此外,将权值设为与高度距离成反比,还可以减少待插值点附近的阶跃跳变影响,使其更接近平面的数据,从而提高插值的准确性。在此基础上,可提高投影仪标定的精度,进而提高光栅条纹投影三维测量的精度。
进一步地,通过将各个姿态位置的投影仪图像经过光束平差算法来整体优化投影仪参数,从而进一步提高投影仪标定的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例基于光栅条纹投影的相位映射高精度投影仪标定方法流程图一;
图1b是本发明实施例基于光栅条纹投影的相位映射高精度投影仪标定方法流程图二;
图2 为本发明用于搭建基于光栅条纹投影的相位映射标定系统示意图;
图3 为本发明实施例中提取局部相位信息图;
图4 为本发明相位噪声去噪图;
图5为本发明相位映射方法示意图;
图6 为本发明光束平差算法优化示意图;
图7 为本发明投影仪标定结果图;
图8 为本发明投影仪重投影误差分布图;
图9为本发明实施例基于光栅条纹投影的相位映射高精度投影仪标定系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
如图1a所示,该实施例基于光栅条纹投影的相位映射高精度投影仪标定方法包括以下步骤:
S1、搭建基于光栅条纹投影的相位映射标定系统,包括相机、投影仪和带棋盘格的标定板,其上设有多个标记点;
S2、通过相机对处于不同姿态位置的标定板进行采样,提取多幅采样图像中的标记点,得到带标记点的相机图像;
S3、投影仪对标定板连续投射带编码信息的横、竖相移条纹,后续投射互补格雷码图案,通过相机采集带相移条纹和带互补格雷码图案的图像,并进行相位解算,得到标记点附近局部区域的相位信息;
S4、根据标记点附近局部区域的相位信息进行相位平面拟合得到最佳拟合相位平面,计算各个相位点到最佳拟合相位平面的距离,若大于预设距离阈值,则删除相应的相位点,完成相位去噪;
S5、通过高斯径向基函数算法G-RBF计算去噪后的标记点附近的局部区域中各点的高斯径向基函数值,其中/>,表示局部区域内各数据点/>到标记点/>的欧式距离,/>表示高斯基函数的控制范围,并根据高斯径向基函数值计算该标记点附近的局部区域对应的相位插值,且将该相位插值映射到投影仪中作为投影仪的标记点图像,通过多个投影仪的标记点图像对投影仪进行标定,得到投影仪的内外参数;其中相位插值/>的计算公式如下:
其中,是局部区域中各个点的相位数据,/>,其中/>为局部区域中的点到相应的最佳拟合相位平面的距离,n为局部区域内数据点的个数。
步骤S1中,如图2所示,搭建的基于光栅条纹投影的相位映射标定系统主要包括由投影仪、相机、棋盘格标定板构成,形成三角测量模型。利用计算机生成特定编码的横、竖光栅条纹图烧入投影仪,投影仪投射横、竖两个方向的光栅条纹,要确保光栅条纹投射于标定板之上;同时调整相机抓拍到标定区域;相机与投影仪之间使用同步触发模式。
步骤S2中,将棋盘格标定板置于各个姿态位置,同时对各个姿态的标定板进行相机采样,确保获取更多的视角和空间信息;可利用MATLAB相机标定工具箱,精确提取图像上亚像素标记点位置,得到带标记点的相机图像。
步骤S3中,投影仪对标定板连续投射带编码信息的横、竖相移条纹,相移条纹采用10步相移条纹,并投射互补格雷码图案,用于后续的连续相位的恢复,利用相机捕获这一系列图像;通过解相位对带横竖光栅条纹的标定板图像,分别进行解相位得到截断相位,然后利用格雷码解相位技术,将截断相位恢复成连续相位,这样便得到相应的水平和竖直相位分布图;根据标记点位置,对亚像素标记点附近提取N×N像素的局部区域,并获取局部区域对应的相位信息,其中N≥50。
步骤S4中,可对每个亚像素标记点提取N×N区域,获取附近像素相对应的局部相位值信息,对该局部区域内的相位信息,采用随机抽样一致性算法进行相位平面拟合,并计算每个相位点到相位拟合平面的高度,通过高度距离阈值的设定,区分出内、外点,待拟合出最佳相位平面后,进而判断出相位噪声点与准确的相位点,完成相位噪声去噪,具体如下:
通过在所选局部区域内随机采样至少三个相位点以拟合相位平面,拟合平面方式基于最小二乘方法拟合,计算区域内所有数据到拟合相位平面的距离,通过以下公式:
其中,待定参数,/>是所选区域内各像素坐标点,/>每个坐标对应的相位值。
需要合理的设置距离阈值,并通过以下公式,所以有:
其中,是该区域内每个像素点的相位值到该平面的距离,/>是距离阈值。
可将其设置的值为0.8,并记录内点率,增加相位点参与拟合相位平面,不断重复迭代上述过程,当内点率最多时候,就是最佳拟合平面,并将内、外点区分出来,这时的外点即为相位噪声点,需要去除,内点即为准确的相位信息点。
步骤S5中,对去除相位噪声后的相位平面数据通过G-RBF算法进行相位插值,首先根据各个标记点的去噪后的局部区域,应用G-RBF算法,具体如下:
其中,表示插值区域内各数据点到标记点/>的欧式距离,/>表示高斯基函数的控制范围。
重新计算数据点到拟合相位平面的高度距离,将高度距离与其值成反比,所得相位插值结果如下:
其中,是相位插值结果,/>是各个点的相位数据。
将所得的相位插值结果,经过如下相位映射公式:
其中,表示相机端下的标记点/>对应的横向相位,/>表示投影仪端下的标记点/>的横向相位,/>表示投影仪端下的标记点/>的竖直相位,/>为编码条纹的视场宽度,/>为相位比例。
该步骤中,将高斯径向基函数值通过与相应的高度距离成反比的权值进行修正,使得数据点离待插值点越近(即高度距离越小),则权值越大,从而更好地进行局部逼近。此外,将权值设为与高度距离成反比,还可以减少待插值点附近的阶跃跳变影响,使其更接近平面的数据,从而提高插值的准确性。在此基础上,可提高投影仪标定的精度,进而提高光栅条纹投影三维测量的精度。
进一步地,通过借助相机标记点,进行相位映射即可得到投影仪两个方向的坐标值和/>,从而获得对应的投影仪标记点位置/>。对获取的投影仪标记点图像,采用Zhang式标定法标定,获取投影仪内、外部参数。
实施例2
该实施例基于实施例1,区别在于还包括投影仪标定参数优化的步骤。
为了提高投影仪的标定精度,如图1b所示,该方法还包括步骤:
S6、基于光束平差算法的原理,对投影仪内外参数进行联合优化,完成投影仪参数最终标定。
具体地,步骤S6中,将各个姿态位置的投影仪标记点图像联合,基于光束平差算法的原理,构建以重投影误差最小的代价函数,将其用于投影仪标定中的参数优化
则构建以重投影误差为最小的目标函数如下:
其中,表示各个姿态投影的图像平面中的标记点坐标;/>表示标定板的三维坐标;/>表示投影矩阵;/>是投影仪需要优化的内外参;/>表示投影仪在第/>个姿态中从世界坐标到投影仪像素坐标的内外参矩阵;/>表示标定板标记点的三维坐标。
目标函数的最小化是一个非线性最小二乘问题,通过Levenberg–Marquardt(LM)方法解决。
实施例3
该实施例基于实施例1和2,区别在于,该实施例基于具体数据并进行了步骤细化,是较佳实施例。该实施例基于光栅条纹投影的相位映射高精度投影仪标定方法主要包括以下步骤:
S1、搭建如图2的基于光栅条纹投影的相位映射标定系统,其设备主要由分辨率1140×912像素的DLP投影仪(LightCrafter 4500)、分辨率为2048×2448的相机(Dahengcamera)以及17×17规格大小的棋盘格标定板组成。在图2中,是标定板上其中一个标记点,从这一点出发,沿着光路与相机图像坐标系交于点/>,“逆向”沿着光路与投影仪图像坐标系交于/>。
S2、将棋盘格标定板置于各个姿态位置,然后对各个姿态位置的标定板进行相机采样,确保获取更多的视角和空间信息。棋盘格标定板变换了9次不同位置与方向,相机标定了9组数据,利用MATLAB相机标定工具箱,精确提取相机图像亚像素标记点的位置,得到带标记点的相机图像;
S3、投影仪对棋盘格标定板连续投射带编码信息的横、竖相移条纹,采用N步相移条纹,并后续投射互补格雷码图案。条纹编码方式具体如下:
这里的,/>分别代表背景光强和调制强度,/>是相位,/>是相移步数。
其中的获取,是通过最小二乘法来计算的,具体如下:
上述计算的相位为相对相位即截断相位,需要通过格雷码图案,来将截断相位恢复成连续相位。
实例采用10步相移条纹,在棋盘格标定板姿态变换的时候,相机采集由投影仪所投射带条纹图案的图片,每个姿态需要拍摄到20张条纹图案(横竖条纹图案分别10张)以及14张格雷码图案(横竖互补格雷码分别7张),总共34张图为一组,共9组数据,用相机获取这一系列图像;通过格雷码解相位技术对带横竖光栅条纹的标定板图像,分别解出水平方向和竖直方向的绝对相位和/>;如图3所示,根据标记点位置,对每个亚像素标记点提取附近51×51的局部像素区域,并获取的相对应的相位信息,
S4、对该局部区域内的准确的相位信息,采用随机抽样一致性算法进行相位平面拟合,并计算每个相位点到相位拟合平面的高度,通过高度距离阈值的设定,区分出内、外点,待拟合出最佳相位平面后,进而判断出相位噪声点与准确的相位点,完成相位噪声去噪,具体如下:
通过在所选局部区域内随机采样至少三个相位点以拟合相位平面,拟合平面方式基于最小二乘方法拟合,计算区域内所有数据到拟合相位平面的距离,通过以下公式:
其中,待定参数,/>是所选区域内各像素坐标点,/>每个坐标对应的相位值。
需要合理的设置距离阈值,并通过以下公式,所以有:
其中,是该区域内每个像素点的相位值到该平面的距离,/>是距离阈值。
将其设置的值为0.8,并记录内点率,增加相位点参与拟合相位平面,不断重复迭代上述过程,当内点率最多时候,就是最佳拟合平面,并将内、外点区分出来,这时的外点即为相位噪声点,需要去除,内点即为准确的相位信息点。如图4所示,通过该方式区分出的相位噪声点,并将其用/>点标记出,剔除其噪声点后,剩余信息保留(如图4中的/>点部分),作为后续的高精度相位映射使用。
S5、对去除相位噪声后的相位平面数据通过G-RBF算法进行相位插值,首先根据各个标记点的去噪后的局部区域,应用G-RBF算法,具体如下:
其中,表示插值区域内各数据点到标记点/>的欧式距离,/>表示高斯基函数的控制范围。
重新计算数据点到拟合相位平面的高度距离,将高度距离与其值(/>)成反比/>,所得相位插值结果如下:
其中,是相位插值结果,/>是各个点的相位数据。
将所得的相位插值结果,经过如下相位映射公式:
其中,表示相机端下的标记点对应的相位,/>表示投影仪端下的标记点对应的相位,/>为编码条纹的视场宽度,/>为相位比例。
通过借助相机标记点,进行相位映射即可得到投影仪两个方向的坐标值和/>,从而获得对应的投影仪标记点位置/>,如图5所示。对获取的投影仪标记点图像,采用Zhang式标定法标定,获取投影仪内、外部参数。
S6、重投影误差作为标定精度的重要指标,其误差越小,其理想情况下的系统内外参数最优。在实际情况中,我们通过3组及以上数据,来恢复投影仪位置姿态,由于点与点存在一些错误匹配,导致的误差累计,这导致我们预测出的内、外参数存在误差。基于光束平差算法的原理来用于优化投影仪参数。因此我们需要在已知观测值的情况下,将投影仪的全部位置姿态考虑进来,基于光束平差算法的原理,对投影仪参数进行联合优化。
如图6所示,对场景中任意三维点P,由从每个视图所对应的的摄像机的光心发射出来并经过图像中P对应的像素后的光线,都将交于P这一点,对于所有三维点,则形成相当多的光束,实际过程中由于噪声等存在,每条光线几乎不可能汇聚与一点,因此在求解过程中,需要不断对待求信息进行调整,来使得最终光线能交于点P。
上述过程如下公式:
其中表示各个姿态投影的图像平面中的特征点坐标;/>表示标定板的三维坐标,/>表示投影矩阵。
则构建以重投影误差为最小的目标函数如下:
其中,表示各个姿态投影的图像平面中的标记点坐标;/>表示标定板的三维坐标;/>表示投影矩阵;/>是投影仪需要优化的内外参;/>表示投影仪在第/>个姿态中从世界坐标到投影仪像素坐标的内外参矩阵;/>表示标定板标记点的三维坐标。
为了提高优化估计过程的收敛速度,确保优化结果的全局优化,最好使用良好的初始参数来帮助光束平差优化模型。目标函数的最小化是一个非线性最小二乘问题,通过Levenberg–Marquardt(LM)方法解决。
所经光束平差算法优化后的,投影仪标定结果如图7所示,其投影仪重投影均方根误差仅为0.021/像素,重投影误差分布图如图8所示,可见其分布均匀,且收敛。
综上所述,本发明提出的基于光栅条纹投影的相位映射高精度投影仪标定方法,提供了一种高精度投影仪标定方法,此方法简单、有效,且精度高。在整个基于光栅条纹投影的相位映射高精度投影仪标定过程中,增加了相位噪声去除环节和标定参数优化环节,提高了投影仪标定精度,进而提高光栅投影三维测量的精度。
实施例4
该实施例主要用于实现上述方法实施例,如图9所示,该实施例基于光栅条纹投影的相位映射高精度投影仪标定系统包括:
标记点提取模块,用于通过相机对处于不同姿态位置的标定板进行采样,提取多幅采样图像中的标记点,得到带标记点的相机图像;其中标定板为带棋盘格的标定板,其上设有多个标记点;
相位信息解算模块,用于通过投影仪对标定板连续投射带编码信息的横、竖相移条纹,后续投射互补格雷码图案,通过相机采集带相移条纹和带互补格雷码图案的图像,并进行相位解算,得到标记点附近局部区域的相位信息;
拟合去噪模块,用于根据标记点附近局部区域的相位信息进行相位平面拟合得到最佳拟合相位平面,计算各个相位点到最佳拟合相位平面的距离,若大于预设距离阈值,则删除相应的相位点,完成相位去噪;
投影仪标定模块,用于通过高斯径向基函数算法G-RBF计算去噪后的标记点附近的局部区域中各点的高斯径向基函数值,其中,表示局部区域内各数据点/>到标记点/>的欧式距离,/>表示高斯基函数的控制范围,并根据高斯径向基函数值计算该标记点附近的局部区域对应的相位插值,且将该相位插值映射到投影仪中作为投影仪的标记点图像,通过多个投影仪的标记点图像对投影仪进行标定,得到投影仪的内外参数;其中相位插值/>的计算公式如下:
其中,是局部区域中各个点的相位数据,/>,其中/>为局部区域中的点到相应的最佳拟合相位平面的距离,n为局部区域内数据点的个数。
进一步地,该系统还包括:
投影仪标定优化模块,用于基于光束平差算法的原理,对投影仪内外参数进行联合优化,完成投影仪参数最终标定。
该系统主要是用于实现上述方法实施例的各个步骤,在此不赘述。
实施例5
本申请还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例的基于光栅条纹投影的相位映射高精度投影仪标定方法。
需要指出,根据实施的需要,可将本申请中描述的各个步骤/部件拆分为更多步骤/部件,也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件,以实现本发明的目的。
上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于光栅条纹投影的相位映射高精度投影仪标定方法,其特征在于,包括以下步骤:
S1、搭建基于光栅条纹投影的相位映射标定系统,包括相机、投影仪和带棋盘格的标定板,其上设有多个标记点;
S2、通过相机对处于不同姿态位置的标定板进行采样,提取多幅采样图像中的标记点,得到带标记点的相机图像;
S3、投影仪对标定板连续投射带编码信息的横、竖相移条纹,后续投射互补格雷码图案,通过相机采集带相移条纹和带互补格雷码图案的图像,并进行相位解算,得到标记点附近局部区域的相位信息;
S4、根据标记点附近局部区域的相位信息进行相位平面拟合得到最佳拟合相位平面,计算各个相位点到最佳拟合相位平面的距离,若大于预设距离阈值,则删除相应的相位点,完成相位去噪;
S5、通过高斯径向基函数算法G-RBF计算去噪后的标记点附近的局部区域中各点的高斯径向基函数值,其中/>,表示局部区域内各数据点/>到标记点/>的欧式距离,/>表示高斯基函数的控制范围,并根据高斯径向基函数值计算该标记点附近的局部区域对应的相位插值,且将该相位插值映射到投影仪中作为投影仪的标记点图像,通过多个投影仪的标记点图像对投影仪进行标定,得到投影仪的内外参数;其中相位插值/>的计算公式如下:
其中,是局部区域中各个点的相位数据,/> ,其中/>为局部区域中的点到相应的最佳拟合相位平面的距离,n为局部区域内数据点的个数。
2.根据权利要求1所述的基于光栅条纹投影的相位映射高精度投影仪标定方法,其特征在于,该方法还包括步骤:
S6、基于光束平差算法的原理,对投影仪内外参数进行联合优化,完成投影仪参数最终标定。
3.根据权利要求1所述的基于光栅条纹投影的相位映射高精度投影仪标定方法,其特征在于,步骤S2中具体采用随机抽样一致性算法RANSAC来拟合最佳拟合相位平面。
4.根据权利要求1所述的基于光栅条纹投影的相位映射高精度投影仪标定方法,其特征在于,步骤S3中,具体采用互补格雷码解相位技术获取图像相应的水平和竖直相位分布图,根据标记点位置提取其附近N×N像素的局部区域并获取像素点对应的相位信息,其中N大于等于50。
5.根据权利要求1所述的基于光栅条纹投影的相位映射高精度投影仪标定方法,其特征在于,步骤S4具体为:
通过在所选标记点附近局部区域内随机采样至少三个相位点以拟合相位平面,具体基于最小二乘方法拟合,然后计算局部区域内所有数据点到拟合相位平面的距离,距离通过以下公式计算:
其中,为待定参数,/>是所选区域内各像素坐标点,/>为每个坐标对应的相位值;
通过预设距离阈值来区分内、外点,在拟合出最佳相位平面后,找出相位噪声点,距离阈值判断公式具体如下:
将外点判定为相位噪声点并去除,内点判定为准确的相位点并保留。
6.根据权利要求1所述的基于光栅条纹投影的相位映射高精度投影仪标定方法,其特征在于,步骤S5中相位插值的映射过程具体为:
将所得的相位插值经过如下相位映射公式映射到投影仪中:
其中,表示相机端下的标记点/>对应的横向相位,/>表示相机端下的标记点/>对应的竖直相位,/>表示投影仪端下的标记点/>的横向相位,/>表示投影仪端下的标记点/>的竖直相位,/>为编码条纹的视场宽度;
对获取的投影仪标记点图像,采用Zhang式标定法标定,获取投影仪内、外部参数。
7.根据权利要求1-6中任一项所述的基于光栅条纹投影的相位映射高精度投影仪标定方法,其特征在于,标定板为17×17的棋盘格。
8.一种基于光栅条纹投影的相位映射高精度投影仪标定系统,其特征在于,包括:
标记点提取模块,用于通过相机对处于不同姿态位置的标定板进行采样,提取多幅采样图像中的标记点,得到带标记点的相机图像;其中标定板为带棋盘格的标定板,其上设有多个标记点;
相位信息解算模块,用于通过投影仪对标定板连续投射带编码信息的横、竖相移条纹,后续投射互补格雷码图案,通过相机采集带相移条纹和带互补格雷码图案的图像,并进行相位解算,得到标记点附近局部区域的相位信息;
拟合去噪模块,用于根据标记点附近局部区域的相位信息进行相位平面拟合得到最佳拟合相位平面,计算各个相位点到最佳拟合相位平面的距离,若大于预设距离阈值,则删除相应的相位点,完成相位去噪;
投影仪标定模块,用于通过高斯径向基函数算法G-RBF计算去噪后的标记点附近的局部区域中各点的高斯径向基函数值,其中,表示局部区域内各数据点/>到标记点/>的欧式距离,/>表示高斯基函数的控制范围,并根据高斯径向基函数值计算该标记点附近的局部区域对应的相位插值,且将该相位插值映射到投影仪中作为投影仪的标记点图像,通过多个投影仪的标记点图像对投影仪进行标定,得到投影仪的内外参数;其中相位插值/>的计算公式如下:
其中,是局部区域中各个点的相位数据,/> ,其中/>为局部区域中的点到相应的最佳拟合相位平面的距离,n为局部区域内数据点的个数。
9.根据权利要求8所述的基于光栅条纹投影的相位映射高精度投影仪标定系统,其特征在于,该系统还包括:
投影仪标定优化模块,用于基于光束平差算法的原理,对投影仪内外参数进行联合优化,完成投影仪参数最终标定。
10.一种计算机存储介质,其特征在于,其内存储有可被处理器执行的计算机程序,该计算机程序执行权利要求1-6中任一项所述的基于光栅条纹投影的相位映射高精度投影仪标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167828.1A CN116912334B (zh) | 2023-09-12 | 2023-09-12 | 基于光栅条纹投影的相位映射高精度投影仪标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167828.1A CN116912334B (zh) | 2023-09-12 | 2023-09-12 | 基于光栅条纹投影的相位映射高精度投影仪标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116912334A CN116912334A (zh) | 2023-10-20 |
CN116912334B true CN116912334B (zh) | 2023-11-28 |
Family
ID=88360598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311167828.1A Active CN116912334B (zh) | 2023-09-12 | 2023-09-12 | 基于光栅条纹投影的相位映射高精度投影仪标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116912334B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8237835B1 (en) * | 2011-05-19 | 2012-08-07 | Aeon Imaging, LLC | Confocal imaging device using spatially modulated illumination with electronic rolling shutter detection |
CN112308963A (zh) * | 2020-11-13 | 2021-02-02 | 四川川大智胜软件股份有限公司 | 一种无感三维人脸重建方法及采集重建系统 |
CN114199160A (zh) * | 2021-12-16 | 2022-03-18 | 武汉工程大学 | 基于二值编码光栅散焦投影的电路板元器件几何检测方法 |
CN115546285A (zh) * | 2022-11-25 | 2022-12-30 | 南京理工大学 | 基于点扩散函数解算的大景深条纹投影三维测量方法 |
CN116433707A (zh) * | 2023-06-14 | 2023-07-14 | 武汉工程大学 | 复杂背景下线结构光中心亚像素精确提取方法及系统 |
CN116608794A (zh) * | 2023-07-17 | 2023-08-18 | 山东科技大学 | 一种抗纹理3d结构光成像方法、系统、装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2016266019A1 (en) * | 2016-11-30 | 2018-06-14 | Canon Kabushiki Kaisha | Image registration method |
-
2023
- 2023-09-12 CN CN202311167828.1A patent/CN116912334B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8237835B1 (en) * | 2011-05-19 | 2012-08-07 | Aeon Imaging, LLC | Confocal imaging device using spatially modulated illumination with electronic rolling shutter detection |
CN112308963A (zh) * | 2020-11-13 | 2021-02-02 | 四川川大智胜软件股份有限公司 | 一种无感三维人脸重建方法及采集重建系统 |
CN114199160A (zh) * | 2021-12-16 | 2022-03-18 | 武汉工程大学 | 基于二值编码光栅散焦投影的电路板元器件几何检测方法 |
CN115546285A (zh) * | 2022-11-25 | 2022-12-30 | 南京理工大学 | 基于点扩散函数解算的大景深条纹投影三维测量方法 |
CN116433707A (zh) * | 2023-06-14 | 2023-07-14 | 武汉工程大学 | 复杂背景下线结构光中心亚像素精确提取方法及系统 |
CN116608794A (zh) * | 2023-07-17 | 2023-08-18 | 山东科技大学 | 一种抗纹理3d结构光成像方法、系统、装置及存储介质 |
Non-Patent Citations (3)
Title |
---|
光栅投影三维测量系统标定技术研究;朱勇建;黄振;马俊飞;秦国锋;秦运柏;;应用光学(第05期);全文 * |
基于相位测量偏折术的高光表面三维重建技术研究;韩浩;中国博士学位论文全文数据库(第08期);第37-39页 * |
朱勇建 ; 黄振 ; 马俊飞 ; 秦国锋 ; 秦运柏 ; .光栅投影三维测量系统标定技术研究.应用光学.2020,(第05期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN116912334A (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110243360B (zh) | 机器人在运动区域的地图构建及定位方法 | |
JP6426968B2 (ja) | 情報処理装置およびその方法 | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101533182B1 (ko) | 3d 거리 | |
US20210232845A1 (en) | Information processing apparatus, information processing method, and storage medium | |
CN111210477B (zh) | 一种运动目标的定位方法及系统 | |
CN112465912B (zh) | 一种立体相机标定方法及装置 | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
CN102750697A (zh) | 一种参数标定方法及装置 | |
CN104766309A (zh) | 一种平面特征点导航定位方法与装置 | |
CN113096183B (zh) | 一种基于激光雷达与单目相机的障碍物检测与测量方法 | |
CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
JPWO2005010817A1 (ja) | 画像処理装置 | |
CN112669379B (zh) | 一种基于辅助标记点的图像特征快速提取方法 | |
Furukawa et al. | One-shot entire shape acquisition method using multiple projectors and cameras | |
CN116342718B (zh) | 一种线激光3d相机的标定方法、装置、存储介质及设备 | |
CN115187676A (zh) | 一种高精度线激光三维重建标定方法 | |
CN116188558A (zh) | 基于双目视觉的立体摄影测量方法 | |
KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
CN116912334B (zh) | 基于光栅条纹投影的相位映射高精度投影仪标定方法 | |
CN107765257A (zh) | 一种基于反射强度辅助外部校准的激光探测与测量方法 | |
JP6486083B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |