CN111811433A - 基于红蓝正交条纹的结构光系统标定方法及装置和应用 - Google Patents

基于红蓝正交条纹的结构光系统标定方法及装置和应用 Download PDF

Info

Publication number
CN111811433A
CN111811433A CN202010677533.9A CN202010677533A CN111811433A CN 111811433 A CN111811433 A CN 111811433A CN 202010677533 A CN202010677533 A CN 202010677533A CN 111811433 A CN111811433 A CN 111811433A
Authority
CN
China
Prior art keywords
camera
projector
display screen
lcd display
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010677533.9A
Other languages
English (en)
Other versions
CN111811433B (zh
Inventor
张宗华
于瑾
高楠
孟召宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202010677533.9A priority Critical patent/CN111811433B/zh
Publication of CN111811433A publication Critical patent/CN111811433A/zh
Application granted granted Critical
Publication of CN111811433B publication Critical patent/CN111811433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré

Abstract

本发明公开了一种基于红蓝正交条纹的结构光系统标定方法及装置和应用。该方法包括:(1)搭建标定装置;(2)编码产生条纹图像;(3)调制条纹图像到不同颜色通道;(4)调整红蓝正交条纹图像亮度;(5)计算红蓝正交条纹图像的相位;(6)结构光系统标定。装置包括计算机、彩色CCD相机、投影仪和贴有全息投影膜的LCD显示屏;相机与投影仪位于同一水平面;LCD显示屏设置于相机的景深范围,保证LCD显示屏的每一个位置处相机、投影仪和LCD显示屏在空间上呈三角测量关系;计算机分别与LCD显示屏、相机和投影仪连接。标定完成后的结构光系统能够用于三维形貌测量。本方法标定速度快、精度高、设计巧妙、硬件成本低。

Description

基于红蓝正交条纹的结构光系统标定方法及装置和应用
技术领域
本发明涉及三维形貌测量领域,具体为一种基于红蓝正交条纹的结构光系统标定方法及装置和应用。
背景技术
三维形貌测量在许多不同的领域都具有重要的意义,包括医疗系统、文化遗产记录、人工智能、工业在线检测、汽车船舶、航空航天等。现有的三维形貌测量方法由立体视觉、激光扫描、干涉测量和结构光方法组成。在这些方法中,基于结构光的条纹投影轮廓术因其具有全场采集、非接触、低成本、高速和高精度等优点,是目前最有前景的技术之一。相机和投影仪组成的结构光系统广泛地用于三维场景重建和导航、目标识别和跟踪以及三维测量等任务,而这些工作的前提是需要对结构光系统进行标定,系统标定的精度直接影响着三维测量的精度。传统的系统标定方法通常采用特定的标定板(如棋盘格、点阵等)来标定相机和投影仪的内外部参数,很难简化标定过程,且标定板提供的特征点数量和精度有限,所以标定精度不够高。作为三维形貌测量技术的前提,获得极简、快速、高精度的系统标定方法仍存在许多亟待解决的问题。例如:
文献《Accurate calibration method for a structured light system[J].Optical Engineering,2008,47(5):525-534》中,为了提高投影仪的标定精度,分析了投影仪非线性γ的影响以及建立查找表以降低相位误差,最终获得亚像素精度的数字微镜器件(Digital Micromirror Device,DMD)图像,提高了投影仪的标定和三维测量精度,但是该方法需要在一个标定位置投射多幅图像,导致系统标定过程烦琐且耗时。
申请号201810118945.1的文献中,通过事先标定好的相机内参和畸变,以及提取的高精度棋盘格角点为前提,对投影仪的标定过程、相机与投影仪的空间位置关系进行优化,避免了现有的标定方法中内外参独自标定,以及避免了由于标定板多个位姿造成的外参不一致现象。但是标定过程需要投影仪将全亮、全暗、棋盘格图像依次投影在打印的棋盘格上,这里打印的棋盘格并不能保证表面的平整度,无法达到较高的精度,从而也会影响整体的标定精度。
文献《Structured light system calibration method with optimal fringeangle[J].Applied Optics,2014,53(33):7942》中,提出了一种以符合最佳条纹方向的正弦条纹投影到圆环标定板来完成系统标定的方法,减少系统几何设置的约束程度,提高了相位灵敏度。但是,提取的圆环特征点个数有限,标定精度不够高。且圆环标定板圆环倾斜的方向与投影的最佳条纹方向一致,因此该标定板不具有一般性,制造成本较高。
通过上述文献可以看出,现有的系统标定方法一直没有达到理想的标定效果。要么标定过程复杂、耗时但精度高,要么标定速度快但标定精度还有待提升,完全兼顾速度与精度的系统标定方法还需要进一步研究与探索。目前可查证的文献中,都是利用标定板来进行系统标定,标定板使用表面具有棋盘格、圆环或圆点等特征的平面板,它们的共同点是只能提供数量有限(数十到数百个)的特征点,且每个特征点的精度(像素级)较低。系统的内外参数只能靠这些精度不高且数量有限的特征点来计算,导致标定精度不够高;而且标定过程中标定板只能为一种图案,操作不够灵活;利用移动的方法高度依赖于水平移动台的精度,且标定时过程烦琐耗时;先标定相机后标定投影仪的方法,投影仪的标定精度高度依赖于相机的标定精度,从而系统的标定结果也会受到影响。因此,已有的方法并不能同时满足系统标定的高速与高精度,提供一种硬件结构极简、测量速度快且精度高的系统标定方法是亟待解决的问题。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提供一种基于红蓝正交条纹的结构光系统标定方法及装置和应用。
本发明解决所述方法技术问题的技术方案是,提供一种基于红蓝正交条纹的结构光系统标定方法,其特征在于该方法包括以下步骤:
(1)搭建标定装置:固定彩色CCD相机和投影仪,使得相机与投影仪位于同一水平面;贴有全息投影膜的LCD显示屏设置于相机的景深范围,保证LCD显示屏的每一个位置处相机、投影仪和LCD显示屏在空间上呈三角测量关系,并且保证LCD显示屏的每一位置处相机均能够清晰完整地拍摄到LCD显示屏显示的图像和投影仪投影在LCD显示屏上反射的图像;
(2)编码产生条纹图像:计算机生成符合最佳条纹频率的一组正弦直条纹,生成满足最佳条纹频率的水平条纹与垂直条纹;
(3)调制条纹图像到不同颜色通道:将水平条纹调制在蓝色通道得到一幅蓝色水平条纹图像,垂直条纹调制在红色通道得到一幅红色垂直条纹图像,然后将这两幅图像同时显示生成一幅红蓝正交条纹图像;
(4)调整红蓝正交条纹图像亮度:拍摄前,调整投影仪和LCD显示屏的亮度以及投影仪的投影面积,保证相机拍摄到的LCD显示屏显示的红蓝正交条纹图像和投影仪投影在LCD显示屏上反射的红蓝正交条纹图像的亮度一致,并且拍摄到的条纹个数一致;
(5)计算红蓝正交条纹图像的相位:
5.1)将LCD显示屏作为相位标靶放置于相机的景深范围内的某一个位置且相机能够拍摄到完整的相位标靶后,开始拍摄;投影仪关机且LCD显示屏开机状态下,将红蓝正交条纹图像显示在开机的LCD显示屏中,相机拍摄LCD显示屏显示的红蓝正交条纹图像,存储于计算机;投影仪开机且LCD显示屏关机状态下,将红蓝正交条纹图像传输至投影仪中,相机拍摄投影仪投影在关机的LCD显示屏上反射的红蓝正交条纹图像,存储于计算机;计算机中存储有两幅红蓝正交条纹图像;
利用一幅红蓝正交条纹图像得到折叠相位图,然后得到一幅水平和一幅垂直的展开相位图;同理,得到另一幅红蓝正交条纹图像的一幅水平和一幅垂直的展开相位图,均存储在计算机中;
5.2)将LCD显示屏放置于相机的景深范围内的下一个位置且相机能够拍摄到完整的相位标靶,通过步骤5.1)的方法得到该位置的展开相位图,直至得到N个相位标靶位置的展开相位图,均存储在计算机中;N≥2;
(6)结构光系统标定:利用对应点间相位值相等的关系,分别建立LCD显示屏图像平面与相机和投影仪图像平面上点的对应关系,得到相机的内部参数和每个位置的外部参数、投影仪的内部参数和每个位置的外部参数以及结构光系统的外部参数,完成结构光系统的标定。
步骤6)中,结构光系统的具体标定过程如下:
6.1)相机和投影仪的标定:
相机标定:对LCD显示屏上所有具有有效相位值的相位点进行一一对应,建立相位标靶世界坐标系与相机像素坐标系之间的映射关系如式1)所示,再计算相机的内部参数和每个位置的外部参数;
s{uc,vc,1}T=AcMc{xw,yw,zw,1}T (1)
式1)中,s表示任意尺度因子,(uc,vc)为相机像素坐标,(xw,yw,zw)T为空间内某一点的世界坐标,Ac和Mc分别是相机的内部参数和外部参数;其中Mc=[Rc Tc],Rc和Tc分别表示相位标靶世界坐标系和相机像素坐标系之间的3×3旋转矩阵和3×1平移向量;
投影仪标定:对LCD显示屏上所有具有有效相位值的相位点进行一一对应,建立相位标靶世界坐标系与投影仪像素坐标系之间的映射关系如式2)所示,再计算投影仪的内部参数和每个位置的外部参数;
s{up,vp,1}T=ApMp{xw,yw,zw,1}T (2)
式2)中,(up,vp)为投影仪像素坐标,Ap和Mp分别为投影仪的内部参数和外部参数,其中Mp=[Rp Tp],Rp和Tp分别表示相位标靶世界坐标系和投影仪像素坐标系之间的3×3旋转矩阵和3×1平移向量;
6.2)结构光系统的外部参数标定:选择步骤5)中N个相位标靶位置中的一个位置的外部参数,计算相机和投影仪之间的相对位置,相机坐标系和投影仪坐标系分别与相位标靶世界坐标系的关系可以表示为:
Figure BDA0002584584810000041
式3)中,Xc为相机坐标系,Xp为投影仪坐标系,Xw为相位标靶世界坐标系;
根据式3),结构光系统的外部参数[R T]可以由式4)计算得到:
Xc=RXp+T (4)
式4)中,
Figure BDA0002584584810000042
进而得到相机的内部参数和每个位置的外部参数、投影仪的内部参数和每个位置的外部参数以及结构光系统的外部参数,完成结构光系统的标定。
本发明解决所述装置技术问题的技术方案是,提供一种执行所述基于红蓝正交条纹的结构光系统标定方法的装置,其特征在于所述装置包括计算机、彩色CCD相机、投影仪和贴有全息投影膜的LCD显示屏;相机与投影仪位于同一水平面;LCD显示屏设置于相机的景深范围,保证LCD显示屏的每一个位置处相机、投影仪和LCD显示屏在空间上呈三角测量关系,保证LCD显示屏的每一位置处相机均能够清晰完整地拍摄到LCD显示屏显示的图像和投影仪投影在LCD显示屏上反射的图像;计算机分别与LCD显示屏、相机和投影仪连接。
本发明解决所述应用技术问题的技术方案是,提供一种标定完成后的结构光系统在三维形貌测量上的应用,其特征在于在标定完成后的结构光系统中,移除LCD显示屏,将被测物体放置于相机的景深范围内且垂直于相机的光轴,相机能够拍摄到被测物体清晰完整的像;投影仪投影红蓝正交条纹图像到被测物体表面,经待测物体反射后发生变形,相机拍摄经由待测物体反射后的变形条纹图并输入计算机中,计算机计算变形条纹图的展开相位图;根据已经求得的相机的内部参数和每个位置的外部参数以及投影仪的内部参数和每个位置的外部参数,得到三个线性方程如式5)所示:
Figure BDA0002584584810000043
求解式5)即可得到被测物体的三维坐标,恢复其三维形貌。
与现有技术相比,本发明有益效果在于:
(1)系统标定速度快:一方面,经过编码、调制产生的红蓝正交条纹图像,同时具有水平和垂直两个方向的条纹,避免了投影仪标定过程中分两次投射水平和垂直条纹的耗时操作。另一方面,在相位计算的过程中,结合傅里叶变换法和空间相位展法,标定过程中在每个标靶位置仅需采集一幅红蓝正交条纹图像,即可同时得到水平和垂直两个方向的展开相位图,所需的条纹图像个数与传统方法相比减少了24倍,大大提高了系统标定的速度。
(2)系统标定精度高:LCD显示屏上显示的或投影的红蓝正交条纹图像的交叉点可以作为特征点,用于计算相机和投影仪的内外部参数,特征点个数增多,且LCD显示屏表面连续、光滑、平整,保证了特征点的精度,因此,所提取的大量高精度特征点在一定程度上可以提高系统标定的精度,达到了与传统方法中因分析投影仪的非线性或建立查找表等复杂方法提高标定精度的相同效果。
(3)设计巧妙:本装置仅需计算机、相机、投影仪和LCD显示屏,易搭建,具有通用性、普遍性,可以广泛地推广。由于LCD显示屏表面贴有全息投影膜,不仅可以清晰地显示产生的图像,而且可以清晰地显示投影仪投影的图像,利用了LCD显示屏开关机的两种不同状态来同时标定相机和投影仪,保证了相机与投影仪的标定过程同步进行,避免了传统系统标定方法中标定过程耗时的现象,与传统的标定板相比,充分地显示了相位标靶的灵活性。
(4)硬件成本低:一方面,用LCD显示屏作为相位标靶,不用分别制作棋盘格和圆环等不同图案的标定板来标定相机和投影仪,避免了昂贵标定板的制作,大大降低了标定成本。另一方面,本发明也不需要高精度角位移台或水平移动台,简化了系统硬件调试的复杂性,搭建系统的总成本降低。
(5)只要相机和投影仪的相对位置不变,标定过程只需进行一次,可广泛适用于工厂、车间等的流水、在线检测和智能制造领域,例如现代无人化工厂和智能化车间,完成对工件的实时快速测量,淘汰了人工工作方式,既能保证人身安全又能做到高产高效。另外对于陶瓷、金属等高反光物体表面的测量,本方法也同样适用。
附图说明
图1为本发明一种实施例的标定装置的结构示意图;
图中:1、计算机;2、彩色CCD相机;3、投影仪;4、贴有全息投影膜的LCD显示屏。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明,不限制本申请权利要求的保护范围。
本发明提供了一种基于红蓝正交条纹的结构光系统标定方法(简称方法),其特征在于该方法包括以下步骤:
(1)搭建标定装置:固定彩色CCD相机2和投影仪3,使得相机2与投影仪3位于同一水平面;贴有全息投影膜的LCD显示屏4设置于相机2的景深范围,能够在相机2的景深范围内移动,保证LCD显示屏4的每一个位置处相机2、投影仪3和LCD显示屏4在空间上呈三角测量关系,即保证相机2、投影仪3和LCD显示屏4三者之间的连线呈锐角三角形,并且保证LCD显示屏4的每一位置处相机2均能够清晰完整地拍摄到LCD显示屏4显示的图像和投影仪3投影在LCD显示屏4上反射的图像;
(2)编码产生条纹图像:计算机1利用Matlab编码生成符合最佳条纹频率的一组正弦直条纹,编码生成满足最佳条纹频率的水平条纹与垂直条纹,保证以最佳条纹频率的图像进行测量时,系统的相位灵敏度最高,进而测量精度最高;所述最佳条纹频率是指投影或显示的条纹个数满足该测量视场的精度要求;
(3)调制条纹图像到不同颜色通道:将水平条纹调制在蓝色通道得到一幅蓝色水平条纹图像,垂直条纹调制在红色通道得到一幅红色垂直条纹图像,然后将这两幅图像同时显示生成一幅红蓝正交条纹图像;此红蓝正交条纹图像用于后续LCD显示屏4的显示和投影仪3的投影;
(4)调整红蓝正交条纹图像亮度:拍摄前,调整投影仪3和LCD显示屏4的亮度以及投影仪3的投影面积,保证相机2拍摄到的LCD显示屏4显示的红蓝正交条纹图像和投影仪3投影在LCD显示屏4上反射的红蓝正交条纹图像这两幅图像的亮度一致,并且拍摄到的条纹个数一致;
(5)计算红蓝正交条纹图像的相位:
5.1)将任意姿态的LCD显示屏4作为相位标靶放置于相机2的景深范围内的某一个位置且相机2能够拍摄到完整的相位标靶后,开始拍摄;投影仪3关机且LCD显示屏4开机状态下,将红蓝正交条纹图像显示在开机的LCD显示屏4中,相机2拍摄LCD显示屏4显示的红蓝正交条纹图像,存储于计算机1中用于相机2的标定;投影仪3开机且LCD显示屏4关机状态下,将红蓝正交条纹图像传输至投影仪3中,相机2拍摄投影仪3投影在关机的LCD显示屏4上反射的红蓝正交条纹图像,存储于计算机1中用于投影仪3的标定;计算机1中存储有两幅红蓝正交条纹图像;
对于蓝色通道的水平条纹和红色通道的垂直条纹,其相位计算方法一致;由于LCD显示屏4的表面连续且平滑,所以将一幅红蓝正交条纹图像利用傅里叶变换法得到折叠相位图,然后利用空间相位展开法得到一幅水平和一幅垂直的展开相位图;采用相同的相位计算方法,得到另一幅红蓝正交条纹图像的一幅水平和一幅垂直的展开相位图,均存储在计算机1中;
5.2)将任意姿态的LCD显示屏4放置于相机2的景深范围内的下一个位置且相机2能够拍摄到完整的相位标靶,通过步骤5.1)的方法得到该位置的展开相位图,直至得到N个相位标靶位置的展开相位图,均存储在计算机1中;N≥2;
(6)结构光系统标定:利用对应点间相位值相等的关系,分别建立LCD显示屏4图像平面与相机2和投影仪3图像平面上点的对应关系,得到相机2的内部参数和每个位置的外部参数、投影仪3的内部参数和每个位置的外部参数以及结构光系统的外部参数,完成结构光系统的标定;具体标定过程如下:
6.1)相机2和投影仪3的标定:
相机2标定:对LCD显示屏4上所有具有有效相位值的相位点进行一一对应,建立相位标靶世界坐标系与相机像素坐标系之间的映射关系如式1)所示,再使用Matlab的相机标定工具箱计算相机2的内部参数和每个位置的外部参数;
s{uc,vc,1}T=AcMc{xw,yw,zw,1}T (1)
式1)中,s表示任意尺度因子,(uc,vc)为相机像素坐标,(xw,yw,zw)T为空间内某一点的世界坐标,Ac和Mc分别是相机2的内部参数和外部参数;其中Mc=[Rc Tc],Rc和Tc分别表示相位标靶世界坐标系和相机像素坐标系之间的3×3旋转矩阵和3×1平移向量;
投影仪3标定:对LCD显示屏4上所有具有有效相位值的相位点进行一一对应,建立相位标靶世界坐标系与投影仪像素坐标系之间的映射关系如式2)所示,再使用Matlab的相机标定工具箱计算投影仪3的内部参数和每个位置的外部参数;
s{up,vp,1}T=ApMp{xw,yw,zw,1}T (2)
式2)中,(up,vp)为投影仪像素坐标,Ap和Mp分别为投影仪3的内部参数和外部参数,其中Mp=[Rp Tp],Rp和Tp分别表示相位标靶世界坐标系和投影仪像素坐标系之间的3×3旋转矩阵和3×1平移向量;
所述具有有效相位值的相位点是红蓝正交条纹图像的交叉点,即特征点。
6.2)结构光系统的外部参数标定:选择上述步骤5)中N个相位标靶位置中的一个位置(优选第一个位置)的外部参数,计算相机2和投影仪3之间的相对位置,相机坐标系和投影仪坐标系分别与相位标靶世界坐标系的关系可以表示为:
Figure BDA0002584584810000071
式3)中,Xc为相机坐标系,Xp为投影仪坐标系,Xw为相位标靶的世界坐标系;
根据式3),结构光系统的外部参数[R T]可以由式4)计算得到:
Xc=RXp+T (4)
式4)中,
Figure BDA0002584584810000072
进而得到相机2的内部参数和每个位置的外部参数、投影仪3的内部参数和每个位置的外部参数以及结构光系统的外部参数,完成结构光系统的标定。
只要相机2和投影仪3的相对位置不变,标定过程只需进行一次,且此标定过程可以同时标定相机2和投影仪3。
本发明同时提供了一种执行所述基于红蓝正交条纹的结构光系统标定方法的装置(简称装置),其特征在于所述装置包括计算机1、彩色CCD相机2(以下简称相机2)、投影仪3和能够灵活显示各种图案且贴有全息投影膜的LCD显示屏4(以下简称LCD显示屏4);相机2与投影仪3位于同一水平面;LCD显示屏4设置于相机2的景深范围,能够在相机2的景深范围内移动,保证LCD显示屏4的每一个位置处相机2、投影仪3和LCD显示屏4在空间上呈三角测量关系;
计算机1分别与LCD显示屏4、相机2和投影仪3连接,计算机1用于控制LCD显示屏4、相机2和投影仪3,以及显示、存储所采集的图像,最后通过运算、处理获得相应的三维结果;LCD显示屏4用来显示计算机1所产生的图像,并具备单独的电源键来控制屏幕的开关机状态;投影仪3用于投影计算机1所产生的图像,并具备可以调节自身的亮度的按键;相机2用于采集图像并输入到计算机1中,包括LCD显示屏4显示的图像和投影仪3投影在LCD显示屏4上反射的图像。
贴全息投影膜的目的是减少投影光束在LCD显示屏4表面产生的投射光,使光束发生漫反射现象,在保持清晰显像的同时,保证相机2能够清晰地拍摄到投影在LCD显示屏4表面上的图像。
本发明同时提供了一种根据基于红蓝正交条纹的结构光系统标定方法标定完成后的结构光系统在三维形貌测量上的应用,其特征在于在标定完成后的结构光系统中,移除LCD显示屏4,将被测物体放置于相机2的景深范围内且垂直于相机2的光轴,相机2能够拍摄到被测物体清晰完整的像;投影仪3投影红蓝正交条纹图像到被测物体表面,经待测物体反射后发生变形,相机2拍摄经由待测物体反射后的变形条纹图并输入计算机1中,计算机1计算变形条纹图的展开相位图;根据已经求得的相机2的内部参数和每个位置的外部参数以及投影仪3的内部参数和每个位置的外部参数,得到三个线性方程如式5)所示:
Figure BDA0002584584810000081
求解式5)的方程即可得到被测物体的三维坐标,恢复其三维形貌。所述被测物体为漫反射物体或高反光物体。
计算机1编码产生条纹的方法为已有方法,从文献《Zhang Z,Towers C,TowersD.Time efficient color fringe projection system for simultaneous 3D shape andcolor using optimum3-frequency selection[J].Optics Express,2006,14(14):6444-6455》得知。由Matlab软件编程产生条纹。仿真得知水平和垂直条纹的条纹间距最优为25个像素。
所述傅里叶变换法为本领域现有的方法:可以参考文献:《Esteve-Taboada J J,Mas D,García J.Three-dimensional object recognition by fourier transformprofilometry[J].Applied Optics,1999,38(2):4760-4765》。
实施例
本实施例中,计算机1、彩色CCD相机2、投影仪3、LCD显示屏4和全息投影膜均为市购产品。相机2采用德国SVS-VISTEK公司的ECO424CVGE型号相机,物理分辨率为656×492,另外选择一个由Computar公司生产的调焦范围为12-36mm的变焦镜头,相机2通过千兆网接口与计算机1相连。投影仪3采用BenQ公司的CP270型号商用投影仪3,物理分辨率为1024×768,通过VGA接口与计算机1相连。LCD显示屏4采用LG公司的LP097QX2型号的显示屏,物理分辨率为2048×1536,大小为9.7寸,像素间距为0.096mm×0.096mm,通过HDMI接口与计算机1相连。
所述红蓝正交条纹图像由Matlab软件编码产生。根据测量场的大小以及系统灵敏度和精度要求,本实施例选择的最佳条纹频率为0.04HZ,即LCD显示屏4显示的蓝色水平条纹个数为60,红色垂直条纹个数为80,投影仪3投影的蓝色水平条纹个数为30,红色垂直条纹个数为40。
结构光系统在测量三维形貌时,相机2与投影仪3两者之间的距离为160mm,被测物体正对相机2,摆放于相机前320mm处。
本发明未述及之处适用于现有技术。

Claims (8)

1.一种基于红蓝正交条纹的结构光系统标定方法,其特征在于该方法包括以下步骤:
(1)搭建标定装置:固定彩色CCD相机和投影仪,使得相机与投影仪位于同一水平面;贴有全息投影膜的LCD显示屏设置于相机的景深范围,保证LCD显示屏的每一个位置处相机、投影仪和LCD显示屏在空间上呈三角测量关系,并且保证LCD显示屏的每一位置处相机均能够清晰完整地拍摄到LCD显示屏显示的图像和投影仪投影在LCD显示屏上反射的图像;
(2)编码产生条纹图像:计算机生成符合最佳条纹频率的一组正弦直条纹,生成满足最佳条纹频率的水平条纹与垂直条纹;
(3)调制条纹图像到不同颜色通道:将水平条纹调制在蓝色通道得到一幅蓝色水平条纹图像,垂直条纹调制在红色通道得到一幅红色垂直条纹图像,然后将这两幅图像同时显示生成一幅红蓝正交条纹图像;
(4)调整红蓝正交条纹图像亮度:拍摄前,调整投影仪和LCD显示屏的亮度以及投影仪的投影面积,保证相机拍摄到的LCD显示屏显示的红蓝正交条纹图像和投影仪投影在LCD显示屏上反射的红蓝正交条纹图像的亮度一致,并且拍摄到的条纹个数一致;
(5)计算红蓝正交条纹图像的相位:
5.1)将LCD显示屏作为相位标靶放置于相机的景深范围内的某一个位置且相机能够拍摄到完整的相位标靶后,开始拍摄;投影仪关机且LCD显示屏开机状态下,将红蓝正交条纹图像显示在开机的LCD显示屏中,相机拍摄LCD显示屏显示的红蓝正交条纹图像,存储于计算机;投影仪开机且LCD显示屏关机状态下,将红蓝正交条纹图像传输至投影仪中,相机拍摄投影仪投影在关机的LCD显示屏上反射的红蓝正交条纹图像,存储于计算机;计算机中存储有两幅红蓝正交条纹图像;
利用一幅红蓝正交条纹图像得到折叠相位图,然后得到一幅水平和一幅垂直的展开相位图;同理,得到另一幅红蓝正交条纹图像的一幅水平和一幅垂直的展开相位图,均存储在计算机中;
5.2)将LCD显示屏放置于相机的景深范围内的下一个位置且相机能够拍摄到完整的相位标靶,通过步骤5.1)的方法得到该位置的展开相位图,直至得到N个相位标靶位置的展开相位图,均存储在计算机中;N≥2;
(6)结构光系统标定:利用对应点间相位值相等的关系,分别建立LCD显示屏图像平面与相机和投影仪图像平面上点的对应关系,得到相机的内部参数和每个位置的外部参数、投影仪的内部参数和每个位置的外部参数以及结构光系统的外部参数,完成结构光系统的标定。
2.根据权利要求1所述的基于红蓝正交条纹的结构光系统标定方法,其特征在于步骤6)中,结构光系统的具体标定过程如下:
6.1)相机和投影仪的标定:
相机标定:对LCD显示屏上所有具有有效相位值的相位点进行一一对应,建立相位标靶世界坐标系与相机像素坐标系之间的映射关系如式1)所示,再计算相机的内部参数和每个位置的外部参数;
s{uc,vc,1}T=AcMc{xw,yw,zw,1}T (1)
式1)中,s表示任意尺度因子,(uc,vc)为相机像素坐标,(xw,yw,zw)T为空间内某一点的世界坐标,Ac和Mc分别是相机的内部参数和外部参数;其中Mc=[Rc Tc],Rc和Tc分别表示相位标靶世界坐标系和相机像素坐标系之间的3×3旋转矩阵和3×1平移向量;
投影仪标定:对LCD显示屏上所有具有有效相位值的相位点进行一一对应,建立相位标靶世界坐标系与投影仪像素坐标系之间的映射关系如式2)所示,再计算投影仪的内部参数和每个位置的外部参数;
s{up,vp,1}T=ApMp{xw,yw,zw,1}T (2)
式2)中,(up,vp)为投影仪像素坐标,Ap和Mp分别为投影仪的内部参数和外部参数,其中Mp=[Rp Tp],Rp和Tp分别表示相位标靶世界坐标系和投影仪像素坐标系之间的3×3旋转矩阵和3×1平移向量;
6.2)结构光系统的外部参数标定:选择步骤5)中N个相位标靶位置中的一个位置的外部参数,计算相机和投影仪之间的相对位置,相机坐标系和投影仪坐标系分别与相位标靶世界坐标系的关系可以表示为:
Figure FDA0002584584800000021
式3)中,Xc为相机坐标系,Xp为投影仪坐标系,Xw为相位标靶世界坐标系;
根据式3),结构光系统的外部参数[R T]可以由式4)计算得到:
Xc=RXp+T (4)
式4)中,
Figure FDA0002584584800000022
进而得到相机的内部参数和每个位置的外部参数、投影仪的内部参数和每个位置的外部参数以及结构光系统的外部参数,完成结构光系统的标定。
3.根据权利要求1所述的基于红蓝正交条纹的结构光系统标定方法,其特征在于步骤2)中,计算机利用Matlab编码生成符合最佳条纹频率的一组正弦直条纹。
4.根据权利要求1所述的基于红蓝正交条纹的结构光系统标定方法,其特征在于相机的内部参数和每个位置的外部参数以及投影仪的内部参数和每个位置的外部参数均使用Matlab的相机标定工具箱计算得到。
5.根据权利要求1所述的基于红蓝正交条纹的结构光系统标定方法,其特征在于步骤5.1)中,红蓝正交条纹图像利用傅里叶变换法得到折叠相位图,利用空间相位展开法得到展开相位图。
6.一种执行权利要求1-5任一所述基于红蓝正交条纹的结构光系统标定方法的装置,其特征在于所述装置包括计算机、彩色CCD相机、投影仪和贴有全息投影膜的LCD显示屏;相机与投影仪位于同一水平面;LCD显示屏设置于相机的景深范围,保证LCD显示屏的每一个位置处相机、投影仪和LCD显示屏在空间上呈三角测量关系,保证LCD显示屏的每一位置处相机均能够清晰完整地拍摄到LCD显示屏显示的图像和投影仪投影在LCD显示屏上反射的图像;计算机分别与LCD显示屏、相机和投影仪连接。
7.一种根据权利要求1-5任一所述基于红蓝正交条纹的结构光系统标定方法标定完成后的结构光系统在三维形貌测量上的应用,其特征在于在标定完成后的结构光系统中,移除LCD显示屏,将被测物体放置于相机的景深范围内且垂直于相机的光轴,相机能够拍摄到被测物体清晰完整的像;投影仪投影红蓝正交条纹图像到被测物体表面,经待测物体反射后发生变形,相机拍摄经由待测物体反射后的变形条纹图并输入计算机中,计算机计算变形条纹图的展开相位图;根据已经求得的相机的内部参数和每个位置的外部参数以及投影仪的内部参数和每个位置的外部参数,得到三个线性方程如式5)所示:
Figure FDA0002584584800000031
求解式5)即可得到被测物体的三维坐标,恢复其三维形貌。
8.根据权利要求7所述的标定完成后的结构光系统在三维形貌测量上的应用,其特征在于所述被测物体为漫反射物体或高反光物体。
CN202010677533.9A 2020-07-15 2020-07-15 基于红蓝正交条纹的结构光系统标定方法及装置和应用 Active CN111811433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010677533.9A CN111811433B (zh) 2020-07-15 2020-07-15 基于红蓝正交条纹的结构光系统标定方法及装置和应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010677533.9A CN111811433B (zh) 2020-07-15 2020-07-15 基于红蓝正交条纹的结构光系统标定方法及装置和应用

Publications (2)

Publication Number Publication Date
CN111811433A true CN111811433A (zh) 2020-10-23
CN111811433B CN111811433B (zh) 2022-03-08

Family

ID=72865141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010677533.9A Active CN111811433B (zh) 2020-07-15 2020-07-15 基于红蓝正交条纹的结构光系统标定方法及装置和应用

Country Status (1)

Country Link
CN (1) CN111811433B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132890A (zh) * 2020-11-26 2020-12-25 三代光学科技(天津)有限公司 一种扩大标定空间的数字光栅投影测量系统标定方法
CN112556821A (zh) * 2020-12-03 2021-03-26 天津大学 一种基于单彩色相机和单投影仪的振动测量装置
CN113091646A (zh) * 2021-03-29 2021-07-09 上海交通大学 基于条纹标定的三维形貌测量方法
CN117252913A (zh) * 2023-11-14 2023-12-19 南京信息工程大学 基于等间距的二值条纹编码投影方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612786A (en) * 1994-05-26 1997-03-18 Lockheed Missiles & Space Company, Inc. Contour measurement system
CN101813461A (zh) * 2010-04-07 2010-08-25 河北工业大学 基于复合彩色条纹投影的绝对相位测量方法
CN101949693A (zh) * 2010-08-03 2011-01-19 河北工业大学 一种三维成像系统的标定方法
US20130321582A1 (en) * 2012-05-01 2013-12-05 Yaxiong Huang System and method for measuring three-dimensional surface features
CN104655050A (zh) * 2013-11-18 2015-05-27 精工爱普生株式会社 校准方法以及形状测定装置
CN105387819A (zh) * 2015-12-27 2016-03-09 河北工业大学 基于条纹反射法的反光物体三维形貌测量方法及装置
CN105551033A (zh) * 2015-12-09 2016-05-04 广州视源电子科技股份有限公司 元件标记方法、系统和装置
DE102015217173A1 (de) * 2015-09-09 2017-03-09 Robert Bosch Gmbh Kalibriersystem und Inspektionsanlage
US20170257540A1 (en) * 2016-03-07 2017-09-07 Omron Corporation Image measurement system and controller
CN107576280A (zh) * 2017-09-05 2018-01-12 河北工业大学 基于并行四颜色通道的条纹投影三维形貌测量方法及装置
TW201808000A (zh) * 2016-08-23 2018-03-01 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
CN108225216A (zh) * 2016-12-14 2018-06-29 中国科学院深圳先进技术研究院 结构光系统标定方法及装置、结构光系统及移动设备
CN108489421A (zh) * 2018-03-12 2018-09-04 四川大学 一种条纹投影检测平面元件面形方法及装置
CN108734745A (zh) * 2018-05-18 2018-11-02 湖南拓视觉信息技术有限公司 标定方法、装置及投影设备
CN109798841A (zh) * 2019-03-05 2019-05-24 盎锐(上海)信息科技有限公司 相机与投影仪的标定系统及方法
CN109855559A (zh) * 2018-12-27 2019-06-07 成都市众智三维科技有限公司 一种全空间标定系统及方法
CN111028297A (zh) * 2019-12-11 2020-04-17 凌云光技术集团有限责任公司 面结构光三维测量系统的标定方法
CN112097689A (zh) * 2020-09-11 2020-12-18 苏州中科全象智能科技有限公司 一种3d结构光系统的标定方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612786A (en) * 1994-05-26 1997-03-18 Lockheed Missiles & Space Company, Inc. Contour measurement system
CN101813461A (zh) * 2010-04-07 2010-08-25 河北工业大学 基于复合彩色条纹投影的绝对相位测量方法
CN101949693A (zh) * 2010-08-03 2011-01-19 河北工业大学 一种三维成像系统的标定方法
US20130321582A1 (en) * 2012-05-01 2013-12-05 Yaxiong Huang System and method for measuring three-dimensional surface features
CN104655050A (zh) * 2013-11-18 2015-05-27 精工爱普生株式会社 校准方法以及形状测定装置
DE102015217173A1 (de) * 2015-09-09 2017-03-09 Robert Bosch Gmbh Kalibriersystem und Inspektionsanlage
CN105551033A (zh) * 2015-12-09 2016-05-04 广州视源电子科技股份有限公司 元件标记方法、系统和装置
CN105387819A (zh) * 2015-12-27 2016-03-09 河北工业大学 基于条纹反射法的反光物体三维形貌测量方法及装置
US20170257540A1 (en) * 2016-03-07 2017-09-07 Omron Corporation Image measurement system and controller
TW201808000A (zh) * 2016-08-23 2018-03-01 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
CN108225216A (zh) * 2016-12-14 2018-06-29 中国科学院深圳先进技术研究院 结构光系统标定方法及装置、结构光系统及移动设备
CN107576280A (zh) * 2017-09-05 2018-01-12 河北工业大学 基于并行四颜色通道的条纹投影三维形貌测量方法及装置
CN108489421A (zh) * 2018-03-12 2018-09-04 四川大学 一种条纹投影检测平面元件面形方法及装置
CN108734745A (zh) * 2018-05-18 2018-11-02 湖南拓视觉信息技术有限公司 标定方法、装置及投影设备
CN109855559A (zh) * 2018-12-27 2019-06-07 成都市众智三维科技有限公司 一种全空间标定系统及方法
CN109798841A (zh) * 2019-03-05 2019-05-24 盎锐(上海)信息科技有限公司 相机与投影仪的标定系统及方法
CN111028297A (zh) * 2019-12-11 2020-04-17 凌云光技术集团有限责任公司 面结构光三维测量系统的标定方法
CN112097689A (zh) * 2020-09-11 2020-12-18 苏州中科全象智能科技有限公司 一种3d结构光系统的标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO CHEN等: "High accuracy 3D calibration method of phase calculation-based fringe projection system by using LCD screen considering refraction error", 《OPTICS AND LASERS IN ENGINEERING》 *
于瑾等: "基于相位标靶的相机标定", 《激光与光电子学进展》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132890A (zh) * 2020-11-26 2020-12-25 三代光学科技(天津)有限公司 一种扩大标定空间的数字光栅投影测量系统标定方法
CN112132890B (zh) * 2020-11-26 2021-09-21 三代光学科技(天津)有限公司 一种扩大标定空间的数字光栅投影测量系统标定方法
CN112556821A (zh) * 2020-12-03 2021-03-26 天津大学 一种基于单彩色相机和单投影仪的振动测量装置
CN113091646A (zh) * 2021-03-29 2021-07-09 上海交通大学 基于条纹标定的三维形貌测量方法
CN117252913A (zh) * 2023-11-14 2023-12-19 南京信息工程大学 基于等间距的二值条纹编码投影方法及系统
CN117252913B (zh) * 2023-11-14 2024-02-06 南京信息工程大学 基于等间距的二值条纹编码投影方法及系统

Also Published As

Publication number Publication date
CN111811433B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN111811433B (zh) 基于红蓝正交条纹的结构光系统标定方法及装置和应用
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
WO2018103694A1 (zh) 一种机器人三维扫描装置及方法
CN203084734U (zh) 用于再生虚拟物体的系统
Zhou et al. Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
CN103530880B (zh) 基于投影高斯网格图案的摄像机标定方法
CN102721376B (zh) 一种大视场三维视觉传感器的标定方法
CN105783775A (zh) 一种镜面及类镜面物体表面形貌测量装置与方法
CN109215108A (zh) 基于激光扫描的全景三维重建系统及方法
CN102506711B (zh) 线激光视觉三维旋转扫描方法
WO2000000926A1 (en) Method and apparatus for capturing stereoscopic images using image sensors
CN109186491A (zh) 基于单应性矩阵的平行多线激光测量系统及测量方法
CN109916304B (zh) 镜面/类镜面物体三维测量系统标定方法
CN103759669A (zh) 一种大型零件的单目视觉测量方法
Gai et al. A flexible multi-view calibration and 3D measurement method based on digital fringe projection
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
CN103148806A (zh) 基于投影与多目视觉的船舶钢板动态三维测量系统
CN106500626A (zh) 一种手机立体成像方法及三维成像手机
CN108195314A (zh) 基于多视场拼接的反射式条纹三维面形测量方法
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN114543787B (zh) 基于条纹投影轮廓术的毫米级室内建图定位方法
CN110619661A (zh) 一种基于增强现实的测量室外料场原料体积的方法
CN114022530A (zh) 基于混合现实技术的3d打印辅助方法、系统及应用
CN110428471B (zh) 一种针对光学自由曲面子孔径偏折测量的精确自定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant