CN115880370A - 三维测量系统中位置关系的标定方法和系统、存储介质 - Google Patents
三维测量系统中位置关系的标定方法和系统、存储介质 Download PDFInfo
- Publication number
- CN115880370A CN115880370A CN202211568251.0A CN202211568251A CN115880370A CN 115880370 A CN115880370 A CN 115880370A CN 202211568251 A CN202211568251 A CN 202211568251A CN 115880370 A CN115880370 A CN 115880370A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- image
- object plane
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种三维测量系统中位置关系的标定方法和系统,该方法首先将物体平面坐标系作为世界坐标系,根据标定板图像对相机的内参和外参进行标定,获得物体平面与相机的位置关系;引入与投影装置坐标系关于物体平面镜像对称的虚拟空间坐标系,利用虚拟空间坐标系对投影装置与相机的位置关系进行标定,从而能够适应对镜面物体的三维测量;在标定投影装置与相机的位置关系时,利用物体平面在多个姿态下虚拟空间坐标系与相机坐标系的变换关系进行计算,以获得更为准确的估计值;最后将获得的估计值作为初始值,进行全局优化,从而提升了标定的精度,为后续对物体进行三维测量提供了基础。
Description
技术领域
本发明涉及机器视觉技术领域,具体涉及三维测量系统中位置关系的标定方法和系统、存储介质。
背景技术
玻璃基板、汽车玻璃、硅片等作为镜面反射物体的代表,被广泛地应用在各种相关产品的生产制造中,成为人们日常生活中不可或缺的一部分。用于平板液晶显示器的玻璃基板、汽车玻璃、加工芯片的硅片等在生产制造中对其表面面形平整度及加工精度有着严格要求,导致其制作工艺要求较高使其成本不菲。在生产制造中,向玻璃基板、硅片等表面投射的光束,会像常见镜面一样发生镜面反射,这给加工制造过程中对其面形的无损测量带来了难度。毫无疑问,对玻璃基板、硅片、自由曲面的玻璃等镜面物体的面形测量方法进行研究可以指导其生产过程中的精加工及测量过程,对提高玻璃基板硅片、自由曲面的玻璃等生产加工效率与品质,降低其生产成本具有十分重要的意义。
人工检测法是在强光条件下,使用肉眼对镜面物体表面进行检测的方法。该方法效率较为低下,且对工人的健康有所损害,检测结果受个体的影响也较大。但考虑到质量检测流程的总体速度及精度,目前工业环境下的镜面物体质量检测仍受人工检测法支配,但这种情况亟待改变。
三维测量技术根据接触方式可以分为接触式测量与非接触式测量。三坐标测量机(CMM,Coordinate Measuring Machine)为传统的接触式三维形貌测量技术。它可以测量复杂形貌的物体且测量精度高,但由于其需要接触物体表面,测量每一个点的高度时,会存在测量速度慢、耗时长与易磨损物体表面等问题。而光学三维测量技术如机器视觉检测法等因其具有非接触、高精度、测量速度快及全场测量等优点受到广泛的关注,成为学术研究领域的热点。随着数字信号处理技术及与其相关的器件设备的发展,三维测量技术将会向着高速、高精度发展,被测物体将向着大尺寸和微结构发展。机器视觉检测法是一种具有广阔前景的检测方法,它可以解决人工检测方法效率低下的问题,同时检测视野往往较大。然而将机器视觉检测法应用于镜面物体进行三维测量时,仍有一些问题有待解决。
发明内容
本发明提供一种三维测量系统中位置关系的标定方法和系统、存储介质,旨在提高三维测量系统中投影装置、物体平面和相机之间位置关系的标定精度。
根据第一方面,一种实施例中提供一种三维测量系统中位置关系的标定方法,所述三维测量系统包括投影装置、物体平面和相机,所述位置关系包括投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系,所述标定方法包括:
获取所述物体平面的标定板图像,所述物体平面的标定板图像为所述相机在所述投影装置对所述物体平面投影标定板图案时,对所述物体平面拍摄的图像;
将物体平面坐标系作为世界坐标系,根据所述标定板图像对所述相机的内参和外参进行标定,所述外参表示所述世界坐标系与所述相机坐标系的变换关系;
对所述物体平面变换若干个姿态,获取每个姿态下所述物体平面的标定板图像或光栅投影图像,获取标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标;其中所述物体平面的光栅投影图像为所述相机在所述投影装置对所述物体平面进行光栅投影时,对所述物体平面拍摄的图像,所述虚拟空间坐标系是投影装置坐标系关于所述物体平面做镜像对称得到的空间坐标系;
对于所述物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系;
根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系;
依据预设的全局优化目标函数对所述投影装置坐标系与相机坐标系的变换关系进行全局优化。
根据第二方面,一种实施例中提供一种三维测量系统中位置关系的标定系统,所述三维测量系统包括投影装置、物体平面和相机,所述位置关系包括投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系,所述标定系统包括:
标定板图像获取模块,用于获取所述物体平面的标定板图像,所述物体平面的标定板图像为所述相机在所述投影装置对所述物体平面投影标定板图案时,对所述物体平面拍摄的图像;
第一标定模块,用于将物体平面坐标系作为世界坐标系,根据所述标定板图像对所述相机的内参和外参进行标定,所述外参表示所述世界坐标系与所述相机坐标系的变换关系;
多姿态坐标获取模块,用于对所述物体平面变换若干个姿态,获取每个姿态下所述物体平面的标定板图像或光栅投影图像,获取标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标;其中所述物体平面的光栅投影图像为所述相机在所述投影装置对所述物体平面进行光栅投影时,对所述物体平面拍摄的图像,所述虚拟空间坐标系是投影装置坐标系关于所述物体平面做镜像对称得到的空间坐标系;
第二标定模块,用于对所述物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系;
第三标定模块,用于根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系;
全局优化模块,用于依据预设的全局优化目标函数对所述投影装置坐标系与相机坐标系的变换关系进行全局优化。
根据第三方面,一种实施例中提供一种计算机可读存储介质,所述介质上存储有程序,所述程序能够被处理器执行以实现如上述第一方面所述的标定方法。
依据上述实施例的三维测量系统中位置关系的标定方法和系统,用于对三维测量系统中投影装置、物体平面和相机之间的位置关系进行标定,由于镜面物体的镜面反射,在相机中观察到的为光源关于物体平面镜像对称的虚像,因此引入虚拟空间坐标系,虚拟空间坐标系是投影装置坐标系关于物体平面做镜像对称得到的空间坐标系,首先标定虚拟空间坐标系与相机坐标系的变换关系,再利用虚拟空间坐标系与相机坐标系的变换关系来对投影装置与相机的位置关系进行标定,从而能够适应后续对镜面物体的三维测量;并且在标定投影装置与相机的位置关系时,利用物体平面在多个姿态下虚拟空间坐标系与相机坐标系的变换关系进行计算,有利于获得更为准确的估计值;最后将获得的估计值作为初始值,进行全局优化,从而提升了标定的精度,为后续对物体进行三维测量提供了良好的基础。
附图说明
图1为一种实施例的三维测量系统的结构示意图;
图2为针孔相机模型中各坐标系的变换示意图;
图3为一种实施例中投影的光栅图像的示意图;
图4为一种实施例的三维测量系统中位置关系的标定方法的流程图;
图5为一种实施例的根据标定板图像对相机的内参和外参进行标定的流程图;
图6为一种实施例的三维测量系统中位置关系的标定系统的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
具有高反光表面或透明的物体被广泛地应用于工业生产实践中,如汽车的光滑车身及其后视镜、光滑的玻璃表面以及用作平板显示的玻璃基板等,投射到这类物体表面的光束会发生镜面反射,因此常将它们称为镜面物体。镜面物体所产生的镜面反射给加工制造过程中对其面形的无损测量带来了难度。对于镜面面形的无损检测,主要存在以下几个问题:
(1)对于缺陷的呈现困难,无法从某一个方向将表面的缺陷全部呈现或者拍摄出来;
(2)部分缺陷二维图像难以呈现,尤其是黑色背景、低对比度表面的物体;
(3)某些镜面、类镜面物体具有独特的高透光性和不可见性,成为光学三维检测领域的重点和难点。
当前利用机器视觉对镜面物体进行面形的三维测量,主要采用干涉法,干涉法一般是针对有规律面形的物体进行测量且具有非常高的测量精度,但是通常需要复杂而昂贵的补偿光学系统与严格稳定的环境,并且测量范围有限、通用性差。
基于机器视觉对物体表面进行三维测量,常通过三维测量系统实现,请参考图1,一种实施例中三维测量系统包括投影装置1、物体平面2和相机3。投影装置1可以是任意可发出光线在物体平面2上形成图案的装置,例如LCD(Liquid Crystal Display,液晶显示)、LED(Light-Emitting Diode,发光二极管)显示屏等。物体平面2是用于承载待测物体的平台,例如载物台等。相机3可以是CCD(Charge-coupled Device,电荷耦合元件)相机、CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)相机等。假设物体平面2产生镜面反射,则投影装置1发出的光线经物体平面2的镜面反射后,在相机3的成像平面上成像,请参考图1,此时在相机3的成像平面上只能观察到投影装置1的虚像,相当于一虚拟的投影装置1′,投影装置1与投影装置1′关于物体平面2镜像对称。
利用该三维测量系统进行三维测量,可以采用光栅投影等方式进行。基于光栅投影的三维测量方法通过将一定规则的光栅条纹投影到物体表面,对获取到的条纹图像作为三维信息的载体加以分析,由视觉原理得到物体的表面信息,例如高度信息等。
在使用上述三维测量系统对物体进行三维测量前需要先对投影装置1、物体平面2和相机3之间的位置关系进行标定,以便于后续将投影装置1、物体平面2和相机3上的点转换到同一坐标系下进行计算。本发明提供一种上述三维测量系统中位置关系的标定方法,其中位置关系通过坐标系的变换关系来表示,包括投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系。请参考图1,投影装置坐标系是建立在投影装置1上的空间坐标系,物体平面坐标系是建立在物体平面2上的空间坐标系,相机坐标系是建立在相机3上的空间坐标系。为了能适应镜面反射,本发明还引入了虚拟空间坐标系,借助虚拟空间坐标系进行标定。虚拟空间坐标系是建立在虚拟投影装置1′上的空间坐标系,即虚拟空间坐标系是投影装置坐标系关于物体平面2做镜像对称得到的空间坐标系。将相机坐标系记为c,将物体平面坐标系记为w,将投影装置坐标系记为s,将虚拟空间坐标系记为v。图1中坐标系的原点位置和坐标轴的方向仅为示意,实际中可根据具体需求设置原点位置和坐标轴的方向,在此不做限定。
为了能更清楚地理解本发明的技术方案,下面先对相机标定和光栅投影进行介绍。
相机标定的目的是为了获得相机的内参、外参和畸变系数。当前相机标定的主要方法多根据张正友标定法进行设计和计算,主要包括以下几个计算步骤:
(1)根据标定板中特征点的世界坐标和图像坐标的对应关系,获得单应性矩阵;
(2)对单应性矩阵进行分解,计算得到内参或者外参的初始参数;
(3)采用LM(Levenberg-Marquardt,列文伯格-马夸尔特)算法对初始参数进行非线性优化,迭代计算内参、外参和畸变系数,获得最终的标定结果。
相机的成像过程中各坐标系的投影变换关系可以用针孔相机模型来表示,如图2所示。世界坐标系(WCS,World Coordinate System)中的点Pw通过镜头投影中心投影到成像平面上的点P,为了得到点Pw投影到成像平面上的图像坐标qi,需要首先将其转换到相机坐标系(CCS,Camera Coordinate System)中。相机坐标系的x轴和y轴分别平行于图像的c轴和r轴,z轴垂直于图像所在的成像平面并且z轴的方向设置将使相机前的所有点的z坐标为正数,其中图像的c轴方向为图像的水平方向,r轴方向为图像的垂直方向。图2中xc轴、yc轴和zc轴分别表示相机坐标系的x轴、y轴和z轴。由世界坐标系到相机坐标系的变换可以用公式pc=c Hwpw来表示,其中pc=(xc,yc,zc)T为相机坐标系中的坐标,pw=(xw,yw,zw)T为世界坐标系中的坐标,cHw可以用旋转矩阵R和平移向量t来表示。
在将世界坐标系转换到相机坐标系后,需要将其转换到像平面坐标系上,这是一个由3D坐标转换到2D坐标的过程。这一变换可以表示为:
其中f表示相机镜头的焦距,(u,v)T表示像平面坐标系中的坐标。
在投影到成像平面后,镜头的畸变将导致坐标qc=(u,v)T发生变化,使得在成像平面上形成的是畸变的坐标这个变化可以单独在成像平面上建立模型,也就是说这里不需要三维信息。对于大多数镜头而言,它们的畸变都可以充分地近似为径向畸变,通常有两种模型可以用来描述畸变,一种是除法模型,一种是多项式模型。除法模型如下:
其中参数κ表示了径向畸变量级,如果κ为负值,即变为桶形畸变,如果κ为正值,即变为枕形畸变。可以通过下式对畸变进行校正:
多项式模型如下:
最后将像平面坐标系转换到图像坐标系(ICS,Image Coordinate System)中,用公式表示为:
其中sx和sy分别为相机水平方向上和垂直方向上的像素尺寸,(cx,cy)为主光轴点,一般为图像的中心。
因此上述的整个变换如果不考虑畸变可以表示为:
sm=A[R|t]M, (1)
对于光栅投影,可使用任意现有的光栅投影方式。一种实施例中可投影格雷码图像和相移图像,请参考图3,为一种实施例投影的宽度为32个像素的格雷码图像和相移图像,其中序号1-4的图像序列为格雷码图像,序号5-8的图像序列为相移图像。
由于相移图像具有周期性,获取的相位在[0,2π]范围内,需要将其转化到2kπ(k为整数)的绝对相位。获取绝对相位图后,结合标定的位置关系可生成三维数据。
相移法被广泛应用于光学测量,由于其测量精度和测量速度较高,所以对于高精度的物体三维测量,一般采用相移法。在相移法中,获得相位的过程如下:(1)先通过相移法公式获得锯齿形的相位值,值域为[-π,π],称为截断相位;(2)将锯齿形相位值恢复成连续的相位值,称为绝对相位。这一过程称为解相位(或相位展开、相位解包裹)。
相移法获得相位值的方法有很多,例如可以采用N步相移法求解。假如投影光强是标准余弦分布,则相移图像每次移动2π/N的相位,产生一个新的光强函数In(x,y),平移N-1次,获得N幅相移图像,其中(x,y)为相移图像中像素点的坐标。其中四步相移法用的比较多,原因是该方法能消除检测器的非线性影响。四步相移法是将投射的相移图像每次平移π/2,平移三次。图3所示相移图像即为四步相移图像。四步相移的光强函数可以表示为:
通过相移法计算出的相位只是相位的主值,含有一个反正切函数,其值域为[-π,π],相位不连续。针对这个问题,由于由相移法公式得到的相位与真实值之间还有2kπ的差异,为此,必须求出k,才能将相位的主值恢复到真正的绝对相位。因此完整的相位值即绝对相位公式应为:
其中k(x,y)为整数,表示像素点(x,y)对应的2π的整数倍。可以看到解相位的关键就是确定解码周期k(x,y)。在实际应用中,k(x,y)表示像素点(x,y)所处的光栅条纹图案的周期次数,即是像素点(x,y)到底属于光栅条纹场中的哪条条纹,该条纹处于第几个周期。例如请参考图3,可以看到相移图像呈周期排布,第0-3个像素处于第一个周期,第4-7个像素处于第二个周期,依此类推。像素点所处的光栅条纹的周期次数可以根据其所处的光栅条纹的格雷码编码信息获得。
下面对本发明的三维测量系统中位置关系的标定方法进行介绍,请参考图4,一种实施例中该方法包括步骤100~600,下面具体说明。
步骤100:获取物体平面的标定板图像。
物体平面的标定板图像为相机3在投影装置1对物体平面2投影标定板图案时,对物体平面2拍摄的图像。标定板图像可以是棋盘格图像、圆阵列图像等。为了防止镜面反射对相机内外参标定的影响,可以在物体平面2上放一张白纸,使标定板图案投影在这张白纸上,避免发生镜面反射。
步骤200:将物体平面坐标系作为世界坐标系,根据标定板图像对相机的内参和外参进行标定。由于外参表示世界坐标系与相机坐标系的变换关系,因此得到外参也就得到了物体平面坐标系与相机坐标系的变换关系。
请参考图5,一种实施例中步骤200包括步骤210~240。
步骤210:获取标定板图像中的特征点,以及特征点的图像坐标和对应的世界坐标。
对于棋盘格来说特征点是棋盘格的角点,对于圆阵列来说特征点是圆阵列中圆形特征点的重心,圆形特征点即圆阵列中的圆形图案。可以根据标定板图案的参数信息来构建世界坐标系从而得到特征点对应的世界坐标,标定板图案的参数信息可以包括标定板的尺寸、棋盘格的尺寸、圆形特征点的半径、特征点之间的间距等。关于标定板图像中的特征点以及特征点的图像坐标的获取,可以通过现有技术实现,在此不进行赘述。
步骤220:根据特征点的图像坐标和对应的世界坐标计算单应性矩阵。可以理解,利用多个特征点的图像坐标pi和对应的世界坐标pw,以及图像坐标和世界坐标的变换关系pi=Hpw,建立目标函数:min∑[pi-Hpw]2,可以利用最小二乘法计算出单应性矩阵H,将单应性矩阵H中的元素用h0、h1、h2、h3、h4、h5、h6、h7和h8表示,则
步骤230:根据单应性矩阵H与相机内参之间的约束关系,利用单应性矩阵H计算相机的内参。
令等效焦距fx=f/sx,fy=f/sy,则内参部分可表示为建立世界坐标系时,通常认为标定板上的点位于平面z=0上,因此可以忽略z方向上的旋转和平移,因此外参部分可以表示为/>其中r1、r2、r3、r4、r5和r6为旋转矩阵的元素,tx和ty分别为平移向量的x分量和y分量。因此有
若将图像坐标系原点设为图像中心,那么可以得到
由旋转矩阵中各向量的正交性约束可得:
再根据正交性和单位性约束,可得单应性矩阵H与相机内参之间的约束关系:
步骤240:根据单应性矩阵H计算旋转矩阵R和平移向量t。
由公式(1)可知H=A[R|t],根据正交性,可以获得:
H=[h1 h2 h3]=A[r1 r2 t],
其中[r1 r2 t]=[R|t],h1为单应性矩阵H的第一列向量,h2为单应性矩阵H的第二列向量,h3为单应性矩阵H的第三列向量,r1为旋转矩阵R的第一列向量,r2为旋转矩阵R的第二列向量。可以根据以下约束条件计算参数矩阵A:
可根据r1=A-1h1,r2=A-1h2计算得到向量r1和r2,则旋转矩阵R=[r1 r2],根据t=A-1h3计算得到平移向量t,从而得到外参部分。
步骤300:对物体平面变换若干个姿态,获取每个姿态下物体平面的标定板图像或光栅投影图像,获取标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标。
为了使标定结果更精确,本发明通过对物体平面2随机变换多个姿态来标定投影装置坐标系与相机坐标系的变换关系,并且借助虚拟空间坐标系进行标定,以适应镜面反射。在每个姿态下,投影装置1对物体平面2投影标定板图案或光栅条纹图案,相机3进行拍摄,得到物体平面2的标定板图像或光栅投影图像。
由上文可知,通过相机的内参可将图像坐标变换到相机坐标系下,因此可根据标定板图像或光栅投影图像中的像素点的图像坐标和相机的内参获得像素点在相机坐标系下的坐标。其中标定板图像的像素点具体可以是标定板图像中的特征点。
像素点对应的虚拟空间坐标系中的点,即从该像素点观察到的虚拟空间坐标系中的点。对于标定板图像,可获取标定板图像中的像素点对应的世界坐标作为其对应的虚拟空间坐标系中的点的坐标,像素点对应的世界坐标可通过将像素点的图像坐标经相机的内参和外参变换得到。对于光栅投影图像,对光栅投影图像进行解相位处理以得到光栅投影图像中像素点的相位信息,则根据像素点的相位信息可获得像素点对应的屏幕点坐标(xs,ys);将坐标ps=(xs,ys,0)作为光栅投影图像中像素点对应的虚拟空间坐标系中的点的坐标。其中屏幕点指投影装置1的屏幕上的点,屏幕点坐标指屏幕点在屏幕上的二维坐标。像素点与对应的屏幕点的关系为,若屏幕点A发出的光经反射后在相机成像得到像素点C,则称屏幕点A为像素点C对应的屏幕点。解相位处理可以参考上文关于解相位的介绍或者现有技术。
一种实施例中光栅投影图像可以包括X方向的光栅投影图像和Y方向的光栅投影图像。投影装置1在其屏幕上显示X方向(即水平方向)的光栅条纹,相机3对物体平面拍摄得到的光栅投影图像称为X方向的光栅投影图像;投影装置1在其屏幕上显示Y方向(即垂直方向)的光栅条纹,相机3对物体平面拍摄得到的光栅投影图像称为Y方向的光栅投影图像。
对于每个像素点来说,对X方向的光栅投影图像解相位可以得到一个相位,称为X相位,对Y方向的光栅投影图像解相位也可以得到一个相位,称为Y相位,利用X相位和Y相位可以解得完整的屏幕点坐标(xs,ys)。具体地,首先对X方向的光栅投影图像进行解相位处理以得到每个像素点的X相位对Y方向的光栅投影图像进行解相位处理以得到每个像素点的Y相位/>之后对于每个像素点,根据其X相位/>和Y相位/>计算得到对应的屏幕点坐标(xs,ys),计算公式如下:
其中Tx表示像素点在X方向的光栅投影图像所处的光栅条纹的周期次数,Ty表示像素点在Y方向的光栅投影图像所处的光栅条纹的周期次数。
步骤400:对于物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系。
利用多组像素点在相机坐标系下的坐标以及对应的虚拟空间坐标系中的点的坐标,可以计算得到虚拟空间坐标系与相机坐标系的变换关系。一种实施例中,虚拟空间坐标系与相机坐标系的变换关系可以用旋转矩阵和平移向量/>来表示,设虚拟空间坐标系下的点可以表示为/>相机坐标系下的点可以表示为/>则可以建立变换关系为:
其中k表示像素点的序号,i表示第i个姿态,且i=1,2……Nc,Nc表示姿态的数量,表示第i个姿态下第k个像素点在相机坐标系下的坐标,/>表示第i个姿态下第k个像素点对应的虚拟空间坐标系中的点的坐标,/>表示第i个姿态下虚拟空间坐标系与相机坐标系的旋转矩阵,/>表示第i个姿态下虚拟空间坐标系与相机坐标系的平移向量。
根据上式,可以建立以下目标函数,利用最小二乘法计算每个姿态下虚拟空间坐标系与相机坐标系的变换关系:
其中N表示标定板图像或光栅投影图像中像素点的数量。
步骤500:根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系。
一种实施例中,投影装置坐标系与相机坐标系的变换关系可以用旋转矩阵和平移向量/>来表示。请参考图1,对于投影装置上一点p,其经物体平面上一点反射后在相机中成像,在虚拟投影装置上的镜像点为p′,则根据几何关系,由虚拟空间坐标系到相机坐标系的变换可以表示为:
其中I为单位矩阵,n为物体平面上的反射点处的法向量,d为相机到物体平面的距离,具体的可以为相机镜头的光心到物体平面的距离。
为了兼顾计算精度和效率,可在步骤300中对物体平面变换三个姿态,利用这三个姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系。
对于任意p,q∈{1,2,3},定义mp,q=np×nq,其中ni表示第i个姿态下物体平面的法向量,由于成立,因此mp,q为矩阵/>进行奇异值分解后得到的最小特征值所对应的特征向量。根据mp,q=np×nq可由mp,q得到法向量ni。
至此则得到了投影装置坐标系与相机坐标系的变换关系。
步骤600:依据预设的全局优化目标函数对投影装置坐标系与相机坐标系的变换关系进行全局优化。
由于步骤500中得到的投影装置坐标系与相机坐标系的变换关系可能只是一个局部最优解,因此本步骤对其进行全局优化,以搜索全局最优解,提高标定的精度。全局优化主要基于预设的全局优化目标函数进行参数的迭代优化,迭代初始值为步骤500得到的投影装置坐标系与相机坐标系的变换关系。全局优化目标函数可以基于实际值与估计值误差最小的思路设计。一种实施例中,若用旋转矩阵和平移向量/>来表示投影装置坐标系与相机坐标系的变换关系,全局优化目标函数可以为:
其中xik表示第i个姿态下物体平面的标定板图像或光栅投影图像的第k个像素点在相机坐标系下的坐标,Nc表示姿态的数量,zik=f(pi′k),vi=dini,ni表示第i个姿态下物体平面的法向量,di表示第i个姿态下物体平面与相机的距离,pik表示xik对应的投影装置坐标系中的点的坐标,pi′k为在相机坐标系下在相机的成像平面观察到的pik的虚像点的坐标,zik表示点pi′k经过相机的非线性映射f得到的坐标,/>为由待优化参数组成的向量。
其中xik可根据标定板图像或光栅投影图像中的像素点的图像坐标和相机的内参获得。pik可根据已获得的投影装置坐标系与相机坐标系的变换关系获得,即根据旋转矩阵和平移向量/>获得。点pik由于物体平面的镜面反射在相机成像平面形成一虚像,那么从相机的成像平面看并不能看到真正的点pik,而是其虚像点pi′k,虚像点pi′k与点pik关于物体平面镜像对称,这里计算得到的pi′k是转换到相机坐标系下的坐标。非线性映射f指相机镜头的畸变。
根据以上全局优化目标函数对待优化参数进行迭代优化,可得到最终的投影装置坐标系与相机坐标系的变换关系,从而完成三维测量系统中位置关系的标定。
在上述三维测量系统中位置关系的标定方法的基础上,本发明还提供一种三维测量系统中位置关系的标定系统,请参考图6,一种实施例中该系统包括标定板图像获取模块1、第一标定模块2、多姿态坐标获取模块3、第二标定模块4、第三标定模块5和全局优化模块6,下面分别说明。
标定板图像获取模块1用于获取物体平面的标定板图像,物体平面的标定板图像为相机在投影装置对物体平面投影标定板图案时,对物体平面拍摄的图像。
第一标定模块2用于将物体平面坐标系作为世界坐标系,根据标定板图像对相机的内参和外参进行标定。由于外参表示世界坐标系与相机坐标系的变换关系,因此得到外参也就得到了物体平面坐标系与相机坐标系的变换关系。
一种实施例中,相机的内参包括等效焦距fx和fy,外参包括旋转矩阵R和平移向量t,第一标定模块2具体用于:获取标定板图像中的特征点,以及特征点的图像坐标和对应的世界坐标;根据特征点的图像坐标和对应的世界坐标计算单应性矩阵根据以下约束关系由单应性矩阵H计算相机的等效焦距fx和fy:
一种实施例中,第一标定模块2具体还用于:根据以下约束条件计算参数矩阵A:
其中h1为单应性矩阵H的第一列向量,h2为单应性矩阵H的第二列向量;根据r1=A- 1h1,r2=A-1h2计算得到向量r1和r2,则旋转矩阵R=[r1 r2];根据t=A-1h3计算得到平移向量t,其中h3为单应性矩阵H的第三列向量。
多姿态坐标获取模块3用于对物体平面变换若干个姿态,获取每个姿态下物体平面的标定板图像或光栅投影图像,获取该标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标。其中物体平面的光栅投影图像为相机在投影装置对物体平面进行光栅投影时,对物体平面拍摄的图像,虚拟空间坐标系是投影装置坐标系关于物体平面做镜像对称得到的空间坐标系。
一种实施例中,多姿态坐标获取模块3具体用于:根据标定板图像或光栅投影图像中的像素点的图像坐标和相机的内参,获得像素点在相机坐标系下的坐标;对于标定板图像,获取标定板图像中的像素点对应的世界坐标作为其对应的虚拟空间坐标系中的点的坐标,对于光栅投影图像,对光栅投影图像进行解相位处理以得到光栅投影图像中像素点的相位信息,根据像素点的相位信息获得像素点对应的屏幕点坐标(xs,ys),将坐标ps=(xs,ys,0)作为光栅投影图像中像素点对应的虚拟空间坐标系中的点的坐标,其中屏幕点指投影装置的屏幕上的点,屏幕点坐标指屏幕点在屏幕上的二维坐标。
一种实施例中,光栅投影图像可以包括X方向的光栅投影图像和Y方向的光栅投影图像,X方向的光栅投影图像为投影装置在其屏幕上显示沿X方向(即水平方向)的光栅条纹时,相机对物体平面拍摄得到的光栅投影图像;Y方向的光栅投影图像为投影装置在其屏幕上显示沿Y方向(即垂直方向)的光栅条纹时,相机对物体平面拍摄得到的光栅投影图像。多姿态坐标获取模块3还用于:对X方向的光栅投影图像进行解相位处理以得到每个像素点的X相位对Y方向的光栅投影图像进行解相位处理以得到每个像素点的Y相位/>对于每个像素点,根据其X相位/>和Y相位/>计算得到对应的屏幕点坐标(xs,ys),计算公式如下:
其中Tx表示像素点在X方向的光栅投影图像所处的光栅条纹的周期次数,Ty表示像素点在Y方向的光栅投影图像所处的光栅条纹的周期次数。
第二标定模块4用于对物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系。
其中k表示像素点的序号,N表示标定板图像或光栅投影图像中像素点的数量,i表示第i个姿态,且i=1,2……Nc,Nc表示姿态的数量,表示第i个姿态下第k个像素点在相机坐标系下的坐标,/>表示第i个姿态下第k个像素点对应的虚拟空间坐标系中的点的坐标,/>表示第i个姿态下虚拟空间坐标系与相机坐标系的旋转矩阵,/>表示第i个姿态下虚拟空间坐标系与相机坐标系的平移向量。
第三标定模块5用于根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系。
一种实施例中,投影装置坐标系与相机坐标系的变换关系包括旋转矩阵和平移向量/>物体平面的姿态的数量为三个,第三标定模块5具体用于:对于任意p,q∈{1,2,3},对矩阵/>进行奇异值分解,得到最小特征值所对应的特征向量mp,q;根据以下公式计算法向量ni:
其中ni表示第i个姿态下物体平面的法向量;
根据公式计算得到投影装置坐标系与相机坐标系的旋转矩阵/>其中I为单位矩阵,ni为任意一个姿态下的法向量,/>为该姿态下虚拟空间坐标系与相机坐标系的旋转矩阵;根据以下公式计算得到投影装置坐标系与相机坐标系的平移向量/>
其中d1、d2和d3分别为三个姿态下物体平面与相机的距离。
全局优化模块6用于依据预设的全局优化目标函数对投影装置坐标系与相机坐标系的变换关系进行全局优化。
其中xik表示第i个姿态下物体平面的标定板图像或光栅投影图像的第k个像素点在相机坐标系下的坐标,Nc表示姿态的数量,zik=f(pi′k),vi=dini,ni表示第i个姿态下物体平面的法向量,di表示第i个姿态下物体平面与相机的距离,pik表示xik对应的投影装置坐标系中的点的坐标,pi′k为在相机坐标系下在相机的成像平面观察到的pik的虚像点的坐标,zik表示点pi′k经过相机的非线性映射f得到的坐标,/>为由待优化参数组成的向量。
其中xik可根据标定板图像或光栅投影图像中的像素点的图像坐标和相机的内参获得。pik可根据已获得的投影装置坐标系与相机坐标系的变换关系获得,即根据旋转矩阵和平移向量/>获得。点pik由于物体平面的镜面反射在相机成像平面形成一虚像,那么从相机的成像平面看并不能看到真正的点pik,而是其虚像点pi′k,虚像点pi′k与点pik关于物体平面镜像对称,这里计算得到的pi′k是转换到相机坐标系下的坐标。非线性映射f指相机镜头的畸变。
全局优化模块6根据以上全局优化目标函数对待优化参数进行迭代优化,可得到最终的投影装置坐标系与相机坐标系的变换关系,从而完成三维测量系统中位置关系的标定。
依据上述实施例的三维测量系统中位置关系的标定方法和系统,用于对三维测量系统中投影装置、物体平面和相机之间的位置关系进行标定,其中位置关系用投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系表示。在标定过程中引入虚拟空间坐标系,虚拟空间坐标系是投影装置坐标系关于物体平面做镜像对称得到的空间坐标系,首先标定虚拟空间坐标系与相机坐标系的变换关系,再利用虚拟空间坐标系与相机坐标系的变换关系来对投影装置与相机的位置关系进行标定,从而能够适应后续对镜面物体的三维测量;并且在标定投影装置与相机的位置关系时,利用物体平面在多个姿态下虚拟空间坐标系与相机坐标系的变换关系进行计算,有利于获得更为准确的估计值,避免陷入与真实值偏差较大的局部最优解。最后还将获得的估计值作为初始值,进行全局优化,从而提升了标定的精度,为后续对物体进行三维测量提供了良好的基础。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种三维测量系统中位置关系的标定方法,所述三维测量系统包括投影装置、物体平面和相机,其特征在于,所述位置关系包括投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系,所述标定方法包括:
获取所述物体平面的标定板图像,所述物体平面的标定板图像为所述相机在所述投影装置对所述物体平面投影标定板图案时,对所述物体平面拍摄的图像;
将物体平面坐标系作为世界坐标系,根据所述标定板图像对所述相机的内参和外参进行标定,所述外参表示所述世界坐标系与所述相机坐标系的变换关系;
对所述物体平面变换若干个姿态,获取每个姿态下所述物体平面的标定板图像或光栅投影图像,获取标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标;其中所述物体平面的光栅投影图像为所述相机在所述投影装置对所述物体平面进行光栅投影时,对所述物体平面拍摄的图像,所述虚拟空间坐标系是投影装置坐标系关于所述物体平面做镜像对称得到的空间坐标系;
对于所述物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系;
根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系;
依据预设的全局优化目标函数对所述投影装置坐标系与相机坐标系的变换关系进行全局优化。
4.如权利要求1所述的标定方法,其特征在于,所述获取标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,包括:
根据所述标定板图像或光栅投影图像中的像素点的图像坐标和所述相机的内参,获得所述像素点在相机坐标系下的坐标;
对于标定板图像,获取标定板图像中的像素点对应的世界坐标作为其对应的虚拟空间坐标系中的点的坐标;
对于光栅投影图像,对光栅投影图像进行解相位处理以得到光栅投影图像中像素点的相位信息,根据像素点的相位信息获得像素点对应的屏幕点坐标(xs,ys),其中屏幕点指所述投影装置的屏幕上的点,屏幕点坐标指屏幕点在屏幕上的二维坐标;将坐标ps=(xs,ys,0)作为光栅投影图像中像素点对应的虚拟空间坐标系中的点的坐标。
5.如权利要求4所述的标定方法,其特征在于,所述光栅投影图像包括X方向的光栅投影图像和Y方向的光栅投影图像,所述X方向的光栅投影图像为所述投影装置在其屏幕上显示沿X方向的光栅条纹时,所述相机对所述物体平面拍摄得到的光栅投影图像,所述Y方向的光栅投影图像为所述投影装置在其屏幕上显示沿Y方向的光栅条纹时,所述相机对所述物体平面拍摄得到的光栅投影图像;
所述对光栅投影图像进行解相位处理以得到光栅投影图像中像素点的相位信息,根据像素点的相位信息获得像素点对应的屏幕点坐标(xs,ys),包括:
其中Tx表示像素点在所述X方向的光栅投影图像所处的光栅条纹的周期次数,Ty表示像素点在所述Y方向的光栅投影图像所处的光栅条纹的周期次数。
6.如权利要求1所述的标定方法,其特征在于,所述虚拟空间坐标系与相机坐标系的变换关系包括旋转矩阵和平移向量/>所述对于所述物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系,包括:
根据以下目标函数,利用最小二乘法计算每个姿态下虚拟空间坐标系与相机坐标系的变换关系:
7.如权利要求6所述的标定方法,其特征在于,所述投影装置坐标系与相机坐标系的变换关系包括旋转矩阵和平移向量/>所述姿态的数量为三个;所述根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系,包括:
根据以下公式计算法向量ni,其中ni表示第i个姿态下所述物体平面的法向量:
其中d1、d2和d3分别为三个姿态下所述物体平面与所述相机的距离。
9.一种三维测量系统中位置关系的标定系统,所述三维测量系统包括投影装置、物体平面和相机,其特征在于,所述位置关系包括投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系,所述标定系统包括:
标定板图像获取模块,用于获取所述物体平面的标定板图像,所述物体平面的标定板图像为所述相机在所述投影装置对所述物体平面投影标定板图案时,对所述物体平面拍摄的图像;
第一标定模块,用于将物体平面坐标系作为世界坐标系,根据所述标定板图像对所述相机的内参和外参进行标定,所述外参表示所述世界坐标系与所述相机坐标系的变换关系;
多姿态坐标获取模块,用于对所述物体平面变换若干个姿态,获取每个姿态下所述物体平面的标定板图像或光栅投影图像,获取标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标;其中所述物体平面的光栅投影图像为所述相机在所述投影装置对所述物体平面进行光栅投影时,对所述物体平面拍摄的图像,所述虚拟空间坐标系是投影装置坐标系关于所述物体平面做镜像对称得到的空间坐标系;
第二标定模块,用于对所述物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系;
第三标定模块,用于根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系;
全局优化模块,用于依据预设的全局优化目标函数对所述投影装置坐标系与相机坐标系的变换关系进行全局优化。
10.一种计算机可读存储介质,其特征在于,所述介质上存储有程序,所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211568251.0A CN115880370A (zh) | 2022-12-08 | 2022-12-08 | 三维测量系统中位置关系的标定方法和系统、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211568251.0A CN115880370A (zh) | 2022-12-08 | 2022-12-08 | 三维测量系统中位置关系的标定方法和系统、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880370A true CN115880370A (zh) | 2023-03-31 |
Family
ID=85766469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211568251.0A Pending CN115880370A (zh) | 2022-12-08 | 2022-12-08 | 三维测量系统中位置关系的标定方法和系统、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880370A (zh) |
-
2022
- 2022-12-08 CN CN202211568251.0A patent/CN115880370A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Feng et al. | Calibration of fringe projection profilometry: A comparative review | |
CN110514143B (zh) | 一种基于反射镜的条纹投影系统标定方法 | |
CN110296667B (zh) | 基于线结构光多角度投影的高反射表面三维测量方法 | |
Schmalz et al. | Camera calibration: active versus passive targets | |
Zappa et al. | Static and dynamic features of Fourier transform profilometry: A review | |
CN109357632A (zh) | 一种镜面物体三维形貌测量方法及装置 | |
Kammel et al. | Deflectometric measurement of specular surfaces | |
Zhang | Flexible and high-accuracy method for uni-directional structured light system calibration | |
WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像系统的标定方法及装置 | |
Peng | Algorithms and models for 3-D shape measurement using digital fringe projections | |
Gao et al. | Accuracy evaluation of optical distortion calibration by digital image correlation | |
Xiao et al. | Optical fringe-reflection deflectometry with bundle adjustment | |
Horbach et al. | 3D reconstruction of specular surfaces using a calibrated projector–camera setup | |
Xu et al. | A calibration method for non-overlapping cameras based on mirrored absolute phase target | |
CN115661226B (zh) | 镜面物体的三维测量方法、计算机可读存储介质 | |
Han et al. | Improving calibration accuracy of structured light systems using plane-based residual error compensation | |
Yang et al. | Flexible and fast calibration method for uni-directional multi-line structured light system | |
CN116188556A (zh) | 镜面物体的三维测量方法、计算机可读存储介质 | |
Bräuer-Burchardt et al. | On the accuracy of point correspondence methods in three-dimensional measurement systems using fringe projection | |
CN110428471B (zh) | 一种针对光学自由曲面子孔径偏折测量的精确自定位方法 | |
Shao et al. | Calibration of stereo-digital image correlation for large field of view measurement based on photogrammetry | |
Huiyang et al. | Calibration of camera with small FOV and DOF telecentric lens | |
CN115880370A (zh) | 三维测量系统中位置关系的标定方法和系统、存储介质 | |
CN113658267B (zh) | 一种考虑显示设备面形的相移偏折术几何参数标定方法 | |
Allgeier et al. | Reproducibility of two calibration procedures for phase-measuring deflectometry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |