CN115661226A - 镜面物体的三维测量方法、计算机可读存储介质 - Google Patents

Abstract

一种镜面物体的三维测量方法、计算机可读存储介质，该方法包括：对第一相机与第二相机的位置关系进行标定，对第一相机与投影装置、物体平面的位置关系进行标定；获取待测物体的第一光栅投影图像和第二光栅投影图像，分别对第一光栅投影图像和第二光栅投影图像进行解相位处理得到第一相位图和第二相位图；根据第一相机与第二相机的位置关系，以及第一相机与投影装置、物体平面的位置关系，对第一相位图和第二相位图进行基于法线约束的相位匹配获得匹配点对；利用匹配点对计算待测物体表面的三维坐标。该方法使用双目视觉提高了三维测量的精度和效率，克服了镜面物体形貌重建困难的问题，实现镜面物体的无损测量，且具有较好的适应能力。

Description

镜面物体的三维测量方法、计算机可读存储介质

技术领域

本发明涉及机器视觉技术领域，具体涉及镜面物体的三维测量方法、计算机可读存储介质。

背景技术

玻璃基板、汽车玻璃、硅片等作为镜面反射物体的代表，被广泛地应用在各种相关产品的生产制造中，成为人们日常生活中不可或缺的一部分。用于平板液晶显示器的玻璃基板、汽车玻璃、加工芯片的硅片等在生产制造中对其表面面形平整度及加工精度有着严格要求，导致其制作工艺要求较高使其成本不菲。在生产制造中，向玻璃基板、硅片等表面投射的光束，会像常见镜面一样发生镜面反射，这给加工制造过程中对其面形的无损测量带来了难度。毫无疑问，对玻璃基板、硅片、自由曲面的玻璃等镜面物体的面形测量方法进行研究可以指导其生产过程中的精加工及测量过程，对提高玻璃基板硅片、自由曲面的玻璃等生产加工效率与品质，降低其生产成本具有十分重要的意义。

人工检测法是在强光条件下，使用肉眼对镜面物体表面进行检测的方法。该方法效率较为低下，且对工人的健康有所损害，检测结果受个体的影响也较大。但考虑到质量检测流程的总体速度及精度，目前工业环境下的镜面物体质量检测仍受人工检测法支配，但这种情况亟待改变。

三维测量技术根据接触方式可以分为接触式测量与非接触式测量。三坐标测量机(CMM，Coordinate Measuring Machine) 为传统的接触式三维形貌测量技术。它可以测量复杂形貌的物体且测量精度高，但由于其需要接触物体表面，测量每一个点的高度时，会存在测量速度慢、耗时长与易磨损物体表面等问题。而光学三维测量技术如机器视觉检测法等因其具有非接触、高精度、测量速度快及全场测量等优点受到广泛的关注，成为学术研究领域的热点。随着数字信号处理技术及与其相关的器件设备的发展，三维测量技术将会向着高速、高精度发展，被测物体将向着大尺寸和微结构发展。机器视觉检测法是一种具有广阔前景的检测方法，它可以解决人工检测方法效率低下的问题，同时检测视野往往较大。然而将机器视觉检测法应用于镜面物体进行三维测量时，仍有一些问题有待解决。

发明内容

本发明提供一种镜面物体的三维测量方法、计算机可读存储介质，旨在通过机器视觉的方法对镜面物体表面进行无损的三维测量。

根据第一方面，一种实施例中提供一种镜面物体的三维测量方法，应用于三维测量系统，所述三维测量系统包括投影装置、物体平面、第一相机和第二相机，所述三维测量方法包括：

对所述第一相机与所述第二相机的位置关系进行标定；

对所述第一相机与所述投影装置、所述物体平面的位置关系进行标定；

获取待测物体的第一光栅投影图像和第二光栅投影图像，其中所述待测物体放置于所述物体平面上，待测物体的第一光栅投影图像和第二光栅投影图像分别为所述第一相机和所述第二相机在所述投影装置对所述待测物体进行光栅投影时，对所述待测物体拍摄的图像；

分别对所述第一光栅投影图像和所述第二光栅投影图像进行解相位处理，以得到第一相位图和第二相位图；

根据所述第一相机与所述第二相机的位置关系，以及所述第一相机与所述投影装置、所述物体平面的位置关系，对所述第一相位图和所述第二相位图进行基于法线约束的相位匹配，以获得匹配点对；

利用匹配点对计算所述待测物体表面的三维坐标。

根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面所述的三维测量方法。

依据上述实施例的镜面物体的三维测量方法，首先对第一相机与第二相机的位置关系进行标定，对第一相机与投影装置、物体平面的位置关系进行标定，然后获取待测物体的第一光栅投影图像和第二光栅投影图像，分别对第一光栅投影图像和第二光栅投影图像进行解相位处理，以得到第一相位图和第二相位图，根据第一相机与第二相机的位置关系，以及第一相机与投影装置、物体平面的位置关系，对第一相位图和第二相位图进行基于法线约束的相位匹配获得匹配点对，最后利用匹配点对计算待测物体表面的三维坐标。该方法采用双目视觉的方式计算待测物体表面的三维坐标，有效地提高了三维测量的精度和效率，且系统结构较为简单；可以克服镜面物体形貌重建困难的问题，通过主动投射光栅投影，对光栅投影图像进行处理，获得镜面物体的表面形貌，实现物体表面形貌的无损测量；适应性强，能够对多种镜面物体进行三维测量，对复杂环境也有较好的适应能力。

附图说明

图1为一种实施例的三维测量系统的结构示意图；

图2为针孔相机模型中各坐标系的变换示意图；

图3为一种实施例中投影的光栅图像的示意图；

图4为一种实施例的镜面物体的三维测量方法的流程图；

图5为一种实施例中对第一相位图和第二相位图进行基于法线约束的相位匹配的流程图；

图6为一种实施例中求解物体点处的法向量所涉及的方向向量的示意图；

图7为双相机成像模型的示意图；

图8为一种实施例的三维测量系统中位置关系的标定方法的流程图；

图9为一种实施例的根据标定板图像对相机的内参和外参进行标定的流程图；

图10为一种实施例的三维测量系统中各坐标系的几何关系示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

在工业生产过程中，常需要对产品进行三维测量或者三维重建，通过机器视觉的方法，对物体进行投影，可利用物体的二维影像恢复物体的三维信息（例如面形、三维坐标等），实现无损的三维测量。在获得产品的三维信息后，可据此对产品的质量进行分析，对产品的生产加工过程具有指导意义。

具有高反光表面或透明的物体被广泛地应用于工业生产实践中，如汽车的光滑车身及其后视镜、光滑的玻璃表面以及用作平板显示的玻璃基板等，投射到这类物体表面的光束会发生镜面反射，因此常将它们称为镜面物体。镜面物体所产生的镜面反射给加工制造过程中对其面形的无损测量带来了难度。对于镜面面形的无损检测，主要存在以下几个问题：

（1）对于缺陷的呈现困难，无法从某一个方向将表面的缺陷全部呈现或者拍摄出来；

（2）部分缺陷二维图像难以呈现，尤其是黑色背景、低对比度表面的物体；

（3）某些镜面、类镜面物体具有独特的高透光性和不可见性，成为光学三维检测领域的重点和难点。

当前利用机器视觉对镜面物体进行面形的三维测量，主要采用干涉法，干涉法一般是针对有规律面形的物体进行测量且具有非常高的测量精度，但是通常需要复杂而昂贵的补偿光学系统与严格稳定的环境，并且测量范围有限、通用性差。

基于机器视觉对物体表面进行三维测量，常通过三维测量系统实现，三维测量系统可分为单目视觉系统和双目视觉系统，单目视觉系统采用单个相机拍摄物体的图像；双目视觉系统采用两个相机拍摄物体的图像，将同一空间物理点在两幅图像中的成像点对应起来，进行分析比较实现三维重建，类似于人的双眼，具有更高的精度。本发明基于双目视觉系统对物体进行三维测量。请参考图1，本发明一种实施例中的三维测量系统包括投影装置1、物体平面2、第一相机3和第二相机4。投影装置1可以是任意可发出光线在物体平面2上形成图案的装置，例如LCD（Liquid Crystal Display，液晶显示）、LED（Light-EmittingDiode，发光二极管）显示屏等。物体平面2是用于承载待测物体的平台，例如载物台等。第一相机3和第二相机4可以是CCD（Charge-coupled Device，电荷耦合元件）相机、CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）相机等。假设物体平面2产生镜面反射，则投影装置1发出的光线经物体平面2的镜面反射后，在第一相机3和第二相机4的成像平面上成像，请参考图1，此时在第一相机3和第二相机4的成像平面上只能观察到投影装置1的虚像，相当于一虚拟的投影装置

，投影装置1与投影装置

关于物体平面2镜像对称。

利用该三维测量系统进行三维测量，可以采用光栅投影等方式进行。基于光栅投影的三维测量方法通过将一定规则的光栅条纹投影到物体表面，对获取到的条纹图像作为三维信息的载体加以分析，由视觉原理得到物体的表面信息，例如高度信息、三维坐标等。

基于上述三维测量系统，本发明提供一种镜面物体的三维测量方法，采用双目视觉的方式对待测物体进行三维测量，有效提高了三维测量的精度和效率，有利于更全面地检测待测物体的缺陷，且系统结构较为简单。一些实施例中，针对镜面物体进行了相应的改进，能够适应镜面反射的情况，更为精确地测量镜面物体的表面形貌，克服镜面物体三维重建困难的问题，实现镜面物体快速、无损的三维测量。

为了能更清楚地理解本发明的技术方案，下面先对相机标定和光栅投影进行介绍。

相机标定的目的是为了获得相机的内参、外参和畸变系数。当前相机标定的主要方法多根据张正友标定法进行设计和计算，主要包括以下几个计算步骤：

（1）根据标定板中特征点的世界坐标和图像坐标的对应关系，获得单应性矩阵；

（2）对单应性矩阵进行分解，计算得到内参或者外参的初始参数；

（3）采用LM（Levenberg-Marquardt，列文伯格-马夸尔特）算法对初始参数进行非线性优化，迭代计算内参、外参和畸变系数，获得最终的标定结果。

相机的成像过程中各坐标系的投影变换关系可以用针孔相机模型来表示，如图2所示。世界坐标系（WCS，World Coordinate System）中的点P _w 通过镜头投影中心投影到成像平面上的点P，为了得到点P _w 投影到成像平面上的图像坐标q _i ，需要首先将其转换到相机坐标系（CCS，Camera Coordinate System）中。相机坐标系的x轴和y轴分别平行于图像的c轴和r轴， z轴垂直于图像所在的成像平面并且z轴的方向设置将使相机前的所有点的z坐标为正数，其中图像的c轴方向为图像的水平方向，r轴方向为图像的垂直方向。图2中x _c 轴、y _c 轴和z _c 轴分别表示相机坐标系的x轴、y轴和z轴。由世界坐标系到相机坐标系的变换可以用公式

来表示，其中

为相机坐标系中的坐标，

为世界坐标系中的坐标，

可以用旋转矩阵R和平移向量t来表示。

在将世界坐标系转换到相机坐标系后，需要将其转换到像平面坐标系上，这是一个由3D坐标转换到2D坐标的过程。这一变换可以表示为：

，

其中f表示相机镜头的焦距，

表示像平面坐标系中的坐标。

在投影到成像平面后，镜头的畸变将导致坐标

发生变化，使得在成像平面上形成的是畸变的坐标

，这个变化可以单独在成像平面上建立模型，也就是说这里不需要三维信息。对于大多数镜头而言，它们的畸变都可以充分地近似为径向畸变，通常有两种模型可以用来描述畸变，一种是除法模型，一种是多项式模型。除法模型如下：

，

其中参数κ表示了径向畸变量级，如果κ为负值，即变为桶形畸变，如果κ为正值，即变为枕形畸变。可以通过下式对畸变进行校正：

。

多项式模型如下：

，

其中

，k ₁、k ₂、k ₃、p ₁、p ₂为模型系数。根据以上模型，在已知畸变系数和畸变后坐标

的情况下，利用牛顿法可以求解得到未畸变的坐标

。

最后将像平面坐标系转换到图像坐标系（ICS，Image Coordinate System）中，用公式表示为：

，

其中s _x 和s _y 分别为相机水平方向上和垂直方向上的像素尺寸，(c _x , c _y )为主光轴点，一般为图像的中心。

因此上述的整个变换如果不考虑畸变可以表示为：

， （1）

这便是相机标定所依据的数学模型。其中

为相机的内参部分，旋转矩阵R和平移向量t为外参部分。进一步化简可以表示为：

sm=A[R|t]M， （2）

其中A为相机的内参矩阵，

，

。

对于光栅投影，可使用任意现有的光栅投影方式。一种实施例中可投影格雷码图像和相移图像，请参考图3，为一种实施例投影的宽度为32个像素的格雷码图像和相移图像，其中序号1-4的图像序列为格雷码图像，序号5-8的图像序列为相移图像。

由于相移图像具有周期性，获取的相位在[0,2π]范围内，需要将其转化到2kπ（k为整数）的绝对相位。获取绝对相位图后，结合标定的位置关系可生成三维数据。

相移法被广泛应用于光学测量，由于其测量精度和测量速度较高，所以对于高精度的物体三维测量，一般采用相移法。在相移法中，获得相位的过程如下：（1）先通过相移法公式获得锯齿形的相位值，值域为[-π,π]，称为截断相位；（2）将锯齿形相位值恢复成连续的相位值，称为绝对相位。这一过程称为解相位（或相位展开、相位解包裹）。

相移法获得相位值的方法有很多，例如可以采用N步相移法求解。假如投影光强是标准余弦分布，则相移图像每次移动2π/N的相位，产生一个新的光强函数I _n (x,y)，平移N-1次，获得N幅相移图像，其中(x,y)为相移图像中像素点的坐标。其中四步相移法用的比较多，原因是该方法能消除检测器的非线性影响。四步相移法是将投射的相移图像每次平移π/2，平移三次。图3所示相移图像即为四步相移图像。四步相移的光强函数可以表示为：

，

其中I _i (i=1,2,3,4)为第i幅相移图像的条纹灰度值，

为条纹光强的背景值，即投影装置1发出的原始光强，

为调制光强值，

为所求的相位值。可得：

。

通过相移法计算出的相位只是相位的主值，含有一个反正切函数，其值域为[-π,π]，相位不连续。针对这个问题，由于由相移法公式得到的相位与真实值之间还有2kπ的差异，为此，必须求出k，才能将相位的主值恢复到真正的绝对相位。因此完整的相位值即绝对相位公式应为：

，

其中k(x,y)为整数，表示像素点(x,y)对应的2π的整数倍。可以看到解相位的关键就是确定解码周期k(x,y)。在实际应用中，k(x,y)表示像素点(x,y)所处的光栅条纹图案的周期次数，即是像素点(x,y)到底属于光栅条纹场中的哪条条纹，该条纹处于第几个周期。例如请参考图3，可以看到相移图像呈周期排布，第0-3个像素处于第一个周期，第4-7个像素处于第二个周期，依此类推。像素点所处的光栅条纹的周期次数可以根据其所处的光栅条纹的格雷码编码信息获得。

下面对本发明的镜面物体的三维测量方法进行介绍，请参考图4，一种实施例中该方法包括步骤100~600，下面具体说明。

步骤100：对第一相机与第二相机的位置关系进行标定。

为方便进行匹配和计算，需要将第一相机、第二相机统一到同一坐标系下，可以选择第一相机和第二相机中的任意一个作为主相机，将另一相机转换至主相机的坐标系下，实现坐标系的统一。本文中以第一相机为主相机进行说明。需要说明的是，这里的“第一”“第二”仅为区分，实际应用中可将两个相机中的任意一个设置为主相机，则该主相机相当于本文中的第一相机，另一相机相当于本文中的第二相机。

为了实现坐标系的转换，则需要对第一相机与第二相机的位置关系进行标定，位置关系可以根据两相机间的距离、相对位姿（例如旋转、平移等）进行标定。获得位置关系后，可根据该位置关系实现两相机的坐标系之间的转换，例如通过平移、旋转等将一相机转换至另一相机的坐标系下。

一种实施例中，可以借助于相机标定对第一相机与第二相机的位置关系进行标定。由上文关于相机标定的介绍可知，相机标定可获得相机相对于世界坐标系的变换关系。因此该实施例中，对第一相机与第二相机的位置关系进行标定的过程可以包括：对第一相机进行标定，获得第一相机相对于世界坐标系的变换关系；对第二相机进行标定，获得第二相机相对于世界坐标系的变换关系；根据第一相机相对于世界坐标系的变换关系和第二相机相对于世界坐标系的变换关系，获得第一相机和第二相机的位置关系。其中第一相机和第二相机的标定顺序不做限定，可以同时进行，也可以先后进行。世界坐标系可以根据实际需要进行设置。

需要说明的是，为了能标定第一相机与第二相机的位置关系，在对第一相机和第二相机进行标定时，需保证将标定板如棋盘格标定板或圆阵列标定板等放置在第一相机和第二相机的公共视野范围内。

相机相对于世界坐标系的变换关系即相机坐标系相对于世界坐标系的变换关系。相机标定可获得相机的内参和外参，由上文关于相机标定的介绍可知，相机坐标系相对于世界坐标系的变换关系为相机的外参，包括旋转矩阵和平移向量。故第一相机相对于世界坐标系的变换关系包括第一相机相对于世界坐标系的旋转矩阵R _l 和平移向量T _l ，第二相机相对于世界坐标系的变换关系包括第二相机相对于世界坐标系的旋转矩阵R _r 和平移向量T _r 。令p _w 为空间中一点在世界坐标系下的坐标，则该点在第一相机坐标系和第二相机坐标系下的坐标的表达式分别为：

p _l =R _l p _w +T _l ，

p _r =R _r p _w +T _r ，

其中p _l 为p _w 在第一相机坐标系下的坐标，p _r 为p _w 在第二相机坐标系下的坐标。

一种实施例中，第一相机与第二相机的位置关系也可以用旋转矩阵和平移向量来表示，即第二相机相对于第一相机（主相机）的旋转矩阵R和平移向量T，则p _l 、p _r 之间的转换关系如下：

p _l =Rp _r +T。

由以上各式可得：

。 （3）

因此本实施例中，根据第一相机相对于世界坐标系的变换关系和第二相机相对于世界坐标系的变换关系，获得第一相机和第二相机的位置关系，具体可以为根据公式（3）计算得到第二相机相对于第一相机的旋转矩阵R和平移向量T。

步骤200：对第一相机与投影装置、物体平面的位置关系进行标定。

在使用图1所示的三维测量系统对物体进行三维测量前，由于第一相机3为主相机，因此需要先对投影装置1、物体平面2和第一相机3之间的位置关系进行标定，以便于后续将投影装置1、物体平面2和第一相机3上的点转换到同一坐标系下进行计算。而根据第一相机3和第二相机4的位置关系可以将第一相机3和第二相机4转换到同一坐标系下，如此便实现了整个三维测量系统坐标系的统一。位置关系可以根据两装置间的距离、相对位姿（例如旋转、平移等）进行标定。

位置关系的标定影响到后续三维测量的精度，是十分重要的一环。本发明一种实施例中提供一种上述三维测量系统中位置关系的标定方法，其中位置关系通过坐标系的变换关系来表示，包括投影装置坐标系与第一相机坐标系的变换关系以及物体平面坐标系与第一相机坐标系的变换关系。请参考图1，投影装置坐标系是建立在投影装置1上的空间坐标系，物体平面坐标系是建立在物体平面2上的空间坐标系，第一相机坐标系是建立在第一相机3上的空间坐标系。为了能适应镜面反射，本发明还引入了虚拟空间坐标系，借助虚拟空间坐标系进行标定。虚拟空间坐标系是建立在虚拟投影装置

上的空间坐标系，即虚拟空间坐标系是投影装置坐标系关于物体平面2做镜像对称得到的空间坐标系。将第一相机坐标系记为c，将物体平面坐标系记为w，将投影装置坐标系记为s，将虚拟空间坐标系记为v。图1中坐标系的原点位置和坐标轴的方向仅为示意，实际中可根据具体需求设置原点位置和坐标轴的方向，在此不做限定。

对于第一相机与物体平面的位置关系，可以将物体平面坐标系作为世界坐标系，对第一相机进行内外参的标定，则第一相机的外参表示世界坐标系与第一相机坐标系的变换关系，因此也就得到了物体平面坐标系与第一相机坐标系的变换关系。对于第一相机与投影装置的位置关系，可借助光栅投影进行标定，由光栅投影图像获得像素点与屏幕点的对应关系，进而确定投影装置坐标系与第一相机坐标系的变换关系，其中屏幕点指投影装置的屏幕上的点。

下文将对本发明的标定方法进行详细说明。

步骤300：获取待测物体的第一光栅投影图像和第二光栅投影图像。

由于已标定第一相机与物体平面的位置关系，因此将待测物体放置于物体平面上进行光栅投影，以利用标定的位置关系进行计算。投影装置对放置于物体平面上的待测物体投影光栅条纹图案，第一相机对待测物体进行拍摄，得到待测物体的第一光栅投影图像；第二相机对待测物体进行拍摄，得到待测物体的第二光栅投影图像。光栅条纹投影到待测物体表面时受到待测物体表面高度的调制发生变化，因此光栅投影图像反映了待测物体的表面形貌。

在后续的步骤中，需要对第一光栅投影图像和第二光栅投影图像进行处理，然后进行相位匹配，然而对于如纯白色或透明的待测物体来说，会有大片的光亮区域，所拍摄的第一光栅投影图像和第二光栅投影图像会有大面积的相似，影响后续相位匹配的准确性，因此一种实施例中，可以对相机拍摄的原始图像进行裁剪，剔除灰度值过大的区域。具体地，首先使投影装置根据四步相移法对待测物体进行光栅投影，依次获得第一相机拍摄的四幅光栅投影图像I ₁₁(x,y)、I ₁₂(x,y)、I ₁₃(x,y)和I ₁₄(x,y)，依次获得第二相机拍摄的四幅光栅投影图像I ₂₁(x,y)、I ₂₂(x,y)、I ₂₃(x,y)和I ₂₄(x,y)，其中(x,y)表示像素点的坐标；根据表面灰度调制函数k(x,y)=[I ₁(x,y)-I ₃(x,y)]²+[I ₂(x,y)-I ₄(x,y)]²分别对第一相机和第二相机拍摄的四幅光栅投影图像进行灰度调制，获得调制后的灰度图k(x,y)，具体来说，即根据以下函数进行灰度调制，获得调制后的第一灰度图k ₁(x,y)和第二灰度图k ₂(x,y)：

k ₁(x,y)=[I ₁₁(x,y)-I ₁₃(x,y)]²+[I ₁₂(x,y)-I ₁₄(x,y)]²，

k ₂(x,y)=[I ₂₁(x,y)-I ₂₃(x,y)]²+[I ₂₂(x,y)-I ₂₄(x,y)]²；

然后获取第一灰度图k ₁(x,y)和第二灰度图k ₂(x,y)中灰度值大于预设的灰度阈值的区域作为各自的待检测区域；将第一灰度图k ₁(x,y)中的待检测区域部分作为待测物体的第一光栅投影图像，将第二灰度图k ₂(x,y)中的待检测区域部分作为待测物体的第二光栅投影图像。

一种实施例中待测物体的光栅投影图像可以包括待测物体X方向的光栅投影图像和待测物体Y方向的光栅投影图像。投影装置在其屏幕上显示X方向（即水平方向）的光栅条纹，相机对待测物体拍摄得到的光栅投影图像称为待测物体X方向的光栅投影图像；投影装置在其屏幕上显示Y方向（即垂直方向）的光栅条纹，相机对待测物体拍摄得到的光栅投影图像称为待测物体Y方向的光栅投影图像。那么第一相机拍摄的第一光栅投影图像可以包括第一X方向光栅投影图像和第一Y方向光栅投影图像，第二相机拍摄的第二光栅投影图像可以包括第二X方向光栅投影图像和第二Y方向光栅投影图像。

步骤400：分别对第一光栅投影图像和第二光栅投影图像进行解相位处理，以得到第一相位图和第二相位图。

解相位处理可以参考上文关于解相位的介绍或者现有技术。对第一光栅投影图像进行解相位处理得到第一相位图，对第二光栅投影图像进行解相位处理得到第二相位图。

若待测物体的光栅投影图像包括待测物体X方向的光栅投影图像和待测物体Y方向的光栅投影图像，则对于每个像素点来说，对待测物体X方向的光栅投影图像解相位可以得到一个相位，称为X相位，对待测物体Y方向的光栅投影图像解相位也可以得到一个相位，称为Y相位。那么第一相位图可以包括第一X相位图和第一Y相位图，第二相位图可以包括第二X相位图和第二Y相位图。

步骤500：根据第一相机与第二相机的位置关系，以及第一相机与投影装置、物体平面的位置关系，对第一相位图和第二相位图进行基于法线约束的相位匹配，以获得匹配点对。

相位匹配的目的是获得第一相位图和第二相位图中相匹配的像素点，即获得空间中同一点在第一相位图和第二相位图中成像的对应点。为了提升精度，本发明在相位匹配过程中加入了法线约束，即对于空间中同一点，根据第一相位图和第二相位图计算出来的该点处的法向量应该比较接近。

请参考图5，一种实施例中，步骤500包括步骤510~540，下面具体说明。

步骤510：根据第一相机与第二相机的位置关系，以及第一相机与投影装置、物体平面的位置关系，获取第一相机以及第一相位图中各像素点对应的屏幕点和物体点、第二相机以及第二相位图中各像素点对应的屏幕点和物体点在同一坐标系下的坐标。

物体点是待测物体上反射屏幕点发出的光线并在相机中成像的点。像素点与对应的物体点、屏幕点的关系为，若屏幕点A发出的光经物体点B反射后在相机成像得到像素点C，则称屏幕点A为像素点C对应的屏幕点，称物体点B为像素点C对应的物体点。

由于步骤200中已经标定了第一相机与投影装置、物体平面的位置关系，因此根据标定的位置关系可将第一相机、第一相位图中各像素点对应的屏幕点和物体点转换至同一坐标系下进行坐标的表示。该同一坐标系可以是第一相机坐标系、物体平面坐标系或其他预先设定的坐标系等。再根据步骤100中标定的第一相机与第二相机的位置关系，可以将第二相机以及第二相位图中各像素点对应的屏幕点和物体点转换至与第一相机相同的坐标系下，从而实现整个系统坐标的统一。借助相位图可以获知像素点对应的屏幕点。相机的坐标可以用其镜头光心的坐标表示。

一种实施例中，可以获取第一相机、第二相机、物体点和屏幕点在世界坐标系下的坐标，当将物体平面坐标系作为世界坐标系时，即相当于获取第一相机、第二相机、物体点和屏幕点在物体平面坐标系下的坐标。

首先根据相位图获得屏幕点坐标。若相位图包括X相位图和Y相位图，那么可利用X相位和Y相位解得完整的屏幕点坐标(x _s ,y _s )。具体地，以第一相位图为例，对于每个像素点，根据其X相位

和Y相位

计算得到对应的屏幕点坐标(x _s , y _s )，计算公式如下：

，

其中T _x 表示像素点在X方向的光栅投影图像所处的光栅条纹的周期次数，T _y 表示像素点在Y方向的光栅投影图像所处的光栅条纹的周期次数。对于第二相位图也可按相同的方式计算其像素点对应的屏幕点坐标。

然后根据投影装置坐标系与第一相机坐标系的变换关系以及第一相机的外参，将坐标p _s =(x _s ,y _s ,0)变换到世界坐标系下作为屏幕点的世界坐标，这里的屏幕点包括第一相位图和第二相位图各像素点对应的屏幕点。具体地，首先根据投影装置坐标系与第一相机坐标系的变换关系将坐标p _s =(x _s ,y _s ,0)变换到第一相机坐标系下，再根据第一相机的外参变换到世界坐标系下。

最后对于第一相位图，根据第一相机的内参和外参，由第一相位图中各像素点的图像坐标获得对应的物体点的世界坐标，具体可以参考公式（1）；对于第二相位图，根据第二相机的内参，由第二相位图中各像素点的图像坐标获得对应的物体点在第二相机坐标系下的坐标，然后根据第一相机与第二相机的位置关系获得对应的物体点在第一相机坐标系下的坐标，再根据第一相机的外参获得对应的物体点的世界坐标。

步骤520：根据第一相机与第一相位图中像素点对应的物体点和屏幕点的几何关系，计算第一相位图各像素点对应的物体点处的法向量；根据第二相机与第二相位图中像素点对应的物体点和屏幕点的几何关系，计算第二相位图各像素点对应的物体点处的法向量。

几何关系可以是点与点、线与线和/或向量与向量之间的几何关系等。由于已经获得第一相机、第二相机、物体点和屏幕点在同一坐标系下的坐标，因此容易根据它们的坐标来计算几何关系。

一种实施例中，可根据相机、物体点和屏幕点之间的方向向量来进行法向量的求解。请参考图6，对于相位图中每个像素点，可根据相机的坐标、该像素点对应的物体点和屏幕点的坐标计算得到相机与屏幕点间的方向向量l _ij 和相机与物体点间的方向向量s _ij ，而物体点与屏幕点间的方向向量r _ij 由几何关系可得

，其中下标i、j表示像素点的图像坐标，i表示行坐标，j表示列坐标，n _ij 表示像素点(i,j)对应的物体点处的法向量。为了便于区分，本文使用上标c作为相机标识，c=1表示与第一相机有关的参数，c=2表示与第二相机有关的参数。则对于第一相位图的每个像素点，根据第一相机、像素点对应的物体点和屏幕点的坐标可计算得到第一相机与屏幕点间的方向向量

和第一相机与物体点间的方向向量

。对于第二相位图的每个像素点，根据第二相机、像素点对应的物体点和屏幕点的坐标可计算得到相机与屏幕点间的方向向量

和相机与物体点间的方向向量

。

对于任意c，考虑屏幕点的镜像对称，利用镜像对称，由几何关系可得以下等式：

，（4）

其中

表示物体点与屏幕点之间的距离，

表示相机与物体点之间的距离，

表示第一相位图的像素点(i,j)对应的物体点处的法向量，

表示第二相位图的像素点(i,j)对应的物体点处的法向量。上式中

、

和

为未知量，由于法向量包含三个维度，因此一共有五个未知数，而根据上式，由向量的三个维度仅可构建三个方程，因此是一个欠约束问题。为了解决这一问题，本发明通过增加两个约束条件的方式，将欠约束问题转化为可求解问题，实现法向量的求解。具体的，本发明引入两个额外的中间变量

和

，分别表示为：

^c a _ij = ^c s _ij + ^c r _ij = ^c s _ij +( ^c l _ij - ^c σ _ij ^c s _ij )/║ ^c l _ij - ^c σ _ij ^c s _ij ║，

，

其中

。

根据上面的公式，可知应有：

。 （5）

对于

和

有：

，

因此

、

和

相互正交，可以作为一个三维坐标系的三个轴，如图6所示，

和

相当于像素点(i,j)对应的物体点所在平面的展开。可以将式（5）作为额外的两个约束条件，与式（4）一起构成五个方程，从而求解出法向量

，其中c∈{1,2}。

步骤530：对于第一相位图上的待匹配像素点，根据第一相机与第二相机的位置关系在第二相位图上获得与其相对应的第二极线。

在进行相位匹配时，将第一相位图的像素点依次作为待匹配像素点，根据第一相机与第二相机的位置关系在第二相位图上划定搜索范围，在搜索范围内搜索与待匹配像素点匹配的像素点。搜索范围可根据极线约束条件确定，根据极线约束条件可在第二相位图上得到一直线，称为第二极线，可仅将第二极线上的点与待匹配像素点进行匹配，而无需全图搜索，大大减小了搜索范围，缩短了搜索时间。

请参考图7，空间点P经理想的相机成像模型成像后，在第一图像中所成像点为P _l ，在第二图像中所成像点为P _r ，其中第一图像为第一相机所拍摄图像，第二图像为第二相机所拍摄图像。O _l 、O _r 分别为第一相机、第二相机的光心，直线O _l O _r 称为基线，基线与第一相机成像面、第二相机成像面的交点分别为Q _l 、Q _r ，称为极点。第一图像中成像点P _l ，与第二图像中极线Q _r P _r 相对应，第二图像中成像点P _r ，与第二图像中极线Q _l P _l 相对应。

若用旋转矩阵R和平移向量T表示第一相机和第二相机的位置关系，则可得矩阵

，其中

，

t _x 、t _y 和t _z 分别为平移向量T的X分量、Y分量和Z分量，A _l 、A _r 分别为第一相机、第二相机的内参矩阵。则根据

可以获得极线。因此本步骤中，具体可以将第一相位图上的待匹配像素点作为点P _l ，根据

计算得到第二相位图上相应的点P _r ，获取点P _r 与极点Q _r 的连线作为点P _l 相对应的第二极线。

步骤540：依次将第二极线上的像素点作为候选像素点，计算候选像素点与待匹配像素点的相似度，以及候选像素点对应的物体点处的法向量与待匹配像素点对应的物体点处的法向量之间的误差，若相似度大于预设的相似度阈值且法向量之间的误差小于预设的误差阈值，则将该候选像素点作为待匹配像素点的匹配点，形成一匹配点对。

其中法向量之间的误差可以用法向量之间的距离、余弦相似度等来衡量。相似度阈值和法向量的误差阈值可以根据经验设置。

对于候选像素点与待匹配像素点的相似度的计算，本发明一种实施例提供一种相似度度量函数，使所计算的相似度不随光照发生线性变化而变化，有利于避免光照的影响，该相似度度量函数使用以候选像素点和待匹配像素点为中心的感兴趣区域进行计算，感兴趣区域的大小可以根据实际需要预先设定，例如可以是一5×5或7×7大小等的区域。

具体地，在计算候选像素点与待匹配像素点的相似度时，首先获取第一感兴趣区域和第二感兴趣区域，其中第一感兴趣区域为第一相位图中以待匹配像素点为中心的预定大小的区域，第二感兴趣区域为第二相位图中以候选像素点为中心且与第一感兴趣区域等大的区域；之后根据以下公式计算候选像素点与待匹配像素点的相似度：

，

上式即为本发明的相似度度量函数，其中s表示相似度，T表示第一感兴趣区域，n表示第一感兴趣区域的像素点数量，(u,v)表示第一感兴趣区域的像素点，t(u,v)表示点(u,v)的相位值，

表示第二感兴趣区域中与点(u,v)位置对应的像素点，

表示点

的相位值，m _t 和

分别表示第一感兴趣区域中像素点的相位平均值和方差，m _f 和

分别表示第二感兴趣区域中像素点的相位平均值和方差。

步骤600：用匹配点对计算待测物体表面的三维坐标。

匹配点对中的两个像素点为空间中同一点分别在两个相机中成像的点，在进行三维测量时即为待测物体表面一点分别在两个相机中成像的点，因此由一个匹配点对可获得对应的待测物体表面一点的三维坐标P _w =(x _w ,y _w ,z _w )。

本发明一种实施例中，通过构建损失函数进行迭代优化求解三维坐标。具体地，对于各匹配点对，根据以下损失函数，利用最小二乘法进行迭代优化，获得对应的待测物体表面一点的三维坐标P _w ：

，

其中P _l 为第一相机的像素点的图像坐标，P _r 为第二相机上与点P _l 匹配的像素点的图像坐标，H _l 为第一相机的单应性矩阵，H _r 为第二相机的单应性矩阵。单应性矩阵表示的是图像坐标系与世界坐标系的变换关系，由上文关于相机标定的部分可知其包括了完整的内参和外参两部分，由公式（2）可知单应性矩阵H=A[R|t]。

至此则完成了对物体的三维测量。

依据上述实施例的镜面物体的三维测量方法，采用双目视觉的方式计算待测物体表面的三维坐标，有效地提高了三维测量的精度和效率，且有利于更全面地检测待测物体的缺陷；系统结构较为简单，无需复杂而昂贵的补偿光学系统；可以克服镜面物体形貌重建困难的问题，通过主动投射光栅投影，对光栅投影图像进行处理，获得镜面物体的表面形貌，实现物体表面形貌的无损测量；适应性强，能够对多种镜面物体进行三维测量，对复杂环境也有较好的适应能力。

一种实施例中，在对第一相机与投影装置、物体平面的位置关系进行标定时，引入了与投影装置坐标系镜像对称的虚拟空间坐标系，借助虚拟空间坐标系进行标定，能够适应镜面反射的情况，从而为镜面物体的三维测量提供了良好的基础。

一种实施例中，在根据几何关系计算法向量时，通过构造两个新的向量，对法向量做张量展开，增加了法向量的约束条件，将欠约束问题转化为可求解问题，实现镜面物体表面法向量的顺利求解。

下面对本发明三维测量系统中位置关系的标定方法进行说明。请参考图8，一种实施例中该方法包括步骤210~260，下面具体说明。

步骤210：获取物体平面的第一标定板图像。

物体平面的第一标定板图像为第一相机3在投影装置1对物体平面2投影标定板图案时，对物体平面2拍摄的图像。第一标定板图像可以是棋盘格图像、圆阵列图像等。为了防止镜面反射对相机内外参标定的影响，可以在物体平面2上放一张白纸，使标定板图案投影在这张白纸上，避免发生镜面反射。

步骤220：将物体平面坐标系作为世界坐标系，根据第一标定板图像对第一相机的内参和外参进行标定。由于外参表示世界坐标系与第一相机坐标系的变换关系，因此得到外参也就得到了物体平面坐标系与第一相机坐标系的变换关系。

请参考图9，一种实施例中步骤220包括步骤221~224。

步骤221：获取第一标定板图像中的特征点，以及特征点的图像坐标和对应的世界坐标。

对于棋盘格来说特征点是棋盘格的角点，对于圆阵列来说特征点是圆阵列中圆形特征点的重心，圆形特征点即圆阵列中的圆形图案。可以根据标定板图案的参数信息来构建世界坐标系从而得到特征点对应的世界坐标，标定板图案的参数信息可以包括标定板的尺寸、棋盘格的尺寸、圆形特征点的半径、特征点之间的间距等。关于标定板图像中的特征点以及特征点的图像坐标的获取，可以通过现有技术实现，在此不进行赘述。

步骤222：根据特征点的图像坐标和对应的世界坐标计算单应性矩阵。可以理解，利用多个特征点的图像坐标p _i 和对应的世界坐标p _w ，以及图像坐标和世界坐标的变换关系p _i =Hp _w ，建立目标函数：

，可以利用最小二乘法计算出单应性矩阵H，将单应性矩阵H中的元素用h ₀、h ₁、h ₂、h ₃、h ₄、h ₅、h ₆、h ₇和h ₈表示，则

。

步骤223：根据单应性矩阵H与相机内参之间的约束关系，利用单应性矩阵H计算第一相机的内参。

令等效焦距f _x =f/s _x ，f _y =f/s _y ，则内参部分可表示为

。建立世界坐标系时，通常认为标定板上的点位于平面z=0上，因此可以忽略z方向上的旋转和平移，因此外参部分可以表示为

，其中r ₁、r ₂、r ₃、r ₄、r ₅和r ₆为旋转矩阵的元素，t _x 和t _y 分别为平移向量的x分量和y分量。因此有

，

若将图像坐标系原点设为图像中心，那么可以得到

，

由旋转矩阵中各向量的正交性约束可得：

，

再根据正交性和单位性约束，可得单应性矩阵H与相机内参之间的约束关系：

，

其中

。则根据以上约束关系可由单应性矩阵H计算得到等效焦距f _x 和f _y ，相机主光轴点坐标(c _x , c _y )可以通过相机手册得知。

步骤224：根据单应性矩阵H计算旋转矩阵R和平移向量t。

由公式（2）可知H=A[R|t]，根据正交性，可以获得：

H=[h ₁ h ₂ h ₃]=A[r ₁ r ₂ t]，

其中[r ₁ r ₂ t]= [R|t]，h ₁为单应性矩阵H的第一列向量，h ₂为单应性矩阵H的第二列向量，h ₃为单应性矩阵H的第三列向量，r ₁为旋转矩阵R的第一列向量，r ₂为旋转矩阵R的第二列向量。可以根据以下约束条件计算参数矩阵A：

，

可根据

，

计算得到向量r ₁和r ₂，则旋转矩阵R=[r ₁ r ₂]，根据

计算得到平移向量t，从而得到外参部分。

那么物体平面坐标系与第一相机坐标系的变换关系可以用旋转矩阵R和平移向量t来表示，可记为

和

。

步骤230：对物体平面变换若干个姿态，获取每个姿态下物体平面的标定板图像或光栅投影图像，获取标定板图像或光栅投影图像中的像素点在第一相机坐标系下的坐标，以及对应的虚拟空间坐标系中的点的坐标。

为了使标定结果更精确，本发明通过对物体平面2随机变换多个姿态来标定投影装置坐标系与第一相机坐标系的变换关系，并且借助虚拟空间坐标系进行标定，以适应镜面反射。在每个姿态下，投影装置1对物体平面2投影标定板图案或光栅条纹图案，第一相机3进行拍摄，得到物体平面2的标定板图像或光栅投影图像。

由上文可知，通过第一相机的内参可将图像坐标变换到第一相机坐标系下，因此可根据标定板图像或光栅投影图像中的像素点的图像坐标和第一相机的内参获得像素点在第一相机坐标系下的坐标。其中标定板图像的像素点具体可以是标定板图像中的特征点。

像素点对应的虚拟空间坐标系中的点，即从该像素点观察到的虚拟空间坐标系中的点。对于标定板图像，可获取标定板图像中的像素点对应的世界坐标作为其对应的虚拟空间坐标系中的点的坐标，像素点对应的世界坐标可通过将像素点的图像坐标经第一相机的内参和外参变换得到。对于光栅投影图像，对光栅投影图像进行解相位处理以得到光栅投影图像中像素点的相位信息，则根据像素点的相位信息可获得像素点对应的屏幕点坐标(x _s ,y _s )；将坐标p _s =(x _s ,y _s ,0)作为光栅投影图像中像素点对应的虚拟空间坐标系中的点的坐标。解相位处理可以参考上文关于解相位的介绍或者现有技术。关于屏幕点坐标(x _s ,y _s )的获取可以参考步骤510，在此不再赘述。

步骤240：对于物体平面的每个姿态，根据该姿态下标定板图像或光栅投影图像中的像素点在第一相机坐标系下的坐标，以及对应的虚拟空间坐标系中的点的坐标，计算该姿态下虚拟空间坐标系与第一相机坐标系的变换关系。

利用多组像素点在第一相机坐标系下的坐标以及对应的虚拟空间坐标系中的点的坐标，可以计算得到虚拟空间坐标系与第一相机坐标系的变换关系。一种实施例中，虚拟空间坐标系与第一相机坐标系的变换关系可以用旋转矩阵

和平移向量

来表示，设虚拟空间坐标系下的点可以表示为

，第一相机坐标系下的点可以表示为

，则可以建立变换关系为：

，

其中k表示像素点的序号，m表示第m个姿态，且m=1,2……N _c ，N _c 表示姿态的数量，

表示第m个姿态下第k个像素点在第一相机坐标系下的坐标，

表示第m个姿态下第k个像素点对应的虚拟空间坐标系中的点的坐标，

表示第m个姿态下虚拟空间坐标系与第一相机坐标系的旋转矩阵，

表示第m个姿态下虚拟空间坐标系与第一相机坐标系的平移向量。

根据上式，可以建立以下目标函数，利用最小二乘法计算每个姿态下虚拟空间坐标系与第一相机坐标系的变换关系：

，

其中N表示标定板图像或光栅投影图像中像素点的数量。

步骤250：根据虚拟空间坐标系与投影装置坐标系的几何关系，利用所有姿态下虚拟空间坐标系与第一相机坐标系的变换关系，计算投影装置坐标系与第一相机坐标系的变换关系。

一种实施例中，投影装置坐标系与第一相机坐标系的变换关系可以用旋转矩阵

和平移向量

来表示。请参考图10，对于投影装置上一点p，其经物体平面上一点反射后在第一相机中成像，在虚拟投影装置上的镜像点为

，则根据几何关系，由虚拟空间坐标系到第一相机坐标系的变换可以表示为：

，

其中I为单位矩阵，n为物体平面上的反射点处的法向量，d为第一相机到物体平面的距离，具体的可以为第一相机镜头的光心到物体平面的距离。

当用旋转矩阵

和平移向量

来表示虚拟空间坐标系到第一相机坐标系的变换时，可得：

，

本发明一种实施例中根据该式利用旋转矩阵

和平移向量

对旋转矩阵

和平移向量

进行标定。

为了兼顾计算精度和效率，可在步骤230中对物体平面变换三个姿态，利用这三个姿态下虚拟空间坐标系与第一相机坐标系的变换关系，计算投影装置坐标系与第一相机坐标系的变换关系。

对于任意p,q∈{1,2,3}，定义m _p,q =n _p ×n _q ，其中n _p 表示第p个姿态下物体平面的法向量，由于

成立，因此m _p,q 为矩阵

进行奇异值分解后得到的最小特征值所对应的特征向量。根据m _p,q =n _p ×n _q 可由m _p,q 得到法向量n _p 。

因此，本发明一种实施例的步骤250中，首先对任意p,q∈{1,2,3}的矩阵

进行奇异值分解，得到最小特征值所对应的特征向量m _p,q ；之后根据以下公式计算法向量n _p ：

；

再根据公式

可计算得到投影装置坐标系与第一相机坐标系的旋转矩阵

，这里的n _p 为任意一个姿态下的法向量，

为该姿态下虚拟空间坐标系与第一相机坐标系的旋转矩阵；

最后根据以下公式可计算得到投影装置坐标系与第一相机坐标系的平移向量

：

，

其中d ₁、d ₂和d ₃分别为三个姿态下第一相机到物体平面的距离。上式可以表示为Ax=b的形式，其中

，

，

，因此解为

。

至此则得到了投影装置坐标系与第一相机坐标系的变换关系。

步骤260：依据预设的全局优化目标函数对投影装置坐标系与第一相机坐标系的变换关系进行全局优化。

由于步骤250中得到的投影装置坐标系与第一相机坐标系的变换关系可能只是一个局部最优解，因此本步骤对其进行全局优化，以搜索全局最优解，提高标定的精度。全局优化主要基于预设的全局优化目标函数进行参数的迭代优化，迭代初始值为步骤250得到的投影装置坐标系与第一相机坐标系的变换关系。全局优化目标函数可以基于实际值与估计值误差最小的思路设计。一种实施例中，若用旋转矩阵

和平移向量

来表示投影装置坐标系与第一相机坐标系的变换关系，全局优化目标函数可以为：

，

其中x _mk 表示第m个姿态下物体平面的标定板图像或光栅投影图像的第k个像素点在第一相机坐标系下的坐标，N _c 表示姿态的数量，

，

，v _m = d _m n _m ，n _m 表示第m个姿态下物体平面的法向量，d _m 表示第m个姿态下物体平面与第一相机的距离，p _mk 表示x _mk 对应的投影装置坐标系中的点的坐标，

为在第一相机坐标系下在第一相机的成像平面观察到的p _mk 的虚像点的坐标，z _mk 表示点

经过第一相机的非线性映射f得到的坐标，w=[

,

, v ₁, v ₂... v _Nc ]，为由待优化参数组成的向量。

其中x _mk 可根据标定板图像或光栅投影图像中的像素点的图像坐标和第一相机的内参获得。p _mk 可根据已获得的投影装置坐标系与第一相机坐标系的变换关系获得，即根据旋转矩阵

和平移向量

获得。点p _mk 由于物体平面的镜面反射在第一相机成像平面形成一虚像，那么从第一相机的成像平面看并不能看到真正的点p _mk ，而是其虚像点

，虚像点

与点p _mk 关于物体平面镜像对称，这里计算得到的

是转换到第一相机坐标系下的坐标。非线性映射f指第一相机镜头的畸变。

根据以上全局优化目标函数对待优化参数进行迭代优化，可得到最终的投影装置坐标系与第一相机坐标系的变换关系，从而完成三维测量系统中位置关系的标定。

依据上述实施例的三维测量系统中位置关系的标定方法，用于对三维测量系统中投影装置、物体平面和相机之间的位置关系进行标定，其中位置关系用投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系表示。在标定过程中引入虚拟空间坐标系，虚拟空间坐标系是投影装置坐标系关于物体平面做镜像对称得到的空间坐标系，首先标定虚拟空间坐标系与相机坐标系的变换关系，再利用虚拟空间坐标系与相机坐标系的变换关系来对投影装置与相机的位置关系进行标定，从而能够适应后续对镜面物体的三维测量；并且在标定投影装置与相机的位置关系时，利用物体平面在多个姿态下虚拟空间坐标系与相机坐标系的变换关系进行计算，有利于获得更为准确的估计值，避免陷入与真实值偏差较大的局部最优解。最后还将获得的估计值作为初始值，进行全局优化，从而提升了标定的精度，为后续对物体进行三维测量提供了良好的基础。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种镜面物体的三维测量方法，应用于三维测量系统，所述三维测量系统包括投影装置、物体平面、第一相机和第二相机，其特征在于，所述三维测量方法包括：

对所述第一相机与所述第二相机的位置关系进行标定；

对所述第一相机与所述投影装置、所述物体平面的位置关系进行标定；

获取待测物体的第一光栅投影图像和第二光栅投影图像，其中所述待测物体放置于所述物体平面上，待测物体的第一光栅投影图像和第二光栅投影图像分别为所述第一相机和所述第二相机在所述投影装置对所述待测物体进行光栅投影时，对所述待测物体拍摄的图像；

分别对所述第一光栅投影图像和所述第二光栅投影图像进行解相位处理，以得到第一相位图和第二相位图；

根据所述第一相机与所述第二相机的位置关系，以及所述第一相机与所述投影装置、所述物体平面的位置关系，对所述第一相位图和所述第二相位图进行基于法线约束的相位匹配，以获得匹配点对；

利用匹配点对计算所述待测物体表面的三维坐标。

2.如权利要求1所述的三维测量方法，其特征在于，所述对所述第一相机与所述第二相机的位置关系进行标定，包括：

对所述第一相机进行标定，获得所述第一相机相对于世界坐标系的变换关系；

对所述第二相机进行标定，获得所述第二相机相对于世界坐标系的变换关系；

根据所述第一相机相对于世界坐标系的变换关系和所述第二相机相对于世界坐标系的变换关系，获得所述第一相机和所述第二相机的位置关系。

3.如权利要求2所述的三维测量方法，其特征在于，所述第一相机相对于世界坐标系的变换关系包括所述第一相机相对于世界坐标系的旋转矩阵R _l 和平移向量T _l ，所述第二相机相对于世界坐标系的变换关系包括所述第二相机相对于世界坐标系的旋转矩阵R _r 和平移向量T _r ；所述根据所述第一相机相对于世界坐标系的变换关系和所述第二相机相对于世界坐标系的变换关系，获得所述第一相机和所述第二相机的位置关系，包括：

根据以下公式获得所述第二相机相对于所述第一相机的旋转矩阵R和平移向量T：

。

4.如权利要求1所述的三维测量方法，其特征在于，所述根据所述第一相机与所述第二相机的位置关系，以及所述第一相机与所述投影装置、所述物体平面的位置关系，对所述第一相位图和所述第二相位图进行基于法线约束的相位匹配，以获得匹配点对，包括：

根据所述第一相机与所述第二相机的位置关系，以及所述第一相机与所述投影装置、所述物体平面的位置关系，获取所述第一相机以及所述第一相位图中各像素点对应的屏幕点和物体点、所述第二相机以及所述第二相位图中各像素点对应的屏幕点和物体点在同一坐标系下的坐标，其中屏幕点是所述投影装置的屏幕上的点，物体点是待测物体上反射屏幕点发出的光线并在相机中成像的点；

根据所述第一相机与所述第一相位图中像素点对应的物体点和屏幕点的几何关系，计算所述第一相位图各像素点对应的物体点处的法向量；

根据所述第二相机与所述第二相位图中像素点对应的物体点和屏幕点的几何关系，计算所述第二相位图各像素点对应的物体点处的法向量；

对于所述第一相位图上的待匹配像素点，根据所述第一相机与所述第二相机的位置关系在所述第二相位图上获得与其相对应的第二极线；

依次将所述第二极线上的像素点作为候选像素点，计算候选像素点与所述待匹配像素点的相似度，以及候选像素点对应的物体点处的法向量与所述待匹配像素点对应的物体点处的法向量之间的误差，若相似度大于预设的相似度阈值且法向量之间的误差小于预设的误差阈值，则将该候选像素点作为所述待匹配像素点的匹配点，形成一匹配点对。

5.如权利要求1至4中任一项所述的三维测量方法，其特征在于，所述第一相机与所述投影装置、所述物体平面的位置关系包括投影装置坐标系与第一相机坐标系的变换关系以及物体平面坐标系与第一相机坐标系的变换关系，所述对所述第一相机与所述投影装置、所述物体平面的位置关系进行标定，包括：

获取所述物体平面的第一标定板图像，所述物体平面的第一标定板图像为所述第一相机在所述投影装置对所述物体平面投影标定板图案时，对所述物体平面拍摄的图像；

将物体平面坐标系作为世界坐标系，根据所述第一标定板图像对所述第一相机的内参和外参进行标定，所述外参表示所述世界坐标系与所述第一相机坐标系的变换关系；

对所述物体平面变换若干个姿态，获取每个姿态下所述物体平面的标定板图像或光栅投影图像，获取所述物体平面的标定板图像或光栅投影图像中的像素点在第一相机坐标系下的坐标，以及对应的虚拟空间坐标系中的点的坐标，其中所述虚拟空间坐标系是投影装置坐标系关于所述物体平面做镜像对称得到的空间坐标系；

对于所述物体平面的每个姿态，根据该姿态下标定板图像或光栅投影图像中的像素点在第一相机坐标系下的坐标，以及对应的虚拟空间坐标系中的点的坐标，计算该姿态下虚拟空间坐标系与第一相机坐标系的变换关系；

根据虚拟空间坐标系与投影装置坐标系的几何关系，利用所有姿态下虚拟空间坐标系与第一相机坐标系的变换关系，计算投影装置坐标系与第一相机坐标系的变换关系；

依据预设的全局优化目标函数对所述投影装置坐标系与第一相机坐标系的变换关系进行全局优化。

6.如权利要求4所述的三维测量方法，其特征在于，所述根据所述第一相机与所述第一相位图中像素点对应的物体点和屏幕点的几何关系，计算所述第一相位图各像素点对应的物体点处的法向量，根据所述第二相机与所述第二相位图中像素点对应的物体点和屏幕点的几何关系，计算所述第二相位图各像素点对应的物体点处的法向量，包括：

对于所述第一相位图的每个像素点，根据第一相机、像素点对应的物体点和屏幕点的坐标计算得到第一相机与屏幕点间的方向向量

和第一相机与物体点间的方向向量

，其中下标i、j表示像素点的图像坐标，i表示行坐标，j表示列坐标；

对于所述第二相位图的每个像素点，根据第二相机、像素点对应的物体点和屏幕点的坐标计算得到相机与屏幕点间的方向向量

和相机与物体点间的方向向量

；

根据以下方程组计算得到所述第一相位图和所述第二相位图的像素点(i,j)对应的物体点处的法向量；

，

，

其中

，

，

，

其中上标c为相机标识且c∈{1,2}，

表示物体点与屏幕点之间的距离，

表示相机与物体点之间的距离，

表示所述第一相位图的像素点(i,j)对应的物体点处的法向量，

表示所述第二相位图的像素点(i,j)对应的物体点处的法向量。

7.如权利要求4所述的三维测量方法，其特征在于，所述计算候选像素点与所述待匹配像素点的相似度，包括：

获取第一感兴趣区域和第二感兴趣区域，所述第一感兴趣区域为所述第一相位图中以所述待匹配像素点为中心的预定大小的区域，所述第二感兴趣区域为所述第二相位图中以所述候选像素点为中心且与所述第一感兴趣区域等大的区域；

根据以下公式计算候选像素点与所述待匹配像素点的相似度：

，

其中s表示相似度，T表示所述第一感兴趣区域，n表示所述第一感兴趣区域的像素点数量，(u,v)表示所述第一感兴趣区域的像素点，t(u,v)表示点(u,v)的相位值，

表示所述第二感兴趣区域中与点(u,v)位置对应的像素点，

表示点

的相位值，m _t 和

分别表示所述第一感兴趣区域中像素点的相位平均值和方差，m _f 和

分别表示所述第二感兴趣区域中像素点的相位平均值和方差。

8.如权利要求1所述的三维测量方法，其特征在于，所述利用匹配点对计算所述待测物体表面的三维坐标，包括：

对于各匹配点对，根据以下损失函数进行迭代优化，获得对应的所述待测物体表面一点的三维坐标P _w ：

，

其中P _l 为所述第一相机的像素点的图像坐标，P _r 为所述第二相机上与点P _l 匹配的像素点的图像坐标，H _l 为所述第一相机的单应性矩阵，H _r 为所述第二相机的单应性矩阵。

9.如权利要求1所述的三维测量方法，其特征在于，所述获取待测物体的第一光栅投影图像和第二光栅投影图像，包括：

依次获取根据四步相移法对所述待测物体进行光栅投影时所述第一相机拍摄的光栅投影图像I ₁₁(x,y)、I ₁₂(x,y)、I ₁₃(x,y)和I ₁₄(x,y)，其中(x,y)表示像素点的坐标；

依次获取根据四步相移法对所述待测物体进行光栅投影时所述第二相机拍摄的光栅投影图像I ₂₁(x,y)、I ₂₂(x,y)、I ₂₃(x,y)和I ₂₄(x,y)；

根据以下函数进行灰度调制，获得调制后的第一灰度图k ₁(x,y)和第二灰度图k ₂(x,y)：

k ₁(x,y)=[I ₁₁(x,y)-I ₁₃(x,y)]²+[I ₁₂(x,y)-I ₁₄(x,y)]²，

k ₂(x,y)=[I ₂₁(x,y)-I ₂₃(x,y)]²+[I ₂₂(x,y)-I ₂₄(x,y)]²；

获取第一灰度图k ₁(x,y)和第二灰度图k ₂(x,y)中灰度值大于预设的灰度阈值的区域作为待检测区域；

将第一灰度图k ₁(x,y)中的待检测区域部分作为待测物体的第一光栅投影图像；

将第二灰度图k ₂(x,y)中的待检测区域部分作为待测物体的第二光栅投影图像。

10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的三维测量方法。

Images