CN111006599A - 基于像素光栅和计算机视觉的物体表面微尺度测量方法 - Google Patents

Abstract

本发明公开了一种基于像素光栅和计算机视觉的物体表面微尺度测量方法。首先使用投影仪投出单像素宽条纹光栅图案，进行光栅测试，直至相机能拍出清晰条纹图片，然后进行相机和投影仪的标定，计算标定结果，其次进行光栅投影，获取条纹图片，随后进行图像增强、去噪、抠图、提取中心线和求特定点，使用空间几何方法计算物体上一点的空间坐标，最后整合所有空间坐标构成物体表面三维点集，利用三维点集完成具体的表面凹凸测量要求。本发明提出了一种新的光栅投影图像处理和计算方案，扩展了光栅投影三维检测的研究内容，使用单像素宽条纹可以显著的降低投射出每条条纹的宽度，从而大大提高了检测精确度，实现了对物体表面的微尺度测量。

Description

基于像素光栅和计算机视觉的物体表面微尺度测量方法

技术领域

本发明涉及光栅投影三维成像技术领域，具体地说是一种基于像素光栅和计算机视觉的物体表面微尺度测量方法。

背景技术

基于数字光栅投影结构光的三维重建技术是近年来发展起来的一种视觉测量技术。光栅投影测量技术具有较高的扫描速度、精度高、非接触等优点，易于高自动化应用。目前，光栅投影三维测量技术被广泛应用于三维测量、计算机辅助设计以及逆向工程等诸多领域，尤其是在要求非接触、高精度、高效率的测量场合。在众多光学三维测量技术中，这种主动测量方法已逐渐成为光学三维测量的主要技术之一。

工厂环境下对于部分物体的表面测量无法通过接触式方法进行，并且要求精度高，设备组合不能复杂。现有激光测量技术，设备昂贵且设备组合复杂，并要求通过移动激光动态测量表面，需要的支持设备昂贵并且不易进行自动化操作。现有超声波对小的表面凸凹显示不直观，容易受主观因素影响，测量结果不易保存，要求测量人员有相应的工作经验，且该方法不适合厚度较薄的物体。结构光光栅投影技术能够对物体表面进行高速度，高精度，非接触的快速精细测量，且该技术所需设备种类少，满足多数工厂环境要求。

使用投影仪投射光栅图案是最简单快捷的方式，投影出条纹的宽度与投影仪的分辨率、投影面积和每个条纹所占像素的大小有关。分辨率越大、投影面积越小、条纹所占像素越少则光栅的宽度越小，测量精度越高，因此减少条纹所占像素个数，最少达到1像素1条纹，能够大大提升测量精度，已有的光栅投影三维成像方面的论文及专利中研究对象均为多像素条纹，根据市面上常见的投影仪参数，无法达到0.1～1mm之间的精度，只能采用单像素条纹的办法。而现有光栅投影三维重建的计算方法也是基于多像素条纹形成正弦光栅后进行解相位计算，采用单像素条纹时不能保证实现投影条纹的正弦性，这种计算方法失效，因此针对单像素光栅条纹投影还需要研究一套新的计算方法。

发明内容

本发明主要解决的技术问题是如何利用单像素条纹光栅投影完成物体表面的微尺度形变测量。

为解决单像素条纹光栅投影下的物体表面的测量问题，本发明提出了一种基于像素光栅和计算机视觉的物体表面微尺度测量方法，包括以下步骤：

步骤一：光栅投影测试，首先通过投影仪投出单像素宽条纹图案至被测物体上，然后通过工业相机拍摄所述条纹图案，不断调整投影仪、被测物体与相机相对位置直至相机拍摄到图片中的条纹在经过物体时发生明显形变；

步骤二：标定计算，首先进行相机和投影仪标定，得到标定结果生成图像到空间的坐标变换关系，利用所述坐标变换关系求解相机拍摄的图像上每一点的像素坐标对应的空间坐标，以及相机焦点、投影仪焦点的空间坐标；

步骤三：获取条纹图片，生成两步相位的两张单像素宽光栅条纹图，所述两张单像素宽光栅条纹图的条纹正好相反，分别称为初始相位条纹图和相移后条纹图，分别投影所述初始相位条纹图和相移后条纹图至被测物体所在的平面上，通过工业相机拍摄得到两组没有物体的条纹图和经物体调制的条纹图，并定义相位原点和相位点；

步骤四：处理图像，将所述没有物体的条纹图和经物体调制的条纹图进行图像增强、去噪、提取条纹中心线、设定距离确定相位原点、抠出发生形变的条纹部分与对应的原条纹部分、求每个相位原点对应的相位点，并求出所述相位原点以及对应的相位点的空间坐标；

步骤五：计算空间几何，针对所得到的每一组相位原点和相位点的空间坐标，分别结合工业相机和投影仪的焦点坐标，用几何方法求出每组相位原点和相位点对应于物体上一点的空间坐标，从而生成物体表面三维点集；

步骤六：表面测量，针对具体的测量需求，对所述物体表面三维点集进行数据筛选和整理，得出测量结果，并生成物体表面的三维散点图和三维曲面图。

所述的步骤二标定计算，首先进行相机和投影仪标定，得到标定结果生成图像到空间的坐标变换关系，利用所述坐标变换关系求解相机拍摄的图像上每一点的像素坐标对应的空间坐标，以及相机焦点、投影仪焦点的空间坐标，具体步骤如下：

2.1)固定好相机和投影仪的位置，用张正友标定法进行相机和投影仪的标定，制作标定板并拍摄n张标定图片，n根据实际情况确定，在拍摄第一张标定图片时标定板要与被测物体放置在同一个平面上，通过标定函数处理所述n张标定图片的集合，得到内参向量和不同数值的外参向量，所述外参向量又包括不同数值的平移向量和旋转向量，所述内参向量所在的矩阵称内参矩阵，将所述旋转向量转换为3*3旋转矩阵，将所述3*3旋转矩阵和平移向量结合构成一个新的4*4矩阵称为外参矩阵；

2.2)根据标定得到的内参矩阵、第一张标定图片对应的平移向量和旋转矩阵，利用公式(1)生成图像到空间的坐标变换：

其中，K表示内参矩阵，R表示旋转矩阵，T表示平移向量，(u,v)表示图像上一点坐标，(X_w,Y_w,Z_w)表示(u,v)对应在空间中一点的坐标，Z_c表示在相机坐标系中垂直于成像平面的可变变量；

2.3)将公式(1)中等号右边的内参矩阵和外参矩阵相乘，得到一个3*4的矩阵，整理之后的图像到空间的坐标变换公式如下：

其中，m₁₁～m₃₄表示内参矩阵与外参矩阵相乘得到的计算结果，(u,v)表示图像上一点坐标，(X_w,Y_w,Z_w)表示(u,v)对应在空间中一点的坐标，Z_c表示在相机坐标系中垂直于成像平面的可变变量；

2.4)将公式(2)写成等式形式得到如下方程：

对于平面上的任意一点坐标的Z轴分量为0，所以图像上一点坐标(u,v)对应在空间中一点坐标(X_w,Y_w,Z_w)中的Z_w＝0，再将公式(3)中第3个式子代入前两个，消去Z_c，整理得到如下方程：

通过求解公式(4)对应的二元一次方程，即可把图像上每一点的像素坐标都对应成空间坐标；

2.5)将相机对应的参数代入公式(5)计算得到相机坐标系的原点在空间坐标系中的坐标，即为相机焦点的空间坐标，将投影仪对应的参数代入公式(5)计算得到投影仪坐标系的原点在空间坐标系中的坐标，即为投影仪焦点的空间坐标：

其中，R表示旋转矩阵，T表示平移向量，(X,Y,Z)表示相机或投影仪焦点的空间坐标。

所述的步骤三获取条纹图片，生成两步相位的两张单像素宽光栅条纹图，所述两张单像素宽光栅条纹图的条纹正好相反，分别称为初始相位条纹图和相移后条纹图，分别投影所述初始相位条纹图和相移后条纹图至被测物体所在的平面上，通过工业相机拍摄得到两组没有物体的条纹图和经物体调制的条纹图，并定义相位原点和相位点，具体步骤如下：

3.1)用投影仪投出初始相位条纹图至物体放置平面，使用工业相机进行拍摄得到图片p1，所述图片p1表示初始相位条纹投影到物体放置平面未发生形变的图片；

3.2)更换投影条纹图片，使用相移后条纹图片，投影至物体放置平面，使用工业相机进行拍摄得到图片p2，所述图片p2表示相移后条纹投影到物体放置平面未发生形变的图片；

3.3)放置好被测物体，用投影仪投出初始相位条纹图至物体表面，使用工业相机进行拍摄得到图片p3，所述图片p3表示经被测物体调制后的初始相位条纹投影到物体放置平面发生形变的图片，所述图片p1和图片p3为一组对照图片，投影的条纹图案相同；

3.4)更换使用相移后条纹图片，投影相移后条纹至物体表面，使用工业相机进行拍摄得到图片p4，所述图片p4表示经被测物体调制后的相移后条纹投影到物体放置平面发生形变的图片，所述图片p2和图片p4为一组对照图片，投影的条纹图案相同；

3.5)定义图片p1中条纹上的一点为相位原点，在图片p3中，所述相位原点经物体调制位置发生了变化，定义变化后的相位原点在图片p3中的对应点为相位点，定义图片p2中条纹上的一点为相位原点，在图片p4中，所述相位原点经物体调制位置发生了变化，定义变化后的相位原定在图片p4中的对应点为相位点，每一组相位原点和相位点相互对应。

所述的步骤四处理图像，将所述没有物体的条纹图和经物体调制的条纹图进行图像增强、去噪、提取条纹中心线、设定距离确定相位原点、抠出发生形变的条纹部分与对应的原条纹部分、求每个相位原点对应的相位点，并求出所述相位原点以及对应的相位点的空间坐标，具体步骤如下：

4.1)图像增强，使用全局直方图均衡化与伽马变换相结合的方式进行图像增强，在全局直方图均衡化过程中，用图片p1的全局直方图对图片p1和图片p3进行均衡化处理，用图片p2的全局直方图对图片p2和图片p4进行均衡化处理；

4.2)去噪，使用高斯双边滤波结合高斯滤波的方法去除图片p1～图片p4上的噪点；

4.3)提取条纹中心线，首先提取光条中心，并得到图片p1～图片p4的每张图片中每个条纹的中心线上所有点的坐标集合，然后补全中心线上的缺点；

4.4)设定距离确定相位原点，对图片p1和图片p2中的每条条纹的中心线进行直线拟合，得到直线拟合方程，将条纹中心线拟合后的直线拟合方程所在的直线根据设定的距离预设值d等间隔的取点，d小于图像中最小条纹的宽度，在每条条纹中心线上取到的点即为所述条纹中心线的相位原点；

4.5)抠出发生形变的条纹部分与对应的原条纹部分，先求出图片p1与图片p3的相异性，以及图片p2与图片p4的相异性，然后通过图片p1与图片p3的相异性求出相异区域，并对所述相异区域进行掩膜抠出图片p1与图片p3中的不同区域，通过图片p2与图片p4的相异性求出相异区域，并对所述相异区域进行掩膜抠出图片p2与图片p4中的不同区域，定义图片p1和图片p3中抠出的不同区域为原始条纹区域，定义图片p2和图片p4中抠出的不同区域为形变条纹区域；

4.6)求每个相位原点对应的相位点，以原始条纹区域中的相位原点为端点做所在直线的垂线射线，并求出射线方程，对图片p3和图片p4中形变条纹区域的每条条纹的中心线进行曲线拟合，得到每条条纹中心线的曲线拟合方程，求出图片p3中的曲线拟合方程所在的曲线与图片p1中的相位原点的射线方程所在的直线的交点，定义所有所述交点中与图片p1中的所述相位原点距离最近的一个交点为图片p1中的所述相位原点对应的相位点，求出图片p4中的曲线拟合方程所在的曲线与图片p2中的相位原点的射线方程所在的直线的交点，定义所有所述交点中与图片p2中的所述相位原点距离最近的一个交点为图片p2中的所述相位原点对应的相位点；

4.7)求相位原点以及对应的相位点的空间坐标，通过步骤二中的具体步骤，利用公式(1)求出图片p1～图片p4到对应空间的坐标变换，然后整理得到四个相应的公式(3)对应的二元一次方程，通过求解所述的四个二元一次方程得到图片p1～图片p4中的每个相位原点和对应的相位点的空间坐标。

所述的步骤五计算空间几何，针对所得到的每一组相位原点和相位点，分别结合工业相机和投影仪的焦点坐标，用几何方法求出每组相位原点和相位点对应于物体上一点的空间坐标，从而生成物体表面三维点集，具体步骤如下：

5.1)定义A为投影仪焦点，定义C为相机焦点，首先在没有凸起物体的时候，用投影仪投射出的一条光线照射到被测物体所在平面上的B点，所述B点表示没有凸起物体时图片p1或图片p3中的相位原点，然后在有凸起物体的时候，设O为所述凸起物体上的一点，用投影仪投射出的一条光线照射到O点反射回C点，根据光的可逆性，延长直线CO与被测物体所在平面相交于D点，则所述D点表示对应于相位原点B点的相位点；

5.2)定义点A、点B构成直线L1，定义点C、点D构成直线L2，分别求出所述直线L1和直线L2所在的直线方程，然后分别求出所述直线L1与直线L2的公垂线方向向量以及所述公垂线所在的直线方程，再联立所述直线L1所在的直线方程与直线L1所对应的公垂线方程得到平面α，并求出所述平面α所在的平面方程；

5.3)联立所述平面α所在的平面方程与直线L2所在的直线方程，得到垂足O₁，并定义垂足O₁的坐标为(x₁,y₁,z₁)，联立所述平面α所在的平面方程与直线L1所在的直线方程，得到垂足O₂，并定义垂足O₂的坐标为(x₂,y₂,z₂)，则垂足O₁与垂足O₂的中点即为所述O点的坐标

5.4)重复所述步骤5.1)～步骤5.3)计算出每组相位原点和相位点对应的物体上一点的空间坐标，即所有点的空间坐标构成物体表面的三维点集。

本发明的有益效果是：

本发明提出了一种使用单像素条纹光栅投影再三维检测的计算和图像处理方案，扩展了光栅投影三维检测的研究内容，相较于传统的投影计算方式，使用单像素条纹可以显著的降低投射出每条条纹的宽度，从而大大提高了精确度，实现了对物体表面的微尺度测量。

附图说明

图1为本发明实施例中的基于像素光栅和计算机视觉的物体表面微尺度测量方法的流程图。

图2为本发明实施例中的实验系统搭建结构示意图。

图3为本发明实施例中的求解物体表面一点空间坐标几何示意图，其中图3(a)为整体空间坐标几何示意图，图3(b)为O点局部放大图。

图4为本发明实施例中的图像处理各阶段中间图，图(a)为图片p1原始条纹灰度图，图(b)为图片p1图像增强结果图，图(c)为图片p1图像去噪结果图，图(d)为图片p1拟合直线结果图。

图5为本发明实施例中的求解相位原点和相位点的示意图。

图6为本发明实施例中的三维散点图。

图7为本发明实施例中的三维曲面图。

图2中：1、投影仪支架，2、投影仪，3、图像处理计算机，4、相机支架，5、工业相机，6、滤光片，7、被检测物体，8、相机遥控快门。

具体实施方式

下面是结合附图对本发明的技术方案进行详细说明。

如图1本发明实施例中的基于像素光栅和计算机视觉的物体表面微尺度测量方法的流程图所示，具体步骤包括：固定相机和投影仪，调整好焦距；进行相机和投影仪标定；计算标定结果；进行光栅投影，拍摄图像；图像增强与去噪，提取光条中心，求出所有的相位原点和相位点；计算所有物体表面三维点集。

实例中所使用的实验器材有：固定支撑板，投影仪，投影仪固定架，相机，相机L型板，相机快门遥控器、被测发光塑料片、计算机、打印标准标定板(棋盘格图案)，标定用白板。

在固定支撑木板底部选择合适位置固定投影仪支架与相机L型板，将投影仪固定于支架支座上，并调整角度，使其与地面成45°角，将相机安装在L型板螺柱上，调整垂直距离，并使镜头垂直于地面，本发明实施例中的实验系统搭建如图2所示。

一种基于像素光栅和计算机视觉的物体表面微尺度测量方法，具体实施步骤如下：

步骤一：光栅投影测试，如图2所示搭建好相机、投影仪和被测物体系统，该测量物体的特征在于，物体自身不透光表面漫反射，而且发光光谱集中在红光波段。根据波传播的独立性原理，首先通过投影仪投出非发光波段的条纹图案至被测发光物体上，然后通过加装专业工业滤光片的工业相机拍摄所述条纹图案，不断调整投影仪、被测物体与相机相对位置和焦距直至相机拍摄到图片中的条纹在经过物体时发生明显形变。

步骤二：标定计算，首先进行相机和投影仪标定，得到标定结果生成图像到空间的坐标变换关系，利用所述坐标变换关系求解相机拍摄的图像上每一点的像素坐标对应的空间坐标，以及相机焦点、投影仪焦点的空间坐标，具体步骤如下：

2.1)固定好相机和投影仪的位置，用张正友标定法进行相机和投影仪的标定，首先将打印标准标定板放置于物体所放置平面上进行相机标定，以该平面为基础建立空间直角坐标系，再将打印标准标定板放置于标定板上，并用投影仪投出棋盘格或圆点图像至标定用木板，要求木板部分是投影仪投影图案，部分是标准标定板图案，两部分图案不重叠，在拍摄第一张标定图片时标定板要与被测物体放置在同一个平面上，然后调整木板与地面的倾斜角度，每一倾斜角度进行一次拍摄，总共拍摄10～15张标定用图片，接下来计算机读取这些图片进行如下的标定计算。

在相机标定中，根据标定板棋盘格实际大小生成角点空间坐标集合，使用opencv中的findChessboardCorners函数识别角点图像坐标，加入角点图像坐标集合，再使用calibrateCamera函数进行相机标定，通过标定函数得到5个内参，每张图片再对应6个外参，所述外参向量又包括1个平移向量和1个旋转向量，平移向量和旋转向量各自包括3个参数，所述内参向量所在的矩阵称为内参矩阵，将所述旋转向量使用Rodrigues算法转换为3*3旋转矩阵，将所述3*3旋转矩阵和平移向量结合构成一个新的4*4矩阵称为外参矩阵；

2.2)根据标定得到的内参矩阵、第一张标定图片对应的平移向量和旋转矩阵，利用公式(1)生成图像到空间的坐标变换：

其中，K表示内参矩阵，R表示旋转矩阵，T表示平移向量，(u,v)表示图像上一点坐标，(X_w,Y_w,Z_w)表示(u,v)对应在空间中一点的坐标，Z_c表示在相机坐标系中垂直于成像平面的可变变量；

根据标定得到的5个内参，6个外参，利用公式(1)得到标定结果为：

其中，f_x，f_y，s，x₀，y₀表示5个内参，R_3*3表示3*3旋转矩阵，t_3*1表示所述外参中3个平移向量参数，(u,v)表示图像上一点坐标，(X_w,Y_w,Z_w)表示(u,v)对应在空间中一点的坐标，Z_c表示在相机坐标系中垂直于成像平面的可变变量；

2.3)将公式(6)中等号右边的内参矩阵和外参矩阵相乘，得到一个3*4的矩阵，整理之后的图像到空间的坐标变换公式如下：

其中，m₁₁～m₃₄表示内参矩阵与外参矩阵相乘得到的计算结果，(u,v)表示图像上一点坐标，(X_w,Y_w,Z_w)表示(u,v)对应在空间中一点的坐标，Z_c表示在相机坐标系中垂直于成像平面的可变变量；

2.4)将公式(2)写成等式形式得到如下方程：

对于平面上的任意一点坐标的Z轴分量为0，所以图像上一点坐标(u,v)对应在空间中一点坐标(X_w,Y_w,Z_w)中的Z_w＝0，再将公式(3)中第3个式子代入前两个，消去Z_c，整理得到如下方程：

已知图像上一点坐标(u,v)，通过求解公式(4)对应的二元一次方程可得对应X_w和Y_w的值，即可把图像上每一点的像素坐标都对应成空间坐标，将其编写为函数，输入图像坐标，输出空间坐标。

在投影仪的标定中，先识别投影源图片的角点像素坐标，作为角点像素坐标集，对每一张拍摄的图像，识别照片中投影出图像的角点像素坐标，再根据该图片的相机标定矩阵求出每个角点的空间坐标，加入角点空间坐标集。

使用calibrateCamera函数进行投影仪反向标定，求出投影仪的内参和投影第一张图片对应的外参。

2.5)求出相机参数和投影仪参数，将相机对应的参数代入公式(5)计算得到相机坐标系的原点在空间坐标系中的坐标，即为相机焦点的空间坐标，将投影仪对应的参数代入公式(5)计算得到投影仪坐标系的原点在空间坐标系中的坐标，即为投影仪焦点的空间坐标：

其中，R表示的旋转矩阵，T表示平移向量，(X,Y,Z)表示相机或投影仪焦点的空间坐标。

步骤三：获取条纹图片，生成两步相位的两张蓝黑单像素宽光栅条纹图，即两张图片的蓝黑条纹正好相反，将这两张图片分别称为初始相位条纹图和相移后条纹图，投影这两张图片至被测物体所在的平面上，通过工业相机拍摄得到两组没有物体的条纹图和经物体调制的条纹图，并定义相位原点和相位点，具体步骤如下：

3.1)用投影仪投出初始相位条纹图至物体放置平面，使用工业相机进行拍摄得到图片p1，所述图片p1表示初始相位条纹投影到物体放置平面未发生形变的图片，如图4(a)所示；

3.2)更换投影条纹图片，使用相移后条纹图片，投影至物体放置平面，使用工业相机进行拍摄得到图片p2，所述图片p2表示相移后条纹投影到物体放置平面未发生形变的图片；

3.3)放置好被测物体，用投影仪投出初始相位条纹图至物体表面，使用工业相机进行拍摄得到图片p3，所述图片p3表示经被测物体调制后的初始相位条纹投影到物体放置平面发生形变的图片，所述图片p1和图片p3为一组对照图片，投影的条纹图案相同；

3.4)更换使用相移后条纹图片，投影相移后条纹至物体表面，使用工业相机进行拍摄得到图片p4，所述图片p4表示经被测物体调制后的相移后条纹投影到物体放置平面发生形变的图片，所述图片p2和图片p4为一组对照图片，投影的条纹图案相同；

利用拍摄得到的四张图片与之前标定确定的参数重建发光物体表面形貌信息，图片p1和图片p2是条纹投影到平面未发生形变的图片，图片p3和图片p4是经被测物体调制，条纹投影到平面发生形变的图片；

3.5)定义图片p1中条纹上的一点为相位原点，在图片p3中，所述相位原点经物体调制位置发生了变化，定义变化后的相位原点在图片p3中的对应点为相位点，定义图片p2中条纹上的一点为相位原点，在图片p4中，所述相位原点经物体调制位置发生了变化，定义变化后的相位原定在图片p4中的对应点为相位点，每一组相位原点和相位点相互对应。

步骤四：处理图像，将所述没有物体的条纹图和经物体调制的条纹图进行图像增强、去噪、提取条纹中心线、设定距离确定相位原点、抠出发生形变的条纹部分与对应的原条纹部分、求每个相位原点对应的相位点，并定义所述相位原点以及对应的相位点的空间坐标，具体步骤如下：

4.1)图像增强，使用全局直方图均衡化与伽马变换相结合的方式进行图像增强，在全局直方图均衡化过程中，用图片p1的全局直方图对图片p1和图片p3进行均衡化处理，用图片p2的全局直方图对图片p2和图片p4进行均衡化处理，修改OpenCV提供的全局直方图均衡化函数equalizeHist()，使得图片p1和图片p3中原本相同的地方在处理完之后依然相同，使得图片p2和图片p4中原本相同的地方在处理完之后依然相同，其中图片p1的图像增强结果图如图4(b)所示，下面是对图片p1和图片p3进行图像增强的具体步骤：

4.1.1)计算图片p1的灰度直方图；

4.1.2)计算图片p1的累加灰度直方图；

4.1.3)根据累加灰度直方图得到输入灰度级和输出灰度级之间的映射关系f1；

4.1.4)用f1对图片p1和图片p3进行直方图均衡化；

4.1.5)对图像进行伽马变换，值设为1.4。

利用上述步骤4.1.1)～4.1.5)对图片p2和图片p4进行图像增强时，将图片p1相应替换为图片p2，将图片p3相应替换为图片p4，步骤4.1.5)中的值设置为1.4不变。

4.2)去噪，在黑白条纹之外，图像中会有许多噪点，使用高斯双边滤波结合高斯滤波的方法去除图片p1～图片p4上的噪点，即首先使用opencv的bilateralFilter函数对图像进行高斯双边滤波，然后用opencv的GaussianBlur函数对图片p1～图片p4进行高斯滤波去除噪点,其中图片p1的去噪结果图如图4(c)所示。

4.3)提取条纹中心线，首先使用Steger算法提取光条中心，计算完成后，得到图片p1～图片p4的每张图片中每个条纹的中心线上所有点的坐标集合，然后使用边缘连接算法补全中心线上的缺点，使得中心线更加平滑。

4.4)设定距离确定相位原点，图片p1和图片p2中的条纹基本为直线，需对图片p1和图片p2中的每条条纹的中心线进行直线拟合，得到直线拟合方程，根据图片p1的直线拟合方程绘制出的拟合直线结果图如图4(d)所示，将条纹中心线拟合后的直线拟合方程所在的直线根据设定的距离预设值d等间隔的取点，d小于图像中最小条纹的宽度，在每条条纹中心线上取到的点即为所述条纹中心线的相位原点；

4.5)抠出发生形变的条纹部分与对应的原条纹部分，先用opencv的absdiff函数求出图片p1与图片p3的相异性，以及图片p2与图片p4的相异性，然后通过图片p1与图片p3的相异性求出相异区域，并使用threshold函数对所述相异区域进行掩膜，使用bitwise_and函数抠出图片p1与图片p3中的不同区域，通过图片p2与图片p4的相异性求出相异区域，并使用threshold函数对所述相异区域进行掩膜，使用bitwise_and函数抠出图片p2与图片p4中的不同区域，定义图片p1和图片p3中抠出的不同区域为原始条纹区域，定义图片p2和图片p4中抠出的不同区域为形变条纹区域。

4.6)求每个相位原点对应的相位点，以原始条纹区域中的相位原点为端点做所在直线的垂线射线，并求出射线方程，图片p3和图片p4中的条纹基本为曲线，需对图片p3和图片p4中形变条纹区域的每条条纹的中心线进行曲线拟合，得到每条条纹中心线的曲线拟合方程，求出图片p3中的曲线拟合方程所在的曲线与图片p1中的相位原点的射线方程所在的直线的交点，定义所有所述交点中与图片p1中的所述相位原点距离最近的一个交点为图片p1中的所述相位原点对应的相位点，求出图片p4中的曲线拟合方程所在的曲线与图片p2中的相位原点的射线方程所在的直线的交点，定义所有所述交点中与图片p2中的所述相位原点距离最近的一个交点为图片p2中的所述相位原点对应的相位点，求相位原点和相位点的示意图如图5所示；

4.7)求相位原点以及对应的相位点的空间坐标，通过步骤二中的具体步骤，利用公式(1)求出图片p1～图片p4到对应空间的坐标变换，然后整理得到四个相应的公式(4)对应的二元一次方程，通过求解所述的四个二元一次方程得到图片p1～图片p4中的每个相位原点和对应的相位点的空间坐标。

步骤五：计算空间几何，针对所得到的每一组相位原点和相位点，分别结合工业相机和投影仪的焦点坐标，用几何方法求出每组相位原点和相位点对应于物体上一点的空间坐标，从而生成物体表面三维点集，具体步骤如下：

5.1)定义A为投影仪焦点，点A的坐标为(X_a,Y_a,Z_a)，定义C为相机焦点，点C的坐标为(X_c,Y_c,Z_c)，首先在没有凸起物体的时候，用投影仪投射出的一条光线照射到被测物体所在平面上的B点，定义点B的坐标为(X_b,Y_b,Z_b)，所述B点表示没有凸起物体时图片p1或图片p2中的相位原点，然后在有凸起物体的时候，设O为所述凸起物体上的一点，用投影仪投射出的一条光线照射到O点反射回C点，根据光的可逆性，延长直线CO与被测物体所在平面相交于D点，定义点D的坐标为(X_d,Y_d,Z_d)，则所述D点就表示对应于相位原点B点的相位点，投影仪与相机焦点坐标由相机及投影仪标定得到，B点与D点的坐标在图像处理中完成。

从理论上讲，点A、点B构成的直线L1与点C、点D构成的直线L2相交于O点，在空间直角坐标系中已知四点的坐标求出两直线方程即可进一步求出交点O的坐标。但是在实际计算中，由于四点的坐标都是测量再计算得到的值，与实际点相比会有误差，因此两直线并不相交，按照相交的方法求交点会无解，因此要换一种计算方式，求出两直线的公垂线两个垂足O₁和O₂的坐标，两垂足的中间坐标定为O点的空间坐标，求解的几何示意图如图3所示，其中图3(a)为整体空间坐标几何示意图，图3(b)为O点局部放大图。

5.2)定义点A、点B构成直线L1，定义点C、点D构成直线L2，分别求出所述直线L1和直线L2所在的直线方程，然后分别求出所述直线L1与直线L2的公垂线方向向量以及所述公垂线所在的直线方程，再联立所述直线L1所在的直线方程与直线L1所对应的公垂线方程得到平面α，并求出所述平面α所在的平面方程：

直线L1的方程为：

直线L2的方程为：

直线L1与直线L2的公垂线方向向量为一个三维向量，记为E，F，G，具体表示为：

联立直线L1与公垂线求平面α的平面方程为：

设：

则平面α的方程为：N*x-O*y+P*z+Q＝0。

5.3)联立所述平面α所在的平面方程与直线L2所在的直线方程为：

定义所述平面α与直线L2的垂足为O₁，坐标为(x₁,y₁,z₁)。

令

则垂足O₁表示为(x₁＝K*k+X_c，y₁＝L*k+Y_c，z₁＝M*k+Z_c)。

联立所述平面α所在的平面方程与直线L1所在的直线方程，得到垂足O₂，同理可得垂足O₂的坐标为(x₂,y₂,z₂)，则垂足O₁与垂足O₂的中点即为所述O点的坐标

5.4)重复所述步骤5.1)～步骤5.3)计算出每组相位原点和相位点对应的物体上一点的空间坐标，即所有点的空间坐标构成物体表面的三维点集。

步骤六：表面测量，针对具体的测量需求，如测量物体表面凸起和凹陷情况，将高于平均高度0.2mm的点定义为凸起点，将低于平均高度0.2mm的点定义为凹陷点，对所述物体表面三维点集进行数据筛选，选出凸起和凹陷点集，相邻凸起或凹陷点归纳为同一凸起和凹陷，整理好凸起和凹陷结果，得出凸起与凹陷的数量和大小。

除此之外，也可以根据物体表面三维点集利用python中的scatter()函数绘制三维散点图，绘制出的三维散点图如图6所示，利用python中的plot_trisurf()函数绘制三维曲面图，绘制出的三维曲面图如图7所示，更直观的进行物体表面平整情况分析。

Claims (5)

1.一种基于像素光栅和计算机视觉的物体表面微尺度测量方法，其特征在于，包括以下步骤：

步骤一：光栅投影测试，首先通过投影仪投出单像素宽条纹图案至被测物体上，然后通过工业相机拍摄所述条纹图案，不断调整投影仪、被测物体与相机相对位置直至相机拍摄到图片中的条纹在经过物体时发生明显形变；

步骤二：标定计算，首先进行相机和投影仪标定，得到标定结果生成图像到空间的坐标变换关系，利用所述坐标变换关系求解相机拍摄的图像上每一点的像素坐标对应的空间坐标，以及相机焦点、投影仪焦点的空间坐标；

步骤三：获取条纹图片，生成两步相位的两张单像素宽光栅条纹图，所述两张单像素宽光栅条纹图的条纹正好相反，分别称为初始相位条纹图和相移后条纹图，分别投影所述初始相位条纹图和相移后条纹图至被测物体所在的平面上，通过工业相机拍摄得到两组没有物体的条纹图和经物体调制的条纹图，并定义相位原点和相位点；

步骤四：处理图像，将所述没有物体的条纹图和经物体调制的条纹图进行图像增强、去噪、提取条纹中心线、设定距离确定相位原点、抠出发生形变的条纹部分与对应的原条纹部分、求每个相位原点对应的相位点，并求出所述相位原点以及对应的相位点的空间坐标；

步骤五：计算空间几何，针对所得到的每一组相位原点和相位点的空间坐标，分别结合工业相机和投影仪的焦点坐标，用几何方法求出每组相位原点和相位点对应于物体上一点的空间坐标，从而生成物体表面三维点集；

步骤六：表面测量，针对具体的测量需求，对所述物体表面三维点集进行数据筛选和整理，得出测量结果，并生成物体表面的三维散点图和三维曲面图。

2.根据权利要求1所述的一种基于像素光栅和计算机视觉的物体表面微尺度测量方法，其特征在于所述的步骤二标定计算，首先进行相机和投影仪标定，得到标定结果生成图像到空间的坐标变换关系，利用所述坐标变换关系求解相机拍摄的图像上每一点的像素坐标对应的空间坐标，以及相机焦点、投影仪焦点的空间坐标，具体步骤如下：

2.1)固定好相机和投影仪的位置，用张正友标定法进行相机和投影仪的标定，制作标定板并拍摄n张标定图片，n根据实际情况确定，在拍摄第一张标定图片时标定板要与被测物体放置在同一个平面上，通过标定函数处理所述n张标定图片的集合，得到内参向量和不同数值的外参向量，所述外参向量又包括不同数值的平移向量和旋转向量，所述内参向量所在的矩阵称为内参矩阵，将所述旋转向量转换为3*3旋转矩阵，将所述3*3旋转矩阵和平移向量结合构成一个新的4*4矩阵称为外参矩阵；

2.2)根据标定得到的内参矩阵、第一张标定图片对应的平移向量和旋转矩阵，利用公式(1)生成图像到空间的坐标变换：

其中，K表示内参矩阵，R表示旋转矩阵，T表示平移向量，(u,v)表示图像上一点坐标，(X_w,Y_w,Z_w)表示(u,v)对应在空间中一点的坐标，Z_c表示在相机坐标系中垂直于成像平面的可变变量；

2.3)将公式(1)中等号右边的内参矩阵和外参矩阵相乘，得到一个3*4的矩阵，整理之后的图像到空间的坐标变换公式如下：

其中，m₁₁～m₃₄表示内参矩阵与外参矩阵相乘得到的计算结果，(u,v)表示图像上一点坐标，(X_w,Y_w,Z_w)表示(u,v)对应在空间中一点的坐标，Z_c表示在相机坐标系中垂直于成像平面的可变变量；

2.4)将公式(2)写成等式形式得到如下方程：

对于平面上的任意一点坐标的Z轴分量为0，所以图像上一点坐标(u,v)对应在空间中一点坐标(X_w,Y_w,Z_w)中的Z_w＝0，再将公式(3)中第3个式子代入前两个，消去Z_c，整理得到如下方程：

通过求解公式(4)对应的二元一次方程，即可把图像上每一点的像素坐标都对应成空间坐标；

2.5)将相机对应的参数代入公式(5)计算得到相机坐标系的原点在空间坐标系中的坐标，即为相机焦点的空间坐标，将投影仪对应的参数代入公式(5)计算得到投影仪坐标系的原点在空间坐标系中的坐标，即为投影仪焦点的空间坐标：

其中，R表示旋转矩阵，T表示平移向量，(X,Y,Z)表示相机或投影仪焦点的空间坐标。

3.根据权利要求1所述的一种基于像素光栅和计算机视觉的物体表面微尺度测量方法，其特征在于所述的步骤三获取条纹图片，生成两步相位的两张单像素宽光栅条纹图，所述两张单像素宽光栅条纹图的条纹正好相反，分别称为初始相位条纹图和相移后条纹图，分别投影所述初始相位条纹图和相移后条纹图至被测物体所在的平面上，通过工业相机拍摄得到两组没有物体的条纹图和经物体调制的条纹图，并定义相位原点和相位点，具体步骤如下：

3.1)用投影仪投出初始相位条纹图至物体放置平面，使用工业相机进行拍摄得到图片p1，所述图片p1表示初始相位条纹投影到物体放置平面未发生形变的图片；

3.2)更换投影条纹图片，使用相移后条纹图片，投影至物体放置平面，使用工业相机进行拍摄得到图片p2，所述图片p2表示相移后条纹投影到物体放置平面未发生形变的图片；

3.3)放置好被测物体，用投影仪投出初始相位条纹图至物体表面，使用工业相机进行拍摄得到图片p3，所述图片p3表示经被测物体调制后的初始相位条纹投影到物体放置平面发生形变的图片，所述图片p1和图片p3为一组对照图片，投影的条纹图案相同；

3.4)更换使用相移后条纹图片，投影相移后条纹至物体表面，使用工业相机进行拍摄得到图片p4，所述图片p4表示经被测物体调制后的相移后条纹投影到物体放置平面发生形变的图片，所述图片p2和图片p4为一组对照图片，投影的条纹图案相同；

3.5)定义图片p1中条纹上的一点为相位原点，在图片p3中，所述相位原点经物体调制位置发生了变化，定义变化后的相位原点在图片p3中的对应点为相位点，定义图片p2中条纹上的一点为相位原点，在图片p4中，所述相位原点经物体调制位置发生了变化，定义变化后的相位原点在图片p4中的对应点为相位点，每一组相位原点和相位点相互对应。

4.根据权利要求1所述的一种基于像素光栅和计算机视觉的物体表面微尺度测量方法，其特征在于所述的步骤四处理图像，将所述没有物体的条纹图和经物体调制的条纹图进行图像增强、去噪、提取条纹中心线、设定距离确定相位原点、抠出发生形变的条纹部分与对应的原条纹部分、求每个相位原点对应的相位点，并求出所述相位原点以及对应的相位点的空间坐标，具体步骤如下：

4.1)图像增强，使用全局直方图均衡化与伽马变换相结合的方式进行图像增强，在全局直方图均衡化过程中，用图片p1的全局直方图对图片p1和图片p3进行均衡化处理，用图片p2的全局直方图对图片p2和图片p4进行均衡化处理；

4.2)去噪，使用高斯双边滤波结合高斯滤波的方法去除图片p1～图片p4上的噪点；

4.3)提取条纹中心线，首先提取光条中心，并得到图片p1～图片p4的每张图片中每个条纹的中心线上所有点的坐标集合，然后补全中心线上的缺点；

4.4)设定距离确定相位原点，对图片p1和图片p2中的每条条纹的中心线进行直线拟合，得到直线拟合方程，将条纹中心线拟合后的直线拟合方程所在的直线根据设定的距离预设值d等间隔的取点，d小于图像中最小条纹的宽度，在每条条纹中心线上取到的点即为所述条纹中心线的相位原点；

4.5)抠出发生形变的条纹部分与对应的原条纹部分，先求出图片p1与图片p3的相异性，以及图片p2与图片p4的相异性，然后通过图片p1与图片p3的相异性求出相异区域，并对所述相异区域进行掩膜抠出图片p1与图片p3中的不同区域，通过图片p2与图片p4的相异性求出相异区域，并对所述相异区域进行掩膜抠出图片p2与图片p4中的不同区域，定义图片p1和图片p3中抠出的不同区域为原始条纹区域，定义图片p2和图片p4中抠出的不同区域为形变条纹区域；

4.6)求每个相位原点对应的相位点，以原始条纹区域中的相位原点为端点做所在直线的垂线射线，并求出射线方程，对图片p3和图片p4中形变条纹区域的每条条纹的中心线进行曲线拟合，得到每条条纹中心线的曲线拟合方程，求出图片p3中的曲线拟合方程所在的曲线与图片p1中的相位原点的射线方程所在的直线的交点，定义所有所述交点中与图片p1中的所述相位原点距离最近的一个交点为图片p1中的所述相位原点对应的相位点，求出图片p4中的曲线拟合方程所在的曲线与图片p2中的相位原点的射线方程所在的直线的交点，定义所有所述交点中与图片p2中的所述相位原点距离最近的一个交点为图片p2中的所述相位原点对应的相位点；

4.7)求相位原点以及对应的相位点的空间坐标，通过步骤二中的具体步骤，利用公式(1)求出图片p1～图片p4到对应空间的坐标变换，然后整理得到四个相应的公式(3)对应的二元一次方程，通过求解所述的四个二元一次方程得到图片p1～图片p4中的每个相位原点和对应的相位点的空间坐标。

5.根据权利要求1所述的一种基于像素光栅和计算机视觉的物体表面微尺度测量方法，其特征在于所述的步骤五计算空间几何，针对所得到的每一组相位原点和相位点，分别结合工业相机和投影仪的焦点坐标，用几何方法求出每组相位原点和相位点对应于物体上一点的空间坐标，从而生成物体表面三维点集，具体步骤如下：

5.1)定义A为投影仪焦点，定义C为相机焦点，首先在没有凸起物体的时候，用投影仪投射出的一条光线照射到被测物体所在平面上的B点，所述B点表示没有凸起物体时图片p1或图片p2中的相位原点，然后在有凸起物体的时候，设O为所述凸起物体上的一点，用投影仪投射出的一条光线照射到O点反射回C点，根据光的可逆性，延长直线CO与被测物体所在平面相交于D点，则所述D点表示对应于相位原点B点的相位点；

5.2)定义点A、点B构成直线L1，定义点C、点D构成直线L2，分别求出所述直线L1和直线L2所在的直线方程，然后分别求出所述直线L1与直线L2的公垂线方向向量以及所述公垂线所在的直线方程，再联立所述直线L1所在的直线方程与直线L1所对应的公垂线方程得到平面α，并求出所述平面α所在的平面方程；

5.3)联立所述平面α所在的平面方程与直线L2所在的直线方程，得到垂足O₁，并定义垂足O₁的坐标为(x₁,y₁,z₁)，联立所述平面α所在的平面方程与直线L1所在的直线方程，得到垂足O₂，并定义垂足O₂的坐标为(x₂,y₂,z₂)，则垂足O₁与垂足O₂的中点即为所述O点的坐标

5.4)重复所述步骤5.1)～步骤5.3)计算出每组相位原点和相位点对应的物体上一点的空间坐标，即所有点的空间坐标构成物体表面的三维点集。

Images