CN110360954B - 一种基于空间坐标计算的面形测量方法与系统 - Google Patents

Abstract

本公开提出了一种基于空间坐标计算的面形测量方法及系统，利用CCD摄像机采集放置物体前后两幅条纹图样，通过投影光线与摄像机视线交叉点坐标，建立了光流与物面高度的理论关系式，通过计算空间交叉点坐标即可直接得出三维面形高度分布。本公开给出了光流和空间坐标与物体高度之间的关系，并进行模拟与实验验证，实验结果表明，与传统面形测量技术相比，本公开不需要相位‑高度转换，只需要物体调制前后的两幅条纹图像和投影仪相对于摄像机的空间坐标，通过光流计算观察点的位置坐标，即可直接得到物体面形高度分布，测量系统简单，误差较小。

Description

一种基于空间坐标计算的面形测量方法与系统

技术领域

本公开涉及光流面型测量领域，具体涉及一种基于空间坐标计算的面形测量方法与系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

三维面形测量技术在计算机视觉、工业监控、实物复制、生物医学等领域有着广阔的应用前景。光栅条纹照明系统为常用的三维面测量系统，具有硬件配置简单、测量精度高、速度快、成本低等优点。典型的测量系统由一个投影单元和一个或多个摄像机组成。在测量过程中，光栅条纹被投射到被测物面上，摄像机采集光栅变形前后的多幅图像，利用相移或傅立叶变换等技术恢复被测面形的相位分布，再通过相位-高度转换算法，重建物体的三维面形分布，即高度分布。傅里叶变换法仅利用一幅条纹图即可得到物体相位，测量速度快，适合动态曲面的测量，但需要将采集的图像从空域变换到频域，在频谱进行滤波和频谱分离操作，存在频谱重叠和漏频等问题，从而影响物体面形相位的恢复。相移法一般需要采集多幅条纹图像，通过相移算法计算出面形相位，测量精度高，但由于需要采集多幅图像，测量时间较长，实时测量困难较大。傅里叶变换法和相移法二者均需要相位-高度转换才能得到面形高度分布。

发明内容

为了解决现有技术的不足，本公开提供了一种基于空间坐标计算的面形测量方法与系统，不需要相位-高度转换，由物面调制前后的两帧条纹图像，通过光栅条纹在空间上的坐标变化分析，建立了在点光源投影条件下空间坐标、光流与被测物体面形高度之间的空间关系，进而得到被测物体的三维面形高度分布。

为了实现上述目的，本公开采用如下技术方案：

一种基于空间坐标计算的面形测量方法，包括以下步骤：

模拟产生光栅条纹，并投影到被测物体的表面；

采集条纹变形前和变形后的图像；

利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的空间位置坐标；

确定参考平面上观察点在变形后的位置坐标后，利用投影光线和摄像机视线之间的空间交点坐标，建立条纹变形前后图像之间的光流矢量、空间交点坐标和被测物体高度的关系表达式，进而得到被测物体的三维面形高度分布。

进一步的，所述采集条纹变形前和变形后的图像具体为：

取xoy水平面为参考平面，在参考平面上放置被测物体前，通过投影仪将模拟产生的光栅条纹投影到参考平面上，通过CCD摄像机采集未经被测物体表面调制的条纹图像，得到条纹变形前图像；

在参考平面上放置被测物体后，通过CCD摄像机采集经被测物体表面调制后的条纹图像，得到条纹变形后图像。

进一步的，所述利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的位置坐标具体包括：

在参考平面上放置被测物体前，选取参考平面上观察点A，CCD摄像机采集到观察点A对应的点A_i，计算得到A_i点的位置矢量；

在参考平面上放置被测物体后，经过Δt时间，参考平面上观察点A移动到位置B处，在CCD摄像机采集到的条纹变形后图像上，点A_i移动到点B_i处，基于光流场计算在条纹变形前后图像上观察点A_i的位移分量。

进一步的，所述利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的空间位置坐标还包括：

基于图像上的观察点A_i在条纹变形前后图像上的位移分量，得到在参考平面上观察点A在变形前后的物面上的位移分量，以此确定参考平面上观察点A在变形后的位置点B的空间坐标。

进一步的，所述观察点A(x,y,-z₀)，其位置矢量为

点A_i(x_i,y_i,f′)，位置矢量为

计算得到A_i点的位置矢量，两个位置矢量的关系为

其中，Mc为相机的放大倍数；

进一步的，基于光流场计算在条纹变形前后图像上观察点A_i(x_i,y_i,f′)的位移分量(Δx_i,Δy_i)，即Δx_i＝uΔt，Δy_i＝vΔt；

采用H-S光流算法，根据光流的亮度恒定假设，条纹变形前后图像之间对应的像素具有近似相同的强度，即

I(x_i,y_i,t)＝I′(x_i+Δx_i,y_i+Δy_i,t+Δt)，

将I′泰勒展开并忽略高次项，得到光流方程为：

I_xiu+I_yiv+I_t＝0，

其中I_xi、I_yi和I_t为灰度I对于像面坐标x_i、y_i和t的偏导数；

光流场(u,v)的计算表达式为

其中，α为平滑因子，uⁿ⁺¹和vⁿ⁺¹为图像的每点经过第n+1次迭代后得到的速度分量，即两个图像之间的运动矢量场分量，n为迭代次数，

和

对应以(x_i,y_i)为中心给定区域内u和v的均值。

进一步的，所述参考平面上观察点A在变形前后的位移分量(Δx,Δy)表示为：

Δx＝uΔt/M_c,Δy＝vΔt/M_c，

其中，Mc为相机的放大倍数(单位:像素/mm)；

所述参考平面上观察点A(x,y,-z₀)在变形后的位置点B的空间坐标B(x′,y′,-z₀)表示为：

x′＝x+Δx,y′＝y+Δy。

一种基于空间坐标计算的面形测量系统，包括处理器、投影仪和CCD摄像机，

所述投影仪，被配置为将处理器产生的光栅条纹投影到被测物体的表面；

所述CCD摄像机，被配置为采集条纹变形前后的图像，并传输到处理器；

所述处理器，被配置为产生光栅条纹，通过投影仪将光栅条纹投影到物体表面；接收CCD摄像机上传的采集条纹变形前后的图像，采用光流空间坐标法得到被测物体的三维面形高度分布。

进一步的，所述处理器被配置为，利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的空间位置坐标；

确定参考平面上观察点在变形后的空间位置坐标后，利用投影光线和摄像机视线之间的空间交点坐标，进而得到被测物体的三维面形高度分布。

与现有技术相比，本公开的有益效果为：

本公开基于物面调制前后的两帧条纹图像，通过光流空间坐标法，分析光栅条纹图像的空间坐标变化，建立在点光源投影条件下空间坐标、光流与被测物体面形高度之间的空间关系，进而得到被测物体的三维面形高度分布。

与传统面形测量方法不同，本公开基于空间坐标计算的面形测量技术不需要采集多幅条纹图像，也无需计算条纹频率和物体相位值，不需要相位-高度转换，只需两幅条纹图像与投影仪和CCD摄像机空间位置坐标即可测量出物体面形高度。

模拟和实验表明，本公开所提出的光流空间坐标能够直接计算得到物体面形高度，并且误差较小，具有较高的实际应用价值，在人工智能测量领域，有广泛的应用前景。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定

图1为光流坐标法面形测量光路的示意图；

图2为基于空间坐标计算的面形测量方法流程图；

图3(a)为基于空间坐标计算得到的球冠高度的计算值与真实值在y＝180像素截面数据对比图；

图3(b)为基于空间坐标计算得到的球冠高度计算值的均方根误差示意图；

图4(a)为被投影条纹变形后的面具；

图4(b)为基于空间坐标计算得到的面具高度分布示意图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1，本公开提供一种基于空间坐标计算的面形测量系统，包括处理器、投影仪和CCD摄像机，其中：

所述投影仪，被配置为将处理器产生的光栅条纹投影到被测物体的表面；

所述CCD摄像机，被配置为采集条纹变形前后的图像，并传输到处理器；

所述处理器，被配置为产生光栅条纹，通过投影仪将光栅条纹投影到物体表面；接收CCD摄像机上传的采集条纹变形前后的图像，采用光流空间坐标法得到被测物体的三维面形高度分布。

进一步优选地，所述处理器被配置为，利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的空间位置坐标；

确定参考平面上观察点A在变形后的位置点B的空间坐标后，利用投影光线和摄像机视线之间的空间交点坐标，进而得到被测物体的三维面形高度分布。

如图1所示，坐标系原点O为CCD摄像机位置，P为投影仪位置，投影仪位置坐标为P(x_p,y_p,z_p)，令y_p＝0；投影仪将平行于y轴方向的正弦光栅条纹投影在xoy参考平面上；

CCD摄像机到参考平面xoy上的距离为Z₀，投影仪的投影光线PO_P与CCD摄像机的摄像机视线OO_p相交于参考平面上的O_p点，投影角度为θ。

实施例2，本公开提供一种基于空间坐标计算的面形测量方法，包括以下步骤：

S101，模拟产生光栅条纹，并投影到被测物体的表面；

进一步优选地，处理器产生光栅条纹，并通过投影仪将产生的光栅条纹投影到被测物体表面，投影到被测物体表面的光栅条纹会因物面的调制发生变形。

S102，采集条纹变形前和变形后的图像；

进一步优选地，取xoy水平面为参考平面，通过投影仪将模拟产生的光栅条纹投影到参考平面上，通过CCD摄像机采集未经被测物体表面调制的条纹图像，得到条纹变形前图像；

将被测物体放置在参考平面上，通过CCD摄像机采集经被测物体表面调制后的条纹图像，得到条纹变形后图像。

S103，利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的空间位置坐标；

进一步优选的，在参考平面上放置被测物体前，选取参考平面上观察点A(x,y,-z₀)，其位置矢量为

CCD摄像机采集到观察点A对应的点A_i(x_i,y_i,f′)，其像面灰度为I(x_i,y_i,t)，位置矢量为

计算得到A_i点的位置矢量；即

其中，Mc为相机的放大倍数(单位:像素/mm)；

在参考平面上放置被测物体后，经过Δt时间，条纹受物面调制发生变形，参考平面上观察点A移动到位置B(x′,y′,-z₀)处，在CCD摄像机采集到的条纹变形后图像上，点A_i移动到点B_i(x′_i,y′_i,f′)处，灰度变为I′(x′_i,y′_i,t+Δt)，计算在条纹变形前后图像上观察点A_i的位移分量。

进一步优选地，像面上两帧之间的光流矢量可以表示为：

其中，

也可以表示为

和

表示在x轴和y轴方向上的单位矢量。

进一步优选地，基于光流场(u,v)计算得到观察点在条纹变形前后图像上的位移分量(Δx_i,Δy_i)，即Δx_i＝uΔt，Δy_i＝vΔt。

进一步优选地，采用H-S光流算法，根据光流的亮度恒定假设，两幅图像之间对应的像素具有近似相同的强度，即

I(x_i,y_i,t)＝I′(x_i+Δx_i,y_i+Δy_i,t+Δt)，

将I′泰勒展开并忽略高次项，可得到光流方程为：

I_xiu+I_yiv+I_t＝0，

其中I_xi、I_yi和I_t为灰度I对于x_i、y_i和t的偏导数。

所以，光流场(u,v)的计算表达式为：

其中，α为平滑因子，uⁿ⁺¹和vⁿ⁺¹为图像的每点经过第n+1次迭代后得到的速度分量，即两个图像之间的运动矢量场分量，n为迭代次数，

和

对应以(x_i,y_i)为中心的给定区域内u和v的均值。

进一步优选地，基于观察点A在条纹变形前后图像上的位移分量，得到在参考平面上观察点A在变形前后的位移分量，以此确定参考平面上观察点A在变形后的位置点B的空间坐标；

参考平面上观察点A在变形前后的位移分量(Δx,Δy)可表达为：

Δx＝uΔt/M_c,Δy＝vΔt/M_c，

其中，Mc为相机的放大倍数(单位:像素/mm)；

参考平面上观察点A(x,y,-z₀)在变形后的位置点B的空间坐标B(x′,y′,-z₀)可表达为：

x′＝x+Δx,y′＝y+Δy。

S104，确定参考平面上观察点A在变形后的位置点B的空间坐标后，利用投影光线和摄像机视线之间的空间交点坐标，建立条纹变形前后图像之间的光流矢量、空间交点坐标和被测物体高度的关系表达式，进而得到被测物体的三维面形高度分布；

进一步的，空间交点D的坐标表示为：

D点的高度表示为：

最后，可通过参考面上观察点的位置变化估计被测物体表面的高度分布。

实施例3，本实施例提供了对基于空间坐标计算的面形测量方法的模拟验证，该模拟验证的具体过程如下，

取带方孔的乒乓球的球冠为被测物，球冠直径40mm，球冠高度10mm，成像距离设置为1800mm，采集的图像大小为512×512像素，相机的放大系数Mc＝12.8像素/mm，设方孔大小为60×60像素，中心点位于(180,180)像素。

一般情况下，投影在参考平面上的条纹灰度分布是非线性的，故采用非线性灰度分布模型。则在t时刻，CCD摄像机采集到的投影条纹，可表示为

其中，a为背景光强，b为条纹对比度，分别设置为128和120；f_0x＝0.4mm^-1是投影光轴垂直平面上且过O_p点的光栅空间频率在摄像机像平面上的值。

投影仪位于P点(-30mm,0,30mm)，球冠放置在被测平面上，记录的变形条纹图为第二幅图像，利用H-S光流算法估计出原始条纹图与变形条纹图之间的速度场(u,v)，其中平滑因子α为1。根据H-S算法的收敛性，将迭代次数设置为800，时间间隔设为1，求出球冠高度分布。

取y＝180像素(通过方孔)横截面上高度分布的真实值和计算值进行对比，结果如图3(a)所示。可以看出，在y＝180像素横截面上面形高度分布的计算值与真值高度吻合。

对高度的计算值求均方根误差，如图3(b)所示。在不考虑边缘效应的条件下，可以看出，在方孔内均方根误差的最大值为0.4mm，孔外为0.15mm。说明，本公开所提出的光流坐标法能够精确测量复杂面形高度分布。

实施例4，本实施例提供了对基于空间坐标计算的面形测量方法的实验验证，该实验验证的具体过程如下：

选用带孔面具作为被测物体，其最高点高度为73mm。为了满足光流测量的基本条件，实验中采用小角度投影光栅，投影距离为Z₀＝-1975mm，投影仪位置坐标为(-135mm，0，-268mm)，利用CCD摄像机采集经物体调制后的条纹图像，如图4(a)所示。

对采集的变形前后的条纹图像进行光流计算，得到光流矢量的速度分量，再根据CCD摄像机的位置坐标，计算出物体面形的高度分布，如图4(b)所示。

图4(b)中显示，测量所得面具最高点高度值为71.12mm，与用游标卡尺测量得到高度值之间的绝对误差为1.88mm，相对误差小于2.6％。可以看出，光流空间坐标法能够直接测量物体三维面形高度分布。由于近似垂直投影，可以避免阴影和遮挡问题。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于空间坐标计算的面形测量方法，其特征在于，包括：

模拟产生光栅条纹，并投影到被测物体的表面；

采集条纹变形前和变形后的图像；

利用光流法得到条纹变形前后图像之间的光流场速度分量，得到参考平面上观察点在变形后的空间位置坐标；

确定参考平面上观察点在变形后的空间位置坐标后，利用投影光线和摄像机视线之间的空间交点坐标，建立条纹变形前后图像之间的光流矢量、空间交点坐标和被测物体高度的关系表达式，进而得到被测物体的三维面形高度分布。

2.如权利要求1所述的一种基于空间坐标计算的面形测量方法，其特征在于，

所述采集条纹变形前和变形后的图像具体为：

取xoy水平面为参考平面，在参考平面上放置被测物体前，通过投影仪将模拟产生的光栅条纹投影到参考平面上，通过CCD摄像机采集未经被测物体表面调制的条纹图像，得到条纹变形前图像；

在参考平面上放置被测物体后，通过CCD摄像机采集经被测物体表面调制后的条纹图像，得到条纹变形后图像。

3.如权利要求1所述的一种基于空间坐标计算的面形测量方法，其特征在于，

所述利用光流法得到条纹变形前后图像之间的光流场速度分量，得到参考平面上观察点在变形后的空间位置坐标具体包括：

在参考平面上放置被测物体前，选取参考平面上观察点A，CCD摄像机采集到观察点A对应的点A_i，计算得到A_i点的位置矢量；

在参考平面上放置被测物体后，经过Δt时间，参考平面上观察点A移动到位置B处，在CCD摄像机的采集条纹变形后图像上，点A_i移动到点B_i处，基于光流场计算在条纹变形前后图像上观察点A_i的位移分量。

4.如权利要求3所述的一种基于空间坐标计算的面形测量方法，其特征在于，

所述观察点A(x,y,-z₀)，其位置矢量为

点A_i(x_i,y_i,f′)，位置矢量为

计算得到A_i点的位置矢量，即

其中，Mc为相机的放大倍数。

5.如权利要求3所述的一种基于空间坐标计算的面形测量方法，其特征在于，

基于光流场计算在条纹变形前后图像上观察点A_i(x_i,y_i,f′)的位移分量(Δx_i,Δy_i)，即Δx_i＝uΔt，Δy_i＝vΔt；

采用H-S光流算法，条纹变形前后图像之间对应的像素具有近似相同的强度，即

I(x_i,y_i,t)＝I′(x_i+Δx_i,y_i+Δy_i,t+Δt)，

将I′泰勒展开并忽略高次项，得到光流方程为：

I_xiu+I_yiv+I_t＝0，

其中I_xi、I_yi和I_t为灰度I对于x_i、y_i和t的偏导数；

光流场(u,v)的计算表达式为：

其中，α为平滑因子，uⁿ⁺¹和vⁿ⁺¹为图像的每点经过第n+1次迭代后得到的速度分量，即两个图像之间的运动矢量场分量，n为迭代次数，

和

对应以(x_i,y_i)为中心给定区域内u和v的均值。

6.如权利要求1所述的一种基于空间坐标计算的面形测量方法，其特征在于，

所述利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的空间位置坐标还包括：

基于图像上观察点A_i在条纹变形前后图像上的位移分量，得到在参考平面上观察点A在变形前后的位移分量，以此确定参考平面上观察点A在变形后的位置点B的空间坐标。

7.如权利要求6所述的一种基于空间坐标计算的面形测量方法，其特征在于，

所述参考平面上观察点A在变形前后的位移分量(Δx,Δy)表示为：

Δx＝uΔt/M_c,Δy＝vΔt/M_c，

其中，Mc为相机的放大倍数(单位:像素/mm)；

所述参考平面上观察点A(x,y,-z₀)在变形后的位置点B的空间坐标B(x′,y′,-z₀)表示为：

x′＝x+Δx,y′＝y+Δy。

8.如权利要求1所述的一种基于空间坐标计算的面形测量方法，其特征在于，

所述条纹变形前后图像之间的光流矢量表示为：

其中，

也可以表示为

和

表示在x轴和y轴方向上的单位矢量。

9.一种实现如权利要求1-8任一项所述的基于空间坐标计算的面形测量方法的系统，其特征在于，包括投影仪、CCD摄像机和处理器，

所述投影仪，被配置为将处理器产生的光栅条纹投影到被测物体的表面；

所述CCD摄像机，被配置为采集条纹变形前后的图像，并传输到处理器；

所述处理器，被配置为产生光栅条纹，通过投影仪将光栅条纹投影到物体表面；接收CCD摄像机上传的采集条纹变形前后的图像，采用光流空间坐标法得到被测物体的三维面形高度分布。

10.如权利要求9所述的基于空间坐标计算的面形测量方法的系统，其特征在于，

所述处理器被配置为，利用光流法得到条纹变形前后图像之间的光流场速度分量，进而得到参考平面上观察点在变形后的空间位置坐标；

确定参考平面上观察点在变形后的空间位置坐标后，利用投影光线和摄像机视线之间的空间交点坐标，进而得到被测物体的三维面形高度分布。

Images