CN113074661A - 基于极线采样的投影仪对应点高精度匹配方法及其应用 - Google Patents

Abstract

本发明公开了一种基于极线采样的投影仪对应点高精度匹配方法及其应用，其通过对结构光组成相机与投影仪的内、外参数与畸变模型进行预先标定；在对应点匹配过程中，针对任意一个去畸变后的相机像素点与其测量相位值，对因畸变发生变形的投影仪极线进行采样、拟合，得到其对应在投影仪成像面上的弯曲极线方程；再利用测量相位值在投影仪成像面上构造等相位线，并计算其与弯曲极线的交点，最终得到与相机像素点相对应的高精度投影仪畸变像素点。对畸变对应点进行去畸变计算，可用于结构光轮廓仪的高精度三维重建或系统标定。

Description

基于极线采样的投影仪对应点高精度匹配方法及其应用

技术领域

本发明属于相位测量轮廓技术领域，更具体地，涉及一种基于极线采样的投影仪对应点高精度匹配方法及其应用。

背景技术

条纹投影结构光轮廓仪或相位测量轮廓仪主要由计算机、相机和投影仪构成。由于镜头的制造工艺与装配误差等因素，相机或投影仪在其成像平面上的实际像素点与其在小孔成像模型下的理想像素点往往不重合，实际像点与理想像点之差便是畸变误差。畸变误差使得基于光学三角法的三维表面重建出现系统误差。

由于投影器件相对光轴的非对称设置，投影仪的畸变一般比相机要大。并且由于投影仪无法像相机那样获取图像，所以投影仪像素点的畸变去除较相机像素点的畸变去除要复杂很多。目前，相机的畸变去除一般可以预先为每个像素点计算出对应的去畸变像素点，得到一个去畸变查找表；之后，各像素点去畸变计算只需查表即可。然而，针对每个去畸变相机像素点，准确地找到与之对应的投影仪像素点并去除其相应的畸变，目前尚没有较好的办法。为提高三维测量系统的测量精度，必需开发高精度的投影仪对应点匹配方法。

Meza等在2020年Proc.of SPIE(vol.11397,p.113970D)的论文“What is thebest triangulation approach for a structured light system？”中调研并比对了多种结构光三维重建算法以及相应的投影仪对应点去畸变方法。这包括以下几种方案。(1)投影双向条纹并结合相位映射搜索畸变对应点，再去除其畸变。该方法在理论上是严格准确的，但需要投影两组条纹，无法适用于高速测量。(2)投影单向条纹并结合极线约束找到畸变对应点，再去畸变。该方法使用线性极线约束进行对应点搜索，忽略了因为畸变造成极线弯曲的事实，精度较低。(3)投影单向条纹并结合极线约束找到畸变对应点，去畸变后但仅使用u维坐标进行重建。该方法在本质上是使用了两次极线约束，较前一种方法精度有所提升；但由于仍然使用了线性极线的近似，仍然存有一定的残余误差。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于极线采样的投影仪对应点高精度匹配方法及其应用，其目的在于解决高精度结构光轮廓仪或相位测量轮廓仪的系统标定或离线测量的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于极线采样的投影仪对应点高精度匹配方法，该方法包括如下步骤：

S1.对极线采样系统进行标定，包括获取相机内参数、外参数以及畸变模型，和投影仪内参数、外参数以及畸变模型；

S2.利用任意一个去除畸变后的相机像素点与对应的测量相位值，获取相机像素点对应在投影仪成像面上的若干畸变极线采样点，拟合畸变极线采样点得到畸变极线；

S3.利用测量相位值在投影仪成像面上构造等相位线，并计算等相位线与所述畸变极线的交点，以得到与相机像素点对应的高精度投影仪畸变像素点。

作为本发明的进一步改进，投影仪的畸变模型用于表征任一投影仪实际畸变像素点坐标m′与其理想无畸变坐标m之间的映射关系，投影仪的畸变模型具体为：

其中，F(m)为参数化畸变模型，f(m)为残余畸变模型。

作为本发明的进一步改进，参数化畸变模型利用如下参数方程得到：

其中，[x，y]为投影仪理想无畸变像素点坐标[u，v]基于投影方程[u，v，1]^T＝A[x，y，1]^T的归一化坐标，[x′，y′]为投影仪实际畸变像素点坐标[u′，v′]基于投影方程[u′，v′，1]^T＝A[x′，y′，1]^T的归一化坐标，A是相机内参矩阵，k＝[k₁，k₂，k₃]为径向畸变参数，ρ＝[ρ₁，ρ₂]为切向畸变参数，r²＝x²+y²。

作为本发明的进一步改进，获取残余畸变模型包括：

通过使用步骤S1中的标定数据，计算每一个有效相机像素点所对应的参数化模型坐标F(m)与经由相位映射得到的投影仪实际畸变像素点坐标m′之差，并经拟合降噪来获得。

作为本发明的进一步改进，步骤S2包括：

S21：针对一去除畸变后的相机像素点m^c与其测量相位

首先在投影仪成像面上沿某维度方向抽取若干一维采样点坐标{u₁，u₂，...，u_K}；

S22：再根据极线方程，计算出各一维采样点坐标所对应的另一维度坐标{v₁，v₂，...，v_K}，得到二维极线采样点集{m_k＝(u_k，v_k)：k＝1，2，...，K}；

S23：利用投影仪的畸变模型，对各极线采样点依次进行畸变计算，得到相应的畸变极线采样点集

S24：使用多项式对畸变极线采样点集进行曲线拟合，得到畸变极线。

作为本发明的进一步改进，步骤S21中一维采样点坐标采用局部法进行获取，包括：

首先根据去畸变相机像素点m^c在某维度方向的测量相位

根据投影条纹相位公式，计算其在投影仪成像面上该维度方向的一维坐标

再按照预设的畸变量在该坐标附近抽取一组一维坐标采样点{u₁，u₂，...，u_K}。该局部抽取法可在保证后期极线拟合精度的前提下，有效减少采样点数。

作为本发明的进一步改进，极线方程为：

[u，v，1]F[u^c，v^c，1]^T＝0

其中，m^c＝[u^c，v^c]是相机像素点坐标；m＝[u，v]是其对应于投影仪成像面上的极线采样点坐标；F是所述结构光系统的基础矩阵。

作为本发明的进一步改进，步骤S3包括：

S31：根据投影条纹相位公式对应于测量相位值

的等相位线；

S32：计算等相位线与畸变极线的交点m′_×，即为相机像素点m^c所对应的高精度投影仪畸变像素点。

作为本发明的进一步改进，该方法还包括：

对所述高精度投影仪畸变像素点进行去畸变计算，结合光学三角法进行高精度三维重建。

为实现上述目的，按照本发明的另一个方面，提供了一种计算机可读介质，其存储有可由电子设备执行的计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行上述方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的一种基于极线采样的投影仪对应点高精度匹配方法及其应用，其基于对极几何原理，针对每一个去畸变后的相机像素点，通过对因畸变发生变形的投影仪极线进行采样、拟合，并与等相位线相交叉，计算得到准确的与相机像素点对应的高精度投影仪畸变像素点，对于该类投影仪的多种应用来说，如投影仪的残余畸变标定，可以提高对应的标定精度，如基于该极线采样的投影仪的测量系统，可以提高对应的测量精度。

本发明提供的一种基于极线采样的投影仪对应点高精度匹配方法及其应用，其将准确的与相机像素点对应的高精度投影仪畸变像素点用于三维重建，从而消除因投影仪畸变带来的对应点匹配误差。

附图说明

图1为本发明优选实施例的一种基于极线采样的投影仪对应点高精度匹配方法的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

下面结合实施例和附图对本发明提供的一种基于极线采样的投影仪对应点高精度匹配方法的工作原理进行详细说明。

图1为本发明优选实施例的一种基于极线采样的投影仪对应点高精度匹配方法的示意图。如图1所示，该方法包括：

S1.对投影仪的畸变模型进行预先标定，包括获取相机内参数、外参数以及畸变模型，和投影仪内参数、外参数以及畸变模型。

作为一个示例，可将投影仪畸变模型表示为

其中，m′为投影仪畸变像素点实际坐标，m为投影仪畸变像素点去除畸变后的坐标。

可以预先对投影仪内外参数与畸变模型进行标定。标定结果通常包括一个参数化畸变模型F(·)与一个残余畸变模型f(·)，当精度要求不高时，使用一个参数化模型或其他模型即可，可以依据需求进行相应的选择。投影仪畸变模型

建立了任意实际像素点与其无畸变位置之间的映射关系，如：

其中，m′为畸变像素点实际坐标，m为投影仪畸变像素点去除畸变后的坐标；

作为一个反向相机，投影仪的参数化畸变模型F(·)一般可使用下面的参数方程表达：

其中，[x，y]为投影仪理想无畸变像素点坐标[u，v]基于投影方程[u，v，1]^T＝A[x，y，1]^T的归一化坐标，[x′，y′]为投影仪实际畸变像素点坐标[u′，v′]基于投影方程[u′，v′，1]^T＝A[x′，y′，1]^T的归一化坐标，A是投影仪内参矩阵，k＝[k₁，k₂，k₃]为投影仪径向畸变参数，ρ＝[ρ₁，ρ₂]为投影仪切向畸变参数，而r²＝x²+y²。基于预标定得到的投影仪畸变模型，任一实际投影仪像素点(含畸变)可与其无畸变的理想位置实现一一映射。使用相位映射法与一个标准棋盘格，可将投影仪标定问题转换成常规的相机标定问题，例如可使用Opencv或Matlab的相机标定工具箱，同时对系统中的相机与投影仪参数畸变模型进行标定。当然以上畸变模型以及标定方式仅为一个示例，可以依据测试需求以及投影仪的参数需求对其进行相应的调整。

由于投影仪畸变较大，上述参数模型一般无法准确描述投影仪畸变；通常会形成残余畸变。残余畸变模型f(·)可通过投影法分析得到，通过分析每一个有效相机像素点所对应的参数化模型坐标F(m)与经由相位映射得到的投影仪实际畸变像素点坐标m′之差，结合适当的降噪处理，即可得到残余畸变模型方程δ＝f(m)≈m′-F(m)。

S2.利用任意一个去除畸变后的相机像素点与对应的测量相位值，获取相机像素点对应在投影仪成像面上的若干畸变极线采样点，拟合畸变极线采样点得到畸变极线。

作为一个示例，针对任意一个去除畸变的相机像素点m^c在某单一维度方向的测量相位

计算其在投影仪成像面上对应维度的一维坐标，并按照预设的畸变量在对应维度的一维坐标附近抽取若干一维采样点坐标{u₁，u₂，...，u_K}。

作为一个优选的方案，基于相位映射原理，针对任意一个去畸变后的相机像素点m^c＝[u^c，v^c]在其中一个维度方向(如u向)的测量相位

计算其在投影仪成像面，如DLP投影仪的DMD平面上对应维度的对应坐标点，如

(其中，P是测量条纹的相位周期)。并在其附近抽取K个单一维度的坐标采样点，如{u₁，u₂，...，u_K}。再根据极线方程，计算出各一维采样点坐标所对应的另一维度坐标{v₁，v₂，...，v_K}，得到二维极线采样点集{m_k＝(u_k，v_k)：k＝1，2，...，K}；利用投影仪的畸变模型，对各极线采样点依次进行畸变计算，得到相应的畸变极线采样点集

使用多项式对畸变极线采样点集进行曲线拟合，得到畸变极线。

优选的，极线方程为：

[u，v，1]F[u^c，v^c，1]^T＝0

其中，m^c＝[u^c，v^c]是相机像素点坐标；m＝[u，v]是其对应于投影仪成像面上的极线采样点坐标；

是所述结构光系统的基础矩阵。其中，×表示向量叉(外)积，

与t^s分别为系统结构参数，分别表示由投影仪坐标系变换至相机坐标系的旋转矩阵(对应于轴角θ^s)与平移向量。

作为优选的方案，一维采样点坐标采用局部法进行获取，包括：

首先根据去畸变相机像素点m^c在某维度方向的测量相位

根据投影条纹相位公式，计算其在投影仪成像面上该维度方向的一维坐标

再按照预设的畸变量在该坐标附近抽取一组一维坐标采样点{u₁，u₂，...，u_K}。该局部抽取法可在保证后期极线拟合精度的前提下，有效减少采样点数。

例如，通过投影4步相移条纹，可得到每个像素点的u向相位，基于相位映射原理，对于任意一个根据相机畸变模型去除畸变的相机像素点m^c＝[u^c，v^c]与其u向相位

可计算其在投影仪DMD像面上的u维对应坐标：

其中，P是测量条纹的相位周期。接着，在

范围内等间隔地抽取K＝5个点，如{u₁，u₂，...，u₅}作为采样点。其中，Δu是位置u对应的最大畸变量。如此以来，有限的采样点可实现局部范围内的高精度极线拟合与插值。

S3.利用测量相位值在投影仪成像面上构造等相位线，并计算等相位线与所述畸变极线的交点，以得到与相机像素点对应的高精度投影仪畸变像素点。

优选的，根据投影条纹相位公式得到对应于测量相位值

的等相位线；计算上述等相位线与步骤S2所述的拟合畸变极线的交点m′_×，即为相机像素点m^c所对应的高精度投影仪畸变像素点。

作为一个示例，若投影条纹是相位周期为P的u向条纹，等相位线则为方程为

通过所述联立等相位线方程与步骤S2所述得到的拟合极线方程，可求得两线交点m′_×，即为相机像素点m^c所对应的高精度投影仪畸变像素点。

作为一个优选的方案，该方法还包括：

根据投影仪的畸变模型对与去除畸变后的相机像素点m^c＝[u^c，v^c]所对应的投影仪畸变像素点m′_×＝[u′，v′]进行去畸变计算，以得到免除畸变误差的投影仪对应像素点

利用去除畸变的相机像素点与相对应的免除畸变的投影仪像素点进行三维重建，得到被测样品三维坐标。

作为一个优选的方案，该去畸变计算

可使用下面的牛顿迭代公式：

进行精密求解，直到步长||λ_k||足够小，如＜1×10^-6，m₀＝m′_×，m_k→∞是待解的去畸变点。

作为一个优选的方案，该三维重建使用相机像素点m^c＝[u^c，v^c]与对应去畸变后的投影仪像素点m_×＝[u，v]，结合下面的投影公式予以计算：

其中，[X，Y，Z]是待重建的投影仪畸变像素点的三维坐标，上标c表示属于相机变量，投影仪变量上标p为方便起见被省略，A^c与A分别是相机与投影仪的内参矩阵，外参R与t分别是由某世界坐标系(WCS)变换到投影仪坐标系的旋转矩阵与平移向量，外参R^c与t^c分别是由世界坐标系(WCS)变换到相机坐标系的旋转矩阵与平移向量，而s^c与s是未知尺度因子。

针对每一个相机像素点，重复实施步骤S2-S4及上述三维重建计算，以实现一个待测表面的完整三维点云重建。

本实施例还提供了一种电子设备，其包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行实施例中的基于极线采样的投影仪对应点高精度匹配方法的步骤，具体步骤参见实施例，此处不再赘述；本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

该电子设备也可以与一个或多个外部设备(如键盘、指向终端、显示器等)通信，还可与一个或者多个使得用户能与该电子设备交互的终端通信，和/或与使得该电子设备能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。

本实施例还提供了一种计算机可读介质，其存储有可由电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行实施例中的基于极线采样的投影仪对应点高精度匹配方法的步骤。计算机可读介质的类型包括但不限于SD卡、U盘、固定硬盘、移动硬盘等存储介质。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于极线采样的投影仪对应点高精度匹配方法，其特征在于，所述方法包括如下步骤：

S1.对极线采样系统进行标定，包括获取相机内参数、外参数以及畸变模型，和投影仪内参数、外参数以及畸变模型；

S2.利用任意一个去除畸变后的相机像素点与对应的测量相位值，获取所述相机像素点对应在投影仪成像面上的若干畸变极线采样点，拟合所述畸变极线采样点得到畸变极线；

S3.利用所述测量相位值在投影仪成像面上构造等相位线，并计算所述等相位线与所述畸变极线的交点，以得到与所述相机像素点对应的高精度投影仪畸变像素点。

2.如权利要求1所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，投影仪的畸变模型用于表征任一投影仪实际畸变像素点坐标m′与其理想无畸变坐标m之间的映射关系，所述投影仪的畸变模型具体为：

其中，F(m)为参数化畸变模型，f(m)为残余畸变模型。

3.如权利要求2所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，所述参数化畸变模型利用如下参数方程得到：

[x，y]为投影仪理想无畸变像素点坐标[u，v]基于投影方程[u，v，1]^T＝A[x，y，1]^T的归一化坐标，[x′，y′]为投影仪实际畸变像素点坐标[u′，v′]基于投影方程[u′，v′，1]^T＝A[x′，y′，1]^T的归一化坐标，A是相机内参矩阵，k＝[k₁，k₂，k₃]为径向畸变参数，ρ＝[ρ₁，ρ₂]为切向畸变参数，r²＝x²+y²。

4.如权利要求2所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，获取所述残余畸变模型包括：

通过使用步骤S1中的标定数据，计算每一个有效相机像素点所对应的参数化模型坐标F(m)与经由相位映射得到的投影仪实际畸变像素点坐标m′之差，并经拟合降噪来获得。

5.如权利要求2所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，所述步骤S2包括：

S21：针对一去除畸变后的相机像素点m^c与其测量相位

首先在投影仪成像面上沿某维度方向抽取若干一维采样点坐标{u₁，u₂，...，u_K}；

S22：再根据极线方程，计算出各一维采样点坐标所对应的另一维度坐标{v₁，v₂，...，v_K}，得到二维极线采样点集{m_k＝(u_k，v_k)：k＝1，2，...，K}；

S23：利用所述投影仪的畸变模型，对各极线采样点依次进行畸变计算，得到相应的畸变极线采样点集

S24：使用多项式对所述畸变极线采样点集进行曲线拟合，得到畸变极线。

6.如权利要求5所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，步骤S21中一维采样点坐标采用局部法进行获取，包括：

首先根据去畸变相机像素点m^c在某维度方向的测量相位

根据投影条纹相位公式，计算其在投影仪成像面上该维度方向的一维坐标

再按照预设的畸变量在该坐标附近抽取一组一维坐标采样点{u₁，u₂，...，u_K}。

7.如权利要求5所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，所述极线方程为：

[u，v，1]F[u^c，v^c，1]^T＝0

其中，m^c＝[u^c，v^c]是相机像素点坐标；m＝[u，v]是其对应于投影仪成像面上的极线采样点坐标；F是所述结构光系统的基础矩阵。

8.如权利要求1所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，所述步骤S3包括：

S31：根据投影条纹相位公式得到对应于测量相位值

的等相位线；

S32：计算所述等相位线与所述畸变极线的交点m′_×，即为相机像素点m^c所对应的高精度投影仪畸变像素点。

9.如权利要求1所述的一种基于极线采样的投影仪对应点高精度匹配方法，其中，所述方法还包括：

对所述高精度投影仪畸变像素点进行去畸变计算，结合光学三角法进行高精度三维重建。

10.一种计算机可读介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行权利要求1～9任一项所述方法的步骤。

Images