CN115272110A - 一种结构光三维重建中投影机畸变校正方法及装置 - Google Patents

Abstract

本申请提供了一种结构光三维重建中投影机畸变校正方法及装置，涉及三维重建技术领域，应用于相机‑投影机三维测量系统，基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；基于获取的畸变校正参数向量和投影机坐标，采用多项式畸变模型计算所述投影机坐标对应的无畸变坐标，相比现有技术中的迭代方法，在达到相同精度的同时大大提升了畸变校正的实时性。

Description

一种结构光三维重建中投影机畸变校正方法及装置

技术领域

本申请涉及三维重建技术领域，具体而言，涉及一种结构光三维重建中投影机畸变校正方法及装置。

背景技术

三维重建是将三维的物体在虚拟世界中重建出来，通俗点说就是照相机的逆操作，即照相机是将现实中的物体呈现在二维图片中，而三维重建是将二维图片中的信息在三维虚拟空间中显现。在现有技术中往往采用三维测量系统来进行被测物体的三维重建工作，其主要由相机、投影机和计算机三部分组成。首先在计算机端进行结构光图案编码，再由投影机将编码图案投射到待测物体表面，因物体表面的高度变化将会对投射的条纹图像产生调制，然后由相机获取被调制的条纹图案传输到计算机进行条纹处理，计算出相位的分布，最后由相位和高度的映射关系求出待测物体的表面的高度。

但是，投影机的光学透镜畸变是不可避免的，这些畸变会导致编码光产生形变，而编码光的形变会导致解码时产生误差，从而导致三维测量系统的测量精度下降。然而，现有的后校正方法需要进行费时的迭代，这大大降低了三维重建的实时性。

发明内容

有鉴于此，本申请的目的在于提供一种结构光三维重建中投影机畸变校正方法及装置，通过构建畸变校正查找表，采用多项式畸变模型计算投影机坐标对应的无畸变坐标的方式，能够快速提升畸变校正的实时性。

本申请实施例提供的一种结构光三维重建中投影机畸变校正方法，应用于相机-投影机三维测量系统，所述相机-投影机三维测量系统由投影机将编码图案投影至被测物体表面，由相机采集被测物体表面调制后的编码图案，并传输至上位机进行解码，以计算出三维点云信息，所述方法包括以下步骤：

基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；

基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；

基于获取的畸变校正参数向量和投影机坐标计算所述投影机坐标对应的无畸变坐标。

在一些实施例中，通过以下方式构建预存储的畸变校正查找表：

其中，

为投影机坐标值对应的归一化坐标，α、β为畸变校正查找表的畸变校正参数向量，I_x和I_y分别为从0到

和

的整数索引值；

其中，投影机的分辨率为W^p×H^p，畸变校正查找表的分辨率为

在一些实施例中，构建预存储的畸变校正查找表之前，还包括以下步骤：

计算每个投影机像素点处的畸变校正参数向量。

在一些实施例中，所述计算每个投影机像素点处的畸变校正参数向量，包括以下步骤：

将投影机平面上归一化的畸变成像点和理想成像点通过多项式畸变模型进行描述，为：

其中，(x^p,y^p)是归一化的投影机平面畸变成像点，

是归一化的投影机平面理想成像点，α、β为畸变校正参数向量；

根据投影机平面上的n个畸变成像点和理想成像点，计算畸变校正参数向量α、β；

其中，n≥m时，列出方程组：

其矩阵形式为：

其中；

若n＝m，畸变校正参数向量计算为：

若n>m，畸变校正参数向量采用最小二乘法计算为：

在一些实施例中，通过以下方式获取投影机平面上归一化的畸变成像点和理想成像点：

对相机-投影机三维测量系统进行标定，获取投影机平面上归一化的畸变成像点和理想成像点，为：

其中

和

是投影机的径向和切向畸变系数，(x^p,y^p)是归一化的投影机平面畸变成像点，

是归一化的投影机平面理想成像点，(x^p,y^p)、

和和

之间的关系是：

其中，(x^p,y^p)和

是投影机平面上的畸变成像点和理想成像点。

在一些实施例中，采用全局型畸变模型或局部型畸变模型对相机-投影机三维测量系统进行标定。

在一些实施例中，所述相机-投影机三维测量系统采用单向扫描或者双向扫表的方式获取投影机坐标。

在一些实施例中，还提供一种结构光三维重建中投影机畸变校正装置，应用于相机-投影机三维测量系统，所述相机-投影机三维测量系统由投影机将编码图案投影至被测物体表面，由相机采集被测物体表面调制后的编码图案，并传输至上位机进行解码，以计算出三维点云信息，所述装置包括：

第一计算模块，用于基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；

获取模块，用于基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；

第二计算模块，用于基于获取的畸变校正参数向量和投影机坐标计算所述投影机坐标对应的无畸变坐标。

在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任意一项所述的一种结构光三维重建中投影机畸变校正方法的步骤。

在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任意一项所述的一种结构光三维重建中投影机畸变校正方法的步骤。

本申请所述的一种结构光三维重建中投影机畸变校正方法及装置，应用于相机-投影机三维测量系统，基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；基于获取的畸变校正参数向量和投影机坐标，采用多项式畸变模型计算所述投影机坐标对应的无畸变坐标，相比现有技术中的迭代方法，在达到相同精度的同时大大提升了畸变校正的实时性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所述结构光三维重建中投影机畸变校正方法的流程图；

图2示出了本申请实施例所述一阶多项式畸变模型的示意图；

图3示出了本申请实施例所述畸变校正查找表的可视化示意图；

图4示出了本申请实施例所述畸变校正前后的对比示意图；

图5示出了本申请实施例所述结构光三维重建中投影机畸变校正装置的结构示意图；

图6示出了本申请实施例所述电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

近年来基于结构光的三维重建技术在逆向工程、机器人导航、工业产品检测等领域都有着非常广泛的应用。目前结构光三维重建过程中，投影机向场景中投影一系列条纹图，继而相机拍摄经过场景表面反射和调制后的条纹图，通过条纹分析技术对获取的条纹图进行处理，得到条纹的相位，继而根据三角测量原理以及已知的系统参数，将条纹相位转化为三维重建结果。但是投影机的镜头都会存在畸变，使得测量精度降低。所以对投影机镜头的畸变校正，是获取高精度测量的关键步骤，而目前校正流程较为复杂，导致校正速度较慢。基于此，本申请提供一种结构光三维重建中投影机畸变校正方法、装置、电子设备及存储介质，通过构建畸变校正查找表的方式，能够快速提升畸变校正的实时性。

参见说明书附图1，本申请提供的一种结构光三维重建中投影机畸变校正方法，应用于相机-投影机三维测量系统，所述相机-投影机三维测量系统由投影机将编码图案投影至被测物体表面，由相机采集被测物体表面调制后的编码图案，并传输至上位机进行解码，以计算出三维点云信息，所述方法包括以下步骤：

S1、基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；

S2、基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；

S3、基于获取的畸变校正参数向量和投影机坐标计算所述投影机坐标对应的无畸变坐标。

具体的，通过通过以下方式构建预存储的畸变校正查找表：

其中，

为投影机坐标值对应的归一化坐标，α、β为畸变校正查找表的畸变校正参数向量，I_x和I_y分别为从0到

和

的整数索引值；

其中，投影机的分辨率为W^p×H^p，畸变校正查找表的分辨率为

在计算每个投影机像素点处的畸变校正参数向量时，包括以下步骤：

将投影机平面上归一化的畸变成像点和理想成像点通过多项式畸变模型进行描述，为：

其中，(x^p,y^p)是归一化的投影机平面畸变成像点，

是归一化的投影机平面理想成像点，在一个足够小的区域内，α、β都可以被视为是常值向量，在此作为畸变校正参数向量；则只需得知该区域内n个点的畸变和无畸变坐标，即可计算出α、β这两个畸变校正参数向量的值，其中，n≥m时，根据这n个点的信息可以列写出如下的方程组：

其矩阵形式为：

其中；

若n＝m，畸变校正参数向量计算为：

若n>m，畸变校正参数向量采用最小二乘法计算为：

其中，当多项式模型的阶数m取1时，一阶多项式畸变模型如说明书附图2所示，存储的畸变校正查找表如说明书附图3所示，多项式模型的阶数可以取大于等于1的整数，在一定范围内，阶数越高校正的精度越高，同时校正的耗时也会越长，因此通常m可以取1～4阶。

需要说明的是，通过全局型畸变模型对相机-投影机三维测量系统进行标定，以包含径向和切向畸变的传统非线性成像模型为例，获取投影机平面上归一化的畸变成像点和理想成像点，为：

其中

和

是投影机的径向和切向畸变系数，(x^p,y^p)是归一化的投影机平面畸变成像点，

是归一化的投影机平面理想成像点，(x^p,y^p)、

和

之间的关系是：

其中，(x^p,y^p)和

是投影机平面上的畸变成像点和理想成像点，投影横向和纵向的相移条纹，将相机-投影机三维测量系统视作一个双目系统，标定获取相机和投影机的内参矩阵、外参矩阵以及畸变系数，从而可以直接计算出每个投影机像素坐标处对应的无畸变坐标。

另外，在其他实施方式中，还可以通过局部型畸变模型对相机-投影机三维测量系统进行标定，获取每个投影机像素处的畸变值，从而也能求得每个投影机像素对应的无畸变坐标。

在进行实时校正时，对于相机-投影机三维测量系统采用双向扫表的方式可以计算出双向的相位，获取投影机坐标(x^p,y^p)，进而计算畸变校正查找表的索引值：

然后即对畸变的相位进行校正：

对于单向扫描的方式，例如，若只能获取y^p，则可以根据极线约束估算x^p的值：

其中

和

分别是投影机平面上的对极点以及相位极点，然后也能计算畸变校正查找表的索引值：

畸变校正前后的对比如说明书附图4所示。

本申请提供的一种结构光三维重建中投影机畸变校正方法，通过创建畸变校正查找表的方式，并基于多项式畸变模型计算投影机坐标对应的无畸变坐标，与传统迭代方法完全相同的精度，在速度方面，使用一阶多项式时，本申请比传统的迭代方法快50倍以上，对于1280×960分辨率的图像，传统方法耗时0.62s，而本申请只需要消耗12ms，这显著地提升了畸变校正的实时性。

基于同一发明构思，本申请实施例中还提供了一种结构光三维重建中投影机畸变校正装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述一种结构光三维重建中投影机畸变校正方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

如说明书附图5所示，本申请实施例还提供一种结构光三维重建中投影机畸变校正装置，应用于相机-投影机三维测量系统，所述相机-投影机三维测量系统由投影机将编码图案投影至被测物体表面，由相机采集被测物体表面调制后的编码图案，并传输至上位机进行解码，以计算出三维点云信息，所述装置包括：

第一计算模块501，用于基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；

获取模块502，用于基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；

第二计算模块503，用于基于获取的畸变校正参数向量和投影机坐标计算所述投影机坐标对应的无畸变坐标。

本申请所述的基于归一化扩展极线几何的实时结构光重建装置，应用于相机-投影机三维测量系统，基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；基于获取的畸变校正参数向量和投影机坐标，采用多项式畸变模型计算所述投影机坐标对应的无畸变坐标，从而大大提升畸变校正的实时性。

基于本发明的同一构思，如说明书附图6所示，本申请实施例提供的一种电子设备600的结构，该电子设备600包括：至少一个处理器601，至少一个网络接口604或者其他用户接口603，存储器605，至少一个通信总线602。通信总线602用于实现这些组件之间的连接通信。该电子设备600可选的包含用户接口603，包括显示器(例如，触摸屏、LCD、CRT、全息成像(Holographic)或者投影(Projector)等)，键盘或者点击设备(例如，鼠标，轨迹球(trackball)，触感板或者触摸屏等)。

存储器605可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器605的一部分还可以包括非易失性随机存取存储器(NVRAM)。

在一些实施方式中，存储器605存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：

操作系统6051，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

应用程序模块6052，包含各种应用程序，例如桌面(launcher)、媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。

在本申请实施例中，通过调用存储器605存储的程序或指令，处理器601用于执行如一种结构光三维重建中投影机畸变校正方法的步骤。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如一种结构光三维重建中投影机畸变校正方法中的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述一种结构光三维重建中投影机畸变校正方法，通过创建畸变校正查找表的方式，并基于多项式畸变模型计算投影机坐标对应的无畸变坐标，从而提升畸变校正的实时性。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种结构光三维重建中投影机畸变校正方法，其特征在于，应用于相机-投影机三维测量系统，所述相机-投影机三维测量系统由投影机将编码图案投影至被测物体表面，由相机采集被测物体表面调制后的编码图案，并传输至上位机进行解码，以计算出三维点云信息，所述方法包括以下步骤：

基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；

基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；

基于获取的畸变校正参数向量和投影机坐标计算所述投影机坐标对应的无畸变坐标。

2.根据权利要求1所述一种结构光三维重建中投影机畸变校正方法，其特征在于，通过以下方式构建预存储的畸变校正查找表：

其中，

为投影机坐标值对应的归一化坐标，

为畸变校正查找表的畸变校正参数向量，I_x和I_y分别为从0到

和

的整数索引值；

其中，投影机的分辨率为W^p×H^p，畸变校正查找表的分辨率为

3.根据权利要求2所述一种结构光三维重建中投影机畸变校正方法，其特征在于，构建预存储的畸变校正查找表之前，还包括以下步骤：

计算每个投影机像素点处的畸变校正参数向量。

4.根据权利要求3所述一种结构光三维重建中投影机畸变校正方法，其特征在于，所述计算每个投影机像素点处的畸变校正参数向量，包括以下步骤：

将投影机平面上归一化的畸变成像点和理想成像点通过多项式畸变模型进行描述，为：

其中，

是归一化的投影机平面畸变成像点，

是归一化的投影机平面理想成像点，α、β为畸变校正参数向量；

根据投影机平面上的n个畸变成像点和理想成像点，计算畸变校正参数向量α、β；

其中，n≥m时，列出方程组：

其矩阵形式为：

其中；

若n＝m，畸变校正参数向量计算为：

若n>m，畸变校正参数向量采用最小二乘法计算为：

5.根据权利要求4所述一种结构光三维重建中投影机畸变校正方法，其特征在于，通过以下方式获取投影机平面上归一化的畸变成像点和理想成像点：

对相机-投影机三维测量系统进行标定，获取投影机平面上归一化的畸变成像点和理想成像点，为：

其中

P₁ ^p和P₂ ^p是投影机的径向和切向畸变系数，(x^p,y^p)是归一化的投影机平面畸变成像点，

是归一化的投影机平面理想成像点，(x^p,y^p)、

和

之间的关系是：

其中，(x^p,y^p)和

是投影机平面上的畸变成像点和理想成像点。

6.根据权利要求5所述一种结构光三维重建中投影机畸变校正方法，其特征在于，采用全局型畸变模型或局部型畸变模型对相机-投影机三维测量系统进行标定。

7.根据权利要求6所述一种结构光三维重建中投影机畸变校正方法，其特征在于，所述相机-投影机三维测量系统采用单向扫描或者双向扫表的方式获取投影机坐标。

8.一种结构光三维重建中投影机畸变校正装置，其特征在于，应用于相机-投影机三维测量系统，所述相机-投影机三维测量系统由投影机将编码图案投影至被测物体表面，由相机采集被测物体表面调制后的编码图案，并传输至上位机进行解码，以计算出三维点云信息，所述装置包括：

第一计算模块，用于基于获取的投影机坐标，计算预存储的畸变校正查找表的索引值；

获取模块，用于基于获取的投影机坐标和计算的畸变校正查找表的索引值，获取所述畸变校正查找表的畸变校正参数向量；

第二计算模块，用于基于获取的畸变校正参数向量和投影机坐标计算所述投影机坐标对应的无畸变坐标。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任意一项所述的一种结构光三维重建中投影机畸变校正方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的一种结构光三维重建中投影机畸变校正方法的步骤。

Images