CN113418472B

CN113418472B - 三维测量方法和系统

Info

Publication number: CN113418472B
Application number: CN202110970582.6A
Authority: CN
Inventors: 黄淦
Original assignee: Shenzhen Huahan Weiye Technology Co ltd
Current assignee: Shenzhen Huahan Weiye Technology Co ltd
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2021-11-16
Anticipated expiration: 2041-08-24
Also published as: CN113418472A

Abstract

一种三维测量方法和系统，三维测量系统包括投影仪、第一线阵图像传感器、第二线阵图像传感器和处理器，投影仪将所生成的结构光投影到测量场景中，其中测量场景中的测量对象处于运动状态；第一线阵图像传感器在投影仪投影结构光时，被同步触发获取测量场景的第一投影图像；第二线阵图像传感器在投影仪投影结构光时，被同步触发获取测量场景的第二投影图像；处理器对第一投影图像和第二投影图像进行校正，对校正后的投影图像进行相关性计算，得到投影图像中对应的点对；获取点对的深度值，以得到所有点对的三维坐标；基于上述方案，本发明能够对测量场景中处于运动状态的测量对象进行更稳定地三维测量。

Description

三维测量方法和系统

技术领域

本发明涉及三维重建技术领域，具体涉及一种三维测量方法和系统。

背景技术

近些年随着工业自动化要求的提高以及计算机技术、光电技术的快速进步，非接触式三维测量技术在自动化测量和检测领域的使用越来越广泛，目前已经发展出许多三维形状测量技术。例如：

（1）基于相移结构光法加面阵相机的三维形状测量系统，该测量系统具有精度较高，对光照条件与待测物体表面纹理缺失不敏感的优点，但是受限于算法需要拍摄并处理多张图像无法做到对处于运动状态中的物体进行三维测量。

（2）基于线结构光加面阵相机的扫描式三维形状测量系统，这种测量系统同样具有精度较高对光照和表面纹理缺失不敏感的优点，且可以对运动的物体进行测量，但是其受限于面阵相机的帧率，面对一些传送带上高速移动的物体测量依然难以满足实际产线上的需求。

（3）双目线阵相机的立体视觉法的三维形状测量系统，由于线阵相机具有帧率远高于线阵相机的特点，这种三维形状测量系统完全满足对高速移动物体进行三维形状测量的要求，但是受限于双目立体算法，这种测量系统对于物体表面缺少纹理的情况（例如金属表面）精度会变得非常糟糕。

发明内容

本发明主要解决的技术问题是如何对测量场景中处于运动状态的测量对象进行更稳定地三维测量。

根据第一方面，一种实施例中提供一种三维测量系统，包括：

投影仪，用于生成结构光并以一投影方向将所述结构光投影到测量场景中，其中所述测量场景中的测量对象处于运动状态；

第一线阵图像传感器，所述第一线阵图像传感器的光轴与所述投影方向呈角度设置，用于在所述投影仪投影结构光到测量场景时，被同步触发获取测量场景的投影图像，得到第一投影图像；

第二线阵图像传感器，所述第二线阵图像传感器的光轴与所述投影方向呈角度设置，用于在所述投影仪投影结构光到测量场景时，被同步触发获取测量场景的投影图像，得到第二投影图像；

其中，第一线阵图像传感器和第二线阵图像传感器共面设置且其光轴的夹角处于预设角度范围内；

处理器，用于对第一投影图像和第二投影图像进行校正；对校正后的第一投影图像和第二投影图像进行相关性计算，以获取第一投影图像中每个像素点在第二投影图像中对应的像素点，得到第一投影图像和第二投影图像中对应的点对；获取所述点对的深度值，以得到第一投影图像和第二投影图像中所述点对的三维坐标。

在一实施例中，所述投影仪用于生成结构光，包括：

所述投影仪接收外部输入的编码图案，并基于所述编码图案生成所述结构光；其中，所述编码图案为基于静态伪随机二值序列编码得到的图案。

在一实施例中，所述处理器在对第一投影图像和第二投影图像进行校正之前，还用于：

生成开始信号，并输出所述开始信号至所述投影仪；所述投影仪响应于所述开始信号，生成所述结构光并将所述结构光投影到测量场景中。

在一实施例中，所述静态伪随机二值序列为基于预设多项式进行线性反馈计算得到的序列；

其中，所述预设多项式为

，其中n为大于等于1的整数，c _j为预设多项式的系数，且f(x)满足以下四个条件：

f(x)为n次既约多项式；

f(x)能够整除Q，其中Q=x ^m -1，m=2ⁿ-1；

f(x)不能整除（x ^q+1），其中q为小于m的正整数；

n满足2ⁿ>2k，其中k为第一线阵图像传感器或者第二线阵图像传感器的分辨率。

在一实施例中，所述处理器对第一投影图像和第二投影图像进行校正，包括：

获取第一线阵图像传感器的外参矩阵以及第二线阵图像传感器的外参矩阵；

基于所述外参矩阵，确定第一线阵图像传感器对应坐标系和第二线阵图像传感器对应坐标系之间的平移转换矩阵和旋转变换矩阵；

基于所述平移转换矩阵和旋转变换矩阵对第一投影图像和第二投影图像进行校正，以使所述第一投影图像和第二投影图像平行于所述第一线阵图像传感器和第二线阵图像传感器的光心连线。

在一实施例中，所述处理器在对第一投影图像和第二投影图像进行校正之后，还包括：

判断预设缓存队列中是否为空；所述预设缓存队列用于存储校正后的第一投影图像和第二投影图像；

若为空，则对当前校正后的第一投影图像和第二投影图像进行相关性计算；若不为空，则将当前校正后的第一投影图像和第二投影图像存入预设缓存队列中，并从预设缓存队列中读取最先存入的校正后的第一投影图像和第二投影图像，并对最先存入的校正后的第一投影图像和第二投影图像进行相关性计算。

在一实施例中，所述对校正后的第一投影图像和第二投影图像进行相关性计算，包括：

将校正后的第一投影图像中的每个像素点依次作为当前像素点；遍历校正后的第二投影图像中各个像素点与所述当前像素点的相关系数，确定校正后的第二投影图像中与所述当前像素点的相关系数最大且相关系数小于预设阈值的像素点，得到当前像素点在第二投影图像中对应的像素点，其中所述当前像素点及其在第二投影图像中对应的像素点为一点对。

在一实施例中，所述遍历校正后的第二投影图像中各个像素点与所述当前像素点的相关系数，包括：

通过以下公式得到校正后的第二投影图像中各个像素点与当前像素点的相关系数：

其中，v为当前像素点，v’为校正后的第二投影图像中的任一像素点，

为当前像素点v与校正后的第二投影图像中的任一像素点v’的相关系数；m为校正后的第一投影图像中在像素范围

内的所有像素点的灰度值的均值，w为大于等于1的整数；S为校正后的第一投影图像中在像素范围

内的所有像素点的灰度值的标准差；

为校正后的第一投影图像中位置为v+i像素点的灰度值；

为校正后的第二投影图像中在像素范围

内的所有像素点的灰度值的均值；

为校正后的第二投影图像中在像素范围

内的所有像素点的灰度值的标准差；

为校正后的第二投影图像中位置为

像素点的灰度值。

在一实施例中，所述获取所述点对的深度值包括：

根据以下公式得到所述点对的深度值：

其中，v为校正后的第一投影图像中的当前像素点，v _match为当前像素点对应在校正后的第二投影图像中的像素点，v和v _match为一点对；f为第一线阵图像传感器102或者第二线阵图像传感器103的焦距；d为第一线阵图像传感器102和第二线阵图像传感器103的光心距离；u为第一投影图像或者第二投影图像中各个像素点的物理尺寸。

根据第二方面，一种实施例中提供一种三维测量方法，包括：

对第一线阵图像传感器输出的测量场景的第一投影图像和第二线阵图像传感器输出的测量场景的第二投影图像进行校正；其中，测量场景中由投影仪以一投影方向投影结构光；所述第一线阵图像传感器和第二线阵图像传感器用于在投影仪投影结构光时，被同步触发获取测量场景的投影图像，所述测量场景中的测量对象处于运动状态；所述第一线阵图像传感器和第二线阵图像传感器共面设置且其光轴的夹角处于预设角度范围内；

对校正后的第一投影图像和第二投影图像进行相关性计算，以获取第一投影图像中每个像素点在第二投影图像中对应的像素点，得到第一投影图像和第二投影图像中对应的点对；

获取所述点对的深度值，以得到第一投影图像和第二投影图像中所述点对的三维坐标。

依据上述实施例的三维测量系统/方法，投影仪将所生成的结构光投影到测量场景中，其中测量场景中的测量对象处于运动状态；第一线阵图像传感器在投影仪投影结构光时，被同步触发获取测量场景的第一投影图像；第二线阵图像传感器在投影仪投影结构光时，被同步触发获取测量场景的第二投影图像；处理器对第一投影图像和第二投影图像进行校正，对校正后的第一投影图像和第二投影图像进行相关性计算，得到第一投影图像和第二投影图像中对应的点对；获取点对的深度值，以得到第一投影图像和第二投影图像中所有点对的三维坐标；由于结构光能够在低光照测量场景、测量对象表面纹理缺失的情况下使第一线阵图像传感器和第二线阵图像传感器更高精度地获取测量对象的表面结构信息，以及处理器对第一投影图像和第二投影图像的校正、相关性计算以及获取点对深度值的三维重建方法，使得本发明能够对测量场景中处于运动状态的测量对象进行更稳定地三维测量。

附图说明

图1为一种实施例的三维测量系统的结构示意图；

图2为一种实施例的计算静态伪随机二值序列的方法流程图；

图3为一种实施例的静态伪随机二值序列编码结构光的仿真示意图；

图4为结构光投影在测量场景中的示意图；

图5为一种实施例的同步触发方法流程图；

图6为图5所示方法中各个信号的时序示意图；

图7为一种实施例的三维测量方法的流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

请参考图1，图1为一种实施例的三维测量系统的结构示意图，所述的三维测量系统包括投影仪101、第一线阵图像传感器102、第二线阵图像传感器103和处理器。

在本发明实施例中，三维测量系统还包括测量场景105，测量场景105中具有处于运动状态的测量对象104，在一实施例中，测量场景105可以为流水线上的某一拍摄区域，测量对象104为流水线上的工件，工流水线上通常传输有多个工件，这些工件在流水线上以一定速度随着流水线上的传送带进行运动。

投影仪101安装在测量场景的上方，其向拍摄区域投影具有编码图案的结构光，第一线阵图像传感器102和第二线阵图像传感器103共面安装在投影仪101的两侧，第一线阵图像传感器102和第二线阵图像传感器103的光轴与结构光的投影方向呈一定角度，且第一线阵图像传感器102和第二线阵图像传感器103的光轴的夹角在一定预设角度范围内，其中预设角度范围可以为90±30度范围。

在一实施例中，投影仪101生成的结构光为基于静态伪随机二值序列编码得到的具有编码图案的结构光，其可通过处理器提前计算得到静态伪随机二值序列P，并基于将静态伪随机二值序列P生成编码图案后，将该编码图案输入投影仪101中以生成本实施例所述的结构光。当然，在其他实施例中，也可以通过计算机等具有数据处理芯片的装置来计算静态伪随机二值序列P。此外，投影仪101生成静态伪随机二值结构光时还可以基于Gold序列，Bent序列等序列进行构造。

在本实施例中，如图2所示，计算静态伪随机二值序列P的方法包括以下步骤：

步骤201：设置一伪随机序列的预设多项式，

条件一：f(x)为n次既约多项式：

条件二：f(x)能够整除Q，其中Q=x ^m -1，m=2ⁿ -1：

条件三：f(x)不能整除（x ^q +1），其中q为小于m的正整数：

条件四：n满足2ⁿ>2k，其中k为第一线阵图像传感器或者第二线阵图像传感器的分辨率。

步骤202：初始化长度为2ⁿ -1的序列P，对初始化后的序列P从第n位开始通过预设多项式进行一次线性反馈计算。例如，若预设多项式为f(x)=x ¹⁵+x+1，一次线性反馈计算过程为，P[16]=P[15]⊕P[1]⊕1，⊕表示异或，P[16]表示序列P的第16位的值，P[15]表示序列P的第15位的值，P[1]表示序列P的第1位的值。

步骤203，从第n位开始重复往后移位然后进行线性反馈计算直至计算完序列P从第n位开始至2ⁿ -1位所有的值，得到静态伪随机二值序列P。如图3所示为一种实施例的静态伪随机二值序列编码结构光的仿真示意图。如图4所示为将结构光投影在测量场景中的示意图。

第一线阵图像传感器102在投影仪投影结构光到测量场景时，被同步触发采集测量场景的投影图像，并输出第一投影图像至处理器。

第二线阵图像传感器103在投影仪投影结构光到测量场景时，被同步触发采集测量场景的投影图像，并输出第二投影图像至处理器。

在本实施例中，在三维测量系统中处理器、投影仪和第一线阵图像传感器（第二线阵图像传感器）之间均是按照同步触发方法进行工作的，在一实施例中，请参考图5，包括以下步骤：

步骤501：请参考图6，处理器输出处理器触发信号A，处理器触发信号A在当前时刻输出一脉冲（开始信号）至投影仪101。在本实施例中，脉冲的输出时刻，可由用户向处理器发送指令来控制，也可以通过处理器中预存的程序进行控制。

步骤502：投影仪101接收到处理器输出的脉冲（开始信号），并响应于该脉冲（开始信号）根据预存的编码图案生成结构光并将结构光投影至测量场景中，投影仪101在投影结构光的同时生成触发信号B并输出触发信号B至第一线阵图像传感器102和第二线阵图像传感器103。

步骤503：第一线阵图像传感器102和第二线阵图像传感器103响应于投影仪101输出的触发信号B，同步输出曝光信号C和曝光信号D,由于曝光信号C和曝光信号D为同步曝光信号，使得第一线阵图像传感器和第二线阵图像传感器能够同步采集测量场景的第一投影图像和第二投影图像。综上，触发信号B、曝光信号C和曝光信号D为同步脉冲信号。

步骤504：投影仪101按照预设频率输出触发信号B，重复上述步骤503，直至处理器触发信号A在当前时刻输出一脉冲（结束信号）至投影仪101。同理，结束信号的输出时刻，可由用户向处理器发送指令来控制，也可以通过处理器中预存的程序进行控制。

此外，第一线阵图像传感器102和第二线阵图像传感器103分别在曝光信号C和曝光信号D的控制下采集投影图像（第一投影图像和第二投影图像），并按照图像传输信号E将所采集的投影图像输出至处理器进行后续处理。

在本实施例中，由于在某些应用环境中，测量场景中的测量对象是处于高速运动状态中的，为了采集到更稳定的投影图像，第一线阵图像传感器102和第二线阵图像传感器103为线阵相机，线阵相机采集图像的帧率远高于面阵相机。

在对上述投影仪101、第一线阵图像传感器102和第二线阵图像传感器103完成安装后，还需要对第一线阵图像传感器102和第二线阵图像传感器103进行标定。由于第一线阵图像传感器102和第二线阵图像传感器103的标定方法相同，本实施例只提供第一线阵图像传感器102的标定方法，在一实施例中，以线阵相机为例，该标定方法包括以下步骤：

步骤301：处理器获取第一线阵相机（第一线阵图像传感器102）的相机模型：(u,v,1)^T=K·(X,YZ,Z)^T，(X,Y,Z)^T=R·T·(a,b,1)^T，其中(u,v)表示图像坐标系的坐标，(X,Y,Z)表示第一线阵相机坐标系的坐标，(a,b)表示标定板坐标系的坐标，R·T为第一线阵相机的外参矩阵。

步骤302：基于原单应性矩阵H=K·R·T，通过Veronese mapping方法获取变单应性矩阵H’，其变换方式为H·(a,b,1)^T= H’·(a,b,1,a ² ,b ² ,ab)^T，然后根据标定板上的像素点与图像中像素点的对应关系使用DLT算法计算得到H’。其中，K为第一线阵相机的内参矩阵。

步骤303：基于上述步骤，估计第一线阵相机的内参矩阵和外参矩阵R·T。

在上述标定过程完成后，处理器对第一线阵图像传感器102输出的连续帧的第一投影图像以及第二线阵图像传感器103输出的连续帧的第二投影图像进行校正。

在一实施例中，处理器对第一投影图像和第二投影图像进行校正，包括：获取第一线阵图像传感器的外参矩阵以及第二线阵图像传感器的外参矩阵；基于外参矩阵，确定第一线阵图像传感器对应坐标系和第二线阵图像传感器对应坐标系之间的平移转换矩阵和旋转变换矩阵；基于平移转换矩阵和旋转变换矩阵对第一投影图像和第二投影图像进行校正，以使第一投影图像和第二投影图像平行于第一线阵图像传感器102和第二线阵图像传感器103的光心连线。

其中，旋转变换矩阵为

，R _L为第一线阵图像传感器的外参矩阵中的参数R，R _R为第二线阵图像传感器的外参矩阵中的参数R。

平移转换矩阵为T’=[e ₁ ,e ₂ ,e ₃]^T；其中，

，

，

，

表示第一线阵图像传感器和第二线阵图像传感器的坐标系间平移部分的转换矩阵。

处理器将连续帧中当前校正后的第一投影图像和第二投影图像存入预设缓存队列中，此时若预设缓存队列为空，则对当前校正后的第一投影图像和第二投影图像进行相关性计算；若预设缓存队列不为空，则将当前校正后的第一投影图像和第二投影图像存入预设缓存队列中，并从预设缓存队列中读取最先存入的校正后的第一投影图像和第二投影图像，并对最先存入的校正后的第一投影图像和第二投影图像进行相关性计算。

处理器对校正后的第一投影图像和第二投影图像进行相关性计算，以获取第一投影图像中每个像素点在第二投影图像中对应的像素点，得到第一投影图像和第二投影图像中对应的点对。

在一实施例中，对校正后的第一投影图像和第二投影图像进行相关性计算，包括：将校正后的第一投影图像中的每个像素点依次作为当前像素点；遍历校正后的第二投影图像中各个像素点与所述当前像素点的相关系数，确定校正后的第二投影图像中与所述当前像素点的相关系数最大且相关系数小于预设阈值的像素点，得到当前像素点在第二投影图像中对应的像素点，其中当前像素点及其在第二投影图像中对应的像素点为一点对。

其中，遍历校正后的第二投影图像中各个像素点与所述当前像素点的相关系数，包括：

内的所有像素点的灰度值的标准差；

为校正后的第一投影图像中位置为

像素点的灰度值；

为校正后的第二投影图像中在像素范围

内的所有像素点的灰度值的均值；

为校正后的第二投影图像中在像素范围

内的所有像素点的灰度值的标准差；

为校正后的第二投影图像中位置为

像素点的灰度值。

处理器获取所有点对的深度值，以得到第一投影图像和第二投影图像中所有点对的三维坐标，即完成一幅投影图像的三维重建。

其中，根据以下公式得到点对的深度值：

在本发明实施例中，采用线阵相机对高速运动状态的测量对象进行图像采集，能够满足高速三维测量中图像采集的需求；并且，采用基于静态伪随机二值序列编码的结构光投影至测量区域进行图像采集，该结构光只需投影一次即可完成三维形状测量，方便被线阵相机高速采集，自相关性好能够极大提高匹配对应点阶段的精度，此外二值编码能够适应不同的光照变化，提高算法的鲁棒性；最后，对校正后的投影图像采用预设缓存序列进行缓存，有效防止在高速扫描情形导致部分三维形状测量结果缺失的情形。

基于上述实施例提供的三维测量系统，请参考图7，图7为一种实施例的三维测量方法的流程图，三维测量方法包括以下步骤，下面具体说明。

步骤401：处理器对第一线阵图像传感器输出的测量场景的第一投影图像和第二线阵图像传感器输出的测量场景的第二投影图像进行校正。其中，测量场景中由投影仪101以一投影方向投影结构光；第一线阵图像传感器102和第二线阵图像传感器103用于在投影仪101投影结构光时，被同步触发获取测量场景的投影图像，测量场景中的测量对象处于运动状态；第一线阵图像传感器102和第二线阵图像传感器103共面设置且其光轴的夹角处于预设角度范围内。

步骤402：处理器对校正后的第一投影图像和第二投影图像进行相关性计算，以获取第一投影图像中每个像素点在第二投影图像中对应的像素点，得到第一投影图像和第二投影图像中对应的点对。

步骤403：处理器获取所有点对的深度值，以得到第一投影图像和第二投影图像中所有点对的三维坐标，以完成一幅投影图像的三维重建。

其中，结构光为基于静态伪随机二值序列编码生成的具有编码图案的光。

需要说明的是，本实施例提供的三维重建方法应用于上述实施例中的处理器中，其中处理器的具体实施方式已在上述实施例中的进行了详细说明，此处不再赘述。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。