CN114034248A - 一种基于双目视觉的激光三维投影方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的激光三维投影方法，适用于采用振镜扫描方式的激光三维投影装置，所述方法包括：在激光三维投影装置中安装双目视觉装置，并使得双目视觉装置与振镜的位置相对固定；利用双目视觉装置的定位功能，确定出射激光光斑的三维坐标与振镜的偏转角度间的转换关系，以及相机与待投影目标之间的位置关系；基于确定好的双目视觉装置与待投影目标之间的位置关系以及出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，进行激光三维投影。本发明方法的振镜标定过程简单，计算量较少，且精度较高，可用于大部分三维激光投影系统的使用场景，提升了系统的易用性。

Description

一种基于双目视觉的激光三维投影方法

技术领域

本发明涉及计算机视觉与激光应用技术领域，特别涉及一种基于双目视觉的激光三维投影方法。

背景技术

激光三维投影技术是一种新兴的激光应用技术。它主要利用激光单色性、高功率、准直性等特性，通过超高速偏转器件使激光准确快速经过投影工作面中固定位置来实现的。利用人眼视觉暂留效应，高速往复运动的扫描光束在工作平面上可以连续的呈现出由激光线构成的轮廓和图案。目前此项技术主要应用于零件的三维装配，辅助工件打孔定位，油漆喷涂图案设计等场景中。

在激光三维投影技术中，应用较多的扫描方式有声光偏转扫描、振镜扫描等方式，其中振镜扫描以其速度快，准确度高等特点在激光投影系统中广泛使用。振镜作为激光三维投影技术实现的核心部件，本身只能将激光光束偏转后射出，由于不具备定位的功能，不能将光束投影在准确的位置。想要使出射的激光精确定位，需要获取投影目标和投影系统之间的位置关系，同时获取振镜偏转和激光出射的空间坐标之间的关系，获取此关系的过程称为振镜的标定。振镜标定和投影目标定位作为激光精确投影的前提条件，已经获得了较为广泛的研究。目前，对振镜标定问题的研究往往从振镜的物理模型入手，根据其几何关系获得振镜偏转和出射的坐标间的关系的数学模型，再对真实物体和物理模型之间进行比对，在数学模型中加入修正项，最终完成振镜的精确标定。此方法的理论分析难度较大，计算中的误差项较多，在大量分析和数学计算的基础上才能得到较好的结果。还有人使用神经网络，支持向量机等方法对输入输出的数据直接进行分析，得到相机标定系统的模型。此方法不需要分析振镜复杂的物理模型，大大简化了分析的过程，但是此方法仍然有局限性，求解的结果对输入输出数据的要求很高，大量的、准确的数据才能得到更准确的标定结果。使用专用的定位系统辅助振镜的标定和投影目标的定位是一种较为精确快速方法，双目视觉在测距、定位和姿态测量等场景下都有着较为广泛的应用，如何将视觉定位和激光三维投影技术结合，完成振镜标定和投影目标的定位，并实现三维投影的功能，是一个亟待解决的问题。

发明内容

本发明提供了一种基于双目视觉的激光三维投影方法，以解决现有激光三维投影方法中振镜标定和投影目标定位的实现难度大，误差项较多的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一种基于双目视觉的激光三维投影方法，适用于采用振镜扫描方式的激光三维投影装置，所述基于双目视觉的激光三维投影方法包括：

S1，在激光三维投影装置中安装双目视觉装置，并使得安装固定后的所述双目视觉装置与所述激光三维投影装置中的振镜的位置相对固定；

S2，利用所述双目视觉装置的定位功能，确定所述激光三维投影装置的出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，实现振镜的标定；

S3，利用所述双目视觉装置的定位功能，确定所述双目视觉装置与待投影目标之间的位置关系；

S4，基于确定好的所述双目视觉装置与待投影目标之间的位置关系以及出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，进行激光三维投影。

进一步地，所述双目视觉装置包括两个相机，两个相机分别安装在所述振镜的左、右两侧。

进一步地，两个相机的坐标系的Y轴与振镜坐标系的Y轴平行。

进一步地，相机通过安装支架安装在所述激光三维投影装置上，且所述安装支架上开设有滑槽，相机可在所述滑槽中移动，以便将相机的视场移动到振镜的扫描范围。

进一步地，所述安装支架与所述振镜固定在同一块安装板上。

进一步地，利用所述双目视觉装置的定位功能，确定所述激光三维投影装置的出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，实现振镜的标定，包括：

S21，将激光三维投影装置固定，确保其中各部件的相对位置关系保持不变，打开激光器，使得激光出射到任意位置，并保证两相机均能得到激光光斑图像；

S22，使用两相机分别获取激光光斑图像，并使用双目视觉装置的定位功能确定出射激光光斑的三维坐标，同时记录此时振镜的偏转角度驱动值；

S23，重复S21～S22，得到至少1000组不同的出射激光光斑的三维坐标和振镜的偏转角度；基于得到的光斑坐标和振镜的偏转角度，使用最小二乘法求解激光光斑在相机坐标系下的坐标与振镜的偏转角度驱动值之间的转换关系。

进一步地，利用所述双目视觉装置的定位功能，确定所述双目视觉装置与待投影目标之间的位置关系，包括：

S31，固定待投影目标；其中，所述待投影目标上至少有4个标志点；

S32，使用双目视觉装置的定位功能得到相机与待投影目标间的位置关系。

进一步地，基于确定好的所述双目视觉装置与待投影目标之间的位置关系以及出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，进行激光三维投影，包括：

S41，将待投影目标在计算机中进行建模，使用点云库生成待投影目标模型的点云文件，并在所述点云文件中得到一组待投影的三维坐标；

S42，将S41得到的一组待投影的三维坐标，根据已知的相机与待投影目标间的位置关系，转换为相机坐标系下的一组三维坐标；再根据激光光斑在相机坐标系中的坐标与振镜的偏转角度之间的转换关系，得到一组振镜的偏转角度值，使用所得到的振镜的偏转角度值驱动振镜，完成三维投影功能。

本发明提供的技术方案带来的有益效果至少包括：

本发明将激光投影技术与双目视觉测量技术结合，利用了双目视觉测量定位精度高的优点，实现了对振镜系统的精确标定与整个投影系统与待投影对象之间位置的确定，最终实现了系统的精确投影功能；本发明成本低、速度快且易实现，不仅给激光三维投影系统的设计提供了新方案，还拓宽了其使用范围。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是双目视觉装置在激光三维投影装置中的安装示意图；

图2是本发明第一实施例提供的基于双目视觉的激光三维投影方法的执行流程示意图；

图3是本发明第二实施例提供的基于双目视觉的激光三维投影方法的实现原理示意图；

图4是采用本发明第二实施例提供的基于双目视觉的激光三维投影方法进行激光三维投影的投影效果示意图。

附图标记说明：

1、双目视觉装置；2、振镜；3、振镜控制板卡；4、激光发生器；

5、准直扩束装置；6、标志点；7、投影图形。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种基于双目视觉的激光三维投影方法，用于实现激光在三维空间内的精确投影，该方法适用于采用振镜扫描方式的激光三维投影装置，如图1所示，该装置包括振镜2、振镜控制板卡3、激光发生器4、准直扩束装置5、动态聚焦装置和带标志的待投影目标；其中，振镜2由振镜控制板卡3控制并连接计算机，激光发生器4与振镜2的位置相对固定，激光由激光发生器4发出后，经过准直扩束装置5、振镜2与动态聚焦装置后出射，待投影目标可任意确定，其上至少有四个标志点并已知投影图形在物体坐标系下的坐标。

基于上述，本实施例的激光三维投影方法的执行流程如图2所示，包括：

S1，在激光三维投影装置中安装双目视觉装置1，并使得安装固定后的双目视觉装置1与激光三维投影装置中的振镜2的位置相对固定；

其中，在本实施例中，双目视觉装置1包括两个相机，两个相机分别安装在振镜2的左、右两侧且固定。而且两个相机的坐标系的Y轴与振镜2坐标系的Y轴平行放置。进一步地，每一相机分别通过安装支架安装在激光三维投影装置上，且安装支架上开设有滑槽，相机可在相应的滑槽中移动，以便将相机的视场移动到振镜2的扫描范围。且安装支架与振镜2固定在同一块安装板上。

S2，利用双目视觉装置1的定位功能，确定激光三维投影装置的出射激光光斑的三维坐标与振镜2的偏转角度之间的转换关系，实现振镜2的标定；

具体地，在本实施例中，实现振镜2标定的过程如下：

S21，将激光三维投影装置固定，确保其中各部件的相对位置关系保持不变，打开激光发生器4，使激光出射到任意位置并保证两相机均能得到激光光斑图像；

S22，使用两相机分别获取激光光斑图像，并使用双目视觉装置的定位功能确定出射激光光斑的三维坐标，同时记录此时振镜2的偏转角度驱动值；

S23，重复S21～S22，得到至少1000组不同的出射激光光斑的三维坐标和振镜的偏转角度；基于得到的光斑坐标和振镜2的偏转角度，使用最小二乘法求解激光光斑在相机坐标系下的坐标与振镜2的偏转角度驱动值间的转换关系。

S3，利用双目视觉装置1的定位功能，确定双目视觉装置1与待投影目标之间的位置关系；

具体地，在本实施例中，实现待投影目标定位的过程如下：

S31，固定待投影目标；其中，所述待投影目标上至少有四个标志点；

S32，使用双目视觉装置1的定位功能得到相机与待投影目标间的位置关系。

S4，基于确定好的双目视觉装置1与待投影目标之间的位置关系以及出射激光光斑的三维坐标与振镜2的偏转角度之间的转换关系，进行激光三维投影。

具体地，在本实施例中，实现激光三维投影的过程如下：

S41，将待投影目标在计算机中进行建模，使用点云库生成待投影目标模型的点云文件，并在所述点云文件中得到一组待投影的三维坐标；

S42，将S41得到的一组待投影的三维坐标，根据已知的相机与待投影目标间的位置关系，转换为相机坐标系下的一组三维坐标；再根据激光光斑在相机坐标系中的坐标与振镜2的偏转角度之间的转换关系，得到一组振镜2的偏转角度值，使用所得到的振镜2的偏转角度值驱动振镜2，完成三维投影功能。

综上，本实施例将激光投影技术与双目视觉测量技术结合，利用了双目视觉测量定位精度高的优点，实现了对振镜系统的精确标定与整个投影系统与待投影对象之间位置的确定，最终实现了系统的精确投影功能；该方法成本低且易实现，不仅给激光三维投影系统的设计提供了新方案，还拓宽了其使用范围。

第二实施例

本实施例提供了一种基于双目视觉的激光三维投影方法，用于实现激光在三维空间内的精确投影，该方法适用于采用振镜扫描方式的激光三维投影装置，如图1所示，该装置包括振镜2、振镜控制板卡3、激光发生器4、准直扩束装置5、动态聚焦装置和带标志的待投影目标；其中，振镜2由振镜控制板卡3控制并连接计算机，激光发生器4与振镜2的位置相对固定，激光由激光发生器4发出后，经过准直扩束装置5、振镜2与动态聚焦装置后出射，待投影目标可任意确定，其上至少有四个标志点并已知投影图形在物体坐标系下的坐标。

基于上述，本实施例的激光三维投影方法的实现原理如图3所示，具体地，本实施例的激光三维投影方法包括以下流程步骤：

S1，在激光三维投影装置中安装双目视觉装置1，并使得安装固定后的双目视觉装置1与激光三维投影装置中的振镜2的位置相对固定；

其中，在本实施例中，双目视觉装置1包括两个相机，两个相机分别安装在振镜2的左、右两侧且固定。而且两个相机的坐标系的Y轴与振镜2坐标系的Y轴平行放置。进一步地，每一相机分别通过安装支架安装在激光三维投影装置上，且安装支架上开设有滑槽，相机可在相应的滑槽中移动，以便将相机的视场移动到振镜2的扫描范围。且安装支架与振镜2固定在同一块安装板上。

S2，将激光三维投影装置固定，确保其中各部件的相对位置关系保持不变，打开激光发生器4，用计算机控制振镜2偏转一个合适的角度，使得激光经过激光偏转等装置投射在投影工作范围内任意一个位置；其中，激光经过振镜2偏转后，需保证两个相机拍摄的图像中都包含激光光斑坐标；

S3，使用两相机分别获取激光光斑图像，使用双目视觉装置1的定位功能确定光斑的三维坐标(x,y,z)，同时记录此时振镜2的偏转角度驱动值(dx,dy)；

具体地，在本实施例中，上述S3的实现过程如下：

调节两相机的焦距，使其都能够清晰地得到激光出射位置的图像，此时标定双目相机的内参数和外参数，使用相机的内外参数将得到的两幅图像进行立体匹配，使用霍夫原变换或其它方法得到激光光斑的图像坐标(xl,yl)和(xr,yr),使用两坐标计算视差d，在已知视差和相机的内外参数的情况下，可以用其中任意图像坐标(x,y)得到相机坐标系下的三维坐标(x,y,z)，如公式(1)，同时记录此时振镜2的偏转角度(dx,dy)；

S4，重复S2～S3，得到至少1000组不同的出射激光光斑的三维坐标和振镜2的偏转角度；基于得到的光斑坐标和振镜2的偏转角度，使用最小二乘法求解激光光斑在相机坐标系下的坐标与振镜2的偏转角度驱动值之间的转换关系。

其中，在求解过程中，需建立相机坐标系坐标矩阵：

V＝{(x_i,y_i,z_i,1)|i＝1,2…N}

与振镜2驱动量矩阵：

D＝{(dx_i,dy_i,1)|i＝1,2…N}

然后使用如下公式求解其转换关系H：

H＝(V^TV)^-1V^TD (2)

S5，固定待投影目标，待投影目标上至少有四个标志点6，如图4所示；

S6，使用双目视觉装置的定位功能得到待投影目标中的四个标志点在相机坐标系下的坐标，在四个标志点在两个坐标系中的坐标已知后，则相机与待投影目标间的位置关系(坐标系转换关系)可以唯一确定；

S7，将待投影目标在计算机中进行建模(STL、OBJ或者其他格式)，使用点云库(Point Cloud Library，plc)生成待投影目标模型的pcd格式的点云文件，并在点云文件中得到一组待投影的三维坐标；

其中，点云是某个坐标系下的点的数据集，它包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。使用点云的轮廓提取和目标匹配算法可以从点云图像中提取到需要投影的图案或形状的点坐标集合。

S8，将S7得到的一组待投影的三维坐标，根据已知的相机与待投影目标间的位置关系，转换为相机坐标系下的一组三维坐标；再根据激光光斑在相机坐标系中的坐标与振镜2的偏转角度之间的转换关系H，得到一组振镜2的偏转角度值，使用所得到偏转角度值驱动振镜，完成三维投影功能。

其中，S8中采用的投影的方式是点集合快速循环投影的方式，效果如图4所示，通过人眼的视觉暂留效应得到投影图形7。

综上，本实施例将视觉定位技术和激光投影技术结合使用，用视觉定位的方法辅助激光投影系统完成工作，完成振镜的标定等往往需要通过分析物理模型才能完成的任务，与传统的使用靶标或生成激光扫描等激光定位手段相比，视觉定位的技术成熟、速度快、精度高，可以得到更好的使用效果。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (8)

1.一种基于双目视觉的激光三维投影方法，适用于采用振镜扫描方式的激光三维投影装置，其特征在于，所述基于双目视觉的激光三维投影方法包括：

S1，在激光三维投影装置中安装双目视觉装置，并使得安装固定后的所述双目视觉装置与所述激光三维投影装置中的振镜的位置相对固定；

S2，利用所述双目视觉装置的定位功能，确定所述激光三维投影装置的出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，实现振镜的标定；

S3，利用所述双目视觉装置的定位功能，确定所述双目视觉装置与待投影目标之间的位置关系；

S4，基于确定好的所述双目视觉装置与待投影目标之间的位置关系以及出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，进行激光三维投影。

2.如权利要求1所述的基于双目视觉的激光三维投影方法，其特征在于，所述双目视觉装置包括两个相机，两个相机分别安装在所述振镜的左、右两侧。

3.如权利要求2所述的基于双目视觉的激光三维投影方法，其特征在于，两个相机的坐标系的Y轴与振镜坐标系的Y轴平行。

4.如权利要求3所述的基于双目视觉的激光三维投影方法，其特征在于，相机通过安装支架安装在所述激光三维投影装置上，且所述安装支架上开设有滑槽，相机可在所述滑槽中移动，以便将相机的视场移动到振镜的扫描范围。

5.如权利要求4所述的基于双目视觉的激光三维投影方法，其特征在于，所述安装支架与所述振镜固定在同一块安装板上。

6.如权利要求2所述的基于双目视觉的激光三维投影方法，其特征在于，利用所述双目视觉装置的定位功能，确定所述激光三维投影装置的出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，实现振镜的标定，包括：

S21，将激光三维投影装置固定，确保其中各部件的相对位置关系保持不变，打开激光器，使得激光出射到任意位置，并保证两相机均能得到激光光斑图像；

S22，使用两相机分别获取激光光斑图像，并使用双目视觉装置的定位功能确定出射激光光斑的三维坐标，同时记录此时振镜的偏转角度驱动值；

S23，重复S21～S22，得到至少1000组不同的出射激光光斑的三维坐标和振镜的偏转角度；基于得到的光斑坐标和振镜的偏转角度，使用最小二乘法求解激光光斑在相机坐标系下的坐标与振镜的偏转角度驱动值之间的转换关系。

7.如权利要求2所述的基于双目视觉的激光三维投影方法，其特征在于，利用所述双目视觉装置的定位功能，确定所述双目视觉装置与待投影目标之间的位置关系，包括：

S31，固定待投影目标；其中，所述待投影目标上至少有4个标志点；

S32，使用双目视觉装置的定位功能得到相机与待投影目标间的位置关系。

8.如权利要求1所述的基于双目视觉的激光三维投影方法，其特征在于，基于确定好的所述双目视觉装置与待投影目标之间的位置关系以及出射激光光斑的三维坐标与振镜的偏转角度之间的转换关系，进行激光三维投影，包括：

S41，将待投影目标在计算机中进行建模，使用点云库生成待投影目标模型的点云文件，并在所述点云文件中得到一组待投影的三维坐标；

S42，将S41得到的一组待投影的三维坐标，根据已知的相机与待投影目标间的位置关系，转换为相机坐标系下的一组三维坐标；再根据激光光斑在相机坐标系中的坐标与振镜的偏转角度之间的转换关系，得到一组振镜的偏转角度值，使用所得到的振镜的偏转角度值驱动振镜，完成三维投影功能。

Images