CN106152971A - 机器视觉辅助下的激光三维扫描标示方法 - Google Patents

Abstract

本发明公开了一种机器视觉辅助下的激光三维扫描标示方法，包含：布设空间位置已知且与三维曲面之间相对位置关系已知的视觉特征点，依靠一个标定过的工业相机获取视觉特征点的图像，再利用n点透视理论确定出三维曲面与相机的空间位姿关系；向标示系统输入数字控制信号形成覆盖三维曲面的激光光斑，并用相机获取的激光光斑的图像，据此构建起相机坐标系下曲面上三维点坐标与激光扫描振镜数字控制信号的映射关系；利用建立好的映射关系求解出目标轮廓曲线上各离散的三维点所对应的数字控制信号，从而控制激光振镜在三维曲面上标示出目标轮廓曲线。本发明采用现场实时标定保证了每次使用的精度和可靠性，整个标示操作十分方便。

Description

机器视觉辅助下的激光三维扫描标示方法

技术领域

本发明属于三维曲面上的定位技术领域，具体指代一种主要利用激光扫描振镜和工业相机在三维曲面上进行目标轮廓曲线标示方法。

背景技术

随着科学技术和工业生产的不断发展，在三维曲面上标示出加工区域来辅助完成生产操作的需求量越来越多，例如，航空领域中的复合材料铺层，需要在三维曲面上标示出复合材料铺设的位置以及铺设的形状来完成复合材料的铺设；商标或产品外观图案的喷涂，也需要在三维曲面标示出喷涂的位置及形状来辅助喷涂。目前已有的方法先通过一种表面分布感光定位头的特制的标定装置来标定激光投影系统，然后在三维曲面上布置一定数量感光定位头，再通过其它测量工具获取感光定位头的相对位置，感光定位头是一种可以将激光束原路返回到激光投射系统的装置，控制激光投射系统投射激光束搜索分布在三维曲面上的感光定位头来建立三维曲面与激光投射系统的位姿关系，最后将需要标示的目标轮廓曲线投射到三维曲面上；这种方法结构较为复杂，成本较高。相比已有方法，本发明不仅不需要特制的标定装置，而且也不需要感光定位头；与此同时，采用现场实时标定的方法克服了已有方法的长时间使用所造成的精度下降需再次校准的问题。

发明内容

本发明的目的在于提供一种机器视觉辅助下的激光三维扫描标示方法，能够有效地解决在复杂三维曲面上进行复杂目标轮廓曲线标示的问题。

为达到上述目的，本发明的一种机器视觉辅助下的激光三维扫描标示方法，其基于一标示系统，该系统包含：一个激光扫描振镜、一个计算机和一个成像参数已标定过的工业相机；激光扫描振镜包含一个控制器、一个激光发射器和两个光学反射镜片；计算机提供的数字控制信号通过控制器控制激光发射器发射激光并驱动两个光学反射镜片偏转，从而控制激光束在一定的空间中的偏转；工业相机接收计算机发送的信号，采集激光光斑与视觉标记点的图像并传回计算机；计算机负责图像信息处理和激光扫描振镜数字控制信号的定量计算，包括如下步骤：

步骤一：布设空间位置已知且与三维曲面之间相对位置关系已知的k(k≥n)个视觉特征点，接着用成像参数标定过的工业相机对这些视觉特征点进行拍照获取图像，并对图像进行处理提取这些特征的像素坐标，应用n点透的理论，利用视觉特征的相对空间位置、像素坐标以及工业相机的成像参数求解出三维曲面到相机的空间位姿[R|T]；

步骤二：输入数字控制信号d_i＝[^xd_i ^yd_i],i＝1,2,...,N到控制器，控制激光发射器发射激光并驱动两个光学反射镜片投射出该激光束到三维曲面S，从而产生覆盖三维曲面S的N个激光光斑，用标定过的工业相机对三维曲面S上的激光光斑拍摄图像，并提取所有激光光斑中心的像素坐标；再利用标定过的工业相机内参数，把激光光斑中心的像素坐标转变成物理坐标，将相机坐标系原点O_c与这些激光光斑中心的物理坐标相连构成N条直线l_i,i＝1,2,...,N；凭借步骤一中的[R|T]将三维曲面S的数模^wM从原始定义的坐标系转换到相机坐标系下形成^cM，并求转换后的数模^cM与l_i,i＝1,2,...,N的交点，求出的N个交点即为激光光斑中心在相机坐标系下的三维坐标^cP_i；

步骤三：根据步骤二中的d_i和^cP_i来标定三维曲面S上点在相机坐标系下三维坐标^cP与对应的激光扫描振镜的数字控制信号d的映射关系^cP→d；

步骤四：将需要标示的目标轮廓曲线离散成一定密度的在曲面坐标系下三维点

步骤五：将步骤四中的三维离散点通过步骤一中的[R|T]转换到相机坐标系下然后再通过步骤三中获得的映射关系^cP→d，求解出对应的数字控制信号_tgtd_j,j＝1,2,...,L；

步骤六：依次将_tgtd_j,j＝1,2,...,L输入到激光扫描振镜，从而标示出三维曲面S上的目标轮廓曲线C。

优选地，上述步骤三具体包括：构建单隐层前馈神经网络来描述这二者的映射关系，用步骤二中激光光斑中心的三维坐标^cP_i与对应的振镜数字控制信号d_i分别作为训练所构建网络的输入、输出数据集，然后再通过种前馈神经网络的学习算法ELM来求解单隐层前馈神经的网络结构参数输入权重w、输出权重β以及偏置b，由于激光光斑中心坐标就是曲面上的点的坐标，从而可以标定出三维曲面上点在相机坐标系下三维坐标与对应数字控制信号的映射关系^cP→d。

本发明的有益效果：

本发明不需要特制的标定工具，也不需要特制的标定装置，标定步骤简单，采用现场实时标定保证了每次使用的精度和可靠性，整个标示操作十分方便，可用于复合材料铺层、商标喷涂以及零部件装配等。

附图说明

图1为本发明标示系统的结构示意图。

图2为本发明的激光光斑三维重建示意图。

图3为本发明的描述相机坐标系曲面上的点坐标^cP到对应的数字控制信号d之间映射关系的单隐层前馈神经网络结构示意图。

图4为本发明的在机器视觉辅助下的三维激光扫描标示方法的步骤流程图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

本发明提出的机器视觉辅助下的激光三维扫描标示方法只需要被标示的三维曲面的数模^wM和布设空间位置已知且与三维曲面之间相对位置关系已知的k(k≥n)个视觉特征点。

参照图1所示，本发明的机器视觉辅助下的激光三维扫描标示方法，其基于一标示系统，该系统包含：成像参数已标定过的工业相机、激光扫描振镜和计算机；激光扫描振镜包含一个控制器、一个激光发射器和两个光学反射镜片；计算机提供的数字控制信号通过控制器控制激光发射器发射激光并驱动两个光学反射镜片偏转，从而控制激光束在一定的空间中的偏转；工业相机接收计算机发送的信号，采集激光光斑与视觉标记点的图像并传回计算机；计算机负责图像信息处理和激光扫描振镜数字控制信号的定量计算；

三维曲面S位于在工业相机的视野和激光扫描振镜的扫描区域内，计算机负责向控制器输入数字控制信号和工业相机拍照，控制器负责控制激光扫描振镜和激光发射器。

上述的标示系统的原理如下：首先，向控制器输入数字控制信号，则会在三维曲面上产生光斑，用工业相机得到记录这些光斑的图像，此处可以借助滤镜滤除激光波段外的可见光来提高工业相机所拍摄的图像质量，依据相机针孔模型、畸变模型以及三维曲面的数学模型重建这些光斑在相机坐标系下的三维坐标；再构建光斑在相机坐标系下的三维坐标到对应数字控制信号的映射关系的单隐层前馈神经网络，然后用获取的数据集训练该网络，即可标定映射关系^cP→d；再确定三维曲面坐标系与相机坐标系的空间位姿关系，将需要标示的轮廓离散成一定密度的点，再将这些离散的点利用求解出的空间位姿关系转换到相机坐标系下，最终利用建立好的映射关系^cP→d求出对应的数字控制信号，来完成目标轮廓的标示。

参照图1-图4所示，本发明的标示方法具体包括步骤如下：

步骤一：布设空间位置已知且与三维曲面之间相对位置关系已知的k(k≥n)个视觉特征点，接着用成像参数标定过的工业相机对这些视觉特征点进行拍照获取图像，并对图像进行处理提取这些特征的像素坐标，应用n点透(Perspective n Points,PnP)的理论，利用视觉特征的相对空间位置、像素坐标以及工业相机的成像参数求解出三维曲面到相机的空间位姿[R|T]；

步骤二：输入数字控制信号d_i＝[^xd_i ^yd_i],i＝1,2,...,N到控制器，控制激光发射器发射激光并驱动两个光学反射镜片投射出该激光束到三维曲面S，如图2所示，在三维曲面上形成N个激光光斑，由于一次投射的光斑数量有限，故采用分批投射，形成完全覆盖三维曲面S的激光光斑；用标定过的工业相机对三维曲面S上的激光光斑拍摄图像，并提取所有激光光斑中心的像素坐标；再利用标定过的相机内参数，把激光光斑中心的像素坐标转变成物理坐标，将相机坐标系原点O_c与这些激光光斑中心的物理坐标相连构成N条直线l_i,i＝1,2,...,N；凭借步骤一中的[R|T]将三维曲面S的数模^wM从原始定义的坐标系转换到相机坐标系下形成^cM，并求转换后的数模^cM与l_i,i＝1,2,...,N的交点，求出的N个交点即为激光光斑中心在相机坐标系下的三维坐标^cP_i＝[^cX_i ^cY_i ^cZ_i],i＝1,2,...,N；

步骤三：标定三维曲面S上点在相机坐标系下三维坐标^cP与对应的振镜数字控制信号d的映射关系：如图3所示，构建单隐层前馈神经网络来描述这二者的映射关系，用步骤三中激光光斑中心的三维坐标^cP_i＝[^cX_i ^cY_i ^cZ_i],i＝1,2,...,N与对应的数字控制信号d_i＝[^xd_i ^yd_i],i＝1,2,...,N分别作为训练所构建网络的输入、输出数据集，然后再通过一种前馈神经网络的学习算法ELM来求解表达网络结构参数的输入权重w、输出权重β以及偏置b，由于激光光斑中心坐标就是曲面上的点的坐标，从而可以标定出三维曲面上点在相机坐标系下三维坐标与对应的数字控制信号的映射关系^cP→d；

步骤四：将需要标示的目标轮廓曲线离散成一定密度的在曲面坐标系下三维点

步骤五：将步骤四中的三维离散点通过步骤一中的[R|T]转换到相机坐标系下然后再通过步骤三中获得的映射关系^cP→d，求解出对应的数字控制信号_tgtd_j,j＝1,2,...,L；

步骤六：依次将_tgtd_j,j＝1,2,...,L输入到激光扫描振镜，从而激光扫描出标示出三维曲面S上的目标轮廓曲线C。

从上述介绍可知，本发明所提出的标示方法，只需要用工业相机记录投射到三维曲面上的光斑的图像即可完成整个系统的标定，标定步骤简单易行，十分适合现场标定。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (2)

1.一种机器视觉辅助下的激光三维扫描标示方法，其特征在于，基于一标示系统，该标示系统包含一个激光扫描振镜、一个计算机和一个成像参数已标定过的工业相机；激光扫描振镜包含一个控制器、一个激光发射器和两个光学反射镜片；计算机提供的数字控制信号通过控制器控制激光发射器发射激光并驱动两个光学反射镜片偏转，从而控制激光束在一定的空间中的偏转；工业相机接收计算机发送的信号，采集激光光斑与视觉标记点的图像并传回计算机；计算机负责图像信息处理和激光扫描振镜控制信号的定量计算，包括如下步骤：

步骤一：布设空间位置已知且与三维曲面之间相对位置关系已知的k(k≥n)个视觉特征点，接着用工业相机对这些视觉特征点进行拍照获取图像，并对图像进行处理提取这些特征的像素坐标，应用n点透视理论，利用视觉特征的相对空间位置、像素坐标以及工业相机的成像参数求解出三维曲面到相机的空间位姿[R|T]；

步骤二：输入数字控制信号d_i＝[^xd_i ^yd_i],i＝1,2,...,N到控制器，控制激光发射器发射激光并驱动两个光学反射镜片投射出该激光束到三维曲面S，从而产生覆盖三维曲面S的N个激光光斑，用工业相机对三维曲面S上的激光光斑拍摄图像，并提取所有激光光斑中心的像素坐标；再利用标定过的工业相机内参数，把激光光斑中心的像素坐标转变成物理坐标，将相机坐标系原点O_c与这些激光光斑中心的物理坐标相连构成N条直线l_i,i＝1,2,...,N；凭借步骤一中的[R|T]将三维曲面S的数模^wM从原始定义的曲面坐标系转换到相机坐标系下形成^cM，并求转换后的数模^cM与l_i,i＝1,2,...,N的交点，求出的N个交点即为激光光斑中心在相机坐标系下的三维坐标^cP_i；

步骤三：根据步骤二中d_i和^cP_i，i＝1,2,...,N，来标定三维曲面S上的点在相机坐标系下的三维坐标^cP与对应的振镜数字控制信号d的映射关系^cP→d；

步骤四：将需要标示的目标轮廓曲线离散成一定密度的在曲面坐标系下的三维点

步骤五：将步骤四中的三维离散点通过步骤一中的[R|T]转换到相机坐标系下然后再通过步骤三中获得的映射关系^cP→d，求解出对应的数字控制信号_tgtd_j,j＝1,2,...,L；

步骤六：依次将_tgtd_j,j＝1,2,...,L输入激光扫描振镜，从而激光扫描出标示出三维曲面S上的目标轮廓曲线C。

2.根据权利要求1所述的机器视觉辅助下的激光三维扫描标示方法，其特征在于，上述步骤三具体包括：构建单隐层前馈神经网络来描述这二者的映射关系，用步骤二中激光光斑中心的三维坐标^cP_i与对应的振镜数字控制信号d_i分别作为训练数据的输入、输出数据集，然后再通过一种前馈神经网络的学习算法ELM来求解单隐层前馈神经的网络结构参数输入权重w、输出权重β以及偏置b，由于激光光斑中心坐标就是曲面上的点的坐标，从而可以标定出三维曲面上点在相机坐标系下三维坐标与对应的数字控制信号的映射关系^cP→d。