CN108416791B - 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的并联机构动平台位姿监测与跟踪方法，对左右两相机同时在不同角度拍摄到的动平台圆形标识区域位姿图像进行采集，借助图像识别与特征提取技术，并构建边缘搜索模型，提取动平台边缘有限多点，采用最小二乘法和元启发式智能算法对动平台标识区域边缘点分别进行椭圆拟合，得到动平台标识区域中心像素坐标值；基于相机标定工具箱和已知尺寸的标定板，进行单目相机的参数标定，得到双目立体匹配算法，实现双目标定；基于相机成像原理关系，推导出左右相机内外参数、动平台标识区域中心点像素坐标和世界坐标之间的关系，重建出动平台标识区域中心点的实时三维坐标，实现动平台位姿的实时监测与跟踪。本发明具有测量精度高、减小误差等优点。

Description

一种基于双目视觉的并联机构动平台位姿监测与跟踪方法

技术领域

本发明涉及位姿监测与跟踪领域，特别是双目视觉的并联机构动平台位姿监测与跟踪方法。

背景技术

并联机构由定平台、动平台和多个中间支链组成，具有比刚度大、结构紧凑、承载能力强、稳定性好等优点。但并联机构动平台的运动由多个中间支链的运动共同决定，耦合度高，控制也较为复杂，精确测得输出端动平台的位姿对并联机构整体的高性能控制有着重要的意义。传统的测量方法有接触式测量、单目测量、双目单点测量等，其中，接触式测量需要测量设备跟随机构运动，受运动影响较大，同时测量设备势必会改变机构的质量分布而影响机构的正常运行；单目测量利用一台相机识别跟踪机构运动，方向测量中不确定性较大，深度恢复也比较困难；双目单点测量则基于两台相机同时识别机构上单标记点运动，受环境局限，易丢失信息，影响跟踪效果。

发明内容

本发明目的在于提供一种测量精度高、减小误差的基于双目视觉的并联机构动平台位姿监测与跟踪方法。

为实现上述目的，采用了以下技术方案：本发明所述方法中包括图像采集设备即高清摄像机、计算机、并联机构，所用并联机构动平台不需是圆形，在动平台中心点所贴的相机标识物须为圆形或椭圆；

所述方法包括以下步骤：

步骤1，通过双目相机、已知尺寸标定板，基于相机成像原理关系和相机单目标定工具箱，标定左右相机内外参数；

步骤2，对并联机构进行图像采集，经特定直线R、G、B分量分布提取、阈值分割、腐蚀处理，提取动平台标识区域；

步骤3，简化图像矩阵，建立边缘搜索模型，对动平台标识区域进行边缘搜索，获取边缘点像素坐标值；

步骤4，采用最小二乘法和元启发式智能算法，分别进行边缘点椭圆拟合，求取动平台标识区域中心像素坐标值；

步骤5，基于相机成像原理，实现并联机构动平台标识区域中心点三维坐标的重建，进而得到并联机构动平台位姿；

步骤6，对动平台的位姿进行实时分析、显示及记录，达到实时监测与跟踪动平台运动状态的目的。

进一步的，所述步骤1的具体内容如下：

1-1，将左右两个相机固定，并保持相对位置不变，相对位置变化后，需重新标定左右相机内外参数；

1-2，用已知尺寸的黑白方格板做标定板，选取左右相机同时拍摄到的标定板不同位姿下的多组图像；

1-3，基于张氏标定法，借助已有相机标定工具箱中的单目标定算法，分别得到左、右相机的单目标定结果；

1-4，基于单目标定算法深化得到左右相机的立体匹配算法，输出左右相机的内参数和以左相机光点为参照的外参数。

进一步的，所述步骤2的具体内容如下：

2-1，根据图像中动平台标识区域的位置，选取穿过标识区域的特定直线，提取该直线上的R、G、B分量分布；

2-2，根据特定直线的R、G、B分量分布，设置阈值R-G＝N₁、R-B＝N₂，进行图像分割处理，将图片处理成黑白图片；

2-3，将所得图像进行腐蚀处理，去除非目标区域干扰点并填补目标区域内空洞，腐蚀次数依效果设置。

进一步的，所述步骤3的具体内容如下：

3-1，采用二值化处理将图像矩阵映射为0-1矩阵，以简化图像矩阵；

3-2，建立以一点像素值为0、相邻四个像素点像素之和不小于1的边缘搜索模型，自上而下、自左而右遍历图像各像素点，记录边缘点像素坐标值。

进一步的，所述步骤4的具体内容如下：

4-1，通过标准椭圆方程旋转、平移后得到一般椭圆方程，基于蒙特卡洛随机数，在理论椭圆圆周上随机选取若干点，建立边缘采集点与理论椭圆上这些若干点中最近点的距离模型；

4-2，确定以距离和最小为优化函数，以一般椭圆方程的长轴a、短轴b、中心像素坐标(x_c,y_c)、旋转角θ五个变量为优化参数；

4-3，采用最小二乘法和三种元启发式智能算法——遗传算法、自适应权重的粒子群算法、随机权重策略的粒子群算法，分别进行椭圆边缘拟合，以求取动平台标识区域中心像素坐标值。

进一步的，所述步骤5的具体内容如下：

5-1，基于相机成像原理，得到图像坐标系、相机坐标系和世界坐标系三者之间的关系，进而得到左右相机内外参数、动平台标识区域中心点像素坐标和世界坐标之间的关系；

5-2，在经标定得到的左右相机内外参数和经图像特征提取得到的动平台标识区域中心点像素坐标的基础上，重建出其世界坐标值。

工作过程大致如下：

借助阈值分割提取并联机构动平台圆形标识区域，通过边缘搜索模型提取动平台标识区域边缘像素点坐标值，基于最小二乘法和三种元启发式智能算法——遗传算法、自适应权重的粒子群算法、随机权重策略的粒子群算法，进行椭圆拟合以求取动平台标识区域中心点像素位置，从仿生物双目视觉的角度出发，采用双目视觉非接触的方式实时测量并联机构动平台运动位姿，以实时监测跟踪并联机构动平台位姿、保证机构高精度运行为目的开发一套智能系统。

与现有技术相比，本发明方法具有如下优点：

1、采用非接触式测量，不对并联机构运动产生任何干涉和影响。

2、从仿生双目的角度出发，进行双目立体识别，可还原出深度信息，其测量结果比单目测量更加精确可靠。

3、动平台标识区域中心点通过阈值分割和边缘提取，识别标识区域红色圆形标识边缘，并结合椭圆拟合方法得到，相比于直接测量标识区域中心点，可减小测量不准而带来的误差。

4、采用最小二乘法和三种元启发式智能算法——遗传算法、自适应权重的粒子群算法、随机权重策略的粒子群算法，对椭圆进行拟合，提高了软件的适应能力，也使得标识区域中心点提取更加准确。

5、将左右相机内外参数标定、动平台标识区域中心像素提取、动平台位姿监测与跟踪多种功能整合嵌入到一个软件中，为并联机构的高性能控制提供了一站式的基础。

附图说明

图1是本发明方法的总流程图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示，本发明所述方法中包括图像采集设备即高清摄像机、计算机、并联机构，所用并联机构动平台不需是圆形，在动平台中心点所贴的相机标识物须为圆形或椭圆；

所述方法包括以下步骤：

步骤1，通过双目相机、已知尺寸标定板，基于相机成像原理关系和相机单目标定工具箱，标定左右相机内外参数；

1-1，将左右两个相机固定，并保持相对位置不变，相对位置变化后，需重新标定左右相机内外参数；

1-2，用已知尺寸的黑白方格板做标定板，选取左右相机同时拍摄到的标定板不同位姿下的多组图像；

1-3，基于张氏标定法，借助已有相机标定工具箱中的单目标定算法，分别得到左、右相机的单目标定结果；

1-4，基于单目标定算法深化得到左右相机的立体匹配算法，输出左右相机的内参数和以左相机光点为参照的外参数。

步骤2，对并联机构进行图像采集，经特定直线R、G、B分量分布提取、阈值分割、腐蚀处理，提取动平台标识区域；

2-1，根据图像中动平台标识区域的位置，选取穿过标识区域的特定直线，提取该直线上的R、G、B分量分布；

2-2，根据特定直线的R、G、B分量分布，设置阈值R-G＝N₁、R-B＝N₂，进行图像分割处理，将图片处理成黑白图片；

2-3，将所得图像进行腐蚀处理，去除非目标区域干扰点并填补目标区域内空洞，腐蚀次数依效果设置。

步骤3，简化图像矩阵，建立边缘搜索模型，对动平台标识区域进行边缘搜索，获取边缘点像素坐标值；

3-1，采用二值化处理将图像矩阵映射为0-1矩阵，以简化图像矩阵；

3-2，建立以一点像素值为0、相邻四个像素点像素之和不小于1的边缘搜索模型，自上而下、自左而右遍历图像各像素点，记录边缘点像素坐标值。

步骤4，采用最小二乘法和元启发式智能算法，分别进行边缘点椭圆拟合，求取动平台标识区域中心像素坐标值；

4-1，通过标准椭圆方程旋转、平移后得到一般椭圆方程，基于蒙特卡洛随机数，在理论椭圆圆周上随机选取若干点，建立边缘采集点与理论椭圆上这些若干点中最近点的距离模型；

4-2，确定以距离和最小为优化函数，以一般椭圆方程的长轴a、短轴b、中心像素坐标(x_c,y_c)、旋转角θ五个变量为优化参数；

4-3，采用最小二乘法和三种元启发式智能算法——遗传算法、自适应权重的粒子群算法、随机权重策略的粒子群算法，分别进行椭圆边缘拟合，以求取动平台标识区域中心像素坐标值。

步骤5，基于相机成像原理，实现并联机构动平台标识区域中心点三维坐标的重建，进而得到并联机构动平台位姿；

5-1，基于相机成像原理，得到图像坐标系、相机坐标系和世界坐标系三者之间的关系，进而得到左右相机内外参数、动平台标识区域中心点像素坐标和世界坐标之间的关系；

5-2，在经标定得到的左右相机内外参数和经图像特征提取得到的动平台标识区域中心点像素坐标的基础上，重建出其世界坐标值。

步骤6，对动平台的位姿进行实时分析、显示及记录，达到实时监测与跟踪动平台运动状态的目的。

实施例1：

本实施例中，对两个相机的内外参数进行标定，将两个相机固定在便于监测并联机构的机架上。

采用每个小方格为25mm×25mm的黑白板为标定板，两个相机同时拍摄，采集得到一系列标定板在不同位姿下左右相机的图像，基于张氏标定法，依次进行左相机标定、右相机标定，对应得到左相机和右相机的角点提取误差、内参矩阵、径向畸变和切向畸变等标定结果，最后进行左右立体标定，得到两相机对应位姿图像的角点提取误差、两相机的内参矩阵、径向畸变、切向畸变和旋转矩阵、平移矩阵等标定结果。相机的相对位置一旦固定，不允许再发生改变，否则需重新进行标定。

初始静态条件下，采集并联机构初始位姿图像，选择穿过标识区域的特定直线并提取特定直线上的R、G、B各分量分布，设定阈值R-G＝N1、R-B＝N2对并联机构初始位姿图像进行分割处理，将图片处理为黑白图片(识别区域为黑色)，进行腐蚀处理，对标识区域图像分割效果进行改善，去除非目标区域干扰点并填补目标区域内空洞。

针对并联机构，通过相机实时摄取图像，依照设定好的阈值进行图像预处理，并实时建立以一点像素值为0、相邻四个像素点像素之和不小于1的边缘搜索模型，自上而下、自左而右遍历图像各像素点，记录标识区域边缘点像素坐标值，分别应用最小二乘法和三种元启发式智能算法——遗传算法、自适应权重的粒子群算法、随机权重策略的粒子群算法，进行边缘点椭圆拟合，分别得到动平台标识区域的中心像素坐标值，将各拟合中心点累加取平均值，作为动平台标识区域实时中心像素坐标值，并基于相机成像原理得到的图像坐标系、相机坐标系和世界坐标系三者之间的关系，在经标定得到的左右相机内外参数和经图像特征提取得到的动平台标识区域中心点像素坐标的基础上，进而得到并联机构动平台标识区域中心点的实时三维坐标。

对动平台的位姿进行实时分析、显示及记录，达到实时监测与跟踪动平台运动状态的目的。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于双目视觉的并联机构动平台位姿监测与跟踪方法，其特征在于，所述方法中包括图像采集设备即高清摄像机、计算机、并联机构，所用并联机构动平台不需是圆形，在动平台中心点所贴的相机标识物须为圆形或椭圆；

所述方法包括以下步骤：

步骤1，通过双目相机、已知尺寸标定板，基于相机成像原理关系和相机单目标定工具箱，标定左右相机内外参数；

步骤2，对并联机构进行图像采集，经特定直线R、G、B分量分布提取、阈值分割、腐蚀处理，提取动平台标识区域；

步骤3，简化图像矩阵，建立边缘搜索模型，对动平台标识区域进行边缘搜索，获取边缘点像素坐标值；

步骤4，采用最小二乘法和元启发式智能算法，分别进行边缘点椭圆拟合，求取动平台标识区域中心像素坐标值；

步骤5，基于相机成像原理，实现并联机构动平台标识区域中心点三维坐标的重建，进而得到并联机构动平台位姿；

步骤6，对动平台的位姿进行实时分析、显示及记录，达到实时监测与跟踪动平台运动状态的目的。

2.根据权利要求1所述的一种基于双目视觉的并联机构动平台位姿监测与跟踪方法，其特征在于，所述步骤1的具体内容如下：

1-1，将左右两个相机固定，并保持相对位置不变，相对位置变化后，需重新标定左右相机内外参数；

1-2，用已知尺寸的黑白方格板做标定板，选取左右相机同时拍摄到的标定板不同位姿下的多组图像；

1-3，基于张氏标定法，借助已有相机标定工具箱中的单目标定算法，分别得到左、右相机的单目标定结果；

1-4，基于单目标定算法深化得到左右相机的立体匹配算法，输出左右相机的内参数和以左相机光点为参照的外参数。

3.根据权利要求1所述的一种基于双目视觉的并联机构动平台位姿监测与跟踪方法，其特征在于，所述步骤2的具体内容如下：

2-1，根据图像中动平台标识区域的位置，选取穿过标识区域的特定直线，提取该直线上的R、G、B分量分布；

2-2，根据特定直线的R、G、B分量分布，设置阈值R-G＝N₁、R-B＝N₂，进行图像分割处理，将图片处理成黑白图片；

2-3，将所得图像进行腐蚀处理，去除非目标区域干扰点并填补目标区域内空洞，腐蚀次数依效果设置。

4.根据权利要求1所述的一种基于双目视觉的并联机构动平台位姿监测与跟踪方法，其特征在于，所述步骤3的具体内容如下：

3-1，采用二值化处理将图像矩阵映射为0-1矩阵，以简化图像矩阵；

3-2，建立以一点像素值为0、相邻四个像素点像素之和不小于1的边缘搜索模型，自上而下、自左而右遍历图像各像素点，记录边缘点像素坐标值。

5.根据权利要求1所述的一种基于双目视觉的并联机构动平台位姿监测与跟踪方法，其特征在于，所述步骤4的具体内容如下：

4-1，通过标准椭圆方程旋转、平移后得到一般椭圆方程，基于蒙特卡洛随机数，在理论椭圆圆周上随机选取若干点，建立边缘采集点与理论椭圆上这些若干点中最近点的距离模型；

4-2，确定以距离和最小为优化函数，以一般椭圆方程的长轴a、短轴b、中心像素坐标(x_c,y_c)、旋转角θ五个变量为优化参数；

4-3，采用最小二乘法和三种元启发式智能算法——遗传算法、自适应权重的粒子群算法、随机权重策略的粒子群算法，分别进行椭圆边缘拟合，以求取动平台标识区域中心像素坐标值。

6.根据权利要求1所述的一种基于双目视觉的并联机构动平台位姿监测与跟踪方法，其特征在于，所述步骤5的具体内容如下：

5-1，基于相机成像原理，得到图像坐标系、相机坐标系和世界坐标系三者之间的关系，进而得到左右相机内外参数、动平台标识区域中心点像素坐标和世界坐标之间的关系；

5-2，在经标定得到的左右相机内外参数和经图像特征提取得到的动平台标识区域中心点像素坐标的基础上，重建出其世界坐标值。

Images