CN108734744B - 一种基于全站仪的远距离大视场双目标定方法 - Google Patents

Abstract

本发明公开了一种基于全站仪的远距离大视场双目标定方法，实现该方法包括双目相机、全站仪及标志物，所述双目相机与标志物的距离为100m，所述全站仪与标志物距离大于10m，且双目相机上电连接有计算机系统PC；所述方法包括如下步骤：步骤(1)图像采集：利用双目相机进行图像采集；步骤(2)角点提取：采取一个标志物只具有一个特征点，所述角点提取分为角点检测和亚像素定位两个部分；步骤(3)标志物三维坐标测量：采取单个标志物设为只具有一个特征点，当增加标志物个数满足测量需求，将远距离利用全站仪测量标志物特征点的三维坐标设为(X,Y,Z)；步骤(4)相机标定。本发明解决现有标定方法中在远距离大视场标定精度低，灵活性低的问题，满足实际需求。

Description

一种基于全站仪的远距离大视场双目标定方法

技术领域

本发明涉及双目标定领域，特别是涉及一种基于全站仪的远距离大视场双目标定方法。

背景技术

计算机技术飞速发展使得计算机能够代替人类感官获取并处理信息，构建和识别目标需要利用相机获取图像信息，并计算其在三维空间中的各个数值，图像中点与其对应的空间物体表面的点的对应关系符合相机成像的集合模型，因此，通过实验计算相机参数，得到相机集合模型的过程称为相机标定。无论是在图像测量或者机器视觉应用中，相机参数标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。所以，只有精准的相机标定结果才能保证后续工作的顺利进行。相机参数分为外部参数和内部参数。其中相机外部参数包括姿态的位置，也就是旋转和平移矩阵。而相机的内部参数包括图像中心、偏轴镜头畸变、径向镜头畸变、相机焦距、及系统本身的误差。相机标定的方式只要分为三类：视觉主动标定技术、传统标定技术、相机自标定技术。传统的相机标定方法在标定精度上可以达到很高的标准，但是标定过程不灵活，适用于标定精度要求很高且相机的参数不经常变化的情况。相机的自标定是最灵活的标定方法，但是其精度很难达到很高的标准。其标定不需要使用标定物，一般用在通讯、虚拟现实等场景中。基于主动视觉的相机标定方法需要已知相机的一些运动信息，它的标定精度高于自标定方法，同时不需要使用标定物，在一定程度上集合了前两种方法的优点。

现有技术中远距离大视场目标检测系依据双目视觉原理进行系统重构，在距离检测区约100m的位置布置图像采集装置，对视场进行连续监测。传统相机标定方法所需标志物很难在100m外精确成像，且大型多特征点标志物加工精度要求较高。而相机的自标定技术仅依靠未标定的图像之间的几何关系确定相机参数，其标定精度很难满足对检测区域目标的精确测量的需求。主动视觉的标定法必须调整相机做几何运动，如平移、旋转等，操作较为复杂。因此在远距离，大视场的情况下，相机标定无法套用现有的模型。为此，需要设计一种新的技术方案给予解决。

发明内容

本发明提供一种基于全站仪的远距离大视场双目标定方法，旨在解决现有标定方法中在远距离大视场标定精度低，灵活性低的问题，满足实际使用需求。

本发明解决其技术问题所采用的技术方案是：一种基于全站仪的远距离大视场双目标定方法，实现该方法包括双目相机、全站仪及标志物，所述双目相机与所述标志物的距离为100m，所述全站仪与所述标志物距离大于10m，且所述双目相机上电连接有PC；

所述方法包括如下步骤：

步骤(1)图像采集：

利用双目相机进行图像采集，该过程包括图像采集与图像滤波两个部分；

步骤(2)角点提取：

即采取一个标志物只具有一个特征点，防止标志物加工误差引入的双目相机标定误差，所述角点提取分为角点检测和亚像素定位两个部分；

步骤(3)标志物三维坐标测量：

即采取单个标志物设为只具有一个特征点，当增加标志物个数才能满足测量需求，将远距离利用全站仪测量标志物特征点的三维坐标设为(X,Y,Z)，且所述全站仪坐标系为世界坐标系；

步骤(4)相机标定：

所述相机标定包括定双目相机内参标与双目相机外参标定两个部分，其中，所述双目相机内参标定中包含单目相机内参标定和全站仪坐标系与相机坐标系的外参标定。

作为上述技术方案的改进，步骤1中所述相机在采集的初始图像中含有大量噪声影响标志物特征点提取，在处理标志物之前需对图像进行滤波操作。

作为上述技术方案的改进，步骤(2)中所述角点检测是采用与图像坐标轴平行和绕坐标轴旋转45°的滤波模板分别检测图像中的像素，以减少由相机畸变引入的误差，每个滤波模板由四个滤波核函数{A,B,C,D}组成，对于一个理想的角点，{A,B}的响应大于{C,D}的响应，而非理想角点则{C,D}的响应大于{A,B}的响应，即角点检测过程中，像素y为角点的概率p定义如下：

其中，

与

(i＝1,2)表示像素y被模板i判定为理想角点和非理想角点的概率，定义为

其中，

分别为滤波器A,B,C,D在该点的响应，u为响应平均值，当p大于设定阈值thresh时，判定该点为角点，通过对图像中所有像素点进行遍历，完成角点检测。

作为上述技术方案的改进，所述亚像素定位算法是对角点位置进行优化，通过向量的正交性来实现角点亚像素定位，即设精确的角点位置为x，x应与其领域点qi的向量和qi点处的图像梯gqi正交，由于噪声的存在，这两个正交向量的点积不等于零，而存在误差，误差表达式如下：

其中，qi为角点x的N邻域中的一点，连立所有qi点，x点应使所有εi最小的：

利用最小二乘法求解公式(4)，即可获得角点的精确的亚像素位置。

作为上述技术方案的改进，在通过步骤(1)、(2)及(3)获取了标志物的角点在世界坐标系下的位置(X,Y,Z)和二维图像坐标系下的像素位置(u,v)后，可求得解双目相机内外参数，因世界坐标系为全站仪坐标系，它与相机坐标系之间的转换关系如下：

其中，(X,Y,Z)为测量得到的世界坐标系下标志物角点坐标，(X’,Y’,Z’)为相机坐标系下标志物角点坐标，R、T分别为两个坐标系之间的旋转矩阵和平移矩阵，为未知参数；

其中，令相机坐标系下标志物的齐次坐标为M＝(X’,Y’,Z’,1)T，图像坐标系下标志物的齐次坐标为m＝(u,v,1)T，通过相机内参矩阵可建立空间点到二维点的几何关系：

其中，A为相机内参矩阵，s为缩放因子，fx为相机x方向上等效焦距，fy为相机y方向上等效焦距，(ux,uy)为相机主点，联合公式(5)、(6)即可获得全站仪坐标系下标志物角点到图像坐标系的转换，即

其中，fx，fy，ux，uy均为未知数，若无噪声和成像误差等因素影响，通过公示(7)计算获得的二维标志物角点位置应与拍摄所得到的位置相同；若存在噪声和成像误差等因素影响，计算结果存在误差：

其中，xr为三维空间点投影在二维图像上的角点位置，xc为检测到的角点位置，通过变换全站仪与标志物的位置，多次测量标志物的空间位置，拍摄、检测标志物角点位置，利用公式(7)建立三维空间坐标点到二维像素坐标点之间的映射关系后，通过非线性优化算法对公式(8)进行优化，可获得单相机内参和全站仪坐标系与相机坐标系的外参矩阵。

作为上述技术方案的改进，步骤(4)中对所述双相机外部参数进行标定采用双向标定法提高外参数提高标定精度，令左相机坐标系下标志物角点空间坐标为(XL,YL,ZL)，右相机标志物角点的空间坐标为(XR,YR,ZR)，则以左相机为参考求解外部参数Rlc，Tlc为：

以右相机为参考求解外部参数Rrc，Trc为：

其中(flx，fly)，(ulx，uly),(frx，fry)，(urx，ury)分别为左相机焦距，左相机主点像素坐标，右相机焦距，右相机主点像素坐标，以通过单目标定获得，为已知参数，m’l为通过标志物角点在右相机坐标系下的三维坐标计算得到的左相机图像坐标系下标志物角点的像素位置；同理，m’r为通过标志物角点在左相机坐标系下的三维坐标计算得到的右相机图像坐标系下标志物角点的像素位置，Rlc，Tlc与Rrc，Trc关系如下：

设ml，mr为真实检测到左右图标志物角点坐标位置，构建优化代价函数：

其中，λ1,λ2为左右相机投影转换误差的权重，利用非线性最小二乘法对该公式进行优化可得到左右相机之间的旋转、平移矩阵，即双相机外部参数。

实施本发明所述的基于全站仪的远距离大视场双目标定方法，具有以下有益效果：

(1)利用全站仪高精度获取离散标志物的三维空间坐标位置，获取远距离、大视场标志物绝对空间坐标，将单个标志物面积增大的同时，降低标志物特征点数量，减少了标志物加工精度需求，保证了100m外标志物在相机中能清晰成像。

(2)利用多种滤波核函数检测图像中标志物角点信息，相较于传统角点检测方案，该方法既保证了检测精度，又提高了场景普适性，能灵活运用于远距离大视场的相机标定方案中，对畸变较大的标志物图像有更高的检测精度。

(3)将左右相机图像信息加入到外参优化中，利用左右相机同时构建代价函数，可根据场景需求调整代价函数各项权重，该方法既保证了传统算法实现的简单性，又提高了参数标定的精度，适用场景更广泛，精度更高。

附图说明

图1为本发明的方法装置图；

图2为本发明的算法流程图；

图3为本发明的标志物图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的技术解决方案：该方法装置图如附图1所示，算法流程如附图2所示，双目相机3与标志物1的距离为100m，全站仪2与标志物1的距离应大于10m。通过全站仪2获取标志物在全站仪2坐标系下精确的空间三维坐标，进而可以获取标志物1之间准确的相对位置关系；保持标志物1静止，同步双目相机3拍摄当前标志物，在以相机坐标系为世界坐标系的条件下，图像上的点与空间物体的对应关系由相机的几何模型决定；由于本方案中世界坐标系为全站仪2坐标系，因此标志物1二维图像上的点与空间真实点的对应关系还应由全站仪2坐标系与相机坐标系之间的几何关系决定；令双目相机3内部参数、外部参数、及全站仪2与相机坐标系之间的旋转、平移参数为未知参数；通过多次进行测量拍摄实验后，构造代价函数，调整未知数的取值，迭代优化标志物特征点投影至图像坐标系下的像素偏移差值，当该差值小于设定阈值时，停止优化，输出结果为优化后的双目相机3内部参数和外部参数。

具体包括以下几个步骤：

1、图像采集

该过程包括图像采集与图像滤波两个部分，双目相机图像采集利用51单片机进行相机采集同步处理；

由于相机在采集的初始图像中含有大量的噪声，影响到标志物特征点提取，因此在处理标志物之前，应对图像进行滤波操作。

2、角点提取

为保证大面积标志物的精准性，本发明采用如图3所示的2×2棋盘格，特征点为棋盘格角点，即一个标志物只具有一个特征点，防止由于标志物加工误差引入的双目相机标定误差，角点提取分为角点检测和亚像素定位两个部分。

角点检测方案中采用与图像坐标轴平行和绕坐标轴旋转45°的滤波模板分别检测图像中的像素，以减少由相机畸变引入的误差，每个滤波模板由四个滤波核函数{A,B,C,D}组成，对于一个理想的角点，{A,B}的响应大于{C,D}的响应，而非理想角点则{C,D}的响应大于{A,B}的响应，角点检测过程中，像素y为角点的概率p定义如下：

其中，

与

(i＝1,2)表示像素y被模板i判定为理想角点和非理想角点的概率，定义为

其中，

分别为滤波器A,B,C,D在该点的响应，u为响应平均值，当p大于设定阈值thresh时，判定该点为角点。通过对图像I中所有像素点进行遍历，完成角点检测。

角点检测完成后，采用亚像素定位算法对角点位置进行优化；由于本发明采用如图3所示的标志物，因此可通过向量的正交性来实现角点亚像素定位，即设精确的角点位置为x，x应与其领域点qi的向量和qi点处的图像梯gqi正交，但由于噪声的存在，这两个正交向量的点积不等于零，而存在误差，误差表达式如下：

其中，qi为角点x的N邻域中的一点，连立所有qi点，x点应使所有εi最小的：

利用最小二乘法求解公式(4)，即可获得角点的精确的亚像素位置。

3、标志物三维坐标测量

为满足大视场提取角点需求，本发明将单个标志物设置为只具有一个特征点，只有增加标志物个数才能满足测量需求；本发明在远距离利用全站仪测量标志物特征点的三维坐标(X,Y,Z)，同时使用全站仪坐标系为世界坐标系。

4、相机标定

相机标定分为两个部分，双目相机内参标定与双目相机外参标定，其中双目相机内参标定中包含单目相机内参标定和全站仪坐标系与相机坐标系的外参标定。

通过步骤1-3获取了标志物的角点在世界坐标系下的位置(X,Y,Z)和二维图像坐标系下的像素位置(u,v)后，即可求解双目相机内外参数，由于世界坐标系为全站仪坐标系，它与相机坐标系之间的转换关系如下：

其中，(X,Y,Z)为测量得到的世界坐标系下标志物角点坐标，(X’,Y’,Z’)为相机坐标系下标志物角点坐标，R、T分别为两个坐标系之间的旋转矩阵和平移矩阵，为未知参数。

为方便计算，令相机坐标系下标志物的齐次坐标为M＝(X’,Y’,Z’,1)T，图像坐标系下标志物的齐次坐标为m＝(u,v,1)T，通过相机内参矩阵可建立空间点到二维点的几何关系：

其中，A为相机内参矩阵，s为缩放因子，fx为相机x方向上等效焦距，fy为相机y方向上等效焦距，(ux,uy)为相机主点，联合公式(5)、(6)即可获得全站仪坐标系下标志物角点到图像坐标系的转换，即

其中，fx，fy，ux，uy均为未知数，若无噪声和成像误差等因素影响，通过公示(7)计算获得的二维标志物角点位置应与拍摄所得到的位置相同，但实际情况下由于干扰项影响，计算结果存在误差:

其中，xr为三维空间点投影在二维图像上的角点位置，xc为检测到的角点位置，通过变换全站仪与标志物的位置，多次测量标志物的空间位置，拍摄、检测标志物角点位置，利用公式(7)建立三维空间坐标点到二维像素坐标点之间的映射关系后，通过非线性优化算法对公式(8)进行优化，可获得单相机内参和全站仪坐标系与相机坐标系的外参矩阵。

双相机分别单目标定完成后可对双相机外部参数进行标定，由于测量距离较远，本发明采用双向标定法提高外参数提高标定精度，令左相机坐标系下标志物角点空间坐标为(XL,YL,ZL)，右相机标志物角点的空间坐标为(XR,YR,ZR)，则以左相机为参考求解外部参数Rlc，Tlc为：

以右相机为参考求解外部参数Rrc，Trc为：

其中(flx，fly)，(ulx，uly),(frx，fry)，(urx，ury)分别为左相机焦距，左相机主点像素坐标，右相机焦距，右相机主点像素坐标，以通过单目标定获得，为已知参数，m’l为通过标志物角点在右相机坐标系下的三维坐标计算得到的左相机图像坐标系下标志物角点的像素位置；同理，m’r为通过标志物角点在左相机坐标系下的三维坐标计算得到的右相机图像坐标系下标志物角点的像素位置，Rlc，Tlc与Rrc，Trc关系如下：

设ml，mr为真实检测到左右图标志物角点坐标位置，构建优化代价函数：

其中，λ1,λ2为左右相机投影转换误差的权重，利用非线性最小二乘法对该公式进行优化可得到左右相机之间的旋转、平移矩阵，即双相机外部参数。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.一种基于全站仪的远距离大视场双目标定方法，其特征在于：实现该方法所采用的装置如下：包括双目相机(3)、全站仪(2)及标志物(1)，所述双目相机(3)与所述标志物(1)的距离设为100m，所述全站仪(2)与所述标志物(1)距离大于10m，且所述双目相机(3)上电连接有PC(4)；

实现所述方法包括如下步骤：

步骤(1)图像采集：

利用双目相机进行图像采集，该过程包括图像采集与图像滤波两个部分；

步骤(2)角点提取：

即采取一个标志物只具有一个特征点，所述角点提取分为角点检测和亚像素定位两个部分；

步骤(3)标志物三维坐标测量：

即采取单个标志物设为只具有一个特征点，当增加标志物个数才能满足测量需求，将远距离利用全站仪测量标志物特征点的三维坐标设为(X,Y,Z)，且所述全站仪坐标系为世界坐标系；

步骤(4)相机标定：

所述相机标定包括定双目相机内参标与双目相机外参标定两个部分，其中，所述双目相机内参标定中包含单目相机内参标定和全站仪坐标系与相机坐标系的外参标定；

步骤(2)中所述角点检测是采用与图像坐标轴平行和绕坐标轴旋转45°的滤波模板分别检测图像中的像素，以减少由相机畸变引入的误差，每个滤波模板由四个滤波核函数{A,B,C,D}组成，对于一个理想的角点，{A,B}的响应大于{C,D}的响应，而非理想角点则{C,D}的响应大于{A,B}的响应，即角点检测过程中，像素y为角点的概率p定义如下：

其中，

与

表示像素y被模板i判定为理想角点和非理想角点的概率，定义为

其中，

分别为滤波器A,B,C,D在该点的响应，u为响应平均值，当p大于设定阈值thresh时，判定该点为角点，通过对图像中所有像素点进行遍历，完成角点检测。

2.根据权利要求1所述基于全站仪的远距离大视场双目标定方法，其特征在于：步骤1中所述相机在采集的初始图像中含有大量噪声影响标志物特征点提取，在处理标志物之前需对图像进行滤波操作。

3.根据权利要求1所述基于全站仪的远距离大视场双目标定方法，其特征在于：所述亚像素定位算法是对角点位置进行优化，通过向量的正交性来实现角点亚像素定位，即设精确的角点位置为x，x应与其领域点qi的向量和qi点处的图像梯gqi正交，由于噪声的存在，这两个正交向量的点积不等于零，而存在误差，误差表达式如下：

其中，qi为角点x的N邻域中的一点，连立所有qi点，x点应使所有εi最小的：

利用最小二乘法求解公式(4)，即可获得角点的精确的亚像素位置。

4.根据权利要求1所述基于全站仪的远距离大视场双目标定方法，其特征在于：在通过步骤(1)、(2)及(3)获取了标志物的角点在世界坐标系下的位置(X,Y,Z)和二维图像坐标系下的像素位置(u,v)后，可求得解双目相机内外参数，因世界坐标系为全站仪坐标系，它与相机坐标系之间的转换关系如下：

其中，(X,Y,Z)为测量得到的世界坐标系下标志物角点坐标，(X’,Y’,Z’)为相机坐标系下标志物角点坐标，R、T分别为两个坐标系之间的旋转矩阵和平移矩阵，为未知参数；

其中，令相机坐标系下标志物的齐次坐标为M＝(X’,Y’,Z’,1)T，图像坐标系下标志物的齐次坐标为m＝(u,v,1)T，通过相机内参矩阵可建立空间点到二维点的几何关系：

其中，A为相机内参矩阵，s为缩放因子，fx为相机x方向上等效焦距，fy为相机y方向上等效焦距，(ux,uy)为相机主点，联合公式(5)、(6)即可获得全站仪坐标系下标志物角点到图像坐标系的转换，即

其中，fx，fy，ux，uy均为未知数，若无噪声和成像误差因素影响，通过公示(7)计算获得的二维标志物角点位置应与拍摄所得到的位置相同；若存在噪声和成像误差因素影响，计算结果存在误差：

其中，xr为三维空间点投影在二维图像上的角点位置，xc为检测到的角点位置，通过变换全站仪与标志物的位置，多次测量标志物的空间位置，拍摄、检测标志物角点位置，利用公式(7)建立三维空间坐标点到二维像素坐标点之间的映射关系后，通过非线性优化算法对公式(8)进行优化，可获得单相机内参和全站仪坐标系与相机坐标系的外参矩阵。

5.根据权利要求1所述基于全站仪的远距离大视场双目标定方法，其特征在于：步骤(4)中对所述双目相机外部参数进行标定采用双向标定法提高外参数提高标定精度，令左相机坐标系下标志物角点空间坐标为(XL,YL,ZL)，右相机标志物角点的空间坐标为(XR,YR,ZR)，则以左相机为参考求解外部参数Rlc，Tlc为：

以右相机为参考求解外部参数Rrc，Trc为：

其中(flx，fly)，(ulx，uly),(frx，fry)，(urx，ury)分别为左相机焦距，左相机主点像素坐标，右相机焦距，右相机主点像素坐标，以通过单目标定获得，为已知参数，m’l为通过标志物角点在右相机坐标系下的三维坐标计算得到的左相机图像坐标系下标志物角点的像素位置；同理，m’r为通过标志物角点在左相机坐标系下的三维坐标计算得到的右相机图像坐标系下标志物角点的像素位置，Rlc，Tlc与Rrc，Trc关系如下：

设ml，mr为真实检测到左右图标志物角点坐标位置，构建优化代价函数：

其中，λ1,λ2为左右相机投影转换误差的权重，利用非线性最小二乘法对该公式进行优化可得到左右相机之间的旋转、平移矩阵，即双目相机外部参数。

Images