CN112229323B - 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 - Google Patents

Abstract

本发明涉及基于手机单目视觉的棋盘格合作目标的六自由度测量方法，包括：一.在被测物上定义体坐标系及粘贴棋盘格；二.架设手机并设置焦距不变，手机相机拍摄棋盘格图像1张；取一可活动的平板粘贴棋盘格，通过移动或转动棋盘格，相机采集n张不同方位的棋盘格图像，n≥2；三.将n+1张棋盘格图像用张正友标定法标定，获得相机的内外参数，包括棋盘格的坐标系与手机相机坐标系的位姿关系；四.根据棋盘格坐标系与体坐标系的的位姿关系、棋盘格坐标系与手机相机坐标系的位姿关系，求解体坐标系与手机相机坐标系的位姿关系。还涉及该方法的应用。本发明设备复杂程度低，降低了六自由度测量的成本，准确度高，属于视觉测量技术领域。

Description

基于手机单目视觉的棋盘格合作目标的六自由度测量方法及 其应用

技术领域

本发明涉及视觉测量技术，具体涉及一种基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用。

背景技术

空间中物体的六自由度是一组非常重要的参数信息，代表着物体在空间中的准确位置及姿态，其在精密制造、装配、航空航天等领域均有重大用途，其测量常采用激光、霍尔传感器、视觉等方式。

激光测量方法包括激光跟踪仪、激光准直法及激光干涉仪等，该类方法的测量精度高，但由于激光的折射率易受环境的影响，从而导致该类方法无法在环境多变的场景下准确测量。另一方面，激光准直法和激光干涉仪需要设计专门的光路，从而对被测物的大小或运动范围存在一定限制。霍尔传感器常以多个或者融合其他传感器的形式测量六自由度，其测量精度也比较高，但是其常用来测量六自由度的微变化，一般是将被测物放在布置好霍尔传感器的平台上测量。

视觉测量方式具有非接触式、精度高、测量范围广等优点，可分为多目和单目视觉测量。多目视觉测量即采用两台或者多台视觉传感器(工业相机、普通相机等)测量，测量精度高，可准确还原被测物的深度信息，但其视场范围小于单目视觉测量，且多相机的立体匹配复杂，限制了该类测量方法的广泛使用。相反，单目视觉测量只采用一台视觉传感器测量，其视场范围广，标定简单，设备复杂程度低，从而备受各行各业的关注。虽然单目视觉优点突出，但是其无法准确的还原被测物的深度信息。

视觉测量方法常采用工业相机或其他相机作为视觉传感器，但是近年来逐渐出现将智能手机摄像头作为视觉传感器的测量方法。智能手机的摄像头具有强大的拍摄功能，不仅可以实现高清晰度的拍摄，而且还可以实现高帧率的拍摄，并且几乎是人人拥有的电子产品，是视觉测量时非常适合的图像获取设备。

发明内容

针对现有技术中存在的技术问题，本发明的目的是：提供一种通过简单的设备即可实现被测物六自由度稳定测量的基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用。

为了达到上述目的，本发明采用如下技术方案：

基于手机单目视觉的棋盘格合作目标的六自由度测量方法，包括如下步骤：步骤一.在被测物上定义体坐标系及粘贴第一张棋盘格，且棋盘格与体坐标系的位姿关系易测；步骤二.架设手机并设置焦距不变，手机相机拍摄被测物上的棋盘格图像1张；取一可活动的平板粘贴第二张棋盘格，通过移动或转动棋盘格，手机相机采集n张不同方位的棋盘格图像，其中，n≥2；步骤三.将采集到的n+1张棋盘格图像利用张正友标定法标定，获得手机相机的内外参数，包括获取粘贴于被测物体上的棋盘格的坐标系与手机相机坐标系的位姿关系；步骤四.根据被测物上的棋盘格坐标系与体坐标系的的位姿关系，以及被测物上的棋盘格坐标系与手机相机坐标系的位姿关系，求解体坐标系与手机相机坐标系的位姿关系，即被测物体的六自由度。

作为一种优选，步骤一中，体坐标系以被测物质心为原点，随被测物的运动而运动；棋盘格粘贴在被测物的平面上，且棋盘格上建立的棋盘格坐标系与体坐标系的位姿关系通过人工测量的方式获得。

作为一种优选，步骤二中，设置焦距不变，从而手机相机拍摄照片时的焦距保持一致，通过锁定手机焦距方式实现焦距不变。

作为一种优选，步骤二中，手机相机拍摄的n+1张棋盘格图像包含完整的棋盘格；拍摄两张棋盘格图像时，棋盘格平面与手机相机的成像平面夹角不超过45°；可活动的平板上粘贴的棋盘格与物体上粘贴的棋盘格大小一致。

作为一种优选，步骤三中，将采集到的n+1张棋盘格图像利用张正友标定法标定获得手机相机的内外参数，通过MATLAB相机标定工具箱标定或者编程工具编程标定，标定的原理如下：

对于小孔成像模型，空间中某个点的世界坐标与像素坐标存在如下关系：

sm＝A[R T]M

其中，s为比例因子；m＝[u,v,1]^T为空间点的像素坐标的齐次形式；[R T]为从世界坐标系到相机坐标系的旋转矩阵和平移向量；M＝[x_w,y_w,z_w,1]^T为空间点的世界坐标的齐次形式；A称为内参数矩阵，f_x、f_y、u₀、v₀分别为相机的焦距和主点坐标，内参数矩阵形式如下：

对于处于棋盘格平面上的角点，其z_w＝0，则此时棋盘格上的角点存在如下关系：

其中，H＝A[r₁ r₂ T]，称为单应性矩阵，根据平面之间的单应性求解H中的元素，即相机的内外参数；为获得准确稳定的标定结果，所计算的内外参数作为最大似然估计法的初值，通过以下关系式得到准确的标定结果：

其中，

点M_j在第i幅图像中的投影。

作为一种优选，步骤四中，求解体坐标系与手机相机坐标系的位姿关系

根据下述关系式求得：

其中，

是由体坐标系B到棋盘格坐标系B_j的旋转矩阵，由人工测量方式获得；

是由棋盘格坐标系B_j到手机相机坐标系C的旋转矩阵，由步骤三获得；

是由体坐标系B到棋盘格坐标系B_j的平移向量，其元素为该向量在棋盘格坐标系B_j下的分量，由人工测量方式获得；

是由手机相机坐标系C到棋盘格坐标系B_j的平移向量，其元素为该向量在棋盘格坐标系B_j下的分量。

作为一种优选，获得体坐标系与手机相机坐标系的位姿关系

但为保证矩阵

的正交性，通过下式进行奇异值分解，保证矩阵的正交性：

将第一式中的D换乘单位矩阵I,从而保证旋转矩阵的正交性。

作为一种优选，保证

的正交性后，通过下式获得旋转自由度的三个欧拉角：

其中，Ψ代表Z轴的旋转角、θ代表Y轴的旋转角、

代表X轴的旋转角，r_ij为旋转矩阵

的第i行第j列元素。

作为一种优选，步骤三中，采集到的棋盘格图像为10-15张。

基于手机单目视觉的棋盘格合作目标的六自由度测量方法的应用，用于静、动态被测物的六自由度测量。

本发明的原理是：通过手机分别获取被测物上的第一张棋盘格和可活动平板上的第二张棋盘格的图像n+1张，其中被测物上的第一张棋盘格的图像1张，其余为第二张棋盘格的图像。由张正友标点法标定n+1张棋盘格图像，获取手机相机坐标系与棋盘格坐标系的位姿关系。由此，第一张棋盘格的图像中棋盘格坐标系与手机相机坐标系的位姿关系已获得，而第一张棋盘格的图像中棋盘格坐标系与体坐标系的位姿关系通过人工测量的方式获得，则可根据第一张棋盘格的图像中棋盘格坐标系与手机相机坐标系的位姿关系、第一张棋盘格的图像中棋盘格坐标系与体坐标系的位姿关系转换得到手机相机坐标系与体坐标系的位姿关系，即被测物的六自由度。

本发明具有如下优点：

1.本发明的设备复杂程度低，仅需要一台手机作为视觉传感器和两张大小相同的棋盘格，减少了测量前设备布置的时间，原理通俗易懂。另一方面，该方法对静、动态的六自由度测量均适用。

2.本发明将手机相机作为图像采集设备，而手机几乎人人都有，故可将手机的成本忽略，从而实现极低成本的六自由度测量。

3.本发明将相机标定与六自由度测量融合在一起，减少了操作步骤，大大简化了测量的步骤。在测量时，标定的同时即为测量，测量结果也随标定结果一起出现。

4.本发明对被测物的大小或运动范围限制较小，通用性较强。本发明由于不需要将被测物放至测量平台即可完成测量，且仅需要在被测物上找到面对相机的平面并粘贴一张大小合适的棋盘格即可，这减小了对被测物大小及运动范围的限制，且增加了方法的通用性。

5.解决现有常用六自由度测量方法存在的缺陷，将相机标定与六自由度测量融合，在低设备复杂程度的情况下实现了被测物六自由度的稳定测量，为确定物体位置信息提供了便捷的方法。

附图说明

图1为本发明的原理图。

图2为本发明的工作原理流程图。

图3为本发明实施例中的测量场景布置示意图。

其中，O-主点，1-被测物，2-手机，3-手机三脚架

具体实施方式

下面将结合具体实施方式来对本发明做进一步详细的说明。

如图3所示,基于手机单目视觉的棋盘格合作目标的六自由度测量方法按照图3布置开展。

基于手机单目视觉的棋盘格合作目标的六自由度测量方法，该方法包括如下步骤：

步骤一、在被测物上定义体坐标系及粘贴棋盘格，棋盘格与体坐标系的位姿关系易测。

本实施例中，场景布置如图3所示，体坐标系原点建立在被测物的质心，体坐标系的X_B、Y_B、Z_B轴方向符合右手坐标系的建立原则，并且其他坐标系的建立也符合右手坐标系原则。体坐标系是虚拟的，并且随着被测物的运动而运动。此外，被测物需要保证至少一面为平面，以便于粘贴棋盘格。在被测物上粘贴的棋盘格两个方向上的格子数量不一样，这样在利用MATLAB相机标定工具箱标定的时候可保证棋盘格坐标系建立的位置一致，棋盘格坐标系在棋盘格中的位置如图3所示，位于棋盘格右下角，以宽度方向为

轴，高度方向为

轴，以右手坐标系原则建立

轴。因为本例中体坐标系与棋盘格坐标系三轴方向一致，故只需要通过刻度尺测量棋盘格坐标系与虚拟的体坐标系间的平移向量，即刚体坐标系原点在棋盘格坐标系下的坐标。

步骤二、在合适位置架设手机并设置焦距不变，手机相机拍摄被测物上的棋盘格图像1张；在另一可活动的平板上粘贴棋盘格，实验人员手持粘贴了棋盘格的平板，移动或转动该平板，手机相机采集n张不同方位的棋盘格图像；其中，n≥2。

在进行拍摄之前先将手机相机的焦距锁定，保证其在拍摄过程中焦距不变。另外，可将手机拍摄设置成专业模式，从而可调整焦距、光圈等参数至最佳状态，保证所拍摄的棋盘格完整清晰。根据实际测量环境的不同，手机架设的距离存在差异，但是只需要架设在可将被测物上的棋盘格完整拍摄的位置，并且棋盘格尽可能铺满图像。为保证图像清晰，所拍摄的图像分辨率应不低于1280×800。另外，被测物平面以及另一可活动的平板上所粘贴的棋盘格的尺寸必须是一致的，棋盘格及其单个小方格尺寸可通过刻度尺测量。此步骤中采集的棋盘格图像不少于3张，但是为了确保标定准确且快速，采集10-15张棋盘格图像比较适宜。

步骤三、将采集到的n+1张棋盘格图像利用张正友标定法标定获得相机的内外参数，外参数中包括粘贴于被测物体上的棋盘格的坐标系与手机相机坐标系的位姿关系。

此步骤中，将上一步骤所采集的棋盘格图像导入MATLAB标定工具箱，在弹出的窗口输入单个小方格尺寸，在工具栏options选项中勾选3Coefficients、Skew、TangentialDistortion，勾选完成后点击Calibrate开始标定。标定完成后查看Mean ReprojectionError是否小于1pixel，若小于1pixel，则标定结果的误差是可接受的；反之则需要删除一些误差较大的图像，但是标定的总图像数不小于3。当标定结果的误差达到可接受的范围后，在工具栏export输出标定结果，获得相机的内参数(主点坐标、焦距)、各个方位的棋盘格与手机相机坐标系的位姿关系(

和

)。

步骤四、根据被测物上的棋盘格坐标系分别与体坐标系、手机相机坐标系的位姿关系，求解体坐标系与手机相机坐标系的位姿关系，即被测物体的六自由度。

根据步骤一和步骤三的数据，利用MATLAB编程求解体坐标系与手机相机坐标系的位姿关系，求解关系式如下：

获得两坐标系间的位姿关系后，再将旋转矩阵转换成欧拉角的形式，转换关系式如下：

最终得到被测物在手机相机坐标系下的位姿，即被测物的六自由度。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：包括如下步骤：

步骤一.在被测物上定义体坐标系及粘贴第一张棋盘格，且棋盘格与体坐标系的位姿关系易测；

步骤二.架设手机并设置焦距不变，手机相机拍摄被测物上的棋盘格图像1张；取一可活动的平板粘贴第二张棋盘格，通过移动或转动棋盘格，手机相机采集n张不同方位的棋盘格图像，其中，n≥2；可活动的平板上粘贴的棋盘格与物体上粘贴的棋盘格大小一致；

步骤三.将采集到的n+1张棋盘格图像利用张正友标定法标定，获得手机相机的内外参数，包括获取粘贴于被测物体上的棋盘格的坐标系与手机相机坐标系的位姿关系；

步骤四.根据被测物上的棋盘格坐标系与体坐标系的位姿关系，以及被测物上的棋盘格坐标系与手机相机坐标系的位姿关系，求解体坐标系与手机相机坐标系的位姿关系，即被测物体的六自由度；

步骤四中，根据步骤一和步骤三的数据，利用MATLAB编程求解体坐标系与手机相机坐标系的位姿关系。

2.按照权利要求1所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：步骤一中，体坐标系以被测物质心为原点，随被测物的运动而运动；棋盘格粘贴在被测物的平面上，且棋盘格上建立的棋盘格坐标系与体坐标系的位姿关系通过人工测量的方式获得。

3.按照权利要求2所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：步骤二中，设置焦距不变，从而手机相机拍摄照片时的焦距保持一致，通过锁定手机焦距方式实现焦距不变。

4.按照权利要求3所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：步骤二中，手机相机拍摄的n+1张棋盘格图像包含完整的棋盘格；拍摄两张棋盘格图像时，棋盘格平面与手机相机的成像平面夹角不超过45°。

5.按照权利要求4所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：步骤三中，将采集到的n+1张棋盘格图像利用张正友标定法标定获得手机相机的内外参数，通过MATLAB相机标定工具箱标定或者编程工具编程标定，标定的原理如下：

对于小孔成像模型，空间中某个点的世界坐标与像素坐标存在如下关系：

sm＝A[R T]M

其中，s为比例因子；m＝[u，v，1]^T为空间点的像素坐标的齐次形式；[R T]为从世界坐标系到相机坐标系的旋转矩阵和平移向量；M＝[x_w，y_w，z_w，1]^T为空间点的世界坐标的齐次形式；A称为内参数矩阵，f_x、f_y、u₀、v₀分别为相机的焦距和主点坐标，内参数矩阵形式如下：

对于处于棋盘格平面上的角点，其z_w＝0，则此时棋盘格上的角点存在如下关系：

其中，H＝A[r₁ r₂ T]，称为单应性矩阵，根据平面之间的单应性求解H中的元素，即相机的内外参数；为获得准确稳定的标定结果，所计算的内外参数作为最大似然估计法的初值，通过以下关系式得到准确的标定结果：

其中，

为 点M_j在第i幅图像中的投影。

6.按照权利要求5所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：步骤四中，求解体坐标系与手机相机坐标系的位姿关系

根据下述关系式求得：

其中，

是由体坐标系B到棋盘格坐标系B_j的旋转矩阵，由人工测量方式获得；

是由棋盘格坐标系B_j到手机相机坐标系C的旋转矩阵，由步骤三获得；

是由体坐标系B到棋盘格坐标系B_j的平移向量，其元素为该向量在棋盘格坐标系B_j下的分量，由人工测量方式获得；

是由手机相机坐标系C到棋盘格坐标系B_j的平移向量，其元素为该向量在棋盘格坐标系下的分量。

7.按照权利要求6所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：获得体坐标系与手机相机坐标系的位姿关系

但为保证矩阵

的正交性，通过下式进行奇异值分解，保证矩阵的正交性：

将第一式中的D换乘单位矩阵I，从而保证旋转矩阵的正交性。

8.按照权利要求7所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：保证

的正交性后，通过下式获得旋转自由度的三个欧拉角：

其中，Ψ代表Z轴的旋转角、θ代表Y轴的旋转角、

代表X轴的旋转角，r_ij为旋转矩阵

的第i行第j列元素。

9.按照权利要求1所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法，其特征在于：步骤三中，采集到的棋盘格图像为10-15张。

10.按照权利要求1至9中任一项所述的基于手机单目视觉的棋盘格合作目标的六自由度测量方法的应用，其特征在于：用于静、动态被测物的六自由度测量。

Images