CN114663520A - 一种超大范围视觉测量的双相机联合标定方法及系统 - Google Patents

一种超大范围视觉测量的双相机联合标定方法及系统 Download PDF

Info

Publication number
CN114663520A
CN114663520A CN202210181441.0A CN202210181441A CN114663520A CN 114663520 A CN114663520 A CN 114663520A CN 202210181441 A CN202210181441 A CN 202210181441A CN 114663520 A CN114663520 A CN 114663520A
Authority
CN
China
Prior art keywords
camera
image
parameter
determining
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210181441.0A
Other languages
English (en)
Inventor
董明利
孙鹏
王智
刘其林
燕必希
王君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202210181441.0A priority Critical patent/CN114663520A/zh
Publication of CN114663520A publication Critical patent/CN114663520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning

Abstract

本发明提供一种超大范围视觉测量的双相机联合标定方法及系统，属于视觉测量技术领域，标定方法包括：初始化第一相机和第二相机的内参数；通过无人机携带长度尺在测量空间中以各个姿态飞行；通过第一相机及第二相机采集每个姿态下长度尺两端的回光反射球的图像，得到图像集；确定图像集中各图像中各回光反射球的像面二维坐标；根据各图像中各回光反射球的像面二维坐标，确定本质矩阵；根据本质矩阵，确定第二相机相对于第一相机的旋转矩阵及平移矩阵；采用光束平差法，对两个相机的内参数初值及外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数。无需建立标定墙，降低了标定成本并提高了标定精度。

Description

一种超大范围视觉测量的双相机联合标定方法及系统
技术领域
本发明涉及视觉测量领域，特别是涉及一种超大范围视觉测量的双相机联合标定方法及系统。
背景技术
近年来，随着航空航天、大型船舶制造、采矿及新能源工业等领域的快速发展，非常规尺寸工件的需求日益增多，而大尺寸工件一般为十几米，甚至上百米，与常规测量相比，大尺寸测量在测量效率、精度以及测量环境等方面都有较大的差别，常规方法一般只针对特定平面当中的几何量加以测量处理，所使用的量具也具有较强的专用性，这对测量效率与精度形成一定限制，很难实现大尺寸工件测量对于高效率和高精度等方面的需求。大尺寸工件利用常规测量方法会呈现出人工参与度高，测量范围较小等缺点。
目前对于大尺寸工件一般通过空间坐标转换进行测量，已经投入使用的空间坐标测量设备包括激光跟踪仪、三坐标测量机等，这些设备均采取逐点测量的方式，不仅实际效率较低，要求相关工作人员具备较强的专业知识与技能，而且设备费用投入较高，很难实现对于大型工件的高精度快速检测。
另外还有采用视觉测量系统对大尺寸工件进行测量的方法，而相机标定是视觉测量系统的重要环节，标定定向的精度直接影响着摄影测量系统最终测量精度。伴随着被测物体积增加，标定物的加工制作越来越复杂，传统的标定是通过拍摄高精度标定物、标定墙或者标定场来实现的，在实际应用中，建造与被测空间大小相匹配的标定物是极为困难的，而且标定过程极为复杂、耗时长且成本高，同时由于缺少高精度的基准空间坐标或者空间长度，标定结果存在较大的系统误差。
基于上述问题，亟需一种新的标定方法以提高相机标定的精度。
发明内容
本发明的目的是提供一种超大范围视觉测量的双相机联合标定方法及系统，可提高双相机的标定精度。
为实现上述目的，本发明提供了如下方案：
一种超大范围视觉测量的双相机联合标定方法，包括：
初始化第一相机和第二相机的内参数，得到第一相机的内参数初值及第二相机的内参数初值；
通过无人机携带长度尺在测量空间中以各个姿态飞行；所述长度尺两端设置有回光反射球；
通过所述第一相机及所述第二相机采集每个姿态下长度尺两端的回光反射球的图像，得到图像集；所述图像集中包括多对第一图像及第二图像；所述第一图像为第一相机采集的图像，第二图像为第二相机采集的图像；
确定各第一图像及各第二图像中各回光反射球的像面二维坐标；
根据各第一图像及各第二图像中各回光反射球的像面二维坐标，确定本质矩阵；
根据所述本质矩阵，确定所述第二相机相对于所述第一相机的旋转矩阵及平移矩阵；所述旋转矩阵及平移矩阵为所述第一相机与所述第二相机的外方位参数初值；
采用光束平差法，对所述第一相机的内参数初值、所述第二相机的内参数初值以及所述外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数；
根据第一相机的最优内参数、第二相机的最优内参数及最优外参数，通过第一相机及第二相机对大尺寸工件进行测量。
可选地，所述确定各第一图像及各第二图像中各回光反射球的像面二维坐标，具体包括：
对各第一图像及各第二图像进行二值化处理，得到对应的二值图像；
对各二值图像进行连通区域标记，并采用灰度重心法求解各二值图像中连通区域亮度值的中心坐标；所述连通区域亮度值的中心坐标为回光反射球的像面二维坐标。
可选地，所述对各第一图像及各第二图像进行二值化处理，得到对应的二值图像，具体包括：
采用im2bw函数对各第一图像及各第二图像二值化，得到对应的二值图像。
可选地，根据以下公式，确定回光反射球的像面二维坐标：
Figure BDA0003521194720000031
Figure BDA0003521194720000032
其中，
Figure BDA0003521194720000033
为回光反射球的像面二维坐标，
Figure BDA0003521194720000034
为连通区域的像素点集合，f(u,v)为坐标为(u,v)的像素点的灰度值。
可选地，所述根据各第一图像及各第二图像中各回光反射球的像面二维坐标，确定本质矩阵，具体包括：
根据5对不共线的回光反射球的像面二维坐标，确定本质矩阵。
可选地，所述内参数初值包括焦距、主点在像面位置、径向畸变参数以及偏心畸变参数；
所述采用光束平差法，对所述第一相机的内参数初值、所述第二相机的内参数初值以及所述外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数，具体包括：
针对任一第二图像，根据所述第二相机的焦距、所述外方位参数初值及所述第二图像中两个回光反射球的像点坐标，确定所述第二图像中两个回光反射球的空间点坐标；
根据两个回光反射球的空间点坐标，确定两个回光反射球之间的空间距离；
根据所述第一相机的内参数初值、所述第二相机的内参数初值、所述外方位参数初值、各第二图像中两个回光反射球的空间点坐标及空间距离，确定扩展误差方程；
采用光束平差法，根据所述扩展误差方程，确定第一相机的最优内参数、第二相机的最优内参数及最优外参数。
可选地，根据以下公式，确定回光反射球的空间点坐标：
Figure BDA0003521194720000041
Figure BDA0003521194720000042
b1＝cos(ω)sin(κ)；
Figure BDA0003521194720000043
Figure BDA0003521194720000044
b2＝cos(ω)cos(κ)；
Figure BDA0003521194720000045
Figure BDA0003521194720000046
b3＝-sin(ω)；
Figure BDA0003521194720000047
其中，(X,Y,Z)为回光反射球的空间点坐标，(xr,yr)在第二图像中回光反射球的像点坐标，c为焦距，
Figure BDA0003521194720000048
为旋转矩阵，
Figure BDA0003521194720000049
为平移矩阵，ω、
Figure BDA00035211947200000410
κ分别为第二相机相对于第一相机绕X、Y、Z轴的旋转角度，Tx、Ty、Tz分别为第二相机相对于第一相机沿X、Y、Z轴的平移量。
为实现上述目的，本发明还提供了如下方案：
一种超大范围视觉测量的双相机联合标定系统，包括：第一相机、第二相机、无人机、长度尺及上位机；所述长度尺的两端设置有回光反射球；
所述无人机用于携带所述长度尺在测量空间中以各个姿态飞行；
所述第一相机及所述第二相机用于采集长度尺两端的回光反射球的图像，得到图像集；所述图像集中包括多对第一图像及第二图像；所述第一图像为第一相机采集的图像，第二图像为第二相机采集的图像；
所述上位机包括：
初始化单元，分别与所述第一相机及所述第二相机连接，用于初始化第一相机和第二相机的内参数，得到第一相机的内参数初值及第二相机的内参数初值；
二维坐标确定单元，分别与所述第一相机及所述第二相机连接，用于确定各第一图像及各第二图像中各回光反射球的像面二维坐标；
本质矩阵确定单元，与所述二维坐标确定单元连接，用于根据各第一图像及各第二图像中各回光反射球的像面二维坐标，确定本质矩阵；
外参数确定单元，与所述本质矩阵确定单元连接，用于根据所述本质矩阵，确定所述第二相机相对于所述第一相机的旋转矩阵及平移矩阵；所述旋转矩阵及平移矩阵为所述第一相机与所述第二相机的外方位参数初值；
优化单元，分别与所述初始化单元及所述外参数确定单元连接，用于采用光束平差法，对所述第一相机的内参数初值、所述第二相机的内参数初值以及所述外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数；
测量单元，分别与所述优化单元、所述第一相机及所述第二相机连接，用于根据第一相机的最优内参数、第二相机的最优内参数及最优外参数，通过第一相机及第二相机对大尺寸工件进行测量。
可选地，所述二维坐标确定单元包括：
二值模块，分别与所述第一相机及所述第二相机连接，用于对各第一图像及各第二图像进行二值化处理，得到对应的二值图像；
标记模块，与所述二值化模块连接，用于对各二值图像进行连通区域标记，并采用灰度重心法求解各二值图像中连通区域亮度值的中心坐标；所述连通区域亮度值的中心坐标为回光反射球的像面二维坐标。
可选地，所述内参数初值包括焦距、主点在像面位置、径向畸变参数以及偏心畸变参数；
所述优化单元包括：
空间点坐标确定模块，分别与所述初始化单元及所述外参数确定单元连接，用于针对任一第二图像，根据所述第二相机的焦距、所述外方位参数初值及所述第二图像中两个回光反射球的像点坐标，确定所述第二图像中两个回光反射球的空间点坐标；
空间距离确定模块，与所述空间点坐标确定模块连接，用于根据两个回光反射球的空间点坐标，确定两个回光反射球之间的空间距离；
误差方程确定模块，分别与所述空间点坐标确定模块、所述空间距离确定模块、所述内参数获取单元及所述外参数确定单元连接，用于根据所述第一相机的内参数初值、所述第二相机的内参数初值、所述外方位参数初值、各第二图像中两个回光反射球的空间点坐标及空间距离，确定扩展误差方程；
最优参数确定模块，与所述误差方程确定模块连接，用于采用光束平差法，根据所述扩展误差方程，确定第一相机的最优内参数、第二相机的最优内参数及最优外参数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：利用长度尺两端的回光反射球的像面二维坐标构建大型空间虚拟标定场，并根据本质矩阵确定第二相机相对于所述第一相机的旋转矩阵及平移矩阵，采用光束平差法对两个相机的内参数初值及外方位参数初值进行优化，以实现双相机的联合标定，能够同时标定相机的内参数、外方位参数和畸变系数，降低了标定成本，并提高了精准度，为远距离大视场下大尺寸工件测量提供了参考及数据依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明超大范围视觉测量的双相机联合标定方法的流程示意图；
图2为本发明超大范围视觉测量的双相机联合标定系统的模块示意图；
图3为本发明超大范围视觉测量的双相机联合标定系统的结构示意图；
图4为无人机携带长度尺的结构示意图；
图5为长度尺重建误差直方图。
符号说明：
第一相机-1，第二相机-2，上位机-3，初始化单元-31，二维坐标确定单元-32，本质矩阵确定单元-33，外参数确定单元-34，优化单元-35，测量单元-36，无人机-4，长度尺-5，回光反射球-6，三脚架-7，同步触发器-8。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种超大范围视觉测量的双相机联合标定方法及系统，通过利用长度尺两端的回光反射球的像面二维坐标构建大型空间虚拟标定场，采用光束平差法对两个相机的内参数初值及外方位参数初值进行优化，以实现双相机的联合标定，无需建立标定墙，降低了标定成本，并提高了精准度，为远距离大视场下大尺寸工件测量提供了参考及数据依据。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明超大范围视觉测量的双相机联合标定方法包括：
S1：初始化第一相机和第二相机的内参数，得到第一相机的内参数初值及第二相机的内参数初值。所述内参数初值包括焦距c、主点在像面位置(x0,y0)、径向畸变参数K1、K2、K3以及偏心畸变参数P1和P2。
在本实施例中，首先采用静态摄影测量系统的方法对两台相机的内参数进行初值的标定，获取两台相机的内参数初值。再利用激光跟踪仪对长度尺两端的回光反射球的中心距离进行测量，得到长度尺长度L。
S2：通过无人机携带长度尺在测量空间中以各个姿态飞行。所述长度尺两端设置有回光反射球。具体地，测量空间优选为室外空间。无人机在测量空间中尽可能均匀分布，在每个位置上无人机旋转，使长度尺朝向不同方向，每个方向无人机悬停一次，以增加像面点观测数据的数量，也为光束平差提供多方向的长度约束。长度尺的一个位置和一个方向的组合为一个姿态。
S3：通过所述第一相机及所述第二相机采集每个姿态下长度尺两端的回光反射球的图像，得到图像集。所述图像集中包括多对第一图像及第二图像。所述第一图像为第一相机采集的图像，第二图像为第二相机采集的图像。
具体地，在无人机悬停时，两个相机同步采集每个姿态下回光反射球的图像。相机拍摄完一个位置的图像后，无人机移动至另一个位置进行悬停旋转拍摄。当完成长度尺的移动和旋转过程，回光反射球的空间坐标建立起覆盖测量空间的大型虚拟标定场。虚拟标定场提供了大量的三维空间点和空间距离，以此求解外方位参数初值和为自标定光束平差提供长度约束。
S4：确定各第一图像及各第二图像中各回光反射球的像面二维坐标。
S5：根据各第一图像及各第二图像中各回光反射球的像面二维坐标，确定本质矩阵。在本实施例中，采用五点法确定本质矩阵。具体地，根据5对不共线的回光反射球的像面二维坐标，确定本质矩阵。本发明采用五点法对相机进行相对定向。五点法仅使用五对像面匹配点的坐标求解图像之间的本质矩阵，通过分解本质矩阵获得两个相机之间的旋转矩阵和平移向量。相对于其他最少点算法，五点法求解了本质矩阵的解空间，不会丢失解，在处理平面场景时也能得到很好的效果。
S6：根据所述本质矩阵，确定所述第二相机相对于所述第一相机的旋转矩阵及平移矩阵。所述旋转矩阵及平移矩阵为所述第一相机与所述第二相机的外方位参数初值。
S7：采用光束平差法，对所述第一相机的内参数初值、所述第二相机的内参数初值以及所述外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数。
S8：根据第一相机的最优内参数、第二相机的最优内参数及最优外参数，通过第一相机及第二相机对大尺寸工件进行测量。在对两个相机完成标定后即可使用摄影测量的方法或者其他方法对大工件的尺寸进行测量。
进一步地，步骤S4具体包括：
S41：对各第一图像及各第二图像进行二值化处理，得到对应的二值图像。在本实施例中，采用im2bw函数对各第一图像及各第二图像二值化，得到对应的二值图像。
S42：对各二值图像进行连通区域标记，并采用灰度重心法求解各二值图像中连通区域亮度值的中心坐标。所述连通区域亮度值的中心坐标为回光反射球的像面二维坐标。具体地，根据以下公式，确定回光反射球的像面二维坐标：
Figure BDA0003521194720000091
其中，
Figure BDA0003521194720000092
为回光反射球的像面二维坐标，
Figure BDA0003521194720000093
为连通区域的像素点集合，f(u,v)为坐标为(u,v)的像素点的灰度值。
在步骤S4之前需要匹配第一相机及第二相机图像上的像点。利用图像上目标点(回光反射球)的稀疏性和相对位置关系匹配像面点。即每张图像只包含两个目标点(回光反射球)，因此第一图像中的上下左右点必定与第二图像中的上下左右点对应。
在测量领域，通常用相机模型表达三维场景信息与图像中二维信息间的关系。由于相机成像几何模型只与空间三维信息，相机各参数以及空间中各物体间相对运动参数有关，而与其二维图像灰度信息无关。因此，建立相机模型就是建立三维真实世界信息与图像二维空间信息之间的坐标关系，而该几何模型参数就是相机参数。为解决各相机参数解不唯一的问题，本发明通过相机之间的相对位姿对动态摄测量的外方位参数进行建模。模型通过将空间坐标系建立在左相机(第一相机)的相机坐标系上，使左相机外方位参数的角度和平移量均为零值，而右相机(第二相机)的外方位参数为右相机坐标系相对于左相机坐标系的刚体运动参数。采用相对外参数模型，双相机系统的待求外方位参数将减小为6个，消除了外方位参数同空间坐标之间的相关性，保证标定结果的可靠性和精度。
本发明在匹配完成后，将第一相机的光心为坐标原点的坐标系作为世界坐标系，确定第二相机相对于第一相机的位置和姿态。本质矩阵满足第一相机及第二相机原点到空间目标点的光线与基线共面的条件，根据第二相机坐标系通过旋转矩阵
Figure BDA0003521194720000101
及平移矩阵
Figure BDA0003521194720000102
可与第一相机进行转换。
其中，旋转矩阵R代表第二相机坐标系与第一相机坐标系之间的旋转变换，分别绕X、Y、Z轴的旋转角度
Figure BDA0003521194720000103
计算得到。
Figure BDA0003521194720000104
Figure BDA0003521194720000105
b1＝cos(ω)sin(κ)；
Figure BDA0003521194720000106
Figure BDA0003521194720000107
b2＝cos(ω)cos(κ)；
Figure BDA0003521194720000108
Figure BDA0003521194720000109
b3＝-sin(ω)；
Figure BDA00035211947200001010
推导得到公式：x'TK'-T[t]xRK-1x＝0，其中x,x'分别表示第一图像及第二图像中对应像点坐标[x y 1]'，K为第一相机的内参矩阵，K'为第二相机的内参矩阵。令X＝K-1x，X'＝K'-1x'，E＝[t]xR，化简公式为X'TEX＝0。其中E为本质矩阵，X与X’为对应像面二维坐标。将5对或者更多对不共线的回光反射点像面二维坐标代入上述公式进行求解，选择反投残差最小的解作为正确解，通过分解正确的本质矩阵得到旋转矩阵R及平移矩阵T，即得到相机之间的外方位参数初值
Figure BDA00035211947200001011
更进一步地，步骤S7具体包括：
S71：针对任一第二图像，根据所述第二相机的焦距、所述外方位参数初值及所述第二图像中两个回光反射球的像点坐标，确定所述第二图像中两个回光反射球的空间点坐标。具体地，根据以下公式，确定回光反射球的空间点坐标：
Figure BDA0003521194720000111
其中，(X,Y,Z)为回光反射球的空间点坐标，(xr,yr)在第二图像中回光反射球的像点坐标，c为焦距，
Figure BDA0003521194720000112
为旋转矩阵，
Figure BDA0003521194720000113
为平移矩阵，ω、
Figure BDA0003521194720000114
κ分别为第二相机相对于第一相机绕X、Y、Z轴的旋转角度，Tx、Ty、Tz分别为第二相机相对于第一相机沿X、Y、Z轴的平移量。
具体地，已知回光反射球在第二图像中对应的像点坐标(xr,yr)、相机的内方位参数初值[c x0 y0 K1 K2 K3 P1 P2]及相机之间的外方位参数初值
Figure BDA0003521194720000115
利用共线方程求解回光反射球的空间点坐标(X,Y,Z)。
S72：根据两个回光反射球的空间点坐标，确定两个回光反射球之间的空间距离。
S73：根据所述第一相机的内参数初值、所述第二相机的内参数初值、所述外方位参数初值、各第二图像中两个回光反射球的空间点坐标及空间距离，确定扩展误差方程。
S74：采用光束平差法，根据所述扩展误差方程，确定第一相机的最优内参数、第二相机的最优内参数及最优外参数。
由于在相对外方位参数求解过程中，没有考虑主点位置和畸变参数，因此得到的相对外方位参数是不精确的，需要通过光线束平差过程进一步优化。根据回光反射球的空间点坐标(X,Y,Z)可算出两个回光反射球之间的空间距离sm，将大量的空间距离引入光束平差过程，作为空间约束消除未知参数之间的相关性和法方程缺秩现象。
具体地，一个双相机动态摄影测量系统和n个姿态的长度尺成像结合，构建大型扩展误差方程：
Figure BDA0003521194720000121
其中，v是图像点的残余误差，表示像面目标点的测量坐标与真实坐标之间的偏差；l是简化的观测向量，表示像面目标点的测量坐标与利用各参数估计值求解得到的坐标之间的差别。A表示共线方程对于相机的内方位参数、畸变系数和外方位参数求导的雅可比矩阵；B表示共线方程对于空间点坐标求导的雅可比矩阵；
Figure BDA0003521194720000122
和
Figure BDA0003521194720000123
分别表示相机参数和空间坐标的改正量。通过误差方程对两相机内参数、相对外方位参数及回光反射球空间坐标进行最优化平差解算，最终优化得到相机的内外参数即完成了相机的标定与定向。
由于没有任何预标定信息，而自标定光束平差需要较为准确的参数初值，因此需要有效的方法求解定义的相对外方位参数。相对定向是计算机视觉中定位定向图片的常用技术，它仅利用目标点的像面坐标信息确定两张图像之间的旋转矩阵和平移向量，非常适合求解动态摄影测量相机的相对外方位参数。
在估计相对外方位参数的阶段，相机的主点坐标和畸变参数都设置为零，在后续平差过程中完成全部参数的优化。对于一个空间点，其左右的共线方程简化表达为：
Figure BDA0003521194720000124
其中，xyli是第一相机(左相机)中空间点i的像面点坐标向量，xyri是第二相机(右相机)中空间点i的像面点坐标向量；Il是左相机的内参数向量，Ir是右相机的内参数向量；Er是右相机相对于左相机的外方位参数向量，包括三个角度和三个平移量；Xi是空间点i的三维坐标向量。对于任意像面点，共线方程的线性变化近似为：
Figure BDA0003521194720000131
其中，vli是第一图像中图像点的残余误差，vri是第一图像中图像点的残余误差，lli是第一图像简化的观测向量，lri是第二图像简化的观测向量。Ali表示共线方程f对于第一相机的内方位参数、畸变系数和外方位参数求导的雅可比矩阵，Ari表示共线方程f对于第二相机的内方位参数、畸变系数和外方位参数求导的雅可比矩阵，Bli表示共线方程f对于第一图像中空间点坐标求导的雅可比矩阵，Bri表示共线方程f对于第二图像中空间点坐标求导的雅可比矩阵，δl和
Figure BDA0003521194720000132
分别表示第一相机参数和回光反射球空间坐标的改正量，δr和
Figure BDA0003521194720000133
分别表示第二相机参数和空间坐标的改正量。
n个姿态的长度尺提供2n个空间点，按照左右相机的像面上成像，还提供了空间中n个点-点距离作为约束条件，其中第m个距离为：
Figure BDA0003521194720000134
其中，sm为第m姿态下长度尺上的两个回光反射球之间的距离，m1和m2表示第m姿态下长度尺上的两个回光反射球，(Xm1,Ym1,Zm1)和(Xm2,Ym2,Zm2)分别为第m姿态下长度尺上两个回光反射球的空间点坐标。为了使非线性表达式作为约束条件参与光束平差计算过程，需要将其线性化，其线性改正方程为：
Figure BDA0003521194720000135
其中，Cm1和Cm2分别表示第m姿态下距离方程对于两个回光反射球空间坐标求导的雅可比矩阵，δm1和
Figure BDA0003521194720000136
分别表示第m姿态下两个回光反射球坐标的改正量。
本发明将标志点-点距离引入光束平差过程，作为空间约束消除未知参数之间的相关性。双相机系统对n个长度尺姿态成像，包含像点误差方程和点-点距离约束的扩展误差方程：
Figure BDA0003521194720000141
其中，下标(i,j,j)表示第i(i＝1,2)台相机上第j(j＝1,2,…,n)个姿态的长度尺上第k(k＝1,2)个回光反射球的成像点。
误差方程对应的法方程为：
Figure BDA0003521194720000142
其中，P表示图像点和空间距离数据权重的对角矩阵。由于误差改正方程中系数矩阵N为(22+6n)×(22+6n)矩阵，n为长度尺的姿态数，解算系数矩阵运算量庞大，故采用分块矩阵的方式进行解算，得到相机参数与回光反射球空间坐标的改正量δ，通过迭代的方式不断修正相机参数和回光反射球空间坐标的估计值，直至光束平差过程收敛。
在双相机标定与定向结束后，通过相机内方位参数和外方位参数的方差-协方差矩阵解算得到的后验单位权中误差值进行标定结果的精度评价。由于各姿态下两端回光反射球中心的距离L已知，可将重建长度尺的均方根误差与测量空间体对角线长度的比值作为系统外部精度评价。
如图2、图3和图4所示，本发明超大范围视觉测量的双相机联合标定系统包括：第一相机1、第二相机2、无人机4、长度尺5及上位机3；所述长度尺5的两端设置有回光反射球6。
所述无人机4用于携带所述长度尺5在测量空间中以各个姿态飞行。
所述第一相机1及所述第二相机2用于采集长度尺5两端的回光反射球6的图像，得到图像集；所述图像集中包括多对第一图像及第二图像；所述第一图像为第一相机1采集的图像，第二图像为第二相机2采集的图像。
所述上位机3包括：初始化单元31、二维坐标确定单元32、本质矩阵确定单元33、外参数确定单元34、优化单元35及测量单元36。
其中，所述初始化单元31分别与所述第一相机1及所述第二相机2连接，所述初始化单元31用于初始化第一相机1和第二相机2的内参数，得到第一相机1的内参数初值及第二相机2的内参数初值。
所述二维坐标确定单元32分别与所述第一相机1及所述第二相机2连接，所述二维坐标确定单元32用于确定各第一图像及各第二图像中各回光反射球6的像面二维坐标。
所述本质矩阵确定单元33与所述二维坐标确定单元32连接，所述本质矩阵确定单元33用于根据各第一图像及各第二图像中各回光反射球6的像面二维坐标，确定本质矩阵。
所述外参数确定单元34与所述本质矩阵确定单元33连接，所述外参数确定单元34用于根据所述本质矩阵，确定所述第二相机2相对于所述第一相机1的旋转矩阵及平移矩阵。所述旋转矩阵及平移矩阵为所述第一相机1与所述第二相机2的外方位参数初值。
所述优化单元35分别与所述初始化单元31及所述外参数确定单元34连接，所述优化单元35用于采用光束平差法，对所述第一相机1的内参数初值、所述第二相机2的内参数初值以及所述外方位参数初值进行优化，得到第一相机1的最优内参数、所述第二相机2的最优内参数及最优外参数。
所述测量单元36分别与所述优化单元35、所述第一相机1及所述第二相机2连接，所述测量单元36用于根据第一相机1的最优内参数、第二相机2的最优内参数及最优外参数，通过第一相机1及第二相机2对大尺寸工件进行测量。
进一步地，所述二维坐标确定单元32包括二值模块及标记模块。
其中，所述二值模块分别与所述第一相机1及所述第二相机2连接，所述二值模块用于对各第一图像及各第二图像进行二值化处理，得到对应的二值图像。
所述标记模块与所述二值化模块连接，所述标记模块用于对各二值图像进行连通区域标记，并采用灰度重心法求解各二值图像中连通区域亮度值的中心坐标；所述连通区域亮度值的中心坐标为回光反射球6的像面二维坐标。
更进一步地，所述内参数初值包括焦距、主点在像面位置、径向畸变参数以及偏心畸变参数；
所述优化单元35包括：空间点坐标确定模块、空间距离确定模块、误差方程确定模块及最优参数确定模块。
其中，所述空间点坐标确定模块分别与所述初始化单元31及所述外参数确定单元34连接，所述空间点坐标确定模块用于针对任一第二图像，根据所述第二相机的焦距、所述外方位参数初值及所述第二图像中两个回光反射球的像点坐标，确定所述第二图像中两个回光反射球的空间点坐标。
所述空间距离确定模块与所述空间点坐标确定模块连接，所述空间距离确定模块用于根据两个回光反射球的空间点坐标，确定两个回光反射球之间的空间距离。
所述误差方程确定模块分别与所述空间点坐标确定模块、所述空间距离确定模块、所述内参数获取单元及所述外参数确定单元34连接，所述误差方程确定模块用于根据所述第一相机1的内参数初值、所述第二相机2的内参数初值、所述外方位参数初值、各第二图像中两个回光反射球的空间点坐标及空间距离，确定扩展误差方程。
所述最优参数确定模块与所述误差方程确定模块连接，所述最优参数确定模块用于采用光束平差法，根据所述扩展误差方程，确定第一相机的最优内参数、第二相机的最优内参数及最优外参数。
为确保两台相机相对位置及绝对位置在测量期间不发生变化，保证测量结果的准确性，本发明超大范围视觉测量的双相机联合标定系统还包括三脚架7。所述三脚架7的数量为两个，两个三脚架7分别用于固定第一相机1及第二相机2的站位。
为在拍摄照片的同时照亮被测物，本发明超大范围视觉测量的双相机联合标定系统还包括闪光灯。所述闪光灯设置在第一相机1及第二相机2上。另外，为减少环境光源的影响，实验在夜晚进行。
本发明超大范围视觉测量的双相机联合标定系统还包括同步触发器8。在本实施例中，所述同步触发器8采用阿尔泰USB3202-0数据采集卡。通过改变高低电平，将采图信号同步发送给两台相机，保证左右相机和闪光灯在同一时刻同时曝光并采集照片。当测量中背景图像信息较多时，可减小快门时间降低背景亮度，增加闪光强度，提高目标亮度。
第一相机1及第二相机2的接口分为4个，分别是网线口、信号输入、信号输出及电源。其中，网线连接电脑，负责传输前端相机采集到的图片。信号输入通过USB数据采集器接入相机，为相机提供同步拍照信号。信号输出连接至闪光灯，保证闪光灯在相机拍照的同一时刻触发。电源线为相机供电。相机图像采集通过使用配套的GigE Sample Viewerforwindows v1.26软件实现。
在系统准备就绪后，操控无人机4携带长度尺5飞至测量空间，为了达到精确标定相机内方位参数和畸变系数的目的，无人机4在测量空间中尽可能均匀分布，在每个位置上旋转长度尺5至不同方向，以增加像面点观测数据的数量，也为光束平差提供多方向的长度约束。
为了更好的理解本发明的方案，下面结合具体实验过程进一步进行说明。
在实验过程中，测量空间尺寸为40m(长度)×10m(宽度)×14m(深度)，相机的分辨率均为4872×3248像素，像元尺寸均为7.4μm×7.4μm。对携带长度尺的无人机拍摄了40个姿态图片。表1列出了光束平差优化后的内方位参数及畸变系数的标定结果及后验标准差，表2列出了相对外方位参数的标定结果。
表1光束平差后内方位参数和畸变系数的标定结果
Figure BDA0003521194720000181
表2两台相机相对外方位参数的标定结果
Figure BDA0003521194720000182
根据上述数据可以发现，本发明成功标定了各相机的内外参数。通过重建虚拟长度阵列验证相机标定精度，其中数字代表第几个姿态。由图可知，长度尺分布与实际拍摄位置一致。
表3重建长度尺长度的平均误差、均方根误差和最大误差
Figure BDA0003521194720000191
表3展示了经过三维重建得到的长度尺长度误差的统计结果。40个姿态重建长度尺平均长度为983.3918mm，利用激光跟踪仪测定长度尺长度为983.1979mm，长度尺长度平均误差为0.1939mm，均方根误差为2.3163mm，其相对精密度约为1/20000。图5为长度尺长度重建误差附有正态密度曲线的直方图，其中误差值是指与重建长度均值的差值，可见长度重建误差呈现明显的正态分布，表明标定结果没有系统误差。
从实验结果与精度分析中可以发现，相机的标定结果具有很高的可靠性和准确度，利用本发明可以方便、精确并且同时标定双相机系统的内外参数；根据实验数据及分析，测量网络是误差来源，自标定对于测量网络有很高的要求，需要稳定且空间分布均匀的三维点阵列，而无人机受环境影响较为严重导致较难满足理想的网形构建从而导致误差的产生，后续可使用稳定性更好的无人机平台，使其控制精确度更高，保证网形构建的标准程度。
本发明将理论解算模型从室内扩展到室外，验证了该方法在超大范围下具有很高的可靠性和准确度。本发明仅使用一根长度尺和一架无人机构建标定场即可完成标定。与以往的方法不同的是：利用长度尺构建大型空间虚拟标定场取代了传统标定场，利用空间长度作为约束进行双相机系统联合平差解算，能够同时标定两个相机的内参数、外方位参数和畸变系数，解决了传统方法视场小、成本高、制作难和布置繁琐等问题，具有更强的灵活性。为远距离大视场下大尺寸工件测量提供了参考及数据依据，具有更强的适用性与泛用性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种超大范围视觉测量的双相机联合标定方法，其特征在于，所述超大范围视觉测量的双相机联合标定方法包括：
初始化第一相机和第二相机的内参数，得到第一相机的内参数初值及第二相机的内参数初值；
通过无人机携带长度尺在测量空间中以各个姿态飞行；所述长度尺两端设置有回光反射球；
通过所述第一相机及所述第二相机采集每个姿态下长度尺两端的回光反射球的图像，得到图像集；所述图像集中包括多对第一图像及第二图像；所述第一图像为第一相机采集的图像，第二图像为第二相机采集的图像；
确定各第一图像及各第二图像中各回光反射球的像面二维坐标；
根据各第一图像及各第二图像中各回光反射球的像面二维坐标，确定本质矩阵；
根据所述本质矩阵，确定所述第二相机相对于所述第一相机的旋转矩阵及平移矩阵；所述旋转矩阵及平移矩阵为所述第一相机与所述第二相机的外方位参数初值；
采用光束平差法，对所述第一相机的内参数初值、所述第二相机的内参数初值以及所述外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数；
根据第一相机的最优内参数、第二相机的最优内参数及最优外参数，通过第一相机及第二相机对大尺寸工件进行测量。
2.根据权利要求1所述的超大范围视觉测量的双相机联合标定方法，其特征在于，所述确定各第一图像及各第二图像中各回光反射球的像面二维坐标，具体包括：
对各第一图像及各第二图像进行二值化处理，得到对应的二值图像；
对各二值图像进行连通区域标记，并采用灰度重心法求解各二值图像中连通区域亮度值的中心坐标；所述连通区域亮度值的中心坐标为回光反射球的像面二维坐标。
3.根据权利要求2所述的超大范围视觉测量的双相机联合标定方法，其特征在于，所述对各第一图像及各第二图像进行二值化处理，得到对应的二值图像，具体包括：
采用im2bw函数对各第一图像及各第二图像二值化，得到对应的二值图像。
4.根据权利要求2所述的超大范围视觉测量的双相机联合标定方法，其特征在于，根据以下公式，确定回光反射球的像面二维坐标：
Figure FDA0003521194710000021
其中，
Figure FDA0003521194710000022
为回光反射球的像面二维坐标，
Figure FDA0003521194710000023
为连通区域的像素点集合，f(u,v)为坐标为(u,v)的像素点的灰度值。
5.根据权利要求1所述的超大范围视觉测量的双相机联合标定方法，其特征在于，所述根据各第一图像及各第二图像中各回光反射球的像面二维坐标，确定本质矩阵，具体包括：
根据5对不共线的回光反射球的像面二维坐标，确定本质矩阵。
6.根据权利要求1所述的超大范围视觉测量的双相机联合标定方法，其特征在于，所述内参数初值包括焦距、主点在像面位置、径向畸变参数以及偏心畸变参数；
所述采用光束平差法，对所述第一相机的内参数初值、所述第二相机的内参数初值以及所述外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数，具体包括：
针对任一第二图像，根据所述第二相机的焦距、所述外方位参数初值及所述第二图像中两个回光反射球的像点坐标，确定所述第二图像中两个回光反射球的空间点坐标；
根据两个回光反射球的空间点坐标，确定两个回光反射球之间的空间距离；
根据所述第一相机的内参数初值、所述第二相机的内参数初值、所述外方位参数初值、各第二图像中两个回光反射球的空间点坐标及空间距离，确定扩展误差方程；
采用光束平差法，根据所述扩展误差方程，确定第一相机的最优内参数、第二相机的最优内参数及最优外参数。
7.根据权利要求6所述的超大范围视觉测量的双相机联合标定方法，其特征在于，根据以下公式，确定回光反射球的空间点坐标：
Figure FDA0003521194710000031
Figure FDA0003521194710000032
b1＝cos(ω)sin(κ)；
Figure FDA0003521194710000033
Figure FDA0003521194710000034
b2＝cos(ω)cos(κ)；
Figure FDA0003521194710000035
Figure FDA0003521194710000036
b3＝-sin(ω)；
Figure FDA0003521194710000037
其中，(X,Y,Z)为回光反射球的空间点坐标，(xr,yr)在第二图像中回光反射球的像点坐标，c为焦距，
Figure FDA0003521194710000038
为旋转矩阵，
Figure FDA0003521194710000039
为平移矩阵，ω、
Figure FDA00035211947100000310
κ分别为第二相机相对于第一相机绕X、Y、Z轴的旋转角度，Tx、Ty、Tz分别为第二相机相对于第一相机沿X、Y、Z轴的平移量。
8.一种超大范围视觉测量的双相机联合标定系统，其特征在于，所述超大范围视觉测量的双相机联合标定系统包括：第一相机、第二相机、无人机、长度尺及上位机；所述长度尺的两端设置有回光反射球；
所述无人机用于携带所述长度尺在测量空间中以各个姿态飞行；
所述第一相机及所述第二相机用于采集长度尺两端的回光反射球的图像，得到图像集；所述图像集中包括多对第一图像及第二图像；所述第一图像为第一相机采集的图像，第二图像为第二相机采集的图像；
所述上位机包括：
初始化单元，分别与所述第一相机及所述第二相机连接，用于初始化第一相机和第二相机的内参数，得到第一相机的内参数初值及第二相机的内参数初值；
二维坐标确定单元，分别与所述第一相机及所述第二相机连接，用于确定各第一图像及各第二图像中各回光反射球的像面二维坐标；
本质矩阵确定单元，与所述二维坐标确定单元连接，用于根据各第一图像及各第二图像中各回光反射球的像面二维坐标，确定本质矩阵；
外参数确定单元，与所述本质矩阵确定单元连接，用于根据所述本质矩阵，确定所述第二相机相对于所述第一相机的旋转矩阵及平移矩阵；所述旋转矩阵及平移矩阵为所述第一相机与所述第二相机的外方位参数初值；
优化单元，分别与所述初始化单元及所述外参数确定单元连接，用于采用光束平差法，对所述第一相机的内参数初值、所述第二相机的内参数初值以及所述外方位参数初值进行优化，得到第一相机的最优内参数、所述第二相机的最优内参数及最优外参数；
测量单元，分别与所述优化单元、所述第一相机及所述第二相机连接，用于根据第一相机的最优内参数、第二相机的最优内参数及最优外参数，通过第一相机及第二相机对大尺寸工件进行测量。
9.根据权利要求8所述的超大范围视觉测量的双相机联合标定系统，其特征在于，所述二维坐标确定单元包括：
二值模块，分别与所述第一相机及所述第二相机连接，用于对各第一图像及各第二图像进行二值化处理，得到对应的二值图像；
标记模块，与所述二值化模块连接，用于对各二值图像进行连通区域标记，并采用灰度重心法求解各二值图像中连通区域亮度值的中心坐标；所述连通区域亮度值的中心坐标为回光反射球的像面二维坐标。
10.根据权利要求8所述的超大范围视觉测量的双相机联合标定系统，其特征在于，所述内参数初值包括焦距、主点在像面位置、径向畸变参数以及偏心畸变参数；
所述优化单元包括：
空间点坐标确定模块，分别与所述初始化单元及所述外参数确定单元连接，用于针对任一第二图像，根据所述第二相机的焦距、所述外方位参数初值及所述第二图像中两个回光反射球的像点坐标，确定所述第二图像中两个回光反射球的空间点坐标；
空间距离确定模块，与所述空间点坐标确定模块连接，用于根据两个回光反射球的空间点坐标，确定两个回光反射球之间的空间距离；
误差方程确定模块，分别与所述空间点坐标确定模块、所述空间距离确定模块、所述内参数获取单元及所述外参数确定单元连接，用于根据所述第一相机的内参数初值、所述第二相机的内参数初值、所述外方位参数初值、各第二图像中两个回光反射球的空间点坐标及空间距离，确定扩展误差方程；
最优参数确定模块，与所述误差方程确定模块连接，用于采用光束平差法，根据所述扩展误差方程，确定第一相机的最优内参数、第二相机的最优内参数及最优外参数。
CN202210181441.0A 2022-02-25 2022-02-25 一种超大范围视觉测量的双相机联合标定方法及系统 Pending CN114663520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210181441.0A CN114663520A (zh) 2022-02-25 2022-02-25 一种超大范围视觉测量的双相机联合标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210181441.0A CN114663520A (zh) 2022-02-25 2022-02-25 一种超大范围视觉测量的双相机联合标定方法及系统

Publications (1)

Publication Number Publication Date
CN114663520A true CN114663520A (zh) 2022-06-24

Family

ID=82027368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210181441.0A Pending CN114663520A (zh) 2022-02-25 2022-02-25 一种超大范围视觉测量的双相机联合标定方法及系统

Country Status (1)

Country Link
CN (1) CN114663520A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188602A (zh) * 2023-04-26 2023-05-30 西北工业大学青岛研究院 水下多目视觉三维成像系统高精度标定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188602A (zh) * 2023-04-26 2023-05-30 西北工业大学青岛研究院 水下多目视觉三维成像系统高精度标定方法

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN108844459B (zh) 一种叶片数字化样板检测系统的标定方法及装置
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN108362266B (zh) 一种基于ekf激光测距辅助单目视觉测量方法和系统
CN103759670B (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN108981604A (zh) 一种基于线激光的精密零件三维全貌测量方法
CN108106637B (zh) 一种分布式pos的精度检校方法和装置
CN108648242B (zh) 基于激光测距仪辅助无公共视场的两相机标定方法及装置
CN109141226A (zh) 单相机多角度的空间点坐标测量方法
CN114998499A (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN111486864B (zh) 基于立体正八边结构的多源传感器联合标定方法
CN112985293B (zh) 一种单像机双球面镜镜像双目视觉测量系统和测量方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN111561868A (zh) 一种利用光学跟踪结构光扫描器实现天线型面非接触测量的方法
CN110030926B (zh) 激光束空间位姿的标定方法
CN114993608B (zh) 一种风洞模型三维姿态角测量方法
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN116051659B (zh) 一种线阵相机与2d激光扫描仪联合标定方法
CN111879354A (zh) 一种无人机精细化测量系统
CN115638726A (zh) 一种固定扫摆式多相机视觉测量方法
CN111915685A (zh) 一种变焦摄像机标定方法
CN114663520A (zh) 一种超大范围视觉测量的双相机联合标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination