CN114612573A - 一种无公共视野的多图像传感器全局标定系统及方法 - Google Patents
一种无公共视野的多图像传感器全局标定系统及方法 Download PDFInfo
- Publication number
- CN114612573A CN114612573A CN202210261153.6A CN202210261153A CN114612573A CN 114612573 A CN114612573 A CN 114612573A CN 202210261153 A CN202210261153 A CN 202210261153A CN 114612573 A CN114612573 A CN 114612573A
- Authority
- CN
- China
- Prior art keywords
- image sensor
- coordinate system
- laser
- image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 229910000831 Steel Inorganic materials 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 3
- 239000010959 steel Substances 0.000 claims description 3
- YZCKVEUIGOORGS-IGMARMGPSA-N Protium Chemical compound [1H] YZCKVEUIGOORGS-IGMARMGPSA-N 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种无公共视野的多图像传感器全局标定系统及方法，主要包括固定系统、多图像传感系统以及特制标定系统。步骤为：先利用棋盘格获得单个图像传感器内外参数，再采用棋盘格和平面拟合法获得图像传感器坐标系下的激光平面方程，最后，通过特制靶标系统得到多个图像传感器坐标系之间的转换矩阵，实现无公共视野多个图像传感器的全局标定目的。本发明采用线激光器和空间中的直线关系来完成标定，无需借助高精密的三维坐标测量装置，操作简单、测量精度较高，且特制靶标制作成本较低，能满足各种复杂环境中多图像传感器之间的全局标定。
Description
技术领域
本发明属于计算机视觉测量技术领域，具体涉及一种无公共视野的多图像传感器全局标定系统及方法。
背景技术
目前，对无公共视野的多图像传感器进行全局标定的方法大致可以分为三类。
一是基于高精度的三维坐标测量仪器，比如双经纬仪、激光跟踪仪。这种借助高精度辅助三维测量设备的方法，可以对大视场的多图像传感器进行较高精度的全局标定，但装配效率比较低，且设备较为昂贵，使用较为复杂，难以在实际工业生产中对多图像传感器进行快速的标定。
二是基于自标定的方法，通过让多图像传感器获取各自视场内具有特殊结构的物体或场景，来完成对图像传感器内外参数以及三维中物体轨迹的建立。但这种方法精度很难满足在实际工业生产中精度要求。
三是基于辅助靶标的方法，常用的辅助靶标有平面镜、两个相连的二维棋盘格靶标、一维靶标。其中基于平面镜法是通过调整平面镜，让多个图像传感器可以同时观测到同一个物体，从而实现全局标定，但这种方法难以适用于中长距离的多图像传感器标定；基于两个相连的二维棋盘格靶标，可以实现较远距离的多图像传感器全局标定，但对环境稍微复杂的测量系统，则难以进行全局标定；基于一维靶标的方法，是通过借助一维靶标点特征点共线性质和已知距离完成全局标定，适用于各种复杂环境，但因为受加工精度的影响，难以得到一个较高的标定精度。
在上述三类方法中，基于高精度的三维坐标测量仪器的全局标定方法，精度较高，但是价格昂贵、维护较难，难以在实际生产中大规模、大批量使用。基于自标定方法的全局标定，精度较低，且难以在较复杂的环境中使用。基于辅助靶标的全局标定方法，操作简单，且精度完全满足实际工业生产的要求，但基于平面镜和两个相连的棋盘格靶标方法难以在复杂环境使用，一维靶标也难以保证其加工精度，所以有必要设计一种操作简单、精度较高、满足复杂生产环境的多图像传感器全局标定系统及方法。
发明内容
本发明在于克服以上全局标定方式不足，提出一种基于辅助靶标的多图像传感器全局标定系统及方法，可以有效解决背景技术中的问题。
为了解决以上技术问题，本发明的技术方案是。
一种无公共视野的多图像传感器全局标定系统及方法，包括固定系统、多图像传感系统以及特制标定系统；所述固定系统包括竖直支撑杆、横向支撑杆、固定杆和横梁；所述竖直支撑杆通过螺栓连接方式固定在横向支撑杆中间部位，且垂直于横向支撑杆和地面；所述横向支撑杆与固定杆通过螺栓连接方式相固定，且与地面保持平行；所述横梁通过螺栓连接方式固定在竖直支撑杆远离横向支撑杆的一端，与固定杆轴线方向一致，且位于两竖直支撑杆之间，并平行于地面；所述多图像传感系统包括图像传感器夹具、图像传感器、激光器夹具和激光器；所述图像传感器通过图像传感器夹具与横梁连接；所述激光器通过激光器夹具与横梁相连接，且图像传感器与激光器位于横梁的同一侧；所述特制标定系统包括旋紧螺母、固定块、支撑板、检测线；所述支撑板的长度要保证检测线同时在两个图像传感器的视野中；所述固定块通过螺钉连接方式固定在支撑板的两端；所述检测线(表面光滑，重量较轻，直径较小，拉伸性较差)穿过两侧固定块，且在空间中不重合、不平行；所述旋紧螺母将检测线的两端分别固定在固定块两端，且微调过后，能使检测线在空间中时刻处于紧绷或者拉直状态。
一种无公共视野的多图像传感器全局标定系统及方法，其特征在于：包括以下步骤：
S1、全局标定系统的搭建：
S1.1通过螺栓连接方式将两根固定杆与两根横向支撑杆固定成一个四边形框架，并平行于地面放置，其中两根固定杆相互平行、两根横向支撑杆相互平行，且固定杆与横向支撑杆之间夹角为90度；
S1.2通过螺栓连接方式将两根竖直支撑杆分别固定在两横向支撑杆中间，且垂直于横向支撑杆和地面；
S1.3通过螺栓连接方式将横梁固定在竖直支撑杆远离横向支撑杆的一端，将两竖直支撑杆进行相连，且横梁长度方向与固定杆方向一致，并平行于地面，距离地面高度根据实际情况确定；
S1.4将图像传感器通过图像传感器夹具固定在横梁上，激光器通过激光器夹具固定在横梁上，在横梁的同一侧依次固定两组装置，其中每组依次为一个图像传感器和两个激光器，且图像传感器与激光器之间距离、两激光器之间距离、两组装置中图像传感器之间距离均根据实际情况确定；
S1.5调整2个图像传感器与4个激光器的角度与位置，使每个激光器投射出的线激光垂直于地面，且每组中的两激光器产生的线激光位于该组中图像传感器所拍摄图像的中线两侧；
S2、单个图像传感器标定：
S2.1通过高精度水平仪与钢尺检测上述S1.5中的每组中激光器与图像传感器的安装角度与位置是否合适；
S2.2调整图像传感器的光圈与焦距旋钮，使其成像清晰；
S2.3采用棋盘格对单个图像传感器进行标定：
将激光线投射在棋盘格上黑白格外部的空白地方，不断变换棋盘格的位置与姿态，拍摄15-20张分别带有两个激光器所投射出激光线的棋盘格；
S2.4通过matlab中相机标定工具箱，完成对每组中图像传感器的标定，获得每个图像传感器的内外参数以及畸变系数；
重复步骤S2.1-S2.4,完成对两个图像传感器的分别标定；
S3、单个激光平面标定：
在上述S2步骤完成图像传感器标定的基础上，对线激光平面进行标定，即获取线激光平面在图像传感器坐标系下的平面方程；
S3.1提取棋盘格靶标上的激光条纹中心线：
对上述S2.3中拍摄的带有激光条纹的图像进行灰度与二值化处理，利用灰度重心法提取激光条纹中心线；
S3.2在像素坐标系下拟合光条纹直线方程：
以图像传感器采集的图像的左上角为原点o，水平向右为u轴，竖直向下为v轴建立像素坐标系o-uv。将S3.1中通过灰度重心法提取的激光条纹中心线进行最小二乘法拟合，得到像素坐标系下的直线方程；
S3.3在图像坐标系下拟合光条纹直线方程：
以图像传感器采集的图像的中心为原点O，水平向右为X轴，竖直向下为Y轴建立图像坐标系O-XY,将S3.2中拟合的以pixel为单位的像素坐标系下的直线方程，转换为以mm为单位的图像坐标系下的直线方程；
S3.4在图像传感器坐标系下拟合光条纹直线方程：
以图像传感器(201)的光心为原点oc,建立图像传感器坐标系oc-xcyczc，确定在图像传感器坐标系下的激光条纹直线方程；
S3.5求出过图像传感器(201)原点oc与图像中光条纹中心直线所确定的图像传感器坐标系下的平面方程；
S3.6求出带有激光条纹的棋盘格靶标平面在图像传感器坐标系下的平面方程：
在棋盘格靶标平面上建立世界坐标系ow-xwywzw，使owxwyw平面与棋盘格靶标平面相重合，再用右手法则确定zw轴，从而确定棋盘格靶标平面在世界坐标系ow-xwywzw下的方程，再通过上述S2.4中标定出棋盘格外部旋转与平移参数，将棋盘格靶标平面在世界坐标系ow-xwywzw下的方程转换为在图像传感器坐标系oc-xcyczc下的平面方程；
S3.7求出棋盘格靶标上激光条纹中心线在图像传感器坐标下的直线方程：
上述S3.5中已求出过图像传感器原点与光条纹中心直线所确定的图像传感器坐标系下的平面方程，S3.6中已求出带有激光条纹的棋盘格靶标平面在图像传感器坐标系下的平面方程，则由两个平面可以求出激光条纹中心线在图像传感器坐标系下的之下方程；
S3.8拟合激光平面在图像传感器坐标系下平面方程：
重复步骤S3.1-S3.8，将步骤S2.3中拍摄的15-20张图片都进行处理，得到每张图片中拍摄的光条纹中心线在图像传感器坐标系中的直线方程；
将求出的多条直线方程通过最小二乘方式拟合成平面，得到激光平面在图像传感器坐标系下的平面方程；
S3.9获得光条纹中心线上的点在以pixel为单位像素坐标下与以mm为单位的图像传感器坐标系下的坐标的对应关系：
光条纹中心线上的点在以pixel为单位像素坐标下与以mm为单位的图像传感器坐标系下的坐标对单应性矩阵为：
式中：s为对应光条纹中心线上的点在图像传感器坐标系oc-xcyczc下zc坐标的值，H为3*4矩阵，是图像传感器的内参，可由步骤S2.4中图像传感器的内参得到；
最终将光条纹中心线在图像传感器坐标系oc-xcyczc下的平面方程与该式子进行连立，知道空间中光条纹中心线上某一点在以pixel为单位的像素坐标系下的坐标，则可计算出该点在以mm为单位的图像传感器坐标系下的坐标，完成对单个激光平面的标定；
S4、多个无公共视野图像传感器之间的全局标定：
S4.1通过步骤S3,依次完成对4个激光平面的标定，便可得到每个激光条纹中心线上的点在各自对应图像传感器坐标系下的坐标；
S4.2连接2个图像传感器和4个激光器，将特制靶标放在两图像传感器的视野中，使4个激光器照射激光线落在特制靶标的检测线上，且能在图像传感器中清晰的观测到；
S4.3在完成上述步骤的基础上，通过两图像传感器拍摄照射在特制靶标上激光条纹，且每个图像传感器拍摄的图像中有两条激光线；
S4.4设特制标定板上的两条检测线分别为l1，l2；设激光器照射出激光线在检测线上的中心点在像素坐标系ouv下的坐标为qK ij，(k表示第k个图像传感器，i表示第i条检测线，j表示第j个激光器)，在图像传感器坐标系oc-xcyczc下的坐标为QK ij，(k表示第k个图像传感器，i表示第i条检测线，j表示第j个激光器)。其中qK ij可在步骤S4.3中图像传感器拍摄的图像中提取出来，QK ij可通过步骤S4.1中标定出的激光平面在图像传感器坐标系下的直线方程，由对应的qK ij计算得到；
S4.5求取检测线在图像传感器坐标系中的方向单位向量：设检测线在图像传感器坐标系oc-xcyczc下的方向单位向量为nk t(其中k表示第k个图像传感器，t表示第t条检测线)，则检测线l1在图像传感器坐标系下的方向单位向量为：
同理可得检测线l2在图像传感器坐标系下的方向单位向量n1 2，n2 2；
S4.6求第二个图像传感器坐标系到第一个图像传感器坐标系的旋转矩阵：设第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的旋转矩阵为R(3*3矩阵)，根据n1 1，n2 1，n1 2，n2 2可得：
若rank[n2 1, n2 2, n2 1×n2 2]=3，则可唯一求解第二个图像图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的旋转矩阵R,求解公式为：
S4.7求第二个图像传感器坐标系到第一个图像传感器坐标系的平移矩阵：
设在第二个图像传感器坐标系o2 c-x2 cy2 cz2 c中的坐标点Q2 ij(i表示第i条检测线，j表示第j个激光器)在第一个图像传感器坐标系o1 c-x1 cy1 cz1 c中的坐标记为
式中T为3*1矩阵是第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的平移矩阵；
设Q2 ij=(x2 ij,y2 ij,z2 ij),
1 ij=(
1 ij,
1 ij,
1 ij),其中Q2 ij为已知参数，已在步骤S4.4中获得，
1 ij为未知参数。将两点坐标带入上式可得：
式中：r1,r2,r3为旋转矩阵R的列向量，平移矩阵T=[tx,ty,tz]T；
设同一条检测线在第一个图像传感器中存在三个坐标点：Q1 11，Q1 12，1 11，这三点存在共线约束关系，如:
将上一个式子带入此式，便可求得第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的平移矩阵；
至此，便可求得两个图像传感器坐标系之间转换矩阵，完成两个图像传感器之间的全局标定；多个图像传感器之间的全局标定，可按照步骤S4.1-S4.6进行两两图像传感器之间的标定，再将所有图像传感器坐标系转换到同一个图像传感器坐标系上，从而完成标定。
附图说明
附图1为多图像传感器全局标定组成示意图。
附图2为特制标定系统组成示意图。
附图3为进行激光平面标定的数学模型。
附图4为单个激光平面进行标定的流程图。
附图中：10、固定系统 100、横向支撑杆 101、固定杆 102、竖直支撑杆 103、横梁20、多图像传感系统 200、图像传感器夹具 201、图像传感器 202、激光器夹具 203、激光器30、特制标定系统 300、旋紧螺母 301、固定块 302、支撑板 303、检测线。
具体实施方式
为了使本发明专利的目的、特征和优点能够更清楚表达，下面结合附图对本发明专利的具体实施方式做详细说明。
如图1所示，一种无公共视野的多图像传感器全局标定系统及方法，包括固定系统(10)、多图像传感系统(20)以及特制标定系统(30)；所述固定系统(10)包括横向支撑杆(100) 、固定杆(101)、竖直支撑杆(102)和横梁(103)；所述竖直支撑杆(102)通过螺栓连接方式固定在横向支撑杆(100)中间部位，且垂直于横向支撑杆(100)和地面；所述横向支撑杆(100)与固定杆(101)通过螺栓连接方式相固定，且与地面保持平行；所述横梁(103)通过螺栓连接方式固定在竖直支撑杆(102)远离横向支撑杆(100)的一端，与固定杆(101)轴线的方向一致，且位于两竖直支撑杆(102)之间，并平行于地面；所述多图像传感系统(20)包括图像传感器夹具(200)、图像传感器(201)、激光器夹具(202)和激光器(203)；所述图像传感器(201)通过图像传感器夹具(200)与横梁(103)连接；所述激光器(203)通过激光器夹具(202)与横梁(103)相连接，且图像传感器(201)与激光器(203)位于横梁(103)的同一侧。
如图2所示，所述特制标定系统(30)包括旋紧螺母(300)、固定块(301)、支撑板(302)、检测线(303)；所述支撑板(302)的长度要保证检测线(303)同时在两个图像传感器(201)的视野中；所述固定块(301)通过螺钉连接方式固定在支撑板(302)的两端；所述检测线(303) (表面光滑，重量较轻，直径较小，拉伸性较差)穿过两侧固定块（301），且在空间中不重合、不平行；所述旋紧螺母(300)将检测线(303)的两端分别固定在固定块(301)两端，且微调过后，能使检测线(303)在空间中时刻处于紧绷或者拉直状态。
一种无公共视野的多图像传感器全局标定系统及方法，其特征在于：包括以下步骤：
S1、全局标定系统的搭建：
S1.1通过螺栓连接方式将两根固定杆(101)与两根横向支撑杆(100)固定成一个四边形框架，并平行于地面放置，其中两根固定杆(101)相互平行、两根横向支撑杆(100)相互平行，且固定杆(101)与横向支撑杆(100)之间夹角为90度；
S1.2通过螺栓连接方式将两根竖直支撑杆(102)分别固定在两横向支撑杆(100)中间，且垂直于横向支撑杆(100)和地面；
S1.3通过螺栓连接方式将横梁(103)固定在竖直支撑杆(102)远离横向支撑杆(100)的一端，将两竖直支撑杆(102)进行相连，且横梁(103)长度方向与固定杆(101)方向一致，并平行于地面，距离地面高度为500mm；
S1.4将图像传感器(201)通过图像传感器夹具(200)固定在横梁(103)上，激光器(203)通过激光器夹具(202)固定在横梁(103)上，在横梁(103)的同一侧依次固定两组装置，其中每组依次为一个图像传感器(201)和两个激光器(203)，且图像传感器(201)与激光器(203)之间距离分别为450mm，500mm，两激光器(203)之间的距离为50mm，两组装置中图像传感器(201)之间的距离为550mm；
S1.5调整2个图像传感器(201)与4个激光器(203)的角度与位置，使每个激光器(203)投射出的线激光垂直于地面，且每组中的两激光器(203)产生的线激光位于该组中图像传感器(201)所拍摄图像的中线两侧；
S2、单个图像传感器标定：
S2.1通过高精度水平仪与钢尺检测上述S1.5中的每组中激光器(203)与图像传感器(201)的安装角度与位置是否合适；
S2.2调整图像传感器(201)的光圈与焦距旋钮，使其成像清晰；
S2.3采用棋盘格（格数12*9）对单个图像传感器(201)进行标定：
将激光线投射在棋盘格上黑白格外部的空白地方，不断变换棋盘格的位置与姿态，拍摄15-20张分别带有两个激光器(203)所投射出激光线的棋盘格；
S2.4通过matlab2016中相机标定工具箱，完成对每组中图像传感器(201)的标定，获得每个图像传感器(201)的内外参数以及畸变系数；
重复步骤S2.1-S2.4,完成对两个图像传感器的分别标定；
S3、单个激光平面标定：
在上述S2步骤完成图像传感器标定的基础上，对线激光平面进行标定，即获取线激光平面在图像传感器坐标系下的平面方程,其中涉及的图像之间坐标系变换示意图如附图3所示，标定流程如附图4所示；
S3.1提取棋盘格靶标上的激光条纹中心线：
对上述S2.3中拍摄的带有激光条纹的图像进行灰度与二值化处理，利用灰度重心法提取激光条纹中心线；
S3.2在像素坐标系下拟合光条纹直线方程：
以图像传感器采集的图像的左上角为原点o，水平向右为u轴，竖直向下为v轴建立像素坐标系o-uv。将S3.1中通过灰度重心法提取的激光条纹中心线进行最小二乘法拟合，得到像素坐标系下的直线方程；
S3.3在图像坐标系下拟合光条纹直线方程：
以图像传感器采集的图像的中心为原点O，水平向右为X轴，竖直向下为Y轴建立图像坐标系O-XY,将S3.2中拟合的以pixel为单位的像素坐标系下的直线方程，转换为以mm为单位的图像坐标系下的直线方程；
S3.4在图像传感器坐标系下拟合光条纹直线方程：
以图像传感器(201)的光心为原点oc,建立图像传感器坐标系oc-xcyczc，确定在图像传感器坐标系下的激光条纹直线方程；
S3.5求出过图像传感器(201)原点oc与图像中光条纹中心直线所确定的图像传感器坐标系下的平面方程；
S3.6求出带有激光条纹的棋盘格靶标平面在图像传感器坐标系下的平面方程：
在棋盘格靶标平面上建立世界坐标系ow-xwywzw，使owxwyw平面与棋盘格靶标平面相重合，再用右手法则确定zw轴，从而确定棋盘格靶标平面在世界坐标系ow-xwywzw下的方程，再通过上述S2.4中标定出棋盘格外部旋转与平移参数，将棋盘格靶标平面在世界坐标系ow-xwywzw下的方程转换为在图像传感器坐标系oc-xcyczc下的平面方程；
S3.7求出棋盘格靶标上激光条纹中心线在图像传感器坐标下的直线方程：
上述S3.5中已求出过图像传感器原点与光条纹中心直线所确定的图像传感器坐标系下的平面方程，S3.6中已求出带有激光条纹的棋盘格靶标平面在图像传感器坐标系下的平面方程，则由两个平面可以求出激光条纹中心线在图像传感器坐标系下的之下方程；
S3.8拟合激光平面在图像传感器坐标系下平面方程：
重复步骤S3.1-S3.8，将步骤S2.3中拍摄的15-20张图片都进行处理，得到每张图片中拍摄的光条纹中心线在图像传感器坐标系中的直线方程；
将求出的多条直线方程通过最小二乘方式拟合成平面，得到激光平面在图像传感器坐标系下的平面方程；
S3.9获得光条纹中心线上的点在以pixel为单位像素坐标下与以mm为单位的图像传感器坐标系下的坐标的对应关系：
光条纹中心线上的点在以pixel为单位像素坐标下与以mm为单位的图像传感器坐标系下的坐标对单应性矩阵为：
式中：s为对应光条纹中心线上的点在图像传感器坐标系oc-xcyczc下zc坐标的值，H为3*4矩阵，是图像传感器的内参，可由步骤S2.4中图像传感器的内参得到；
最终将光条纹中心线在图像传感器坐标系oc-xcyczc下的平面方程与该式子进行连立，知道空间中光条纹中心线上某一点在以pixel为单位的像素坐标系下的坐标，则可计算出该点在以mm为单位的图像传感器坐标系下的坐标，完成对单个激光平面的标定；
S4、多个无公共视野图像传感器之间的全局标定：
S4.1通过步骤S3,依次完成对4个激光平面的标定，便可得到每个激光条纹中心线上的点在各自对应图像传感器坐标系下的坐标；
S4.2连接2个图像传感器和4个激光器，将特制靶标放在两图像传感器的视野中，使4个激光器照射激光线落在特制靶标的检测线上，且能在图像传感器中清晰的观测到；
S4.3在完成上述步骤的基础上，通过两图像传感器拍摄照射在特制靶标上激光条纹，且每个图像传感器拍摄的图像中有两条激光线；
S4.4设特制标定板上的两条检测线分别为l1，l2；设激光器照射出激光线在检测线上的中心点在像素坐标系ouv下的坐标为qK ij，(k表示第k个图像传感器，i表示第i条检测线，j表示第j个激光器)，在图像传感器坐标系oc-xcyczc下的坐标为QK ij，(k表示第k个图像传感器，i表示第i条检测线，j表示第j个激光器)。其中qK ij可在步骤S4.3中图像传感器拍摄的图像中提取出来，QK ij可通过步骤S4.1中标定出的激光平面在图像传感器坐标系下的直线方程，由对应的qK ij计算得到；
S4.5求取检测线在图像传感器坐标系中的方向单位向量：设检测线在图像传感器坐标系oc-xcyczc下的方向单位向量为nk t(其中k表示第k个图像传感器，t表示第t条检测线)，则检测线l1在图像传感器坐标系下的方向单位向量为：
同理可得检测线l2在图像传感器坐标系下的方向单位向量n1 2，n2 2；
S4.6求第二个图像传感器坐标系到第一个图像传感器坐标系的旋转矩阵：设第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的旋转矩阵为R(3*3矩阵)，根据n1 1，n2 1，n1 2，n2 2可得：
若rank[n2 1, n2 2, n2 1×n2 2]=3，则可唯一求解第二个图像图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的旋转矩阵R,求解公式为：
S4.7求第二个图像传感器坐标系到第一个图像传感器坐标系的平移矩阵：
设在第二个图像传感器坐标系o2 c-x2 cy2 cz2 c中的坐标点Q2 ij(i表示第i条检测线，j表示第j个激光器)在第一个图像传感器坐标系o1 c-x1 cy1 cz1 c中的坐标记为
式中T为3*1矩阵是第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的平移矩阵；
设Q2 ij=(x2 ij,y2 ij,z2 ij),
1 ij=(
1 ij,
1 ij,
1 ij),其中Q2 ij为已知参数，已在步骤S4.4中获得，
1 ij为未知参数。将两点坐标带入上式可得：
式中：r1,r2,r3为旋转矩阵R的列向量，平移矩阵T=[tx,ty,tz]T；
设同一条检测线在第一个图像传感器中存在三个坐标点：Q1 11，Q1 12，
1 11，这三点存在共线约束关系，如:
将上一个式子带入此式，便可求得第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的平移矩阵；
至此，便可求得两个图像传感器坐标系之间转换矩阵，完成两个图像传感器(201)之间的全局标定；多个图像传感器(201)之间的全局标定，可按照步骤S4.1-S4.6进行两两图像传感器(201)之间的标定，再将所有图像传感器坐标系转换到同一个图像传感器坐标系上，从而完成标定。
需要进一步说明的是，以上所述，仅是本发明的实例而已，不是对本发明作任何限制。任何熟悉本领域的技术人员，可以根据上述原理和结构，对本发明进行修改产生等效实例；因此，任何未脱离本发明所采用的原理和技术方案的结构，均属于本发明保护范围之内。
Claims (2)
1.一种无公共视野的多图像传感器全局标定系统及方法，包括固定系统(10)、多图像传感系统(20)以及特制标定系统(30)；所述固定系统(10)包括横向支撑杆(100)、固定杆(101)、 竖直支撑杆(102)和横梁(103)；所述竖直支撑杆(102)通过螺栓连接方式固定在横向支撑杆(100)中间部位，且垂直于横向支撑杆(100)和地面；所述横向支撑杆(100)与固定杆(101)通过螺栓连接方式相固定，且与地面保持平行；所述横梁(103)通过螺栓连接方式固定在竖直支撑杆(102)远离横向支撑杆(100)的一端，与固定杆(101)轴线方向一致，且位于两竖直支撑杆(102)之间，并平行于地面；所述多图像传感系统(20)包括图像传感器夹具(200)、图像传感器(201)、激光器夹具(202)和激光器(203)；所述图像传感器(201)通过图像传感器夹具(200)与横梁(103)连接；所述激光器(203)通过激光器夹具(202)与横梁(103)相连接，且图像传感器(201)与激光器(203)位于横梁(103)的同一侧；所述特制标定系统(30)包括旋紧螺母(300)、固定块(301)、支撑板(302)、检测线(303)；所述支撑板(302)的长度要保证检测线(303)同时在两个图像传感器(201)的视野中；所述固定块(301)通过螺钉连接方式固定在支撑板(302)的两端；所述检测线(303) (表面光滑，重量较轻，直径较小，拉伸性较差)穿过两侧固定块（301），且在空间中不重合、不平行；所述旋紧螺母(300)将检测线(303)的两端分别固定在固定块(301)两端，且微调过后，能使检测线(303)在空间中时刻处于紧绷或者拉直状态。
2.一种无公共视野的多图像传感器全局标定系统及方法，其特征在于：包括以下步骤：
S1、全局标定系统的搭建：
S1.1通过螺栓连接方式将两根固定杆(101)与两根横向支撑杆(100)固定成一个四边形框架，并平行于地面放置，其中两根固定杆(101)相互平行、两根横向支撑杆(100)相互平行，且固定杆(101)与横向支撑杆(100)之间夹角为90度；
S1.2通过螺栓连接方式将两根竖直支撑杆(102)分别固定在两横向支撑杆(100)中间，且垂直于横向支撑杆(100)和地面；
S1.3通过螺栓连接方式将横梁(103)固定在竖直支撑杆(102)远离横向支撑杆(100)的一端，将两竖直支撑杆(102)进行相连，且横梁(103)长度方向与固定杆(101)方向一致，并平行于地面，距离地面高度根据实际情况确定；
S1.4将图像传感器(201)通过图像传感器夹具(200)固定在横梁(103)上，激光器(203)通过激光器夹具(202)固定在横梁(103)上，在横梁(103)的同一侧依次固定两组装置，其中每组依次为一个图像传感器(201)和两个激光器(203)，且图像传感器(201)与激光器(203)之间距离、两激光器(203)之间距离、两组装置中图像传感器(201)之间距离均根据实际情况确定；
S1.5调整2个图像传感器(201)与4个激光器(203)的角度与位置，使每个激光器(203)投射出的线激光垂直于地面，且每组中的两激光器(203)产生的线激光位于该组中图像传感器(201)所拍摄图像的中线两侧；
S2、单个图像传感器标定：
S2.1通过高精度水平仪与钢尺检测上述S1.5中的每组中激光器(203)与图像传感器(201)的安装角度与位置是否合适；
S2.2调整图像传感器(201)的光圈与焦距旋钮，使其成像清晰；
S2.3采用棋盘格对单个图像传感器(201)进行标定：
将激光线投射在棋盘格上黑白格外部的空白地方，不断变换棋盘格的位置与姿态，拍摄15-20张分别带有两个激光器(203)所投射出激光线的棋盘格；
S2.4通过matlab相机标定工具箱，完成对每组中图像传感器(201)的标定，获得每个图像传感器(201)的内外参数以及畸变系数；
重复步骤S2.1-S2.4,完成对两个图像传感器的分别标定；
S3、单个激光平面标定：
在上述S2步骤完成图像传感器标定的基础上，对线激光平面进行标定，即获取线激光平面在图像传感器坐标系下的平面方程；
S3.1提取棋盘格靶标上的激光条纹中心线：
对上述S2.3中拍摄的带有激光条纹的图像进行灰度与二值化处理，利用灰度重心法提取激光条纹中心线；
S3.2在像素坐标系下拟合光条纹直线方程：
以图像传感器采集的图像的左上角为原点o，水平向右为u轴，竖直向下为v轴建立像素坐标系o-uv；
将S3.1中通过灰度重心法提取的激光条纹中心线进行最小二乘法拟合，得到像素坐标系下的直线方程；
S3.3在图像坐标系下拟合光条纹直线方程：
以图像传感器采集的图像的中心为原点O，水平向右为X轴，竖直向下为Y轴建立图像坐标系O-XY,将S3.2中拟合的以pixel为单位的像素坐标系下的直线方程，转换为以mm为单位的图像坐标系下的直线方程；
S3.4在图像传感器坐标系下拟合光条纹直线方程：
以图像传感器(201)的光心为原点oc,建立图像传感器坐标系oc-xcyczc，确定在图像传感器坐标系下的激光条纹直线方程；
S3.5求出过图像传感器(201)原点oc与图像中光条纹中心直线所确定的图像传感器坐标系下的平面方程；
S3.6求出带有激光条纹的棋盘格靶标平面在图像传感器坐标系下的平面方程：
在棋盘格靶标平面上建立世界坐标系ow-xwywzw，使owxwyw平面与棋盘格靶标平面相重合，再用右手法则确定zw轴，从而确定棋盘格靶标平面在世界坐标系ow-xwywzw下的方程，再通过上述S2.4中标定出棋盘格外部旋转与平移参数，将棋盘格靶标平面在世界坐标系ow-xwywzw下的方程转换为在图像传感器坐标系oc-xcyczc下的平面方程；
S3.7求出棋盘格靶标上激光条纹中心线在图像传感器坐标下的直线方程：
上述S3.5中已求出过图像传感器原点与光条纹中心直线所确定的图像传感器坐标系下的平面方程，S3.6中已求出带有激光条纹的棋盘格靶标平面在图像传感器坐标系下的平面方程，则由两个平面可以求出激光条纹中心线在图像传感器坐标系下的之下方程；
S3.8拟合激光平面在图像传感器坐标系下平面方程：
重复步骤S3.1-S3.8，将步骤S2.3中拍摄的15-20张图片都进行处理，得到每张图片中拍摄的光条纹中心线在图像传感器坐标系中的直线方程；
将求出的多条直线方程通过最小二乘方式拟合成平面，得到激光平面在图像传感器坐标系下的平面方程；
S3.9获得光条纹中心线上的点在以pixel为单位像素坐标下与以mm为单位的图像传感器坐标系下的坐标的对应关系：
光条纹中心线上的点在以pixel为单位像素坐标下与以mm为单位的图像传感器坐标系下的坐标对单应性矩阵为：
式中：s为对应光条纹中心线上的点在图像传感器坐标系oc-xcyczc下zc坐标的值，H为3*4矩阵，是图像传感器的内参，可由步骤S2.4中图像传感器的内参得到；
最终将光条纹中心线在图像传感器坐标系oc-xcyczc下的平面方程与该式子进行连立，知道空间中光条纹中心线上某一点在以pixel为单位的像素坐标系下的坐标，则可计算出该点在以mm为单位的图像传感器坐标系下的坐标，完成对单个激光平面的标定；
S4、多个无公共视野图像传感器之间的全局标定：
S4.1通过步骤S3,依次完成对4个激光平面的标定，便可得到每个激光条纹中心线上的点在各自对应图像传感器坐标系下的坐标；
S4.2连接2个图像传感器和4个激光器，将特制靶标放在两图像传感器的视野中，使4个激光器照射激光线落在特制靶标的检测线上，且能在图像传感器中清晰的观测到；
S4.3在完成上述步骤的基础上，通过两图像传感器拍摄照射在特制靶标上激光条纹，且每个图像传感器拍摄的图像中有两条激光线；
S4.4设特制标定板上的两条检测线分别为l1，l2；设激光器照射出激光线在检测线上的中心点在像素坐标系ouv下的坐标为qK ij，(k表示第k个图像传感器，i表示第i条检测线，j表示第j个激光器)，在图像传感器坐标系oc-xcyczc下的坐标为QK ij，(k表示第k个图像传感器，i表示第i条检测线，j表示第j个激光器)；其中qK ij可在步骤S4.3中图像传感器拍摄的图像中提取出来，QK ij可通过步骤S4.1中标定出的激光平面在图像传感器坐标系下的直线方程，由对应的qK ij计算得到；
S4.5求取检测线在图像传感器坐标系中的方向单位向量：设检测线在图像传感器坐标系oc-xcyczc下的方向单位向量为nk t(其中k表示第k个图像传感器，t表示第t条检测线)；
则检测线l1在图像传感器坐标系下的方向单位向量为：
同理可得检测线l2在图像传感器坐标系下的方向单位向量n1 2，n2 2；
S4.6求第二个图像传感器坐标系到第一个图像传感器坐标系的旋转矩阵：设第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的旋转矩阵为R(3*3矩阵)，根据n1 1，n2 1，n1 2，n2 2可得：
若rank[n2 1, n2 2, n2 1×n2 2]=3，则可唯一求解第二个图像图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的旋转矩阵R,求解公式为：
S4.7求第二个图像传感器坐标系到第一个图像传感器坐标系的平移矩阵：
设在第二个图像传感器坐标系o2 c-x2 cy2 cz2 c中的坐标点Q2 ij(i表示第i条检测线，j表示第j个激光器)在第一个图像传感器坐标系o1 c-x1 cy1 cz1 c中的坐标记为
式中T为3*1矩阵是第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的平移矩阵；
设Q2 ij=(x2 ij,y2 ij,z2 ij),
1 ij=(
1 ij,
1 ij,
1 ij),其中Q2 ij为已知参数，已在步骤S4.4中获得，
1 ij为未知参数；
将两点坐标带入上式可得：
式中：r1,r2,r3为旋转矩阵R的列向量，平移矩阵T=[tx,ty,tz]T；
设同一条检测线在第一个图像传感器中存在三个坐标点：Q1 11，Q1 12，
1 11，这三点存在共线约束关系，如:
将上一个式子带入此式，便可求得第二个图像传感器坐标系o2 c-x2 cy2 cz2 c到第一个图像传感器坐标系o1 c-x1 cy1 cz1 c的平移矩阵；
至此，便可求得两个图像传感器坐标系之间转换矩阵，完成两个图像传感器(201)之间的全局标定；多个图像传感器(201)之间的全局标定，可按照步骤S4.1-S4.6进行两两图像传感器(201)之间的标定，再将所有图像传感器坐标系转换到同一个图像传感器坐标系上，从而完成标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210261153.6A CN114612573A (zh) | 2022-03-17 | 2022-03-17 | 一种无公共视野的多图像传感器全局标定系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210261153.6A CN114612573A (zh) | 2022-03-17 | 2022-03-17 | 一种无公共视野的多图像传感器全局标定系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114612573A true CN114612573A (zh) | 2022-06-10 |
Family
ID=81862170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210261153.6A Pending CN114612573A (zh) | 2022-03-17 | 2022-03-17 | 一种无公共视野的多图像传感器全局标定系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612573A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116182703A (zh) * | 2023-01-31 | 2023-05-30 | 桂林电子科技大学 | 一种线结构光传感器标定方法及系统 |
-
2022
- 2022-03-17 CN CN202210261153.6A patent/CN114612573A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116182703A (zh) * | 2023-01-31 | 2023-05-30 | 桂林电子科技大学 | 一种线结构光传感器标定方法及系统 |
| CN116182703B (zh) * | 2023-01-31 | 2024-05-03 | 桂林电子科技大学 | 一种线结构光传感器标定方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111536902B (zh) | 一种基于双棋盘格的振镜扫描系统标定方法 | |
| CN110021046B (zh) | 相机与激光雷达组合传感器的外参数标定方法及系统 | |
| CN105913439B (zh) | 一种基于激光跟踪仪的大视场摄像机标定方法 | |
| CN102003938B (zh) | 大型高温锻件热态在位检测方法 | |
| CN109559355B (zh) | 一种基于相机组的无公共视场的多相机全局标定装置及方法 | |
| CN109029299B (zh) | 舱段销孔对接转角的双相机测量装置及测量方法 | |
| CN103278138B (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
| CN103530880A (zh) | 基于投影高斯网格图案的摄像机标定方法 | |
| CN104990515A (zh) | 大型物体三维形状测量系统及其测量方法 | |
| CN109900205B (zh) | 一种高精度的单线激光器和光学相机的快速标定方法 | |
| CN102679896A (zh) | 基于机器视觉的轨距测定方法 | |
| CN112489137A (zh) | 一种rgbd相机标定方法及系统 | |
| CN113554697A (zh) | 基于线激光的舱段轮廓精确测量方法 | |
| CN113446957B (zh) | 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置 | |
| CN115326025B (zh) | 一种用于海浪的双目影像测量与预测方法 | |
| CN108154535B (zh) | 基于平行光管的摄像机标定方法 | |
| CN104036518B (zh) | 一种基于向量法和三点共线的相机标定方法 | |
| CN111476844B (zh) | 一种多个线阵相机阵列系统的检校方法 | |
| CN113724337A (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
| CN115854921A (zh) | 基于结构光测量物体表面形状的方法及其测量装置 | |
| CN114543667B (zh) | 一种基于神经网络的单相机-双棱镜三维测量系统及测量方法 | |
| CN114612573A (zh) | 一种无公共视野的多图像传感器全局标定系统及方法 | |
| CN116862995A (zh) | 一种用于大间距、无公共视场的相机外参标定装置及方法 | |
| CN116977444A (zh) | 一种基于共面点的体视显微镜标定方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |