CN101975588A - 一种多传感器视觉测量系统的刚性杆全局校准方法及装置 - Google Patents

一种多传感器视觉测量系统的刚性杆全局校准方法及装置 Download PDF

Info

Publication number
CN101975588A
CN101975588A CN2010102944372A CN201010294437A CN101975588A CN 101975588 A CN101975588 A CN 101975588A CN 2010102944372 A CN2010102944372 A CN 2010102944372A CN 201010294437 A CN201010294437 A CN 201010294437A CN 101975588 A CN101975588 A CN 101975588A
Authority
CN
China
Prior art keywords
mrow
target
msub
rigid rod
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102944372A
Other languages
English (en)
Other versions
CN101975588B (zh
Inventor
张广军
刘震
魏振忠
孙军华
谢梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN2010102944372A priority Critical patent/CN101975588B/zh
Publication of CN101975588A publication Critical patent/CN101975588A/zh
Application granted granted Critical
Publication of CN101975588B publication Critical patent/CN101975588B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种多传感器视觉测量系统的刚性杆全局校准方法,包括:将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上,每次每个视觉传感器分别拍摄对应的靶标图像,提取靶标特征点图像坐标,分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标;之后,以靶标之间位置关系不变为约束,计算两个视觉传感器之间的转换矩阵。本发明还同时公开了一种多传感器视觉测量系统的刚性杆全局校准装置,采用本发明,不仅能提高全局校准精度,而且适用于超大工作空间多传感器视觉测量系统的全局校准,适用范围广。

Description

一种多传感器视觉测量系统的刚性杆全局校准方法及装置
技术领域
本发明涉及多传感器视觉测量系统中的全局校准技术,具体涉及一种多传感器视觉测量系统的刚性杆全局校准方法及装置。
背景技术
视觉传感器由于具有大量程、非接触、速度快、系统柔性好及测量精度高等优点而得到广泛应用,但是,单个视觉传感器测量范围有限,所以,当测量范围较大时,可以将多个视觉传感器结合起来构成多视觉传感器,以得到较大的测量范围,并保证足够高的测量精度,通常将这种测量系统称为多传感器视觉测量系统。
在多传感器视觉测量系统中,各个视觉传感器之间距离一般相距较远,且没有共同视场。因此,采用多个视觉传感器进行测量时,需要进行全局校准,即:确定各个视觉传感器之间的位置关系,并将它们统一到同一个坐标系下。
目前,常用的多传感器视觉测量系统的全局校准方法主要有:同名坐标统一法、中介坐标统一法和世界坐标唯一法;其中,同名坐标统一法,利用一组同名坐标计算出各个视觉传感器坐标系到全局坐标系的旋转矩阵和平移向量;中介坐标统一法,通过多次中间坐标系转换来完成视觉传感器坐标系到全局坐标系的统一;世界坐标唯一法,直接利用全局坐标系下的特征点对处于测量状态的系统中的各个视觉传感器进行局部标定,从而将局部标定和全局标定统一到一起。但是,上述三种校准方法需要高精度测量设备,如经纬仪、激光跟踪仪等等,存在校准“盲区”和空间受限,且需要进行多次坐标转换,损失了校准精度。
于是,张广军等人在2005年提出了靶标全局校准方法,该全局校准方法是根据靶标特征点之间的位置约束关系,求解无共同视场的多视觉传感器坐标系之间的转换矩阵,从而实现较大工作空间的全局校准。该全局校准方法虽然不需要进行很多次坐标变换,校准精度较高,但是,该全局校准方法需要加工大尺寸靶标,由于超大尺寸靶标加工和使用困难,因此,该全局校准方法不适合用于超大工作空间的多传感器视觉测量系统全局校准。
发明内容
有鉴于此,本发明的主要目的在于提供一种多传感器视觉测量系统的刚性杆全局校准方法及装置,不仅能提高全局校准精度,而且适用于超大工作空间多传感器视觉测量系统的全局校准,适用范围广。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种多传感器视觉测量系统的刚性杆全局校准方法,包括:
将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上,每次每个视觉传感器分别拍摄对应的靶标图像,提取靶标特征点图像坐标,分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标;
以靶标之间位置关系不变为约束,计算两个视觉传感器之间的转换矩阵。
上述方案中,所述将刚性杆在两个视觉传感器前摆放之前,该方法还包括:将靶标固定于刚性杆上,调整刚性杆长度和靶标位置,使待校准的两个视觉传感器能清晰的拍摄到对应的靶标图像。
上述方案中,所述视觉传感器多于两个;该方法还包括:每次任意选取两个视觉传感器作为待校准的视觉传感器;每个视觉传感器与一个靶标相对应,拍摄对应靶标清晰的靶标图像。
上述方案中,所述每个视觉传感器分别拍摄对应的靶标图像之后,该方法还包括:每个视觉传感器根据视觉传感器内部参数标定结果,进行图像的畸变校正。
上述方案中,所述计算两个视觉传感器之间转换矩阵为:计算旋转矩阵、平移矢量;建立以重投影误差为最小的目标函数,采用非线性优化方法求解旋转矩阵和平移矢量的非线性优化解,得到两个视觉传感器之间转换矩阵。
上述方案中,所述靶标通过靶标夹持机构、万向连接器、刚性杆转接固定装置固定于刚性杆上。
本发明还提供了一种多传感器视觉测量系统的刚性杆全局校准装置,包括:靶标、靶标夹持机构、万向连接器、刚性杆转接固定装置、可伸缩长度的刚性杆;其中,
刚性杆还包括两个实心杆和一个空心杆,两个实心杆套入在空心杆内,实心杆与空心杆之间通过螺栓固定;
所述靶标夹持在靶标夹持机构上,装有靶标的靶标夹持机构安装在万向连接器上,靶标能在万向连接器上任意旋转;
所述万向连接器通过刚性杆转接固定装置固定于刚性杆的实心杆上。
其中,所述靶标、靶标夹持机构、万向连接器、刚性杆转接固定装置均为两个。
本发明所提供的多传感器视觉测量系统的刚性杆全局校准方法及装置,将靶标固定于刚性杆上,调整刚性杆长度和靶标位置,利用刚性杆上两个靶标位置关系不变为约束条件,求解两个视觉传感器之间的转换矩阵,通过两两校准方式实现多传感器视觉测量系统的全局校准。本发明实际应用时灵活、方便,刚性杆可以根据视觉传感器位置的不同灵活调整,使不同位置的视觉传感器都可以拍摄到清晰的靶标图像,从而可适用于大工作空间多传感器视觉测量系统的全局校准,适用范围广;并且,全局校准精度高。
附图说明
图1为本发明多传感器视觉测量系统的刚性杆全局校准装置结构示意图;
图2为本发明多传感器视觉测量系统的刚性杆全局校准方法实现流程示意图;
图3为本发明多传感器视觉测量系统的刚性杆全局校准方法实现原理示意图;
图4为本发明中刚性杆坐标系示意图;
图5为本发明一实施例中视觉传感器拍摄的一维靶标图像效果图。
具体实施方式
本发明的基本思想是:将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上,每次每个视觉传感器分别拍摄对应的靶标图像,提取靶标特征点图像坐标,分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标;之后,以靶标之间位置关系不变为约束,计算两个视觉传感器之间的转换矩阵。
这里,由于靶标固定于刚性杆上,所以,将刚性杆摆放在不同位置或移动刚性杆的位置实际就是将靶标摆放于不同位置或移动靶标。
其中,固定于刚性杆上的两个靶标的位置在进行全局校准前完成调整,具体是:先将靶标固定于刚性杆上,再调整刚性杆长度和靶标位置,使待校准的两个视觉传感器能拍摄到清晰的对应靶标图像;之后,在全局校准过程中靶标的位置关系不变,即:靶标在刚性杆上的位置不再移动或转向,仅靠移动刚性杆移动靶标处于相对于视觉传感器的不同位置。
当视觉传感器多于两个时,采用两-两视觉传感器校准的方式,即:每次从多个视觉传感器中任意选取两个视觉传感器作为待校准的视觉传感器,实现多传感器视觉测量系统的全局校准。
本发明多传感器视觉测量系统的刚性杆全局校准装置如图1所示,包括:两个靶标11、两个靶标夹持机构12、两个万向连接器13、两个刚性杆转接固定装置14、一个可伸缩长度的刚性杆,其中,刚性杆包括两个实心杆15和一个空心杆16;该全局校准装置主要用于辅助视觉传感器完成全局校准,该全局校准装置的主要特点包括:
a1)两个靶标11为已知尺寸的靶标,分别夹持在两个靶标夹持机构12上,图1中靶标11上两行黑白相间棋盘格的中心点为靶标特征点;
a2)两个装有靶标11的靶标夹持机构12安装在两个万向连接器13上,靶标11可以在万向连接器13上任意旋转;
a3)刚性杆由空心杆16和两个套入在空心杆内的实心杆15组成,两个实心杆15可以在空心杆16内自由移动,达到伸缩刚性杆、调节刚性杆长度的作用,其中两个实心杆15与空心杆16之间分别通过螺栓固定;
a4)两个万向连接器13通过刚性杆转接固定装置14分别固定在刚性杆的实心杆15的两端;
a5)在进行现场全局校准中,将刚性杆全局校准装置摆放在待校准的两个视觉传感器前,移动刚性杆中套在空心杆16内的两个实心杆15,使视觉传感器可以拍摄到靶标11图像,移动好后通过螺栓将空心杆16和两个实心杆15固定,再调节万向连接器13中的转向头,让视觉传感器可以拍摄到清晰的靶标11图像;其中,所述靶标可采用一维靶标,下文以一维靶标为例。
基于图1所示的刚性杆全局校准装置,本发明还提供了一种刚性杆全局校准方法,该方法的主要特点是:
b1)两个视觉传感器分别拍摄对应的一维靶标图像,提取一维靶标特征点图像坐标,根据事先已经标定获得的视觉传感器内部参数完成特征点图像畸变校正;这里,图像的畸变校正过程是指:根据摄像机内部参数,通过ZHANG ZY.的文章“A flexible new technique for camera calibration[J].IEEE Trans.onPattern Analysis and Machine Intelligence”中提到的方法,校正由于镜头畸变造成的图像变形;
b2)根据一维靶标特征点图像坐标,通过交比不变性,计算一维靶标所在直线上无穷远点的图像坐标,这里称该图像点为消隐点图像坐标。
b3)根据消隐点图像坐标,结合视觉传感器内部参数,计算一维靶标特征点在视觉传感器坐标系下的三维坐标;
b4)将刚性杆全局校准装置在视觉传感器前移动四次以上,以刚性杆中两个一维靶标的位置关系不变为约束条件,求解两个视觉传感器之间的转换矩阵;
b5)通过非线性优化方法,计算两个视觉传感器之间转换矩阵;
b6)通过两-两视觉传感器校准的方式,实现多传感器视觉测量系统的全局校准。
下面具体描述基于多传感器视觉测量系统的刚性杆全局校准装置进行全局校准的实现方法,如图2所述,包括以下步骤:
步骤201:分别标定所有视觉传感器的内部参数;
这里,可采用ZHANG Z Y.在文章“A flexible new technique for cameracalibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法,对视觉传感器的内部参数进行标定。
步骤202:在多个视觉传感器中任意选取两个视觉传感器作为待校准的视觉传感器;
这里,所选取的视觉传感器称为视觉传感器1和视觉传感器2,分别对应预先固定于刚性杆上的两个靶标--一维靶标1和一维靶标2;将靶标固定于刚性杆上具体是:将两个一维靶标通过夹持机构固定在万向连接器上,万向连接器通过刚性杆转接固定装置固定在刚性杆上。
步骤203:调节刚性杆长度和靶标位置,使每个视觉传感器能清晰的拍摄到对应的靶标图像;
具体的,调节刚性杆长度,使两个一维靶标分别落入对应的视觉传感器的视场范围;调节靶标位置,使每个视觉传感器能清晰的拍摄到对应的一维靶标图像。其中,调节好刚性杆长度,还需拧紧刚性杆上固定实心杆和空心杆的螺栓,将刚性杆长度固定;所述使一维靶标落入对应的视觉传感器的视场范围是指:使两个视觉传感器分别能够看到对应的一维靶标;所述调节靶标位置是指:分别调节两个万向连接器上一维靶标的方向。
图3为本发明多传感器视觉测量系统刚性杆全局校准方法的实现原理示意图,从图3可以看出,视觉传感器1、视觉传感器2分别对应一维靶标1、一维靶标2,视觉传感器1可以“看”到一维靶标1的全部,但“看”不到一维靶标2;视觉传感器2可以“看”到一维靶标2的全部,但“看”不到一维靶标1。
设Oc1xc1yc1zc1为视觉传感器1坐标系,Oc2xc2yc2zc2为视觉传感器2坐标系,O1x1y1为视觉传感器1的图像坐标系,O2x2y2为视觉传感器2的图像坐标系,Rc2,c1,tc2,c1为视觉传感器2坐标系到视觉传感器1的旋转矩阵和平移矢量。A1i、B1i、C1i分别为刚性杆第i个摆放位置时,一维靶标1特征点在视觉传感器1坐标系下三维坐标;A2i、B2i、C2i分别为刚性杆第i个摆放位置时,一维靶标2特征点在视觉传感器2坐标系下三维坐标。
上述步骤201~203所述的标定视觉传感器内部参数、选取视觉传感器、以及调节刚性杆长度和靶标位置的操作,均为在进行全局校准之前的预处理操作。
步骤204:两个视觉传感器分别拍摄对应的一维靶标图像,每个视觉传感器根据视觉传感器内部参数标定结果,进行图像的畸变校正。
步骤205:分别求解每个一维靶标特征点在对应视觉传感器坐标系下的三维坐标。
以视觉传感器1的求解过程为例,在视觉传感器1拍摄的靶标图像中,利用一维靶标1上三个或三个以上特征点的图像坐标,求解一维靶标1所在空间直线在视觉传感器1图像中的消隐点v1i
设V∞i为刚性杆第i个摆放位置时,一维靶标1所在直线的无穷远点,由于V∞i为无穷远点,A1i V∞i/B1iV∞i近似为1,则A1i、B1i、C1i和V∞i四点的交比可由公式(1)表示:
CR(A1i,B1i,C1i,V∞i)=
                                                        (1)
A1iC1i/B1iC1i:A1iV∞i/B1iV∞i≈A1iC1i/B1iC1i
根据交比不变性,v1i可以由公式(2)求解得出:
CR(A1i,B1i,C1i,V∞i)=CR(a1i,b1i;c1i,v1i)≈A1iC1i/B1iC1i    (2)
式中a1i,b1i和c1i分别为在刚性杆第i个摆放位置,A1i,B1i和C1i在视觉传感器1上的图像坐标。
根据消隐点性质,空间直线方向与其消隐点v1i的反向投影射线
Figure BSA00000286691500072
平行,即:
( C 1 i - A 1 i ) × K 1 - 1 v 1 i = 0 - - - ( 3 )
公式(3)中K1为视觉传感器1的内部参数,摄像机内部参数的求解过程见文献“A flexible new technique for camera calibration[J].IEEE Trans.on PatternAnalysis and Machine Intelligence”。
已知A1i与C1i的距离为Lac,有公式(4):
               ||C1i-A1i||=Lac                (4)
根据摄像机投影原理有公式(5):
ρ 1 a 1 i = K 1 A 1 i ρ 2 c 1 i = K 2 C 1 i - - - ( 5 )
式中ρ1和ρ1为比例系数,K2为视觉传感器2的内部参数。
求解公式(4)、(5)组成的方程组即可解得A1i,C1i。根据一维靶标特征点共线的特点求解全部一维靶标1特征点在视觉传感器1坐标系下的三维坐标A1i,B1i和C1i
同理,也可以求解出一维靶标2所有特征点在视觉传感器2坐标下三维坐标A2i,B2i,C2i
步骤206:计算旋转矩阵Rc2,c1
在刚性杆的第i(i=1...n)个摆放位置,
Figure BSA00000286691500082
分别为一维靶标1和一维靶标2在各自视觉传感器坐标下的方向矢量。根据两个一维靶标之间位置关系不变这一特点,可以得到以下公式(6):
n → 1 i · ( R c 2 , c 1 n → 2 i ) = n → 1 j · ( R c 2 , c 1 n → 2 j ) - - - ( 6 )
刚性杆每两个摆放位置即可得到一个如公式(6)的方程,根据公式(6)及旋转矩阵的特性可知,最少三个如公式(6)的方程才可以求解出Rc2,c1,因此,需要将放置有两个一维靶标的刚性杆摆放四次以上。其中,旋转矩阵的特性是指:旋转矩阵的列向量为单位向量,各向量之间正交;旋转矩阵的自由度为3。
步骤207:计算平移矢量tc2,c1
在刚性杆的第i个摆放位置,设
Figure BSA00000286691500084
Figure BSA00000286691500085
为一维靶标2特征点在视觉传感器1坐标下的三维坐标,两者的变换关系如公式(7)所示:
A ~ 2 i = R c 2 , c 1 A 2 i + t c 2 , c 1 B ~ 2 i = R c 2 , c 1 B 2 i + t c 2 , c 1 C ~ 2 i = R c 2 , c 1 C 2 i + t c 2 , c 1 - - - ( 7 )
由于在刚性杆摆放过程中,两个一维靶标位置不发生变化,两个一维靶标特征点之间的距离也不发生变化。因此,可以得到以下变换关系:
d 2 ( A 1 i , A ~ 2 i ) = d 2 ( A 1 j , A ~ 2 j ) d 2 ( B 1 i , B ~ 2 i ) = d 2 ( B 1 j , B ~ 2 j ) d 2 ( C 1 i , C ~ 2 i ) = d 2 ( C 1 j , C ~ 2 j ) - - - ( 8 )
将公式(8)分解可以消除tc2,c1中各分量的二次项可以求解出tc2,c1
步骤208:建立以重投影误差为最小的目标函数,采用非线性优化方法求解Rc2,c1和tc2,c1的非线性优化解,得到两个视觉传感器之间的转换矩阵。
这里,建立目标函数是为了完成非线性优化,换句话说,非线性优化的目的就是使目标函数在非线性优化后的结果最小,即:求解可使目标函数最小的Rc2,c1和tc2,c1
图4中的Ogxgygzg为刚性杆坐标系。刚性杆坐标系的建立过程为:任选一个刚性杆摆放位置,以一维靶标1中A1i为刚性杆坐标系原点,一维靶标1所在直线为坐标系的x轴,A1i,C1i
Figure BSA00000286691500093
所在平面的法向矢量为z轴。图4中α为一维靶标2在刚性杆坐标系Ogxgyg平面上的投影直线与y轴的夹角,β为一维靶标2与刚性杆坐标系Ogxgyg平面的夹角,d为一维靶标2中
Figure BSA00000286691500094
到一维靶标1中A1i的距离。
一维靶标2特征点在刚性杆坐标系下的三维坐标可以通过公式(9)表示:
A ^ 2 i = d sin ( α ) d cos ( α ) 0 1 T B ^ 2 i = sin ( α ) ( L A 2 B 2 cos ( β ) + d ) cos ( α ) ( L A 2 B 2 cos ( β ) + d ) L A 2 B 2 sin ( β ) 1 T C ~ 2 i = sin ( α ) ( L A 2 C 2 cos ( β ) + d ) cos ( α ) ( L A 2 C 2 cos ( β ) + d ) L A 2 C 2 sin ( β ) 1 T - - - ( 9 )
公式(9)中
Figure BSA00000286691500096
Figure BSA00000286691500097
分别为一维靶标2中A2B2和A2C2之间的距离,其中α,β和d可以根据A1i,B1i,C1i
Figure BSA00000286691500098
Figure BSA00000286691500099
求解得出。
一维靶标1特征点在刚性杆坐标系下的三维坐标为:
A ^ 1 i = 0 0 0 1 T B ^ 1 i = L A 1 B 1 0 0 1 T C ^ 1 i = L A 1 C 1 0 0 1 T - - - ( 10 )
公式(10)中,
Figure BSA00000286691500102
Figure BSA00000286691500103
分别为一维靶标1中A1B1和A1C1之间的距离;在刚性杆第i个摆放位置,刚性杆坐标系到视觉传感器1坐标的转换矩阵Tgi,c1可由公式(11)求解:
A 1 i C 1 i A ~ 2 i = T gi , c 1 A ^ 1 i C ^ 1 i A ^ 2 i - - - ( 11 )
Figure BSA00000286691500106
分别为在刚性杆第i个摆放位置,一维靶标1特征点在视觉传感器1上图像坐标。具体转换关系为:
ρ 1 a ^ 1 i = K 1 I 3 × 1 0 3 × 1 T gi , c 1 A ^ 1 i ρ 2 b ^ 1 i = K 1 I 3 × 1 0 3 × 1 T gi , c 1 B ^ 1 i ρ 3 c ^ 1 i = K 1 I 3 × 1 0 3 × 1 T gi , c 1 C ^ 1 i - - - ( 12 )
公式(12)中ρ1,ρ2和ρ3为比例系数,K1为视觉传感器1的内部参数。
Figure BSA00000286691500108
Figure BSA00000286691500109
分别为一维靶标2特征点在视觉传感器2上图像坐标。具体转换关系为:
s 1 a ^ 2 i = K 2 I 3 × 1 0 3 × 1 T c 2 , c 1 - 1 T gi , c 1 A ^ 2 i s 2 b ^ 2 i = K 2 I 3 × 1 0 3 × 1 T c 2 , c 1 - 1 T gi , c 1 B ^ 2 i s 3 c ^ 2 i = K 2 I 3 × 1 0 3 × 1 T c 2 , c 1 - 1 T gi , c 1 C ^ 2 i - - - ( 13 )
公式(13)中K2为视觉传感器2的内部参数,
Figure BSA000002866915001011
s1,s2和s3为比例系数。
建立以重投影图像误差为最小的目标函数,如公式(14):
f ( a ) = Σ i = 1 n ( d 2 ( a 1 i , a ^ 1 i ) + d 2 ( b 1 i , b ^ 1 i ) + d 2 ( c 1 i , c ^ 1 i ) ) + Σ i = 1 n ( d 2 ( a 2 i , a ^ 2 i ) + d 2 ( b 2 i , b ^ 2 i ) + d 2 ( c 2 i , c ^ 2 i ) ) - - - ( 14 )
式中a=(Tc2,c1,Tgi,c1,d,α,β)。
采用非线性优化方法(例如LM法)求解Rc2,c1和tc2,c1的最优解。
实施例:
本实施例中,试验采用两台配用23mm工业镜头的爱国者数码摄像机,分别称为视觉传感器1和视觉传感器2。两个视觉传感器的分辨率都为1280像素×1024像素,工作距离为750mm左右,视场范围为150mm×120mm。
采用ZHANG Z Y.在文章“A flexible new technique for camera calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中介绍的方法,完成视觉传感器1、视觉传感器2的内部参数标定,视觉传感器1、视觉传感器2的内部标定结果如表1所示。
表1
Figure BSA00000286691500112
图5为视觉传感器1、视觉传感器2对应拍摄的一维靶标1、一维靶标2的图像;其中,图5(a)为视觉传感器1拍摄的一维靶标1图像,图5(b)为视觉传感器2拍摄的一维靶标2图像。
采用本发明图2所述方法,计算得出的两个视觉传感器坐标系之间的转换矩阵Tc2,c1为:
T c 2 , c 1 = - 0.9289 - 0.2954 - 0.2235 389.912 - 0.3150 0.3122 0.8963 340.585 - 0.1950 0.9029 - 0.3830 - 354.547 0 0 0 1
为了评价本发明全局校准方法的全局校准精度,通过双目视觉传感器测量出刚性杆全局校准装置中两个一维靶标特征点之间的距离,将该双目视觉传感器的测量值作为点对距离的真实值。由本发明全局校准方法得出的转换矩阵Tc2,c1,根据公式(5)计算出一维靶标2中特征点在视觉传感器1坐标系下三维坐标,计算任意两个一维靶标特征点之间距离,将该计算值作为点对距离测量值。任选七个点对距离,用七个点对距离的测量值与真实值的均方根误差(RMS,Root Mean Square)来评价全局校准精度,全局校准结果精度评价数据具体如表2所示。
表2
Figure BSA00000286691500122
根据表2得出的七个点对距离的RMS误差可以看出,本发明全局校准方法可以达到优于0.1‰的全局校准精度。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种多传感器视觉测量系统的刚性杆全局校准方法,其特征在于,该方法包括:
将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上,每次每个视觉传感器分别拍摄对应的靶标图像,提取靶标特征点图像坐标,分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标;
以靶标之间位置关系不变为约束,计算两个视觉传感器之间的转换矩阵。
2.根据权利要求1所述的方法,其特征在于,所述将刚性杆在两个视觉传感器前摆放之前,该方法还包括:将靶标固定于刚性杆上,调整刚性杆长度和靶标位置,使待校准的两个视觉传感器能清晰的拍摄到对应的靶标图像。
3.根据权利要求1所述的方法,其特征在于,所述视觉传感器多于两个;
该方法还包括:每次任意选取两个视觉传感器作为待校准的视觉传感器;每个视觉传感器与一个靶标相对应,拍摄对应靶标清晰的靶标图像。
4.根据权利要求1所述的方法,其特征在于,所述每个视觉传感器分别拍摄对应的靶标图像之后,该方法还包括:每个视觉传感器根据视觉传感器内部参数标定结果,进行图像的畸变校正。
5.根据权利要求1所述的方法,其特征在于,所述计算两个视觉传感器之间转换矩阵为:
计算旋转矩阵、平移矢量;建立以重投影误差为最小的目标函数,采用非线性优化方法求解旋转矩阵和平移矢量的非线性优化解,得到两个视觉传感器之间转换矩阵。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述靶标通过靶标夹持机构、万向连接器、刚性杆转接固定装置固定于刚性杆上。
7.一种多传感器视觉测量系统的刚性杆全局校准装置,其特征在于,该装置包括:靶标、靶标夹持机构、万向连接器、刚性杆转接固定装置、可伸缩长度的刚性杆;其中,
刚性杆还包括两个实心杆和一个空心杆,两个实心杆套入在空心杆内,实心杆与空心杆之间通过螺栓固定;
所述靶标夹持在靶标夹持机构上,装有靶标的靶标夹持机构安装在万向连接器上,靶标能在万向连接器上任意旋转;
所述万向连接器通过刚性杆转接固定装置固定于刚性杆的实心杆上。
8.根据权利要求7所述的装置,其特征在于,所述靶标、靶标夹持机构、万向连接器、刚性杆转接固定装置均为两个。
CN2010102944372A 2010-08-20 2010-09-28 一种多传感器视觉测量系统的刚性杆全局校准方法及装置 Expired - Fee Related CN101975588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102944372A CN101975588B (zh) 2010-08-20 2010-09-28 一种多传感器视觉测量系统的刚性杆全局校准方法及装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201010259481.X 2010-08-20
CN201010259481 2010-08-20
CN2010102944372A CN101975588B (zh) 2010-08-20 2010-09-28 一种多传感器视觉测量系统的刚性杆全局校准方法及装置

Publications (2)

Publication Number Publication Date
CN101975588A true CN101975588A (zh) 2011-02-16
CN101975588B CN101975588B (zh) 2012-07-11

Family

ID=43575489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102944372A Expired - Fee Related CN101975588B (zh) 2010-08-20 2010-09-28 一种多传感器视觉测量系统的刚性杆全局校准方法及装置

Country Status (3)

Country Link
US (1) US8964027B2 (zh)
CN (1) CN101975588B (zh)
WO (1) WO2012022231A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012022231A1 (zh) * 2010-08-20 2012-02-23 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
CN102645231A (zh) * 2012-05-03 2012-08-22 中国科学院长春光学精密机械与物理研究所 基于编码器特征点的光学圆靶标动态误差标定方法
CN103443580A (zh) * 2011-03-29 2013-12-11 罗伯特·博世有限公司 用于校准一车辆测量用的参考系统的系统和方法
CN103674057A (zh) * 2012-09-11 2014-03-26 北京航天计量测试技术研究所 带有反射球的标准球杆及其对相机外部参数的标定方法
CN104197960A (zh) * 2014-09-15 2014-12-10 北京航空航天大学 一种激光跟踪仪视觉导引摄像机的全局标定方法
CN106289086A (zh) * 2016-09-20 2017-01-04 东南大学 一种用于光学标识点间距离精确标定的双相机测量方法
CN106323335A (zh) * 2015-07-02 2017-01-11 中国科学院沈阳自动化研究所 一种可重构室内移动机器人导航性能测评仪及其测评方法
CN106643614A (zh) * 2016-09-26 2017-05-10 广州汽车集团股份有限公司 一种量程扩展器及其测量方法、测量系统
CN108151667A (zh) * 2017-11-29 2018-06-12 中国船舶重工集团公司第七〇九研究所 一种多线激光轮廓扫描传感器全局校准方法
CN111156899A (zh) * 2020-02-18 2020-05-15 广东博智林机器人有限公司 一种视觉测量装置、方法及机器人
CN111757086A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 有源双目相机、rgb-d图像确定方法及装置
CN112719879A (zh) * 2020-12-31 2021-04-30 中国十九冶集团有限公司 大跨距联轴器找正方法
CN112729156A (zh) * 2020-12-24 2021-04-30 上海智能制造功能平台有限公司 一种人体数字化测量装置的数据拼接及系统标定方法
CN114413754A (zh) * 2022-01-05 2022-04-29 天津大学 工作空间测量定位系统动态误差建模与自主补偿方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103335634B (zh) * 2013-06-24 2015-10-28 南京航空航天大学 一种用于部件安装姿态校准的视觉靶板装置及标定方法
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
TWI577493B (zh) 2014-12-26 2017-04-11 財團法人工業技術研究院 校正方法與應用此方法的自動化設備
JP6507730B2 (ja) * 2015-03-10 2019-05-08 富士通株式会社 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
CN105758426B (zh) * 2016-02-19 2019-07-26 深圳市杉川机器人有限公司 移动机器人的多传感器的联合标定方法
CN107808402A (zh) * 2017-10-31 2018-03-16 深圳市瑞立视多媒体科技有限公司 多相机系统的标定方法、多相机系统及终端设备
CN108520541B (zh) * 2018-03-07 2022-05-17 鞍钢集团矿业有限公司 一种广角摄像机的标定方法
US11022511B2 (en) 2018-04-18 2021-06-01 Aron Kain Sensor commonality platform using multi-discipline adaptable sensors for customizable applications
JP7203105B2 (ja) * 2018-06-29 2023-01-12 株式会社小松製作所 撮像装置の校正装置、監視装置、作業機械および校正方法
CN109308722B (zh) * 2018-11-26 2024-05-14 陕西远航光电有限责任公司 一种基于主动视觉的空间位姿测量系统及方法
CN109725340B (zh) * 2018-12-31 2021-08-20 成都纵横大鹏无人机科技有限公司 直接地理定位方法及装置
CN110310340B (zh) * 2019-07-05 2022-10-11 河南科技大学 一种基于共线特性的单线阵畸变标定方法
CN111136669B (zh) * 2020-01-17 2022-09-20 沈阳航空航天大学 一种基于全局视觉的下棋机器人及其控制方法
CN111275770A (zh) * 2020-01-20 2020-06-12 南昌航空大学 基于一维靶标旋转运动的四目立体视觉系统全局标定方法
CN112381881B (zh) * 2020-10-26 2023-05-23 西安航天精密机电研究所 一种基于单目视觉的大型刚体构件自动对接方法
CN113989151A (zh) * 2021-10-29 2022-01-28 河南工业大学 采用双特性联合度量的全模型镜头畸变校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1508512A (zh) * 2002-12-17 2004-06-30 北京航空航天大学 一种多视觉传感器检测系统全局标定方法
CN1566903A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 轮胎多几何参数的激光视觉在线自动测量方法
CN1971206A (zh) * 2006-12-20 2007-05-30 北京航空航天大学 基于一维靶标的双目视觉传感器校准方法
CN101261738A (zh) * 2008-03-28 2008-09-10 北京航空航天大学 一种基于双一维靶标的摄像机标定方法
US20080298673A1 (en) * 2007-05-30 2008-12-04 Zhang Guangjun Three-dimensional data registration method for vision measurement in flow style based on double-sided target

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1046803C (zh) * 1993-06-08 1999-11-24 吴活玲 定日镜
FR2770317B1 (fr) * 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
US6968282B1 (en) 2000-05-22 2005-11-22 Snap-On Incorporated Self-calibrating, multi-camera machine vision measuring system
AU2001245834A1 (en) 2000-03-23 2001-10-03 Snap-On Technologies, Inc. Self-calibrating, multi-camera machine vision measuring system
BE1014137A6 (nl) * 2001-04-24 2003-05-06 Krypton Electronic Eng Nv Werkwijze en inrichting voor de verificatie en identificatie van een meetinrichting.
JP3779308B2 (ja) * 2004-07-21 2006-05-24 独立行政法人科学技術振興機構 カメラ校正システム及び三次元計測システム
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
CN100585329C (zh) * 2007-04-10 2010-01-27 南京航空航天大学 基于指端标记的视频手指定位系统及其定位方法
KR20100038314A (ko) * 2007-07-19 2010-04-14 신세스 게엠바하 뼈 앵커를 봉에 연결하기 위해 사용되는 클램프
CN100533055C (zh) * 2008-06-10 2009-08-26 北京航空航天大学 一种基于一维靶标的多视觉传感器全局校准方法
US8265376B2 (en) * 2008-07-21 2012-09-11 Cognitens Ltd. Method and system for providing a digital model of an object
CN101975588B (zh) 2010-08-20 2012-07-11 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1508512A (zh) * 2002-12-17 2004-06-30 北京航空航天大学 一种多视觉传感器检测系统全局标定方法
CN1566903A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 轮胎多几何参数的激光视觉在线自动测量方法
CN1971206A (zh) * 2006-12-20 2007-05-30 北京航空航天大学 基于一维靶标的双目视觉传感器校准方法
US20080298673A1 (en) * 2007-05-30 2008-12-04 Zhang Guangjun Three-dimensional data registration method for vision measurement in flow style based on double-sided target
CN101261738A (zh) * 2008-03-28 2008-09-10 北京航空航天大学 一种基于双一维靶标的摄像机标定方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964027B2 (en) 2010-08-20 2015-02-24 Beihang University Global calibration method with apparatus based on rigid bar for multi-sensor vision
WO2012022231A1 (zh) * 2010-08-20 2012-02-23 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
CN103443580A (zh) * 2011-03-29 2013-12-11 罗伯特·博世有限公司 用于校准一车辆测量用的参考系统的系统和方法
CN102645231A (zh) * 2012-05-03 2012-08-22 中国科学院长春光学精密机械与物理研究所 基于编码器特征点的光学圆靶标动态误差标定方法
CN102645231B (zh) * 2012-05-03 2014-11-19 中国科学院长春光学精密机械与物理研究所 基于编码器特征点的光学圆靶标动态误差标定方法
CN103674057A (zh) * 2012-09-11 2014-03-26 北京航天计量测试技术研究所 带有反射球的标准球杆及其对相机外部参数的标定方法
CN103674057B (zh) * 2012-09-11 2016-08-03 北京航天计量测试技术研究所 带有反射球的标准球杆及其对相机外部参数的标定方法
CN104197960A (zh) * 2014-09-15 2014-12-10 北京航空航天大学 一种激光跟踪仪视觉导引摄像机的全局标定方法
CN106323335A (zh) * 2015-07-02 2017-01-11 中国科学院沈阳自动化研究所 一种可重构室内移动机器人导航性能测评仪及其测评方法
CN106323335B (zh) * 2015-07-02 2023-05-02 中国科学院沈阳自动化研究所 一种可重构室内移动机器人导航性能测评仪及其测评方法
CN106289086B (zh) * 2016-09-20 2018-10-23 东南大学 一种用于光学标识点间距离精确标定的双相机测量方法
CN106289086A (zh) * 2016-09-20 2017-01-04 东南大学 一种用于光学标识点间距离精确标定的双相机测量方法
CN106643614A (zh) * 2016-09-26 2017-05-10 广州汽车集团股份有限公司 一种量程扩展器及其测量方法、测量系统
CN106643614B (zh) * 2016-09-26 2020-06-05 广州汽车集团股份有限公司 一种量程扩展器及其测量方法、测量系统
CN108151667B (zh) * 2017-11-29 2020-04-21 中国船舶重工集团公司第七一九研究所 一种多线激光轮廓扫描传感器全局校准方法
CN108151667A (zh) * 2017-11-29 2018-06-12 中国船舶重工集团公司第七〇九研究所 一种多线激光轮廓扫描传感器全局校准方法
CN111757086A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 有源双目相机、rgb-d图像确定方法及装置
CN111156899A (zh) * 2020-02-18 2020-05-15 广东博智林机器人有限公司 一种视觉测量装置、方法及机器人
CN112729156A (zh) * 2020-12-24 2021-04-30 上海智能制造功能平台有限公司 一种人体数字化测量装置的数据拼接及系统标定方法
CN112719879A (zh) * 2020-12-31 2021-04-30 中国十九冶集团有限公司 大跨距联轴器找正方法
CN112719879B (zh) * 2020-12-31 2022-05-06 中国十九冶集团有限公司 大跨距联轴器找正方法
CN114413754A (zh) * 2022-01-05 2022-04-29 天津大学 工作空间测量定位系统动态误差建模与自主补偿方法
CN114413754B (zh) * 2022-01-05 2023-11-07 天津大学 工作空间测量定位系统动态误差建模与自主补偿方法

Also Published As

Publication number Publication date
CN101975588B (zh) 2012-07-11
US20120162414A1 (en) 2012-06-28
US8964027B2 (en) 2015-02-24
WO2012022231A1 (zh) 2012-02-23

Similar Documents

Publication Publication Date Title
CN101975588B (zh) 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
CN103759670B (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN109559355B (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN101581569B (zh) 双目视觉传感系统结构参数的标定方法
CN109238235B (zh) 单目序列图像实现刚体位姿参数连续性测量方法
CN101887585B (zh) 基于非共面特征点的摄像机标定方法
CN107507246A (zh) 一种基于改进畸变模型的摄像机标定方法
CN110345921B (zh) 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
CN112985293B (zh) 一种单像机双球面镜镜像双目视觉测量系统和测量方法
CN113240732B (zh) 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
CN114705122B (zh) 一种大视场立体视觉标定方法
CN102042807B (zh) 一种目标空间坐标的柔性立体视觉测量装置
CN104697463B (zh) 一种双目视觉传感器的消隐特征约束标定方法及装置
CN110378969A (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN104268876A (zh) 基于分块的摄像机标定方法
CN107038753B (zh) 立体视觉三维重建系统及方法
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN114359405A (zh) 一种离轴沙姆3d线激光相机的标定方法
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建系统
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN111768451A (zh) 一种基于移动显示屏的大尺寸双目视觉离焦标定方法
CN111986267A (zh) 一种多相机视觉系统的坐标系统标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120711

Termination date: 20190928