CN111260730B - 一种利用基准传递原理的可变视轴视觉系统标定方法 - Google Patents

一种利用基准传递原理的可变视轴视觉系统标定方法 Download PDF

Info

Publication number
CN111260730B
CN111260730B CN202010027370.XA CN202010027370A CN111260730B CN 111260730 B CN111260730 B CN 111260730B CN 202010027370 A CN202010027370 A CN 202010027370A CN 111260730 B CN111260730 B CN 111260730B
Authority
CN
China
Prior art keywords
camera
target
matrix
coordinate system
plane target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010027370.XA
Other languages
English (en)
Other versions
CN111260730A (zh
Inventor
李安虎
刘兴盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010027370.XA priority Critical patent/CN111260730B/zh
Publication of CN111260730A publication Critical patent/CN111260730A/zh
Application granted granted Critical
Publication of CN111260730B publication Critical patent/CN111260730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种利用基准传递原理的可变视轴视觉系统标定方法，该方法通过系统标定工具实现，系统标定工具包括辅助相机和平面靶标，辅助相机用于实时获取平面靶标的位姿变化并传递给主要相机，平面靶标用于提供具有共面约束和距离约束的标定图案，主要相机、辅助相机和旋转棱镜装置均与计算机连接。与现有技术相比，本发明利用辅助相机直接获取平面靶标的空间位置和姿态信息，并且实时传递至可变视轴视觉测量系统内，作为系统标定过程的参数优化收敛基准，再结合逆向光线追迹方法和非线性优化方法求解附加光学元件的实际位姿参数，避免引入高精度的位移平台及其往复运动，可以有效提高系统标定过程的快速性、灵活性和适应性。

Description

一种利用基准传递原理的可变视轴视觉系统标定方法
技术领域
本发明涉及机器视觉领域，尤其是涉及一种利用基准传递原理的可变视轴视觉系统标定方法。
背景技术
视觉测量技术是现代测试技术发展的重要分支，在先进制造、智能交通、现代农业以及国防军事等领域均有广泛的应用。现有的视觉测量方法主要包括单目视觉、双目视觉、多目视觉和结构光视觉等，然而这些方法仍然存在各自的局限性，如依赖先验信息、测量范围受限、组成复杂以及布置空间较大等。
为此，先前研究提出在单台相机前方附加特定的光学元件，通过改变单台相机的成像视轴，使单台相机等效为两台或多台相机以采集实现多视角图像，从而实现三维测量的功能，即可变视轴视觉测量技术。已有报道的可变视轴视觉测量方法大多采用平面反射镜组(参见：邾继贵等.单摄像机虚拟立体视觉测量技术研究.光学学报,2005,25(7):943-948)、二分棱镜(参见：Lee D H,et al.A novel stereo camera system by abiprism.IEEE Transactions on Robotics and Automation,2000,16(5):528～541)或者衍射光栅(参见：Xia S,et al.Optical microscope for three-dimensional surfacedisplacement and shape measurements at the microscale.Optics Letters,2014,39(14):4267～4270)等三类附加光学元件。这些测量方法面临的共同问题在于：在所有视轴指向下采集的目标图像共用探测器的成像平面，导致系统的成像分辨能力和测量范围均有明显降低。相比而言，采用旋转棱镜作为附加光学元件的可变视轴视觉测量方法兼具精确视轴指向和宽场扫描能力，可在扩大视场范围的同时实现较高的成像分辨率和三维测量精度(参见：李安虎，一种可变视轴视觉测量系统及方法，申请号201910464336.6)。以上几类方法的测量性能对于附加光学元件的位姿参数比较敏感，故必须建立灵活、准确和可靠的系统标定方法，以便抑制附加元件位姿误差引起的负面影响。
部分先前研究(参见：Lim K B,et al.Virtual camera calibration and stereocorrespondence of single-lens bi-prism stereovision system using geometricalapproach.Signal Processing:Image Communication,2013,28:1059-1071)认为相机和附件光学元件具有已知的严格位姿对准关系，无须额外标定附加光学元件相对于相机的位姿参数，但是这种方法不适用于动态的附加光学元件。还有部分研究针对相机和附加光学元件构成的可变视轴视觉系统标定的主要实现思路为：通过精密位移平台的往复运动实现有、无附加光学元件两种情况的切换，从两种情况下采集的图像信息分别获取关于标定物的估计数据和准确数据，再按照估计数据和准确数据的误差最小化原则，即可优化求解附加光学元件的实际位姿参数(参见：Gorevoy A V,et al.Optimal calibration of aprism-based videoendoscopic system for precise 3D measurements.ComputerOptics,2017,41(4):535～544)。但是，这种标定方法要求载运附加光学元件的位移平台执行频繁的往复运动，将不可避免地增加硬件组成以及实施方案的复杂程度。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种利用基准传递原理的可变视轴视觉系统标定方法。
本发明的目的可以通过以下技术方案来实现：
一种利用基准传递原理的可变视轴视觉系统标定方法，所述可变视轴视觉系统包括主要相机和设置在主要相机前侧的旋转棱镜装置，该方法通过系统标定工具实现，所述系统标定工具包括辅助相机和平面靶标，所述辅助相机用于实时获取平面靶标的位姿变化并传递给主要相机，所述平面靶标用于提供具有共面约束和距离约束的标定图案，平面靶标的位置使主要相机和辅助相机均可采集到完整的标定图案，所述主要相机、辅助相机和旋转棱镜装置均与计算机连接；该方法包括以下步骤：
S1、建立系统标定过程涉及的所有坐标系，预先标定主要相机和辅助相机的内外参数；
S2、在视场范围内任意调整平面靶标的空间位姿，利用主要相机和辅助相机同步采集得到各种位姿的平面靶标的图像序列；
S3、从辅助相机采集的图像序列提取所有位姿状态下靶标特征的准确位置信息，并作为标定参数的收敛基准传递给主要相机；
S4、通过逆向光线追迹方法，根据主要相机采集的图像序列计算所有位姿状态下靶标特征的估计位置信息，作为标定参数的初始估计；
S5、结合标定参数的初始估计和收敛基准，建立与旋转棱镜装置位姿关联的目标函数，利用非线性优化方法求解所述目标函数，得到旋转棱镜装置相对于主要相机的位姿参数。
优选的，所述系统标定过程涉及的坐标系包括主要相机坐标系、旋转棱镜坐标系、辅助相机坐标系、平面靶标坐标系和世界坐标系。
优选的，所述S1中预先标定主要相机和辅助相机的内外参数的过程包括：
在主要相机和辅助相机保持固定位姿的情况下，采用双目视觉标定方法获取主要相机的内部参数矩阵AR和畸变系数kR1、kR2，辅助相机的内部参数矩阵AL和畸变系数kL1、kL2，以及主要相机与辅助相机的相对旋转矩阵RRL和相对平移矩阵TRL。
优选的，所述S3具体包括：
S31、利用平面靶标所含特征的共面约束和距离约束，计算平面靶标所含的任意特征M在世界坐标系内的三维坐标；
S32、针对辅助相机采集的平面靶标的图像序列，依次采用特征检测方法提取各种位姿下任意特征M对应的像点mL；
S33、结合辅助相机的内部参数矩阵AL和畸变系数kL1、kL2，计算一系列点M的三维坐标MW与其对应像素坐标mL之间的单应性矩阵；
S34、在单应性矩阵的基础上，初始估计辅助相机与当前位姿的平面靶标之间的相对旋转矩阵和相对平移矩阵；
S35、结合旋转矩阵和平移矩阵的初始估计，建立以像点mL的实际位置和估计位置之间偏差最小为原则的目标函数，求解得到当前位姿对应的旋转矩阵和平移矩阵；
S36、依据世界坐标系和辅助相机坐标系的转换关系，根据S35得到的旋转矩阵和平移矩阵计算各种位姿下任意特征M在辅助相机坐标系下的三维坐标；
S37、将平面靶标内任意特征M在辅助相机坐标系的三维坐标转换为其在主要相机坐标系内的准确位置，作为标定参数的收敛基准。
优选的，所述S4包括：
S41、针对主要相机采集的平面靶标的图像序列，依次采用特征检测方法提取各种位姿下任意特征M对应的像点mR，其像素坐标为mR；
S42、将旋转棱镜装置的转角方位θ与任意特征M对应的像素坐标mR代入矢量折射公式，确定点M在主要相机视场内的成像光路，其逆向追迹矢量依次为S0、S1和S2；
S43、先后联立点M成像光路所在直线的方程和棱镜平面以及楔面的方程，确定该成像光路与棱镜楔面的交点位置K；
S44、结合任意靶标特征M的成像光路传播方向S2及其与棱镜楔面的交点位置KR，建立点M所处空间直线在主要相机坐标系内的方程；利用主要相机、辅助相机和平面靶标所在坐标系的转换关系，建立平面靶标在主要相机坐标系内的方程；
S45、联立任意特征M所处空间直线的方程和平面靶标所在平面的方程，获取点M在主要相机坐标系内的估计位置信息。
优选的，所述S0、S1和S2分别为：
Figure BDA0002362950700000041
Figure BDA0002362950700000042
Figure BDA0002362950700000043
其中，
Figure BDA0002362950700000044
为mR的齐次表达形式，n表示棱镜材料的折射率，AR为主要相机的内部参数矩阵，N1和N2分别为棱镜平面侧和楔面侧的法向量，具体为：
N1＝RPR[0,0,1]T,N2＝RPR[sinαcosθ,sinαsinθ,cosα]T
其中，α表示棱镜楔角，RPR为主要相机和旋转棱镜装置的相对旋转矩阵。
优选的，所述S43中交点位置K的三维坐标KR为：
Figure BDA0002362950700000045
其中，d表示棱镜的中心厚度，TPR为主要相机和旋转棱镜装置的相对旋转矩阵。
优选的，所述S45中点M在主要相机坐标系内的估计位置信息为
Figure BDA0002362950700000046
Figure BDA0002362950700000047
其中，XS、YS、ZS和XK、YK、ZK分别表示方向向量S2和交点位置KR在三个坐标轴方向的分量，c1、c2、c3和c4为平面靶标所在平面方程的系数，具体为：
Figure BDA0002362950700000051
优选的，所述S5中的目标函数为：
Figure BDA0002362950700000052
其中，m为平面靶标的位姿调整次数，k为平面靶标内包含的特征数量，i表示平面靶标的位姿第i次调整，j表示平面靶标内的第j个特征，RPR为旋转矩阵，TPR为平移矩阵，MR为准确位置，
Figure BDA0002362950700000053
为估计位置。
优选的，所述S5中利用非线性优化方法求解目标函数之后，按照旋转矩阵和欧拉角的相互转换关系，将旋转棱镜装置的相对旋转矩阵RPR化简为欧拉角RX、RY和RZ的描述形式，将旋转棱镜装置的相对平移矩阵TPR分解为TX、TY和TZ三个分量，得到旋转棱镜装置相对于主要相机的位姿参数。
与现有技术相比，本发明包括以下优点：
1.本发明利用辅助相机和平面靶标实现可变视轴视觉测量系统的参数标定，利用辅助相机直接获取平面靶标的空间位置和姿态信息，并且实时传递至可变视轴视觉测量系统内，作为系统标定过程的参数优化收敛基准，再结合逆向光线追迹方法和非线性优化方法求解附加光学元件的实际位姿参数，避免引入高精度的位移平台及其往复运动，可以有效提高系统标定过程的快速性、灵活性和适应性；无须借助其他复杂昂贵的精密仪器，同时对于所用标定工具的安装和摆放形式并无特殊要求，能有效节省系统标定过程的硬件成本和布置空间。
2.本发明充分结合辅助相机的基准传递作用和平面靶标的几何约束条件，在系统标定过程实时获取平面靶标的三维位姿变化，并且将其作为参数优化的收敛基准向可变视轴视觉测量系统传递，可以显著提高系统标定过程的效率和灵活性。
3.本发明提出利用基准传递原理的可变视轴视觉测量系统标定方法，可以在测量系统内优化求解主要相机和旋转棱镜之间的相对位姿关系，抑制装配误差、运动误差和环境扰动等因素的影响，从而提高可变视轴视觉测量结果的准确性。
4.本发明提出的标定方法可以拓展应用至基于平面反射镜组、折射棱镜或衍射光栅等附加光学元件的视觉测量系统，获取动态或静态光学元件的实际位姿参数，为相关应用场合的误差溯源、补偿和修正提供必要的参考依据。
附图说明
图1为本发明可变视轴视觉测量系统及其标定工具的布置示意图；
图2为本发明可变视轴视觉测量系统标定方法的原理示意图；
图3为本发明可变视轴视觉测量系统标定方法的实现流程图；
图4为主要相机和辅助相机在特定棱镜转角θ1＝0°处采集的平面靶标图像序列，其中：(a)为主要相机采集的图像序列，(b)为辅助相机采集的图像序列；
图5为旋转棱镜装置在θ1＝0°、θ2＝45°、θ3＝90°、θ4＝135°、θ5＝180°、θ6＝225°、θ7＝270°和θ8＝315°8种转角方位的实际位姿参数求解结果，其中：(a)和(b)分别为棱镜相对于主要相机的欧拉角和平移分量随着转角方位的变化规律。
图中标号：1为主要相机，2为旋转棱镜装置，3为辅助相机，4为平面靶标。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本申请提出一种利用基准传递原理的可变视轴视觉系统标定方法，可以通过辅助相机3成像信息和平面靶标4约束条件实时获取靶标的三维位姿变化，再结合基准传递过程和逆向光线追迹方法优化求解旋转棱镜的实际位姿参数。
可变视轴视觉系统包括主要相机1和设置在主要相机1前侧的旋转棱镜装置2，主要相机1和旋转棱镜装置2之间未必满足理想的轴向对准关系，但主要相机1和旋转棱镜装置2的关键参数必须相互匹配以免发生视场遮挡问题，主要相机1的关键参数包括焦距、视场角、感光芯片尺寸等，旋转棱镜装置2的关键参数包括楔角、折射率、通光孔径等。该方法通过系统标定工具实现，如图1所示，系统标定工具包括辅助相机3和平面靶标4，辅助相机3用于实时获取平面靶标4的位姿变化并传递给主要相机1，可以实时传递参数优化过程的收敛基准；平面靶标4用于提供具有共面约束和距离约束的标定图案，如棋盘格图案或圆形特征图案，本实施例中，该平面靶标4包含9行11列圆形特征的标定图案。辅助相机3的固定位姿必须保证其与主要相机1具有较大的视场重合区域，而平面靶标4的摆放距离必须保证主要相机1和辅助相机3均可采集到完整的标定图案。计算机通过合理的方式分别连接主要相机1、辅助相机3和旋转棱镜装置2的控制器，用以实现图像采集、图像处理和运动控制等功能。该方法包括以下步骤：
S1、建立系统标定过程涉及的所有坐标系，预先标定主要相机1和辅助相机3的内外参数，具体包括：
S11、建立主要相机坐标系OR-XRYRZR、旋转棱镜坐标系OP-XPYPZP、辅助相机坐标系OL-XLYLZL、平面靶标坐标系OB-XBYBZB和世界坐标系OW-XWYWZW；
主要相机坐标系OR-XRYRZR的原点OR为主要相机1的光心，ZR轴与相机光轴方向重合，XR轴和YR轴均与ZR轴正交，且分别沿主要相机1成像传感器的行扫描方向和列扫描方向；
旋转棱镜坐标系OP-XPYPZP的原点OP位于旋转棱镜装置2的棱镜平面侧中心，ZP轴与旋转棱镜的光轴方向重合，YPOPZP平面与棱镜主截面重合，且YP轴的正方向从主截面薄端指向厚端，XP轴同时与YP轴和ZP轴正交；
辅助相机坐标系OL-XLYLZL的原点OL为辅助相机3的光心，ZL轴与相机光轴方向重合，XL轴和YL轴均与ZL轴正交，且分别沿辅助相机3成像传感器的行扫描方向和列扫描方向；
平面靶标坐标系OB-XBYBZB的原点OB固定于平面靶标4左上角的特征位置，ZB轴方向与靶标所在平面垂直，XBOBYB平面与靶标所在平面重合，XB轴和YB轴分别平行于靶标特征的行分布方向和列分布方向；
世界坐标系OW-XWYWZW与平面靶标坐标系OB-XBYBZB完全重合；
S12、在主要相机1和辅助相机3保持固定位姿的情况下，采用现有的双目视觉标定方法获取主要相机1的内部参数矩阵AR和畸变系数kR1、kR2，辅助相机3的内部参数矩阵AL和畸变系数kL1、kL2，以及主要相机1与辅助相机3的相对旋转矩阵RRL和相对平移矩阵TRL，双目视觉标定方法包括直接线性变换法、两步标定法或张氏标定法等。
S2、在视场范围内任意调整平面靶标4的空间位姿，利用主要相机1和辅助相机3同步采集得到各种位姿的平面靶标4的图像序列；
如图2所示，将旋转棱镜装置2固定安装在主要相机1的前方，构成可变视轴视觉测量系统；通过计算机向旋转棱镜装置2的运动控制器发送信号，控制旋转棱镜运动至特定的转角方位θ，而后棱镜在该转角方位保持不动；以合适的幅度调整平面靶标4的三维位姿状态，在调整完成后通过计算机同步主要相机1和辅助相机3的图像采集功能，如此重复执行m次，即可分别获取平面靶标4在主要相机1和辅助相机3的成像视场内所形成的图像序列IR1～IRm和IL1～ILm。
S3、从辅助相机3采集的图像序列提取所有位姿状态下靶标特征的准确位置信息，并作为标定参数的收敛基准传递给主要相机1，具体包括：
S31、利用平面靶标4所含特征的共面约束和距离约束，计算平面靶标4所含的任意特征M在世界坐标系OW-XWYWZW内的三维坐标MW＝[XW,YW,ZW]T，其表达式为：
MW＝[XW,YW,ZW]T＝[NcolλX,NrowλY,0]T
其中，Ncol和Nrow分别为特征M在平面靶标4标定图案内所处的列数和行数，λX和λY分别为标定图案内两两相邻特征的XW方向间距和YW方向间距；
S32、针对辅助相机3采集的平面靶标4的图像序列IL1～ILm，依次采用合理的特征检测方法来提取各种靶标位姿下任意特征M对应的像点mL，其像素坐标mL＝[uL,vL]T；
S33、结合辅助相机3的内参矩阵AL和畸变系数kL1、kL2，计算一系列点M的三维坐标MW与其对应像素坐标mL之间的单应性矩阵，表示为H＝[h1,h2,h3]；
S34、在单应性矩阵H的基础上，初始估计辅助相机3与当前位姿的平面靶标4之间的相对旋转矩阵RLW和相对平移矩阵TLW，其表达式为：
Figure BDA0002362950700000081
其中s为尺度因子，且s＝1/||h1||＝1/||h2||；
S35、结合旋转矩阵和平移矩阵的初始估计
Figure BDA0002362950700000082
和
Figure BDA0002362950700000083
建立以像点mL的实际位置mL和估计位置
Figure BDA0002362950700000084
之间偏差最小为原则的优化目标函数，准确求解当前靶标位姿对应的旋转矩阵RLW和平移矩阵TLW，该问题可以表示为：
Figure BDA0002362950700000085
其中，k为平面靶标4包含的特征数量；上述问题可以通过现有的非线性优化算法加以解决，如Levenberg-Marquardt算法和差分进化算法等；
S36、依据世界坐标系OW-XWYWZW和辅助相机坐标系OL-XLYLZL的转换关系，计算各种靶标位姿下任意特征M在OL-XLYLZL坐标系的三维坐标ML，表示为：
ML＝RLWMW+TLW；
S37、已知主要相机1和辅助相机3的相对位姿关系，将靶标内任意特征M在辅助相机坐标系OL-XLYLZL的三维坐标ML转换为其在主要相机坐标系OR-XRYRZR内的准确位置MR，作为标定参数优化过程的收敛基准，两者之间满足：
MR＝RRLML+TRL。
S4、通过逆向光线追迹方法，根据主要相机1采集的图像序列计算所有位姿状态下靶标特征的估计位置信息，作为标定参数的初始估计，具体包括：
S41、针对主要相机1采集的平面靶标4的图像序列IR1～IRm，依次采用合理的特征检测方法来提取各种靶标位姿下任意特征M对应的像点mR，其像素坐标mR＝[uR,vR]T；
S42、将棱镜转角方位θ与任意特征M对应的像素坐标mR代入矢量折射公式，确定点M在主要相机1视场内的成像光路，其逆向追迹矢量依次为S0、S1和S2：
Figure BDA0002362950700000091
Figure BDA0002362950700000092
Figure BDA0002362950700000093
其中，
Figure BDA0002362950700000094
为mR的齐次表达形式，n表示棱镜材料的折射率，AR为主要相机1的内部参数矩阵，N1和N2分别为棱镜平面侧和楔面侧的法向量，具体为：
N1＝RPR[0,0,1]T,N2＝RPR[sinαcosθ,sinαsinθ,cosα]T
其中，α表示棱镜楔角，RPR为主要相机1和旋转棱镜装置2的相对旋转矩阵；
S43、先后联立点M成像光路所在直线的方程和棱镜平面以及楔面的方程，确定该成像光路与棱镜楔面的交点位置K，其三维坐标KR表示为：
Figure BDA0002362950700000095
其中，d表示棱镜的中心厚度，TPR为主要相机1和旋转棱镜装置2的相对旋转矩阵；
S44、结合任意靶标特征M的成像光路传播方向S2及其与棱镜楔面的交点位置KR，建立点M所处空间直线在主要相机1坐标系OR-XRYRZR内的方程；
利用主要相机1、辅助相机3和平面靶标4所涉及坐标系的转换关系，建立靶标平面在主要相机1坐标系OR-XRYRZR内的方程；
S45、联立任意特征M所处空间直线的方程和靶标所在平面的方程，获取点M在主要相机1坐标系OR-XRYRZR内的估计位置
Figure BDA0002362950700000101
其表达式为：
Figure BDA0002362950700000102
其中，XS、YS、ZS和XK、YK、ZK分别表示方向向量S2和交点位置KR在三个坐标轴方向的分量，c1、c2、c3和c4为平面靶标4所在平面方程的系数，具体为：
Figure BDA0002362950700000103
S5、结合标定参数的初始估计和收敛基准，建立与旋转棱镜装置2位姿关联的目标函数，利用非线性优化方法求解目标函数，得到旋转棱镜装置2相对于主要相机1的位姿参数。
步骤S5中针对平面靶标4在各种位姿下包含的所有特征，按照准确位置MR和估计位置
Figure BDA0002362950700000104
之间偏差之和最小的原则建立目标函数，优化求解旋转棱镜装置2的旋转矩阵RPR和平移矩阵TPR，S5中的目标函数为：
Figure BDA0002362950700000105
其中，m为平面靶标4的位姿调整次数，k为平面靶标4内包含的特征数量，RPR为旋转矩阵，TPR为平移矩阵，MR为准确位置，
Figure BDA0002362950700000106
为估计位置。
首先采用Levenberg-Marquardt算法和差分进化算法等非线性优化算法求解步骤S5建立的目标函数，再按照旋转矩阵和欧拉角的相互转换关系，将棱镜的相对旋转矩阵RPR化简为欧拉角RX、RY和RZ的描述形式，最后将棱镜的相对平移矩阵TPR分解为TX、TY和TZ等三个分量，获取在任意转角方位的旋转棱镜相对于主要相机1的实际位姿参数组合(RX,RY,RZ,TX,TY,TZ)。
实施例
本实施例中，采用可变视轴视觉测量系统标定方法获取旋转棱镜实际位姿参数的详细步骤如下：
S1、标定主要相机1和辅助相机3的内外参数：
S11、建立主要相机坐标系OR-XRYRZR、旋转棱镜坐标系OP-XPYPZP、辅助相机坐标系OL-XLYLZL、平面靶标坐标系OB-XBYBZB以及世界坐标系OW-XWYWZW；
S12、采用张氏标定法获取主要相机1的内参矩阵AR和畸变系数kR1、kR2，辅助相机3的内参矩阵AL和畸变系数kL1、kL2，以及主要相机1与辅助相机3之间的相对旋转矩阵RRL和相对平移矩阵TRL。
S2、采集多种位姿状态的平面靶标4的图像序列：
S21、将旋转棱镜装置2固定安装在主要相机1的前方，构建可变视轴视觉测量系统；
S22、通过计算机控制旋转棱镜装置2的运动，使棱镜先后旋转至θ1＝0°、θ2＝45°、θ3＝90°、θ4＝135°、θ5＝180°、θ6＝225°、θ7＝270°和θ8＝315°八个转角方位；
S23、每当棱镜旋转至一个指定的转角方位θs，通过计算机分别触发主要相机1和辅助相机3采集平面靶标4在10种不同位姿的图像序列
Figure BDA0002362950700000111
和
Figure BDA0002362950700000112
其中s＝1,2,...,8；例如，棱镜转角为θ1＝0°时主要相机1和辅助相机3采集的靶标图像序列分别如图4中的(a)、(b)所示。
S3、提取平面靶标4所含特征的准确位置信息：
S31、利用靶标特征的分布情况和距离约束，计算平面靶标4包含的所有圆形特征在世界坐标系OW-XWYWZW内的三维坐标
Figure BDA0002362950700000113
其中i＝1,2,...,99；
S32、针对辅助相机3在棱镜转角为θs时采集的平面靶标4的图像序列
Figure BDA0002362950700000114
采用椭圆拟合方法提取每幅靶标图像内所有圆形特征的对应像点，其像素坐标
Figure BDA0002362950700000115
S33、结合辅助相机3的内参矩阵AL和畸变系数kL1、kL2，根据每幅靶标图像计算在当前位姿下所有特征的三维坐标
Figure BDA0002362950700000116
与其对应像素坐标
Figure BDA0002362950700000117
之间的单应性矩阵H；
S34、已知每幅靶标图像对应的单应性矩阵H，估计辅助相机3与当前位姿的平面靶标4之间的相对旋转矩阵
Figure BDA0002362950700000118
和相对平移矩阵
Figure BDA0002362950700000119
S35、建立以所有特征对应像点的偏差最小为原则、以矩阵
Figure BDA00023629507000001110
和矩阵
Figure BDA00023629507000001111
为初始估计的优化目标函数，再采用经典的Levenberg-Marquardt算法优化求解平面靶标4在各种位姿的旋转矩阵RLW和平移矩阵TLW；
S36、利用OW-XWYWZW坐标系和OL-XLYLZL坐标系的转换矩阵RLW和TLW，计算各种位姿的平面靶标4所含特征在OL-XLYLZL坐标系的三维坐标
Figure BDA00023629507000001112
S37、利用OL-XLYLZL坐标系和OR-XRYRZR坐标系的转换矩阵RRL和TRL，将平面靶标4所有特征在OL-XLYLZL坐标系的三维坐标Mi L转换为其在OR-XRYRZR坐标系的准确位置
Figure BDA00023629507000001113
实时传递参数优化过程的收敛基准。
S4、计算平面靶标4所含特征的估计位置信息：
S41、针对主要相机1在棱镜转角为θs时采集的平面靶标4的图像序列
Figure BDA0002362950700000121
采用椭圆拟合方法提取每幅靶标图像内所有圆形特征的对应像点，其像素坐标
Figure BDA0002362950700000122
S42、将棱镜转角方位θs与各个特征对应的像素坐标
Figure BDA0002362950700000123
代入矢量折射公式，确定各个特征在主要相机1视场内的成像光路，依次计算该光路的逆向追迹矢量
Figure BDA0002362950700000124
Figure BDA0002362950700000125
和
Figure BDA0002362950700000126
S43、依次联立各个靶标特征的成像光路所在直线方程和棱镜平面以及楔面方程，确定各成像光路与棱镜楔面的交点位置
Figure BDA0002362950700000127
S44、结合各个靶标特征的成像光路传播方向
Figure BDA0002362950700000128
及其与棱镜楔面的交点位置
Figure BDA0002362950700000129
建立各个特征所处直线在OR-XRYRZR坐标系的方程；利用主要相机1、辅助相机3和平面靶标4所涉及坐标系的转换关系，建立靶标平面在OR-XRYRZR坐标系的方程；
S45、联立靶标特征所处直线方程与靶标所在平面方程，获取各个特征在OR-XRYRZR坐标系的估计位置
Figure BDA00023629507000001210
S5、建立与棱镜位姿矩阵关联的优化目标函数并求解：
针对平面靶标4在各种位姿下包含的所有特征，按其准确位置
Figure BDA00023629507000001211
和估计位置
Figure BDA00023629507000001212
之间偏差之和最小的原则建立优化目标函数，再采用经典的Levenberg-Marquardt算法求解旋转棱镜相对于主要相机1的旋转矩阵RPR和平移矩阵TPR；
根据旋转矩阵和欧拉角之间的转换关系化简旋转矩阵RPR，同时将平移矩阵TPR分解为三个分量，分别获取旋转棱镜在8种转角θ1～θ8处的实际位姿参数组合(RX,RY,RZ,TX,TY,TZ)，各项位姿参数随着棱镜转角的变化规律如图5所示。

Claims (8)

1.一种利用基准传递原理的可变视轴视觉系统标定方法，所述可变视轴视觉系统包括主要相机和设置在主要相机前侧的旋转棱镜装置，其特征在于，该方法通过系统标定工具实现，所述系统标定工具包括辅助相机和平面靶标，所述辅助相机用于实时获取平面靶标的位姿变化并传递给主要相机，所述平面靶标用于提供具有共面约束和距离约束的标定图案，平面靶标的位置使主要相机和辅助相机均可采集到完整的标定图案，所述主要相机、辅助相机和旋转棱镜装置均与计算机连接；该方法包括以下步骤：
S1、建立系统标定过程涉及的所有坐标系，预先标定主要相机和辅助相机的内外参数；
S2、在视场范围内任意调整平面靶标的空间位姿，利用主要相机和辅助相机同步采集得到各种位姿的平面靶标的图像序列；
S3、从辅助相机采集的图像序列提取所有位姿状态下靶标特征的准确位置信息，并作为标定参数的收敛基准传递给主要相机；
S4、通过逆向光线追迹方法，根据主要相机采集的图像序列计算所有位姿状态下靶标特征的估计位置信息，作为标定参数的初始估计；
S5、结合标定参数的初始估计和收敛基准，建立与旋转棱镜装置位姿关联的目标函数，利用非线性优化方法求解所述目标函数，得到旋转棱镜装置相对于主要相机的位姿参数；
所述S3具体包括：S31、利用平面靶标所含特征的共面约束和距离约束，计算平面靶标所含的任意特征M在世界坐标系内的三维坐标；S32、针对辅助相机采集的平面靶标的图像序列，依次采用特征检测方法提取各种位姿下任意特征M对应的像点mL；S33、结合辅助相机的内部参数矩阵AL和畸变系数kL1、kL2，计算一系列点M的三维坐标MW与其对应像素坐标mL之间的单应性矩阵；S34、在单应性矩阵的基础上，初始估计辅助相机与当前位姿的平面靶标之间的相对旋转矩阵和相对平移矩阵；S35、结合旋转矩阵和平移矩阵的初始估计，建立以像点mL的实际位置和估计位置之间偏差最小为原则的目标函数，求解得到当前位姿对应的旋转矩阵和平移矩阵；S36、依据世界坐标系和辅助相机坐标系的转换关系，根据S35得到的旋转矩阵和平移矩阵计算各种位姿下任意特征M在辅助相机坐标系下的三维坐标；S37、将平面靶标内任意特征M在辅助相机坐标系的三维坐标转换为其在主要相机坐标系内的准确位置，作为标定参数的收敛基准；
所述S4包括：
S41、针对主要相机采集的平面靶标的图像序列，依次采用特征检测方法提取各种位姿下任意特征M对应的像点mR，其像素坐标为mR；
S42、将旋转棱镜装置的转角方位θ与任意特征M对应的像素坐标mR代入矢量折射公式，确定点M在主要相机视场内的成像光路，其逆向追迹矢量依次为S0、S1和S2；
S43、先后联立点M成像光路所在直线的方程和棱镜平面以及楔面的方程，确定该成像光路与棱镜楔面的交点位置K；
S44、结合任意靶标特征M的成像光路传播方向S2及其与棱镜楔面的焦点位置K的三维坐标KR，建立点M所处空间直线在主要相机坐标系内的方程；利用主要相机、辅助相机和平面靶标所在坐标系的转换关系，建立平面靶标在主要相机坐标系内的方程；
S45、联立任意特征M所处空间直线的方程和平面靶标所在平面的方程，获取点M在主要相机坐标系内的估计位置信息。
2.根据权利要求1所述的一种利用基准传递原理的可变视轴视觉系统标定方法，其特征在于，所述系统标定过程涉及的坐标系包括主要相机坐标系、旋转棱镜坐标系、辅助相机坐标系、平面靶标坐标系和世界坐标系。
3.根据权利要求1所述的一种利用基准传递原理的可变视轴视觉系统标定方法，其特征在于，所述S1中预先标定主要相机和辅助相机的内外参数的过程包括：
在主要相机和辅助相机保持固定位姿的情况下，采用双目视觉标定方法获取主要相机的内部参数矩阵AR和畸变系数kR1、kR2，辅助相机的内部参数矩阵AL和畸变系数kL1、kL2，以及主要相机与辅助相机的相对旋转矩阵RRL和相对平移矩阵TRL。
4.根据权利要求1所述的一种利用基准传递原理的可变视轴视觉系统标定方法，其特征在于，所述S0、S1和S2分别为：
Figure FDA0003682816320000021
Figure FDA0003682816320000022
Figure FDA0003682816320000031
其中，
Figure FDA0003682816320000032
为mR的齐次表达形式，n表示棱镜材料的折射率，AR为主要相机的内部参数矩阵，N1和N2分别为棱镜平面侧和楔面侧的法向量，具体为：
N1＝RPR[0,0,1]T,N2＝RPR[sinαcosθ,sinαsinθ,cosα]T
其中，α表示棱镜楔角，RPR为主要相机和旋转棱镜装置的相对旋转矩阵。
5.根据权利要求4所述的一种利用基准传递原理的可变视轴视觉系统标定方法，其特征在于，所述S43中交点位置K的三维坐标KR为：
Figure FDA0003682816320000033
其中，d表示棱镜的中心厚度，TPR为主要相机和旋转棱镜装置的相对旋转矩阵。
6.根据权利要求5所述的一种利用基准传递原理的可变视轴视觉系统标定方法，其特征在于，所述S45中点M在主要相机坐标系内的估计位置信息为
Figure FDA0003682816320000034
Figure FDA0003682816320000035
其中，XS、YS、ZS和XK、YK、ZK分别表示方向向量S2和交点位置KR在三个坐标轴方向的分量，c1、c2、c3和c4为平面靶标所在平面方程的系数，具体为：
Figure FDA0003682816320000036
其中：RRL为主要相机与辅助相机的相对旋转矩阵，TRL为主要相机与辅助相机的相对平移矩阵，RLW为平面靶标的旋转矩阵，TLW为平面靶标的平移矩阵。
7.根据权利要求1所述的一种利用基准传递原理的可变视轴视觉系统标定方法，其特征在于，所述S5中的目标函数为：
Figure FDA0003682816320000037
其中，m为平面靶标的位姿调整次数，k为平面靶标内包含的特征数量，i表示平面靶标的位姿第i次调整，j表示平面靶标内的第j个特征，RPR为旋转矩阵，TPR为平移矩阵，MR为准确位置，
Figure FDA0003682816320000038
为估计位置。
8.根据权利要求1所述的一种利用基准传递原理的可变视轴视觉系统标定方法，其特征在于，所述S5中利用非线性优化方法求解目标函数之后，按照旋转矩阵和欧拉角的相互转换关系，将旋转棱镜装置的相对旋转矩阵RPR化简为欧拉角RX、RY和RZ的描述形式，将旋转棱镜装置的相对平移矩阵TPR分解为TX、TY和TZ三个分量，得到旋转棱镜装置相对于主要相机的位姿参数。
CN202010027370.XA 2020-01-10 2020-01-10 一种利用基准传递原理的可变视轴视觉系统标定方法 Active CN111260730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010027370.XA CN111260730B (zh) 2020-01-10 2020-01-10 一种利用基准传递原理的可变视轴视觉系统标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010027370.XA CN111260730B (zh) 2020-01-10 2020-01-10 一种利用基准传递原理的可变视轴视觉系统标定方法

Publications (2)

Publication Number Publication Date
CN111260730A CN111260730A (zh) 2020-06-09
CN111260730B true CN111260730B (zh) 2022-09-20

Family

ID=70950356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010027370.XA Active CN111260730B (zh) 2020-01-10 2020-01-10 一种利用基准传递原理的可变视轴视觉系统标定方法

Country Status (1)

Country Link
CN (1) CN111260730B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112082483B (zh) * 2020-09-09 2021-12-03 易思维（杭州）科技有限公司 仅有棱边特征工件的定位方法、应用及精度评价方法
CN113446935B (zh) * 2021-06-09 2022-07-05 同济大学 一种六自由度测量系统和方法
CN113516716B (zh) * 2021-07-16 2022-11-08 燕山大学 一种单目视觉位姿测量及调整方法和系统
CN114111571A (zh) * 2021-11-15 2022-03-01 天津大学 一种异形工件测量的视觉精密检测装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110243283A (zh) * 2019-05-30 2019-09-17 同济大学 一种可变视轴视觉测量系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765498B (zh) * 2018-05-30 2019-08-23 百度在线网络技术（北京）有限公司 单目视觉跟踪方法、装置及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110243283A (zh) * 2019-05-30 2019-09-17 同济大学 一种可变视轴视觉测量系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Forward and inverse solutions for three-element Risley prism beam scanners;Anhu Li et al.;《Optics EXPRESS》;20170403;第25卷(第7期);全文 *

Also Published As

Publication number Publication date
CN111260730A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111260730B (zh) 一种利用基准传递原理的可变视轴视觉系统标定方法
CN110243283B (zh) 一种可变视轴视觉测量系统及方法
CN110057295B (zh) 一种免像控的单目视觉平面距离测量方法
EP3220099B1 (en) Calibration device, calibration method, optical device, imaging device, projection device, measurement system, and measurement method
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN110276806A (zh) 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN105379264A (zh) 用于成像设备建模与校准的系统和方法
CN105066884A (zh) 一种机器人末端定位偏差校正方法及系统
US20050069195A1 (en) Apparatus and method for establishing correspondence between images
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
Yu et al. A calibration method based on virtual large planar target for cameras with large FOV
US10928191B2 (en) Marker, and posture estimation method and position and posture estimation method using marker
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN109544642B (zh) 一种基于n型靶标的tdi-ccd相机参数标定方法
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN111986267A (zh) 一种多相机视觉系统的坐标系统标定方法
JP2012198031A (ja) 画像補正方法及び画像補正装置
CN110322514B (zh) 一种基于多中心投影模型的光场相机参数估计方法
CN112950727A (zh) 基于仿生曲面复眼的大视场多目标同时测距方法
CN115406354B (zh) 一种线极化相控阵天线的智能对位校正方法
RU2579532C2 (ru) Оптико-электронный стереоскопический дальномер
CN113446936B (zh) 一种基于主动视距的变视轴立体视觉测量系统和方法
CN112686960B (zh) 一种基于光线追迹的相机入瞳中心及视线方向的标定方法
Liu et al. Flexible Calibration Method for A Quad-directional Stereo Vision Sensor Based on Unconstraint 3D Target
CN111780683A (zh) 便携式扫描系统及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant