CN113538598A - 主动立体视觉系统标定方法 - Google Patents

主动立体视觉系统标定方法 Download PDF

Info

Publication number
CN113538598A
CN113538598A CN202110822943.2A CN202110822943A CN113538598A CN 113538598 A CN113538598 A CN 113538598A CN 202110822943 A CN202110822943 A CN 202110822943A CN 113538598 A CN113538598 A CN 113538598A
Authority
CN
China
Prior art keywords
camera
image
rotation
vision system
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110822943.2A
Other languages
English (en)
Other versions
CN113538598B (zh
Inventor
李忠辉
刘洁锐
刘希龙
曹志强
谭民
亢晋立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nengchuang Technology Co ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Beijing Nengchuang Technology Co ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nengchuang Technology Co ltd, Institute of Automation of Chinese Academy of Science filed Critical Beijing Nengchuang Technology Co ltd
Priority to CN202110822943.2A priority Critical patent/CN113538598B/zh
Publication of CN113538598A publication Critical patent/CN113538598A/zh
Application granted granted Critical
Publication of CN113538598B publication Critical patent/CN113538598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于服务机器人技术领域,具体涉及一种主动立体视觉系统标定方法,旨在解决主动立体视觉系统中各相机的光心偏离对应的旋转轴情况下难以实现高质量标定的问题。本方法包括获取第一图像、第二图像、第三图像、第四图像、第五图像、第六图像;获取主动立体视觉系统的各相机旋转前后的相对位姿;获取各相机的旋转轴对应的旋转向量;结合各相机的旋转轴对应的旋转向量以及旋转角度,获取各相机的旋转轴在对应的预定义的初始位置坐标系中的位姿;获取第一相机和第二相机在初始位置时的相对位姿,进而得到第一相机的旋转轴和第二相机的旋转轴之间的相对位姿;在线更新主动立体视觉系统的外参。本发明提升了主动立体视觉系统的标定质量。

Description

主动立体视觉系统标定方法
技术领域
本发明属于服务机器人技术领域,具体涉及一种主动立体视觉系统标定方法。
背景技术
近年来,服务机器人被广泛应用于助老助残、医疗、自动驾驶中,其中机器人通过立体视觉获得场景的深度信息,为环境感知提供坚实的基础。要使用立体视觉感知环境,需要知道立体视觉系统中两个相机之间的空间关系,这就需要对立体视觉系统进行有效的标定以得到立体视觉系统的外参。按照相机之间相对位姿是否可变,立体视觉系统分为固定式立体视觉系统和主动立体视觉系统,其中固定式立体视觉系统的相机之间的相对位姿保持不变,而主动立体视觉系统的相机之间的相对位姿是可变的。相比于固定式立体视觉系统,主动立体视觉系统可以获得更大的工作空间。主动立体视觉系统包含两个相机:第一相机和第二相机,这两个相机大多绕自己的旋转轴旋转。对于固定式立体视觉系统,借助棋盘格标定板、张正友标定法、PnP算法和OpenCV库已经能对其进行有效的标定;对于采用棋盘格标定板进行标定的方式,基于棋盘格标定板的各角点的2D像素坐标和棋盘格标定板的各角点的3D点坐标,利用PnP算法即可求解出相机之间的相对位姿;但是,这些方法不足以完成主动立体视觉系统的标定。
目前的主动立体视觉系统的标定方法可分为两类:基于重定位的标定方法和两阶段的标定方法。基于重定位的标定方法将相机之间相对位姿的估计建模为其中一个相机与另一个相机之间的位姿估计问题,但是该类方法用于主动立体视觉系统的外参更新时较为繁琐,实时性和标定精度较差。两阶段的标定方法考虑了主动立体视觉系统本身的机械结构特性,首先在离线阶段对机械结构的机械参数进行标定,为了得到主动立体视觉系统中各相机的旋转轴的机械参数,可考虑使用Rodrigues旋转公式,将每个相机旋转前后的相对位姿转换为该相机的旋转轴对应的旋转向量;然后是在线更新阶段,结合离线阶段标定好的相机的旋转轴机械参数对主动立体视觉系统的外参进行在线更新。两阶段的标定方法对主动立体视觉系统的机械结构进行了建模,从而可以得到实时性好且精度高的系统外参,但是,现有的两阶段标定方法大多需要主动立体视觉系统各相机的光心位于对应的旋转轴上,这限制了其应用范围。如何在主动立体视觉系统中各相机的光心偏离对应的旋转轴时实现高质量标定,仍有待于进一步研究。
因此,如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题,即为了解决主动立体视觉系统中各相机的光心偏离对应的旋转轴情况下难以实现高质量标定的问题,本发明提出了一种主动立体视觉系统标定方法,包括以下步骤:
步骤S100,获取主动立体视觉系统的第一相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第一图像、第二图像;获取主动立体视觉系统的第二相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第三图像、第四图像;将第一相机、第二相机恢复至旋转前的初始位置,并将棋盘格标定板置于第一相机和第二相机的公共视野中,然后利用第一相机、第二相机分别采集棋盘格标定板的图像,作为第五图像、第六图像;
步骤S200,结合第一图像和第二图像获取主动立体视觉系统的第一相机旋转前后的相对位姿TC1;结合第三图像和第四图像获取主动立体视觉系统的第二相机旋转前后的相对位姿TC2
步骤S300,利用Rodrigues旋转公式,结合第一相机旋转前后的相对位姿TC1获取第一相机的旋转轴对应的旋转向量f1,结合第二相机旋转前后的相对位姿TC2获取第二相机的旋转轴对应的旋转向量f2
步骤S400,结合第一相机的旋转轴对应的旋转向量f1以及旋转角度θ,获取第一相机的旋转轴在预定义的第一相机初始位置坐标系O1X1Y1Z1中的位姿T1;结合第二相机的旋转轴对应的旋转向量f2以及旋转角度θ,获取第二相机的旋转轴在预定义的第二相机初始位置坐标系O2X2Y2Z2中的位姿T2
步骤S500,结合第五图像、第六图像,获取第一相机和第二相机在初始位置时的相对位姿TrC,进而结合T1和T2,得到第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL
步骤S600,根据主动立体视觉系统的第一相机的旋转轴在第一相机初始位置坐标系O1X1Y1Z1中的位姿T1、第二相机的旋转轴在第二相机初始位置坐标系O2X2Y2Z2中的位姿T2、第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL,在线更新主动立体视觉系统的外参Te
在一些优选的实施方式中,所述棋盘格标定板在第一图像、第二图像、第三图像、第四图像、第五图像和第六图像中所占比例为50%。
在一些优选的实施方式中,所述主动立体视觉系统的各相机旋转前后的相对位姿,其计算方法为:
通过OpenCV库的棋盘格角点检测算法分别对第一图像、第二图像进行处理,得到第一图像、第二图像中棋盘格标定板的各个角点的图像坐标p1(i,j)、p2(i,j);基于p1(i,j)、p2(i,j),结合棋盘格标定板的各个角点的世界坐标w(i,j),利用PnP算法求解出第一相机旋转前后的相对位姿TC1
通过OpenCV库的棋盘格角点检测算法分别对第三图像、第四图像进行处理,得到第三图像、第四图像中棋盘格标定板的各个角点的图像坐标p3(i,j)、p4(i,j);基于p3(i,j)、p4(i,j),结合棋盘格标定板的各个角点的世界坐标w(i,j),利用PnP算法求解出第二相机旋转前后的相对位姿TC2
其中,棋盘格标定板具有r行c列个角点,i=0,1,...,r-1,j=0,1,...,c-1。
在一些优选的实施方式中,所述第一相机初始位置坐标系O1X1Y1Z1为以第一相机在初始位置时的光心作为原点O1,以第一相机在初始位置时的相机图像的横轴方向和纵轴方向分别作为X1轴方向和Y1轴方向,以第一相机在初始位置时的相机光轴作为Z1轴的坐标系;
所述第二相机初始位置坐标系O2X2Y2Z2为以第二相机在初始位置时的光心作为原点O2,以第二相机在初始位置时的相机图像的横轴方向和纵轴方向分别作为X2轴方向和Y2轴方向,以第二相机在初始位置时的相机光轴作为Z2轴的坐标系。
在一些优选的实施方式中,所述位姿T1,其获取方法为:
Figure BDA0003172484200000041
Figure BDA0003172484200000042
Figure BDA0003172484200000043
f1=[f1,0 f1,1 f1,2]T
其中,t1为第一相机旋转前后的相对位姿TC1的平移向量,b1,0、b1,1和b1,2分别为b1的第一个分量、第二个分量和第三个分量,f1,0、f1,1和f1,2分别为f1的第一个分量、第二个分量和第三个分量。
在一些优选的实施方式中,所述位姿T2,其获取方法为:
Figure BDA0003172484200000051
Figure BDA0003172484200000052
Figure BDA0003172484200000053
f2=[f2,0 f2,1 f2,2]T
其中,t2为第二相机旋转前后的相对位姿TC2的平移向量,b2,0、b2,1和b2,2分别为b2的第一个分量、第二个分量和第三个分量,f2,0、f2,1和f2,2分别为f2的第一个分量、第二个分量和第三个分量。
在一些优选的实施方式中,所述第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL,其计算方法为:
Figure BDA0003172484200000054
在一些优选的实施方式中,“在线更新主动立体视觉系统的外参Te”,其方法为:
Figure BDA0003172484200000055
其中,θ1和θ2分别为第一相机和第二相机当前时刻绕各自对应的旋转轴旋转的角度。
本发明的有益效果:
本发明解决了主动立体视觉系统中各相机的光心偏离对应的旋转轴情况下难以高质量标定的问题,提升了主动立体视觉系统的标定质量,为服务机器人准确获得场景的深度信息提供技术支持。
附图说明
图1是本发明一种实施例的主动立体视觉系统标定方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种主动立体视觉系统标定方法,如图1所示,包括以下步骤:
步骤S100,获取主动立体视觉系统的第一相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第一图像、第二图像;获取主动立体视觉系统的第二相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第三图像、第四图像;将第一相机、第二相机恢复至旋转前的初始位置,并将棋盘格标定板置于第一相机和第二相机的公共视野中,然后利用第一相机、第二相机分别采集棋盘格标定板的图像,作为第五图像、第六图像;
步骤S200,结合第一图像和第二图像获取主动立体视觉系统的第一相机旋转前后的相对位姿TC1;结合第三图像和第四图像获取主动立体视觉系统的第二相机旋转前后的相对位姿TC2
步骤S300,利用Rodrigues旋转公式,结合第一相机旋转前后的相对位姿TC1获取第一相机的旋转轴对应的旋转向量f1,结合第二相机旋转前后的相对位姿TC2获取第二相机的旋转轴对应的旋转向量f2
步骤S400,结合第一相机的旋转轴对应的旋转向量f1以及旋转角度θ,获取第一相机的旋转轴在预定义的第一相机初始位置坐标系O1X1Y1Z1中的位姿T1;结合第二相机的旋转轴对应的旋转向量f2以及旋转角度θ,获取第二相机的旋转轴在预定义的第二相机初始位置坐标系O2X2Y2Z2中的位姿T2
步骤S500,结合第五图像、第六图像,获取第一相机和第二相机在初始位置时的相对位姿TrC,进而结合T1和T2,得到第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL
步骤S600,根据主动立体视觉系统的第一相机的旋转轴在第一相机初始位置坐标系O1X1Y1Z1中的位姿T1、第二相机的旋转轴在第二相机初始位置坐标系O2X2Y2Z2中的位姿T2、第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL,在线更新主动立体视觉系统的外参Te
为了更清晰地对本发明一种主动立体视觉系统标定方法进行说明,下面对本发明方法一种实施例中各步骤进行展开详述。
步骤S100,获取主动立体视觉系统的第一相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第一图像、第二图像;获取主动立体视觉系统的第二相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第三图像、第四图像;将第一相机、第二相机恢复至旋转前的初始位置,并将棋盘格标定板置于第一相机和第二相机的公共视野中,然后利用第一相机、第二相机分别采集棋盘格标定板的图像,作为第五图像、第六图像;
在本实施例中,将具有r行c列个角点的棋盘格标定板置于环境中,其中水平相邻角点的间隔都为d,竖直相邻角点的间隔也都为d,r、c和d为预设常数,本发明中优选设置分别为8、11和15mm。利用主动立体视觉系统的第一相机在初始位置采集棋盘格标定板的图像,将其作为第一图像;该相机绕对应的旋转轴旋转θ角度后采集棋盘格标定板的图像,将其作为第二图像,其中θ为预设角度,本发明中优选设置为30°;同样的,主动立体视觉系统的第二相机在初始位置采集棋盘格标定板的图像,将其作为第三图像;该相机绕对应的旋转轴旋转θ角度后采集棋盘格标定板的图像,将其作为第四图像;主动立体视觉系统的第一相机和第二相机恢复至初始位置,将棋盘格标定板置于主动立体视觉系统的第一相机和第二相机的公共视野中,利用主动立体视觉系统的第一相机采集棋盘格标定板的图像,将其作为第五图像,利用主动立体视觉系统的第二相机采集棋盘格标定板的图像,将其作为第六图像;其中,棋盘格标定板在第一图像、第二图像、第三图像、第四图像、第五图像和第六图像中所占比例为50%。
步骤S200,结合第一图像和第二图像获取主动立体视觉系统的第一相机旋转前后的相对位姿TC1;结合第三图像和第四图像获取主动立体视觉系统的第二相机旋转前后的相对位姿TC2
在本实施例中,通过OpenCV库的棋盘格角点检测算法对第一图像进行处理,得到第一图像中棋盘格标定板的各个角点的图像坐标p1(i,j),i=0,1,...,r-1,j=0,1,...,c-1;通过OpenCV库的棋盘格角点检测算法对第二图像进行处理,得到第二图像中棋盘格标定板的各个角点的图像坐标p2(i,j),i=0,1,...,r-1,j=0,1,...,c-1;另外,棋盘格标定板的各个角点的世界坐标计算如下:w(i,j)=[j·d i·d 0]T,i=0,1,…,r-1,j=0,1,…,c-1;基于p1(i,j)、p2(i,j)和w(i,j),i=0,1,...,r-1,j=0,1,...,c-1,利用PnP算法求解出第一相机旋转前后的相对位姿TC1
通过OpenCV库的棋盘格角点检测算法对第三图像进行处理,得到第三图像中棋盘格标定板的各个角点的图像坐标p3(i,j),i=0,1,...,r-1,j=0,1,...,c-1;通过OpenCV库的棋盘格角点检测算法对第四图像进行处理,得到第四图像中棋盘格标定板的各个角点的图像坐标p4(i,j),i=0,1,...,r-1,j=0,1,...,c-1;基于p3(i,j)、p4(i,j)和w(i,j),i=0,1,...,r-1,/=0,1,...,c-1,利用PnP算法求解出第二相机旋转前后的相对位姿TC2
步骤S300,利用Rodrigues旋转公式,结合第一相机旋转前后的相对位姿TC1获取第一相机的旋转轴对应的旋转向量f1,结合第二相机旋转前后的相对位姿TC2获取第二相机的旋转轴对应的旋转向量f2
在本实施例中,利用Rodrigues旋转公式,将第一相机旋转前后的相对位姿TC1转换为第一相机的旋转轴对应的旋转向量f1=[f1,0f1,1f1,2]T,其中f1,0、f1,1和f1,2分别为f1的第一个分量、第二个分量和第三个分量;利用Rodrigues旋转公式,将第二相机旋转前后的相对位姿TC2转换为第二相机的旋转轴对应的旋转向量f2=[f2,0f2,1f2,2]T,其中f2,0、f2,1和f2,2分别为f2的第一个分量、第二个分量和第三个分量;定义第一相机初始位置坐标系O1X1Y1Z1,以第一相机在初始位置时的光心作为原点O1,以第一相机在初始位置时的相机图像的横轴方向和纵轴方向分别作为X1轴方向和Y1轴方向,以第一相机在初始位置时的相机光轴作为Z1轴;定义第二相机初始位置坐标系O2X2Y2Z2,以第二相机在初始位置时的光心作为原点O2,以第二相机在初始位置时的相机图像的横轴方向和纵轴方向分别作为X2轴方向和Y2轴方向,以第二相机在初始位置时的相机光轴作为Z2轴。
步骤S400,结合第一相机的旋转轴对应的旋转向量f1以及旋转角度θ,获取第一相机的旋转轴在预定义的第一相机初始位置坐标系O1X1Y1Z1中的位姿T1;结合第二相机的旋转轴对应的旋转向量f2以及旋转角度θ,获取第二相机的旋转轴在预定义的第二相机初始位置坐标系O2X2Y2Z2中的位姿T2
在本实施例中,令
Figure BDA0003172484200000101
为第一中间变量b1,其中t1为第一相机旋转前后的相对位姿TC1的平移向量,b1,0、b1,1和b1,2分别为b1的第一个分量、第二个分量和第三个分量,进而结合第一相机的旋转轴对应的旋转向量f1,获取第一相机的旋转轴在第一相机初始位置坐标系O1X1Y1Z1中的位姿T1如下:
Figure BDA0003172484200000102
其中
Figure BDA0003172484200000103
Figure BDA0003172484200000104
为第二中间变量b2,其中t2为第二相机旋转前后的相对位姿TC2的平移向量,b2,0、b2,1和b2,2分别为b2的第一个分量、第二个分量和第三个分量,进而结合第二相机的旋转轴对应的旋转向量f2,获取第二相机的旋转轴在第二相机初始位置坐标系O2X2Y2Z2中的位姿T2如下:
Figure BDA0003172484200000105
其中
Figure BDA0003172484200000106
步骤S500,结合第五图像、第六图像,获取第一相机和第二相机在初始位置时的相对位姿TrC,进而结合T1和T2,得到第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL
在本实施例中,通过OpenCV库的棋盘格角点检测算法对第五图像进行处理,得到第五图像中棋盘格标定板的各个角点的图像坐标p5(i,j),i=0,1,...,r-1,j=0,1,...,c-1;通过OpenCV库的棋盘格角点检测算法对第六图像进行处理,得到第六图像中棋盘格标定板的各个角点的图像坐标p6(i,j),i=0,1,...,r-1,j=0,1,...,c-1;基于p5(i,j)、p6(i,j)和w(i,j),i=0,1,...,r-1,j=0,1,...,c-1,利用PnP算法求解出第一相机和第二相机在初始位置时的相对位姿TrC
结合TrC、T1和T2,得到第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL如下:
Figure BDA0003172484200000111
步骤S600,根据主动立体视觉系统的第一相机的旋转轴在第一相机初始位置坐标系O1X1Y1Z1中的位姿T1、第二相机的旋转轴在第二相机初始位置坐标系O2X2Y2Z2中的位姿T2、第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL,在线更新主动立体视觉系统的外参Te
在本实施例中,主动立体视觉系统的外参Te在线更新如下:
Figure BDA0003172484200000112
其中θ1和θ2分别为第一相机和第二相机当前时刻绕各自对应的旋转轴旋转的角度。
采用本发明一种主动立体视觉系统标定方法,服务机器人能够在线更新立体视觉系统的外参Te,用以实现更好的环境感知。本发明解决了主动立体视觉系统中各相机的光心偏离对应的旋转轴情况下难以高质量标定的问题,提升了主动立体视觉系统的标定质量,为服务机器人准确获得场景的深度信息提供技术支持。同时,基于标定好外参的主动立体视觉系统对场景的深度测量,机器人可以获得检测到的目标物体的准确空间位置或者对检测到的目标物体进行稠密的三维重建,进而得到包含各目标物体的三维场景地图,在此基础上,机器人可以实现避障导航等任务。其中,检测目标物体、稠密的三维重建、获取包含各目标物体的三维场景地图、避障导航等为现有技术,此处不再一一阐述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种主动立体视觉系统标定方法,其特征在于,该方法包括:
步骤S100,获取主动立体视觉系统的第一相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第一图像、第二图像;获取主动立体视觉系统的第二相机绕其旋转轴旋转前后采集的棋盘格标定板的图像,分别作为第三图像、第四图像;将第一相机、第二相机恢复至旋转前的初始位置,并将棋盘格标定板置于第一相机和第二相机的公共视野中,然后利用第一相机、第二相机分别采集棋盘格标定板的图像,作为第五图像、第六图像;
步骤S200,结合第一图像和第二图像获取主动立体视觉系统的第一相机旋转前后的相对位姿TC1;结合第三图像和第四图像获取主动立体视觉系统的第二相机旋转前后的相对位姿TC2
步骤S300,利用Rodrigues旋转公式,结合第一相机旋转前后的相对位姿TC1获取第一相机的旋转轴对应的旋转向量f1,结合第二相机旋转前后的相对位姿TC2获取第二相机的旋转轴对应的旋转向量f2
步骤S400,结合第一相机的旋转轴对应的旋转向量f1以及旋转角度θ,获取第一相机的旋转轴在预定义的第一相机初始位置坐标系O1X1Y1Z1中的位姿T1;结合第二相机的旋转轴对应的旋转向量f2以及旋转角度θ,获取第二相机的旋转轴在预定义的第二相机初始位置坐标系O2X2Y2Z2中的位姿T2
步骤S500,结合第五图像、第六图像,获取第一相机和第二相机在初始位置时的相对位姿TrC,进而结合T1和T2,得到第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL
步骤S600,根据主动立体视觉系统的第一相机的旋转轴在第一相机初始位置坐标系O1X1Y1Z1中的位姿T1、第二相机的旋转轴在第二相机初始位置坐标系O2X2Y2Z2中的位姿T2、第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL,在线更新主动立体视觉系统的外参Te
2.根据权利要求1所述的主动立体视觉系统标定方法,其特征在于,所述棋盘格标定板在第一图像、第二图像、第三图像、第四图像、第五图像和第六图像中所占比例为50%。
3.根据权利要求1所述的主动立体视觉系统标定方法,其特征在于,所述主动立体视觉系统的各相机旋转前后的相对位姿,其计算方法为:
通过OpenCV库的棋盘格角点检测算法分别对第一图像、第二图像进行处理,得到第一图像、第二图像中棋盘格标定板的各个角点的图像坐标p1(i,j)、p2(i,j);基于p1(i,j)、p2(i,j),结合棋盘格标定板的各个角点的世界坐标w(i,j),利用PnP算法求解出第一相机旋转前后的相对位姿TC1
通过OpenCV库的棋盘格角点检测算法分别对第三图像、第四图像进行处理,得到第三图像、第四图像中棋盘格标定板的各个角点的图像坐标p3(i,j)、p4(i,j);基于p3(i,j)、p4(i,j),结合棋盘格标定板的各个角点的世界坐标w(i,j),利用PnP算法求解出第二相机旋转前后的相对位姿TC2
其中,棋盘格标定板具有r行c列个角点,i=0,1,...,r-1,j=0,1,...,c-1。
4.根据权利要求1所述的主动立体视觉系统标定方法,其特征在于,所述第一相机初始位置坐标系O1X1Y1Z1为以第一相机在初始位置时的光心作为原点O1,以第一相机在初始位置时的相机图像的横轴方向和纵轴方向分别作为X1轴方向和Y1轴方向,以第一相机在初始位置时的相机光轴作为Z1轴的坐标系;
所述第二相机初始位置坐标系O2X2Y2Z2为以第二相机在初始位置时的光心作为原点O2,以第二相机在初始位置时的相机图像的横轴方向和纵轴方向分别作为X2轴方向和Y2轴方向,以第二相机在初始位置时的相机光轴作为Z2轴的坐标系。
5.根据权利要求1所述的主动立体视觉系统标定方法,其特征在于,所述位姿T1,其获取方法为:
Figure FDA0003172484190000031
Figure FDA0003172484190000032
Figure FDA0003172484190000033
f1=[f1,0 f1,1 f1,2]T
其中,t1为第一相机旋转前后的相对位姿TC1的平移向量,b1,0、b1,1和b1,2分别为b1的第一个分量、第二个分量和第三个分量,f1,0、f1,1和f1,2分别为f1的第一个分量、第二个分量和第三个分量。
6.根据权利要求1所述的主动立体视觉系统标定方法,其特征在于,所述位姿T2,其获取方法为:
Figure FDA0003172484190000034
Figure FDA0003172484190000035
Figure FDA0003172484190000036
f2=[f2,0 f2,1 f2,2]T
其中,t2为第二相机旋转前后的相对位姿TC2的平移向量,b2,0、b2,1和b2,2分别为b2的第一个分量、第二个分量和第三个分量,f2,0、f2,1和f2,2分别为f2的第一个分量、第二个分量和第三个分量。
7.根据权利要求1所述的主动立体视觉系统标定方法,其特征在于,所述第一相机的旋转轴和第二相机的旋转轴之间的相对位姿TrL,其计算方法为:
Figure FDA0003172484190000041
8.根据权利要求1所述的主动立体视觉系统标定方法,其特征在于,“在线更新主动立体视觉系统的外参Te”,其方法为:
Figure FDA0003172484190000042
其中,θ1和θ2分别为第一相机和第二相机当前时刻绕各自对应的旋转轴旋转的角度。
CN202110822943.2A 2021-07-21 2021-07-21 主动立体视觉系统标定方法 Active CN113538598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110822943.2A CN113538598B (zh) 2021-07-21 2021-07-21 主动立体视觉系统标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110822943.2A CN113538598B (zh) 2021-07-21 2021-07-21 主动立体视觉系统标定方法

Publications (2)

Publication Number Publication Date
CN113538598A true CN113538598A (zh) 2021-10-22
CN113538598B CN113538598B (zh) 2022-03-25

Family

ID=78129096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110822943.2A Active CN113538598B (zh) 2021-07-21 2021-07-21 主动立体视觉系统标定方法

Country Status (1)

Country Link
CN (1) CN113538598B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964316A (zh) * 2022-07-27 2022-08-30 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN114964266A (zh) * 2022-07-26 2022-08-30 中国人民解放军国防科技大学 基于多视觉矢量的运动状态协同群组相对姿态确定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012734A1 (en) * 2007-07-06 2009-01-08 Zhang Guangjun Method and device for calibration of digital celestial sensor
CN103854291A (zh) * 2014-03-28 2014-06-11 中国科学院自动化研究所 四自由度双目视觉系统中的摄像机标定方法
CN109242912A (zh) * 2018-08-29 2019-01-18 杭州迦智科技有限公司 采集装置外参标定方法、电子设备、存储介质
CN110969665A (zh) * 2018-09-30 2020-04-07 杭州海康威视数字技术股份有限公司 一种外参标定方法、装置、系统及机器人
CN112053405A (zh) * 2020-08-21 2020-12-08 合肥工业大学 一种随动视觉系统光轴与转轴偏差标定及外参校正方法
CN112541946A (zh) * 2020-12-08 2021-03-23 深圳龙岗智能视听研究院 一种基于透视多点投影的机械臂的位姿实时检测方法
CN112762829A (zh) * 2020-12-28 2021-05-07 中国科学院自动化研究所 基于联动偏转式主动视觉系统的目标坐标测量方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012734A1 (en) * 2007-07-06 2009-01-08 Zhang Guangjun Method and device for calibration of digital celestial sensor
CN103854291A (zh) * 2014-03-28 2014-06-11 中国科学院自动化研究所 四自由度双目视觉系统中的摄像机标定方法
CN109242912A (zh) * 2018-08-29 2019-01-18 杭州迦智科技有限公司 采集装置外参标定方法、电子设备、存储介质
CN110969665A (zh) * 2018-09-30 2020-04-07 杭州海康威视数字技术股份有限公司 一种外参标定方法、装置、系统及机器人
CN112053405A (zh) * 2020-08-21 2020-12-08 合肥工业大学 一种随动视觉系统光轴与转轴偏差标定及外参校正方法
CN112541946A (zh) * 2020-12-08 2021-03-23 深圳龙岗智能视听研究院 一种基于透视多点投影的机械臂的位姿实时检测方法
CN112762829A (zh) * 2020-12-28 2021-05-07 中国科学院自动化研究所 基于联动偏转式主动视觉系统的目标坐标测量方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐巧玉等: "基于光学参考棒的立体视觉测量系统现场标定技术", 《光学学报》 *
李肖等: "自由双目立体视觉摄像机动态外参数的获取", 《计算机应用》 *
赵显庭等: "基于转轴参数的多自由度双目视觉系统标定", 《光学技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964266A (zh) * 2022-07-26 2022-08-30 中国人民解放军国防科技大学 基于多视觉矢量的运动状态协同群组相对姿态确定方法
CN114964316A (zh) * 2022-07-27 2022-08-30 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN114964316B (zh) * 2022-07-27 2022-11-01 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统

Also Published As

Publication number Publication date
CN113538598B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN113538598B (zh) 主动立体视觉系统标定方法
CN107977997B (zh) 一种结合激光雷达三维点云数据的相机自标定方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN107507235B (zh) 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
Carrera et al. SLAM-based automatic extrinsic calibration of a multi-camera rig
US10176595B2 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
CN111862179A (zh) 三维对象建模方法与设备、图像处理装置及介质
KR101342393B1 (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JPWO2005010817A1 (ja) 画像処理装置
CN114782636A (zh) 三维重建方法、装置及系统
Chan et al. An improved method for fisheye camera calibration and distortion correction
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN115601496A (zh) Ar辅助三维地图尺度恢复的方法和系统
CN117665841B (zh) 一种地理空间信息采集测绘方法及装置
CN114758011A (zh) 融合离线标定结果的变焦相机在线标定方法
CN117372647A (zh) 一种建筑用三维模型的快速构建方法及系统
CN116804537A (zh) 一种双目测距系统及方法
CN114252099B (zh) 一种智能车辆多传感器融合自标定方法及系统
Kashyap et al. Real-time, quasi immersive, high definition automotive 3d surround view system
JP2005275789A (ja) 三次元構造抽出方法
Limonov et al. Stereoscopic realtime 360-degree video stitching
CN110631556B (zh) 一种异构立体视觉系统的测距方法
JP2019032660A (ja) 撮像システム、撮像方法
CN113689339A (zh) 图像拼接方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant