CN107292927B - 一种基于双目视觉的对称运动平台位姿测量方法 - Google Patents

一种基于双目视觉的对称运动平台位姿测量方法 Download PDF

Info

Publication number
CN107292927B
CN107292927B CN201710444421.7A CN201710444421A CN107292927B CN 107292927 B CN107292927 B CN 107292927B CN 201710444421 A CN201710444421 A CN 201710444421A CN 107292927 B CN107292927 B CN 107292927B
Authority
CN
China
Prior art keywords
target surface
coordinate system
camera
pose
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710444421.7A
Other languages
English (en)
Other versions
CN107292927A (zh
Inventor
王晓光
周凡桂
张月光
戴龙鹏
林麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201710444421.7A priority Critical patent/CN107292927B/zh
Publication of CN107292927A publication Critical patent/CN107292927A/zh
Application granted granted Critical
Publication of CN107292927B publication Critical patent/CN107292927B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Abstract

一种基于双目视觉的对称运动平台位姿测量方法,涉及位姿测量。在平台表面设计不同形式的靶标,用于识别不同的靶标面;设置2个相机,由2个相机组合视场完全覆盖靶标的运动范围;分别对单个相机的内参、2个相机和各个侧靶标面与顶靶标面之间的相对位姿进行标定;在平台运动初始位置建立世界坐标系ow‑xwywzz;对运动平台进行图像采集与处理,提取靶标信息;对成像效果进行判断,确定靶标解算方法,并根据空间几何关系,解算出运动平台相对世界坐标系的位姿。可适用于对称、多面、形状规则的空间六自由度运动平台的位姿测量。结构简单、方便灵活、应用场景更广。

Description

一种基于双目视觉的对称运动平台位姿测量方法
技术领域
本发明涉及位姿测量,尤其是涉及一种基于双目视觉的对称运动平台位姿测量方法。
背景技术
位姿测量是对目标对象相对于参考坐标系的位置和姿态的测量,它是测量控制领域的重要研究内容,在众多领域应用时都很关键。
现有位姿的测量方法大致可以分为两类:一类是内侧法,即在目标对象内部安装惯性传感器测量系统,对测量数据进行处理、计算后得出目标对象的位姿;另一类是外测法,即在目标对象表面设计靶标,利用相机对靶标进行图像采集并进行图像处理,建立相应的数学模型,实现对目标对象位姿的测量。由这两类位姿测量方法衍生出许多具体的位姿测量方法,比如单目视觉、双目视觉、航姿参考系统、惯性测量单元等等。
虽然有较多方法可以测量位姿,但是对于空间六自由度运动物体的位姿测量而言,多数都存在一定的限制。例如单目视觉,虽然精度比较高,但相机的视场相对双目视觉较小,比较适合测量静态或运动范围很小的物体的位姿,对于较大空间运动的物体很有可能无法获取目标对象表面完整靶标,从而无法解算位姿;航姿参考系统,其精度与地球的重力场和磁场有较大关系,在失重环境下无法正常工作,而且航姿参考系统在位姿计算过程中会产生漂移,鲁棒性不强,总体误差相对于视觉较大;惯性测量单元与航姿参考系统类似,也存在一定的局限性。
使用双目视觉手段,可以有效地扩大视场,且系统稳定性强,精度高,误差小,对环境要求不高,可以有效弥补上述测量方法所存在的缺陷。
针对规则对称运动平台的高精度位姿测量,采用双目视觉测量方法,不仅需要合理设计靶标,以及相机安装方式,以满足平台运动范围的要求;还需对单目、双目相机,以及不用靶标面之间的相对位姿进行标定;并根据成像效果,确定解算方案,以满足运动平台的实时高精度位姿测量。
发明内容
本发明的目的在于提供一种基于双目视觉的对称运动平台位姿测量方法。
本发明包括以下步骤:
1)在平台表面设计不同形式的靶标,用于识别不同的靶标面;
2)设置2个相机,由2个相机组合视场完全覆盖靶标的运动范围;
3)分别对单个相机的内参、2个相机和各个侧靶标面与顶靶标面之间的相对位姿进行标定;
4)在平台运动初始位置建立世界坐标系ow-xwywzz;对运动平台进行图像采集与处理,提取靶标信息;
5)对成像效果进行判断,确定靶标解算方法,并根据空间几何关系,解算出运动平台相对世界坐标系的位姿。
在步骤1)中,所述不同形式的靶标的相关设计原则可包括:
(1)靶标的设计基于PnP(Perspective n Points)理论,具体可以根据靶标标志点的形状、大小或数量等物理特征设计;
(2)可以使用棋盘或是圆点等已有的标定板作为靶标,其目的在于程序识别不同的靶标面;
(3)分别在每个侧靶标面设置3×3、4×4、5×5、6×6的圆点标定板,在顶靶标面设置7*7的圆点标定板。
在步骤2)中,所述设置2个相机,可根据视场、距离、安装角等几何参数之间的关系,设计2个相机的安装位置,使双目相机的组合视场可以完全覆盖靶标的运动范围,参数设计公式如下:
Figure BDA0001320860100000021
式中,X、Y分别是左右相机云台安装点相距横梁左右端点的距离;L是空间的水平跨度;H1、H2分别是横梁左右端点的垂直高度;α、β分别是左右相机的安装角,即相机主线与横梁的锐角夹角;γ横梁与水平方向的夹角;b是相机的半视场角;D1、D2分别是左右相机工作距离限制的最大值;D3是相机满足另外一个方向宽度限制的最小值;l是相机主线,即云台安装点到相机光心的距离。
在步骤3)中,所述各个侧靶标面与顶靶标面之间的相对位姿进行标定的具体步骤可为:
(1)在侧靶标面与顶靶标面建立各自独立的坐标系,利用双目相机计算和提取侧靶标面中的标志点在顶靶标面坐标系o1-x1y1z1下的表示,然后采用LM算法(Levenberg-Marquardt),得到两个靶标面之间的相对位姿关系,即两个靶标面局部坐标系之间的齐次变换矩阵
Figure BDA0001320860100000031
同时进行保存;其中,下标1表示顶靶标面,n表示第n个侧靶标面,R1n表示第n个侧靶标面与顶靶标面局部坐标系之间的旋转矩阵,若规定一个坐标系旋转关系分解为绕坐标系的z轴顺时针旋转ψ角度、y轴顺时针旋转θ角度和x轴顺时针旋转
Figure BDA0001320860100000033
角度,则
Figure BDA0001320860100000032
T1n=[tnx tny tnz]T表示第n个侧靶标面局部坐标系on-xnynzn原点on与顶靶标面局部坐标系o1-x1y1z1原点o1之间的平移向量,tnx表示on与o1在顶靶标面局部坐标系x轴方向上的平移距离,tny表示on与o1在顶靶标面局部坐标系y轴方向上的平移距离,tnz表示on与o1在顶靶标面局部坐标系z轴方向上的平移距离。
(2)各个侧靶标面与顶靶标面之间相对位姿标定的意义在于:以侧靶标面为基准解算出的运动平台的相对位姿都需转换成以顶靶标面为基准的相对位姿,使运动平台的位姿变化更具物理意义和直观性。
在步骤4)中,所述对运动平台进行图像采集与处理,提取靶标信息,其中需要对成像标志点进行排序,以确定空间点坐标和图像坐标之间的对应关系,具体步骤可为:
(1)采用图像处理提取标定板外轮廓,然后对轮廓进行分割与直线拟合,通过直线求交点获得标点板的四个角点;
(2)在图像内描述一个正方形区域,通过投影变换,使标定板变为正投影,并进行矫正;以靠近黑色三角形最近的点作为第一个点,按顺时针行排列对其余点进行排序;
(3)对排序后的点进行正投影反变换,得到实际成像下的图像坐标,即完成了图像内标志点的排序。
在步骤5)中,所述对成像效果进行判断,确定靶标解算方法,对应原则可包括:
(1)程序检测到包含顶靶标面在内的多个靶标面同时进入相机视野时,仅选择顶靶标面的7*7靶标成像作为位姿解算的基准;
(2)程序检测到不包含顶靶标面在内的多个侧靶标面同时进入某个相机视野时,出于对精度的考虑,程序通过判断各侧靶标面相对于其相机坐标系oc-xcyczc基准平面oc-xcyc的倾斜角度αn,选择αn较小的靶标面成像作为位姿解算的基准,其中,下标n表示第n个侧靶标面。
(3)当运动平台在相机组合视场边缘时,顶靶标面成像不完整,程序检测到仅有一个侧靶标面成像时,则以此侧靶标面成像为基准来解算平台的相对位姿;
(4)以侧靶标面为基准解算出的运动平台相对世界坐标系的位姿,还需转换为顶靶标面相对世界坐标系的位姿,以便运动平台的位姿变化更具物理意义和直观性;
位姿转换的数学公式为:
Figure BDA0001320860100000041
其中,[xw yw zw 1]T是世界坐标系下任意一点的齐次坐标;[xn yn zn 1]T是第n个侧靶标面局部坐标系下该点的齐次坐标;[x1 y1 z1 1]T是顶靶标面1局部坐标系下该点的齐次坐标;Mwn是第n个侧靶标面局部坐标系与世界坐标系之间的齐次变换矩阵;Mn1是第n个侧靶标面局部坐标系与顶靶标面1局部坐标系之间的齐次变换矩阵,即标定矩阵;Mw1是顶靶标面局部坐标系与世界坐标系之间的齐次变换矩阵;M都由旋转矩阵R和平移向量T组成;
(5)运动平台的相对位姿通过向量
Figure BDA0001320860100000042
表示,X可根据靶标点在世界坐标系和图像坐标系o-uv之间的对应关系,并考虑相机内参的畸变,采用最小二乘法,解算出表征空间几何关系的齐次矩阵
Figure BDA0001320860100000043
其中,T=[tx ty tz]T是坐标系原点之间的平移向量,tx、ty、tz即是运动平台的位置参数;其中,
Figure BDA0001320860100000044
是坐标系之间的旋转矩阵,r1、r2,…,r9是其对应的九个元素,则运动平台的姿态参数,偏航角ψ、俯仰角θ、滚转角
Figure BDA0001320860100000045
可通过以下计算公式求得:
Figure BDA0001320860100000046
本发明可适用于对称、多面、形状规则的空间六自由度运动平台的位姿测量。
本发明通过采用双目视觉手段对空间运动的对称运动平台进行相对位置和姿态的测量,根据PnP(Perspective n Points)理论在不同靶标面设计不同形式的靶标;依据设计公式合理布置2个相机,使2个相机的组合视场可以完全覆盖靶标的运动范围;分别对单个相机的内参,2个相机,以及不同靶面之间的相对位姿进行标定;在运动起始位置建立世界坐标系;利用双目相机对运动平台进行图像采集与图像处理,提取靶标信息,并根据成像效果和相应原则,确定位姿解算方法,通过空间几何关系,实时解算出运动平台的相对位姿。本发明具有成本低、精度高、结构简单、方便灵活、应用场景广泛等优点。本发明的实施例可提供为方法、系统或是计算机程序产品。
本发明的有益效果是,利用双目视觉对空间六自由度运动对称平台进行位姿测量,系统稳定性强,精度高,对环境要求不高,可有效弥补惯性传感器测量位姿时所存在的缺陷;且双目相机位置的灵活布置和靶标的灵活设计,使本发明结构简单、方便灵活、应用场景更广。
附图说明
图1为规则、多面、对称平台的示意图。
图2为该基于双目视觉的对称运动平台位姿测量方法的流程图。
图3为相机安装的横向几何参数示意图。
图4为一种常用标定板,圆点标定板。
图5为本发明的一种具体工程效果图。
图6为平台沿Y方向匀速运动时位置解算结果。
图7为平台沿Y方向匀速运动时在X方向移动的位置解算结果。
具体实施方式
以下结合附图对本发明的实施例进行说明,应当理解,此处所描述的实例仅用于说明和解释本发明,并不用于限定本发明。针对一种对称、多面、形状规则的空间六自由度运动平台进行位姿测量,其平台示意图如图1所示,顶面1为顶靶标面,是一个正方形;四个侧面2为侧靶标面,是等边三角形;四个侧面3是正方形。
图2所示为本发明的一种基于双目视觉的对称运动平台位姿测量方法流程图。首先根据相机视场、平台运动范围、相机安装角等几何参数之间的关系,合理布置双目相机;根据n点透视问题(Perspective n Points,简称PnP),设计不同形式的靶标。然后分别对单个相机的内参、2个相机以及各个侧靶标面与顶靶标面之间的相对位姿进行标定。最后是在平台运动初始位置建立世界坐标系ow-xwywzz,对运动平台进行图像采集与处理,提取靶标信息,对成像效果进行判断,确定靶标解算方法,并根据空间几何关系,解算出运动平台相对世界坐标系的位姿。具体步骤如下:
步骤一:合理布置2个相机,使其组合视场覆盖靶标的运动范围。
(1)合理布置2个相机,应根据视场、距离、安装角等几何参数之间的关系,设计2个相机的安装位置,其几何参数示意图如图3所示。通过设计合理的参数,使得双目相机的组合视场可以完全覆盖靶标的运动范围。其参数设计公式如下:
Figure BDA0001320860100000061
式中,X、Y分别是左右相机云台安装点相距横梁左右端点的距离;L是空间的水平跨度;H1、H2分别是横梁左右端点的垂直高度;α、β分别是左右相机的安装角,即相机主线与横梁的锐角夹角;γ横梁与水平方向的夹角;b是相机的半视场角;D1、D2分别是左右相机工作距离限制的最大值;D3是相机满足另外一个方向宽度限制的最小值;l是相机主线,即云台安装点到相机光心的距离。
步骤二:各靶标面靶标的设计。
(1)靶标的设计基于PnP(Perspective n Points)理论,具体可以根据靶标标志点的形状、大小或数量等物理特征来设计;
(2)可以使用棋盘或是圆点等已有的标定板作为靶标,其目的在于识别不同的靶标面;(3)分别在每个侧靶标面设置3×3、4×4、5×5、6×6的圆点标定板,在顶靶标面设置7×7的圆点标定板。如图4所示为一种常用的圆点标定板。
步骤三:分别对单个相机的内参、2个相机以及各个侧靶标面与顶靶标面之间的相对位姿进行标定。
(1)利用C++程序对单个相机的内参进行标定,获得矫正后的相机的六个内参(f,κ,sx,sy,cx,cy)。其中,f表示相机的主距,即光心与成像平面之间的垂直距离;κ表示径向畸变量级;sx、sy是缩放比例因子,对于针孔相机模型来讲表示图像传感器上水平和垂直方向上相邻像素之间的距离;(cx,cy)T是图像的主点,对于针孔相机模型而言,这个点是投影中心在成像平面上的垂直投影。
(2)利用相机矫正后的内参,对2个相机之间的相对位姿关系进行标定,获得2个相机坐标系之间的齐次变换矩阵
Figure BDA0001320860100000071
其中,Rc是两个坐标系之间的旋转矩阵,Tc是两个坐标系原点之间的平移向量。
(3)在侧靶标面与顶靶标面建立各自独立的坐标系,利用双目相机计算和提取侧靶标面中的标志点在顶靶标面坐标系o1-x1y1z1下的表示,然后采用LM算法(Levenberg-Marquardt),得到两个靶标面之间的相对位姿关系,即两个靶标面局部坐标系之间的齐次变换矩阵
Figure BDA0001320860100000072
其中,下标1表示顶靶标面,n表示第n个侧靶标面,R1n表示第n个侧靶标面与顶靶标面局部坐标系之间的旋转矩阵,若规定一个坐标系旋转关系分解为绕坐标系的z轴顺时针旋转ψ角度、y轴顺时针旋转θ角度和x轴顺时针旋转
Figure BDA0001320860100000073
角度,则
Figure BDA0001320860100000074
T1n=[tnx tny tnz]T表示第n个侧靶标面局部坐标系on-xnynzn原点on与顶靶标面局部坐标系o1-x1y1z1原点o1之间的平移向量,tnx表示on与o1在相对顶靶标面局部坐标系x轴方向上的平移距离,tny表示on与o1在相对顶靶标面局部坐标系y轴方向上的平移距离,tnz表示on与o1在相对顶靶标面局部坐标系z轴方向上的平移距离。
(4)各个侧靶标面与顶靶标面之间相对位姿标定的意义在于:以侧靶标面为基准解算出的运动平台的相对位姿都需转换成以顶靶标面为基准的相对位姿,使运动平台的位姿变化更具物理意义和直观性。
步骤四:在运动起始位置建立世界坐标系;2个相机分别对运动平台进行图像采集,并依次进行图像滤波、轮廓分割、特征提取与质心定位,提取靶标信息。
步骤五:对成像标志点进行排序,以确定空间点坐标和图像坐标之间的对应关系。提取标定板外轮廓,然后对轮廓进行分割与直线拟合,通过直线求交点获得标点板的四个角点;在图像内描述一个正方形区域,通过投影变换,使标定板变为正投影,并进行矫正;以靠近黑色三角形最近的点作为第一个点,按顺时针行排列对其余点进行排序;对排序后的点进行正投影反变换,得到实际成像下的图像坐标,即完成图像内标志点的排序。
步骤六:对靶标成像效果进行判断,确定靶标解算方法,并根据空间几何关系,解算出运动平台相对初始世界坐标系的位姿。其对应原则如下:
(1)程序检测到包含顶靶标面在内的多个靶标面同时进入相机视野时,仅选择以顶靶标面的7*7靶标成像作为位姿解算的基准;
(2)程序检测到不包含顶靶标面在内的多个侧靶标面同时进入某个相机视野时,出于对精度的考虑,程序通过判断各侧靶标面相对于其相机坐标系oc-xcyczc基准平面oc-xcyc的倾斜角度αn,选择αn较小的靶标面成像作为位姿解算的基准;其中,下标n表示第n个侧靶标面。
(3)当运动平台在相机组合视场边缘时,顶靶标面成像不完整,程序检测到仅有一个侧靶标面成像时,则以此侧靶标面成像为基准来解算平台的相对位姿;
(4)以侧靶标面为基准解算出的运动平台相对世界坐标系的位姿,还需转换为顶靶标面相对世界坐标系的位姿,以便运动平台的位姿变化更具物理意义和直观性。
位姿转换的数学公式为:
Figure BDA0001320860100000081
其中,[xw yw zw 1]T是世界坐标系下任意一点的齐次坐标;[xn yn zn 1]T是第n个侧靶标面局部坐标系下该点的齐次坐标;[x1 y1 z1 1]T是顶靶标面1局部坐标系下该点的齐次坐标;Mwn是第n个侧靶标面局部坐标系与世界坐标系之间的齐次变换矩阵;Mn1是第n个侧靶标面局部坐标系与顶靶标面局部坐标系之间的齐次变换矩阵,即标定矩阵;Mw1是顶靶标面局部坐标系与世界坐标系之间的齐次变换矩阵;Μ由旋转矩阵R和平移向量T组成。
(5)运动平台的相对位姿通过向量
Figure BDA0001320860100000082
表示,X可根据靶标点在世界坐标系和图像坐标系o-uv之间的对应关系,并考虑相机内参的畸变,采用最小二乘法,解算出表征空间几何关系的齐次矩阵
Figure BDA0001320860100000083
其中,T=[tx ty tz]T是坐标系原点之间的平移向量,tx、ty、tz即是运动平台的位置参数;其中,
Figure BDA0001320860100000084
是坐标系之间的旋转矩阵,r1、r2,…,r9是其对应的九个元素。则运动平台的姿态参数,偏航角ψ、俯仰角θ、滚转角
Figure BDA0001320860100000085
可通过以下计算公式求得:
Figure BDA0001320860100000091
具体实施例的效果:
本位姿测量方法的一种具体工程,其效果图如图5所示,规则、多面、对称运动平台1如图1所示,其各个靶标面设计有不同形式的靶标2;平台1悬浮在机架3构成的空间内,其运动范围大约为1200mm×1200mm的正方形区域,绕平面的旋转角度范围为0°~360°;相机4固定在机架横梁5合适位置上。通过相机4对运动平台1进行图像采集,图像处理,解算出靶标2的位姿信息,即平台的位姿。利用高精度滚珠丝杆对运动平台的动态位置测量结果进行验证。平台沿Y方向匀速运动时的位置解算以图6、图7为例。理论上平台仅沿Y方向匀速运动20mm,而位姿解算程序测得平台沿Y方向实际移动19.9mm,误差仅为0.1mm,同时在X方向上的误差小于0.3mm。
本发明公开了一种基于双目视觉的对称运动平台位姿测量方法。利用双目相机对运动平台进行图像采集,提取靶标信息,通过上位机处理与分析,实时解算出运动平台的位置和姿态。具体方法是在对称平台表面设计不同形式的靶标;合理布置2个相机,使其组合视场完全覆盖靶标的运动范围;分别进行单目相机、双目相机,以及不同靶面之间相对位姿的标定;在运动起始位置建立世界坐标系;对成像靶标综合处理,进行质心定位,并根据成像效果,确定解算原则;通过空间几何关系,实时解算出运动平台的位置和姿态。本发明技术方案采用双目视觉,通过设计有效形式的靶标和高效的标定、解算方法,可实现对称运动平台的高精度位姿测量。

Claims (1)

1.一种基于双目视觉的对称运动平台位姿测量方法,其特征在于包括以下步骤:
1)在平台表面设计不同形式的靶标,用于识别不同的靶标面;所述不同形式的靶标的相关设计原则包括:
(1)靶标的设计基于PnP理论,具体根据靶标标志点的形状、大小或数量物理特征设计;
(2)使用棋盘或是圆点已有的标定板作为靶标,其目的在于程序识别不同的靶标面;
(3)分别在每个侧靶标面设置3×3、4×4、5×5、6×6的圆点标定板,在顶靶标面设置7×7的圆点标定板;
2)设置2个相机,由2个相机组合视场完全覆盖靶标的运动范围,所述设置2个相机,根据视场、距离、安装角几何参数之间的关系,设计2个相机的安装位置,使双目相机的组合视场完全覆盖靶标的运动范围,参数设计公式如下:
Figure FDA0002532528530000011
式中,X、Y分别是左右相机云台安装点相距横梁左右端点的距离;L是空间的水平跨度;H1、H2分别是横梁左右端点的垂直高度;α、β分别是左右相机的安装角,即相机主线与横梁的锐角夹角;γ横梁与水平方向的夹角;b是相机的半视场角;D1、D2分别是左右相机工作距离限制的最大值;D3是相机满足另外一个方向宽度限制的最小值;l是相机主线,即云台安装点到相机光心的距离;
3)分别对单个相机的内参、2个相机和各个侧靶标面与顶靶标面之间的相对位姿进行标定;所述各个侧靶标面与顶靶标面之间的相对位姿进行标定的具体步骤为:
(1)在侧靶标面与顶靶标面建立各自独立的坐标系,利用双目相机计算和提取侧靶标面中的标志点在顶靶标面坐标系o1-x1y1z1下的表示,然后采用LM算法,得到两个靶标面之间的相对位姿关系,即两个靶标面局部坐标系之间的齐次变换矩阵
Figure FDA0002532528530000012
同时进行保存;其中,下标1表示顶靶标面,n表示第n个侧靶标面,R1n表示第n个侧靶标面与顶靶标面局部坐标系之间的旋转矩阵,若规定一个坐标系旋转关系分解为绕坐标系的z轴顺时针旋转ψ角度、y轴顺时针旋转θ角度和x轴顺时针旋转
Figure FDA0002532528530000022
角度,则
Figure FDA0002532528530000021
T1n=[tnx tny tnz]T表示第n个侧靶标面局部坐标系on-xnynzn原点on与顶靶标面局部坐标系o1-x1y1z1原点o1之间的平移向量,tnx表示on与o1在顶靶标面局部坐标系x轴方向上的平移距离,tny表示on与o1在顶靶标面局部坐标系y轴方向上的平移距离,tnz表示on与o1在顶靶标面局部坐标系z轴方向上的平移距离;
(2)各个侧靶标面与顶靶标面之间相对位姿标定的意义在于:以侧靶标面为基准解算出的运动平台的相对位姿都需转换成以顶靶标面为基准的相对位姿,使运动平台的位姿变化更具物理意义和直观性;
4)在平台运动初始位置建立世界坐标系ow-xwywzz;对运动平台进行图像采集与处理,提取靶标信息,具体步骤为:
(1)采用图像处理提取标定板外轮廓,然后对轮廓进行分割与直线拟合,通过直线求交点获得标点板的四个角点;
(2)在图像内描述一个正方形区域,通过投影变换,使标定板变为正投影,并进行矫正;以靠近黑色三角形最近的点作为第一个点,按顺时针行排列对其余点进行排序;
(3)对排序后的点进行正投影反变换,得到实际成像下的图像坐标,即完成图像内标志点的排序;
5)对成像效果进行判断,确定靶标解算方法,并根据空间几何关系,解算出运动平台相对世界坐标系的位姿;
所述对成像效果进行判断,确定靶标解算方法,对应原则包括:
(1)程序检测到包含顶靶标面在内的多个靶标面同时进入相机视野时,仅选择顶靶标面的7*7靶标成像作为位姿解算的基准;
(2)程序检测到不包含顶靶标面在内的多个侧靶标面同时进入某个相机视野时,出于对精度的考虑,程序通过判断各侧靶标面相对于其相机坐标系oc-xcyczc基准平面oc-xcyc的倾斜角度αn,选择αn较小的靶标面成像作为位姿解算的基准,其中,下标n表示第n个侧靶标面;
(3)当运动平台在相机组合视场边缘时,顶靶标面成像不完整,程序检测到仅有一个侧靶标面成像时,则以此侧靶标面成像为基准来解算平台的相对位姿;
(4)以侧靶标面为基准解算出的运动平台相对世界坐标系的位姿,还需转换为顶靶标面相对世界坐标系的位姿,以便运动平台的位姿变化更具物理意义和直观性;
位姿转换的数学公式为:
Figure FDA0002532528530000031
其中,[xw yw zw 1]T是世界坐标系下任意一点的齐次坐标;[xn yn zn 1]T是第n个侧靶标面局部坐标系下该点的齐次坐标;[x1 y1 z1 1]T是顶靶标面1局部坐标系下该点的齐次坐标;Mwn是第n个侧靶标面局部坐标系与世界坐标系之间的齐次变换矩阵;Mn1是第n个侧靶标面局部坐标系与顶靶标面1局部坐标系之间的齐次变换矩阵,即标定矩阵;Mw1是顶靶标面局部坐标系与世界坐标系之间的齐次变换矩阵;M都由旋转矩阵R和平移向量T组成;
(5)运动平台的相对位姿通过向量
Figure FDA0002532528530000032
表示,X根据靶标点在世界坐标系和图像坐标系o-uv之间的对应关系,并考虑相机内参的畸变,采用最小二乘法,解算出表征空间几何关系的齐次矩阵
Figure FDA0002532528530000033
其中,T=[tx ty tz]T是坐标系原点之间的平移向量,tx、ty、tz即是运动平台的位置参数;其中,
Figure FDA0002532528530000034
是坐标系之间的旋转矩阵,r1、r2,…,r9是其对应的九个元素,则运动平台的姿态参数,偏航角ψ、俯仰角θ、滚转角
Figure FDA0002532528530000036
是通过以下计算公式求得:
Figure FDA0002532528530000035
CN201710444421.7A 2017-06-13 2017-06-13 一种基于双目视觉的对称运动平台位姿测量方法 Expired - Fee Related CN107292927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710444421.7A CN107292927B (zh) 2017-06-13 2017-06-13 一种基于双目视觉的对称运动平台位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710444421.7A CN107292927B (zh) 2017-06-13 2017-06-13 一种基于双目视觉的对称运动平台位姿测量方法

Publications (2)

Publication Number Publication Date
CN107292927A CN107292927A (zh) 2017-10-24
CN107292927B true CN107292927B (zh) 2020-09-04

Family

ID=60097204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710444421.7A Expired - Fee Related CN107292927B (zh) 2017-06-13 2017-06-13 一种基于双目视觉的对称运动平台位姿测量方法

Country Status (1)

Country Link
CN (1) CN107292927B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109945824B (zh) * 2017-12-21 2022-03-22 中国科学院长春光学精密机械与物理研究所 一种载机航向基准测量与传递的方法和系统
CN108257184B (zh) * 2017-12-28 2020-04-03 中国科学院西安光学精密机械研究所 一种基于正方形点阵合作目标的相机姿态测量方法
CN108416791B (zh) * 2018-03-01 2021-07-23 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN110322513B (zh) * 2018-03-30 2022-03-04 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN109099883A (zh) * 2018-06-15 2018-12-28 哈尔滨工业大学 高精度大视场机器视觉测量与标定装置及方法
CN109029299B (zh) * 2018-09-19 2020-04-21 西安电子科技大学 舱段销孔对接转角的双相机测量装置及测量方法
CN109242914B (zh) * 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN109405737B (zh) * 2018-10-10 2020-11-03 湖南科技大学 面向大尺寸测量的相机系统及测量方法
CN109383314B (zh) * 2018-11-07 2020-04-03 燕山大学 一种具有收藏和纠偏功能的电动汽车无线充电系统及方法
CN109741399A (zh) * 2018-12-07 2019-05-10 苏州中科广视文化科技有限公司 基于旋转拍摄的预计算相机标定方法
CN110174092B (zh) * 2019-04-26 2020-09-08 北京航空航天大学 一种基于红外编码靶标的密集集群相对定位方法
CN110443854A (zh) * 2019-08-05 2019-11-12 兰州交通大学 基于固定靶标的无公共视场相机间相对位姿标定方法
CN110455277B (zh) * 2019-08-19 2023-04-07 哈尔滨工业大学 基于物联网数据融合的高精度姿态测量装置与方法
CN111028298B (zh) * 2019-12-17 2023-02-03 哈尔滨工业大学 一种用于刚体坐标系空间变换标定的汇聚式双目系统
CN111089569B (zh) * 2019-12-26 2021-11-30 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法
CN111551173A (zh) * 2020-02-19 2020-08-18 中国人民解放军海军航空大学 一种使用外部测量仪测量飞行器航向输出的系统
CN113494883B (zh) * 2020-03-20 2022-08-05 湖南科天健光电技术有限公司 基于外置式多目视觉设备的转台负载位姿测量方法和系统
CN111595235B (zh) * 2020-04-10 2021-08-10 大连理工大学 一种六自由度视觉位姿相对误差测量装置及测量方法
CN111504255B (zh) * 2020-04-28 2022-06-21 湖北三江航天万峰科技发展有限公司 一种基于机器视觉的三维对准精度自动测量装置及方法
CN111681283B (zh) * 2020-05-11 2023-04-07 哈尔滨工业大学 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法
CN111627048B (zh) * 2020-05-19 2022-07-01 浙江大学 多摄像机的协同目标搜索方法
CN111829452B (zh) * 2020-06-04 2021-09-07 中国人民解放军63921部队 拖曳式立体测量单元、系统和空间目标测量方法
CN112797956B (zh) * 2020-12-04 2022-08-26 上海理工大学 一种基于计算机视觉的光路反射机构运动测量方法及装置
CN113160329B (zh) * 2020-12-23 2022-08-09 合肥工业大学 用于摄像机标定的编码平面靶标及其解码方法
CN112734844B (zh) * 2021-01-08 2022-11-08 河北工业大学 一种基于正八面体的单目6d位姿估计方法
CN112734843B (zh) * 2021-01-08 2023-03-21 河北工业大学 一种基于正十二面体的单目6d位姿估计方法
CN113432603B (zh) * 2021-06-25 2022-09-16 中国船舶重工集团公司第七0七研究所 一种复杂环境下母平台与子平台相对位姿测量方法
CN114545877B (zh) * 2022-02-08 2024-04-05 燕山大学 一种面向散货的多工程机械数字孪生在线监控系统及方法
CN115311359B (zh) * 2022-07-18 2023-06-16 北京城市网邻信息技术有限公司 相机位姿校正方法、装置、电子设备及存储介质
CN116592899B (zh) * 2023-04-28 2024-03-29 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量系统
CN116740183B (zh) * 2023-08-15 2023-11-07 浙江大学 一种双视角舱体位姿调整方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105035371B (zh) * 2015-08-04 2017-05-03 北京控制工程研究所 一种基于osg三维引擎的经典轨道三维空间关系构建方法
CN106228538B (zh) * 2016-07-12 2018-12-11 哈尔滨工业大学 基于logo的双目视觉室内定位方法
CN106446789A (zh) * 2016-08-30 2017-02-22 电子科技大学 基于双目视觉的行人实时检测方法
CN106504288B (zh) * 2016-10-24 2019-02-01 北京进化者机器人科技有限公司 一种基于双目视觉目标检测的家居环境下门定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法

Also Published As

Publication number Publication date
CN107292927A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292927B (zh) 一种基于双目视觉的对称运动平台位姿测量方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
JP3242108B2 (ja) ターゲットマークの認識・追跡システム及び方法
CN101299270B (zh) 三维扫描系统中的多个摄像机同步快速标定方法
CN107862719B (zh) 相机外参的标定方法、装置、计算机设备和存储介质
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
JP2005326282A (ja) 位置姿勢計測方法および装置
JP2008134161A (ja) 位置姿勢計測方法、位置姿勢計測装置
CN104567727A (zh) 立体靶标及对线结构光轮廓传感器的全局统一校准方法
CN113011388B (zh) 一种基于车牌及车道线的车辆外轮廓尺寸检测方法
CN110415304B (zh) 一种视觉标定方法及系统
CN106840106B (zh) 基站式六自由度对接位姿检测方法
CN111179351B (zh) 一种参数标定方法及其装置、处理设备
JP7353757B2 (ja) アーチファクトを測定するための方法
CN111932565A (zh) 一种多靶标识别跟踪解算方法
Kiddee et al. A practical and intuitive calibration technique for cross-line structured light
Chen et al. Rotation axis calibration of a turntable using constrained global optimization
JP5726024B2 (ja) 情報処理方法および装置
CN115908562A (zh) 一种异面点合作标志器及测量方法
JP6109213B2 (ja) 情報処理装置および方法、プログラム
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
CN113405532B (zh) 基于视觉系统结构参数的前方交会测量方法及系统
JPH04370704A (ja) 物体の位置、角度等の固有情報の検出方法
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
JPH04269194A (ja) 平面計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200904