CN112381881B - 一种基于单目视觉的大型刚体构件自动对接方法 - Google Patents

一种基于单目视觉的大型刚体构件自动对接方法 Download PDF

Info

Publication number
CN112381881B
CN112381881B CN202011156320.8A CN202011156320A CN112381881B CN 112381881 B CN112381881 B CN 112381881B CN 202011156320 A CN202011156320 A CN 202011156320A CN 112381881 B CN112381881 B CN 112381881B
Authority
CN
China
Prior art keywords
coordinate system
end target
gesture
visual
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011156320.8A
Other languages
English (en)
Other versions
CN112381881A (zh
Inventor
罗华
尚俊云
李中伟
钟凯
刘岗
郭静
杨娜
李瑞峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aerospace Precision Electromechanical Institute
Original Assignee
Xian Aerospace Precision Electromechanical Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aerospace Precision Electromechanical Institute filed Critical Xian Aerospace Precision Electromechanical Institute
Priority to CN202011156320.8A priority Critical patent/CN112381881B/zh
Publication of CN112381881A publication Critical patent/CN112381881A/zh
Application granted granted Critical
Publication of CN112381881B publication Critical patent/CN112381881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于单目视觉的大型刚体构件自动对接方法,该方法具有实现简单、稳定性高、柔性好、精度高等优点,其主要步骤包括:1、视觉系统的内参标定;2、视觉系统的外参标定;3、标定对接状态下移动端标靶与固定端标靶在调姿平台坐标系下的旋转矩阵以及平移向量;4、求解实际对接过程中调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵以及平移向量;5、求取实际对接过程中移动端刚体构件在调姿平台坐标系下的运动角度与位移;6、将步骤5的结果解算为调姿平台各轴的具体动作值,控制调姿平台动作从而实现对接。

Description

一种基于单目视觉的大型刚体构件自动对接方法
技术领域
本发明属于工业自动化领域,具体涉及一种基于单目视觉的大型刚体构件自动对接方法,可应用于航天、航空、装配等领域。
背景技术
在航天、航空领域,大型刚体构件的对接工作主要依靠人工完成,通过肉眼估算移动端刚体构件与固定端刚体构件之间的距离偏差与角度偏差,再通过手摇调姿机构进行移动端刚体构件位姿调整,逐步完成对接工作,其效率低下,调姿难度大。
为了解决目前采用人工方式进行大型刚体构件对接工作所带来的效率低下,调姿难度大的问题,一些公司已经研究出基于激光测量的方式来实现大型刚体构件对接工作,基于激光测量的方式主要有以下两种基本设计思路:
第一种是:采用激光跟踪仪测量方法测量零部件的位置,对接时在刚体构件表面固定三个以上跟踪靶球,组成靶球框架,构件局部坐标系,激光跟踪仪可以实时测量各个靶球的三维坐标,计算靶球框架的空间姿态,从而获取待对接刚体构件的空间姿态,根据姿态结果引导对接平台完成大型刚体构件的空间对接。
第二种是:采用激光轮廓扫描法对待对接刚体构件进行三维测量,获取的接面或对接特征的三维形貌数据,计算待对接刚体构件的空间姿态,根据姿态结果引导对接平台完成大型刚体构件的空间对接。
上述采用激光测量技术实现大型刚体构件的对接工作虽然具有精度高、抗干扰能力强的优点,但激光测量设备价格昂贵,而且对一些有严格安全要求的目标该类方法就无法使用。
相比激光测量法,立体视觉法具有成本低、使用便捷以及安全性更高等优点。但是目前的立体视觉法均采用两个或两个以上的相机组成立体视觉,对目标体进行姿态跟踪,完成目标体的引导对接,而实际应用过程中立体视觉系统容易受工业环境影响,需要定期标定系统参数保证测量精度,如果工作现场存在振动,则标定的频次会增加从而影响应用效果。
针对现阶段立体视觉存在需要定期标定的问题,本发明提出基于单目视觉定位的大型刚体构件自动对接方法,实现大型刚体构件的对接工作。
发明内容
为了克服背景技术中激光测量法存在激光测量设备价格昂贵,安全性低的问题,以及现有立体视觉法容易受工业环境影响,需要定期标定系统参数从而会影响精度的问题,本发明提供了一种基于单目视觉的大型刚体构件自动对接方法。
本发明的基本实现思路主要包括两个方面:单目视觉系统的内、外参标定以及对接位姿求解,其基本是原理为:
一、视觉系统标定主要包括以下步骤:
1、采用内参标定板对视觉系统中图像采集设备的内参进行标定
图像采集设备的内参包括:视觉坐标系中X轴、Y轴方向单位像素尺寸值与焦距的比值(fx,fy),以及图像采集设备的光轴与图像平面的交点在视觉坐标系下的坐标(u0,v0);
2:视觉系统的外参标定,获取视觉坐标系与对接调姿平台坐标系的位姿关系;
2.1:将外参标定板与调姿平台固连,确定调姿平台坐标系;
2.2:构建两个手眼标定方程:A1X=XB1,A2X=XB2,从而求解出视觉坐标系到调姿平台坐标系的旋转矩阵
Figure GDA0004065771910000031
以及视觉坐标系到调姿平台坐标系下的平移向量/>
Figure GDA0004065771910000032
从而完成视觉系统的外参标定。
二、对接位姿求解;
1、预先设定刚体构件的移动端和刚体构件的固定端对接状态时移动端标靶与固定端标靶之间的位姿关系,并获得移动端标靶与固定端标靶上的各标志点在世界坐标系下的坐标值以及移动端标靶与固定端标靶上的各标志点在视觉坐标系下的坐标值;
2、根据上述坐标值以及外参标定结果,求解调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵Rb以及平移向量tb
3、求取实际对接过程中移动标靶在调姿平台坐标系下的运动角度与位移;
三、根据实际对接过程中移动标靶在调姿平台坐标系下的运动角度与位移解算出调姿平台各轴的具体动作值,控制调姿平台动作从而实现对接。
本发明的具体技术方案为:
本发明提供了一种基于单目视觉的大型刚体构件自动对接方法,包括以下步骤:
步骤1:视觉系统的内参标定
所述视觉系统的内参包括:视觉坐标系中X轴、Y轴方向单位像素尺寸值与焦距的比值(fx,fy),以及视觉系统中相机的光轴与图像平面的交点在视觉坐标系下的坐标(u0,v0);
步骤2:视觉系统的外参标定
步骤2.1:将外参标定板与调姿平台固连,确定调姿平台坐标系;
步骤2.2:控制调姿平台将外参标定板沿一个方向移动至少两个位置,这一过程下外参标定板在调姿平台坐标系下旋转变换为B1,在视觉坐标系下的旋转变换为A1;令视觉坐标系到调姿平台坐标系的转换关系为X,从而构建第一个典型的手眼标定方程:A1X=XB1;当视觉系统和控制调姿平台相对固定时,
Figure GDA0004065771910000041
为视觉坐标系到调姿平台坐标系下的旋转矩阵,/>
Figure GDA0004065771910000042
为视觉坐标系到调姿平台坐标系下的平移向量;
步骤2.3:控制调姿平台沿另一个方向移动至少两个位置,这一过程下外参标定板在调姿平台坐标系下旋转变换为B2,在视觉坐标系下的旋转变换为A2;令视觉坐标系到调姿平台坐标系的转换关系为X,从而构建第二个典型的手眼标定方程:A2X=XB2;
步骤2.4:根据两个手眼标定方程求解出X,即可得到
Figure GDA0004065771910000043
从而完成视觉系统的外参标定;
步骤3:标定对接状态下移动端标靶与固定端标靶在调姿平台坐标系下的旋转矩阵
Figure GDA0004065771910000051
以及平移向量/>
Figure GDA0004065771910000052
/>
所述移动端标靶与固定端标靶上均设有标志点阵列,并将移动端标靶与固定端标靶的四个角的标志点作为编码标志点,用于对靶标的身份进行识别和靶标上非编码标志点排序;
步骤3.1:设定刚体构件的移动端和刚体构件的固定端对接状态时移动端标靶与固定端标靶之间的位姿关系,并获取当前位姿关系下移动端标靶与固定端标靶上的各标志点在世界坐标系下的坐标值,定义为m1和m2,同时获取移动端标靶与固定端标靶上的各标志点在视觉坐标系下的坐标值定义为S1和S2
步骤3.2:根据步骤2.3中视觉坐标系到调姿平台坐标系的转换关系X、步骤3.1中获取的m1和m2,以及S1和S2,标定出移动端标靶与固定端标靶对齐时,移动端标靶与固定端标靶在调姿平台坐标系下的旋转矩阵
Figure GDA0004065771910000053
以及平移向量/>
Figure GDA0004065771910000054
步骤4:求解实际对接过程中调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵Rb以及平移向量tb
步骤4.1:将移动端标靶与固定端标靶分别安装于移动端和固定端;
步骤4.2:利用与移动端调姿平台固连的图像采集设备拍摄待对接状态图像;
步骤4.3:对采集的图像进行处理,提取移动端标靶在视觉坐标系下待对接状态时各标志点的视觉坐标;
步骤4.4:利用正交迭代算法分别计算出世界坐标系下待对接状态时移动端标靶上的各标志点转换到视觉坐标系下的旋转矩阵
Figure GDA0004065771910000055
以及平移向量/>
Figure GDA0004065771910000056
以及固定端标靶上标志点转换到视觉坐标系下的旋转矩/>
Figure GDA0004065771910000057
以及平移向量/>
Figure GDA0004065771910000058
步骤4.5:计算对接状态下,移动端标靶到调姿平台坐标系的旋转矩阵
Figure GDA0004065771910000061
以及平移向量/>
Figure GDA0004065771910000062
具体计算公式为:
Figure GDA0004065771910000063
步骤4.6:计算对接状态下,移动端标靶在调姿平台坐标系下的三维坐标
Figure GDA0004065771910000064
具体计算公式为:
Figure GDA0004065771910000065
步骤4.7:获取移动端标靶在待对接状态下,从世界坐标系到调姿平台坐标系的旋转矩阵
Figure GDA0004065771910000066
以及平移向量/>
Figure GDA0004065771910000067
具体计算公式为:
Figure GDA0004065771910000068
步骤4.8:计算待对接状态下,移动端标靶在调姿平台坐标系下的三维坐标
Figure GDA0004065771910000069
具体计算公式为:/>
Figure GDA00040657719100000610
步骤4.9:根据移动端标靶上各标志点在待对接状态和对接状态下的三维坐标
Figure GDA00040657719100000611
求解出调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵Rb以及平移向量tb
Figure GDA00040657719100000612
步骤5:求取实际对接过程中移动端刚体构件在调姿平台坐标系下的运动角度与位移;
从步骤4.5求解的平移向量tb中分离出移动端刚体构件基于调姿平台坐标系下每个方向平移量,利用欧拉角与步骤4.5求解的旋转矩阵Rb的关系,解算出移动端刚体构件基于调姿平台坐标系的俯仰角θ,偏航角ψ,滚转角φ;
步骤6:将步骤5的结果解算为调姿平台各轴的具体动作值,控制调姿平台动作从而实现对接。
进一步地,为了确保对接的精准性,上述方法还包括在调姿平台上增设至少一台辅助视觉系统,用于在对步骤5中求得的移动标靶在调姿平台坐标系下的俯仰角、偏航角以及滚转角进行误差校正补偿。
进一步地,上述步骤5的具体解过程为:
Figure GDA0004065771910000071
其中,r11至r33为旋转矩阵Rb,t1至t3代表平移向量tb;利用欧拉角与旋转矩阵关系,解算基于调姿平台坐标系的俯仰角θ,偏航角ψ,滚转角φ,具体表达式为:
Figure GDA0004065771910000072
进一步地,上述步骤1的具体标定过程为:
步骤1.1:将内参标定板放置在视觉系统的相机视场范围内;
步骤1.2:使内参标定板在相机的视场范围内移动,且遍历整个相机的视场,采集到多幅内参标定板的图像;
步骤1.3:对采集到的多幅内参标定板图像进行处理,获得内参标定板中各特征点的视觉坐标(u,v);
步骤1.4:建立世界坐标系,利用已知的内参标定板各特征点的实际位置关系,获取内参标定板各特征点的世界坐标(Xw,Yw,Zw);
步骤1.5:对步骤1.3求得的各特征点的视觉坐标与步骤1.4获取的各特征点的世界坐标进行数据拟合,求解得到视觉系统的内参;
所述视觉系统的内参包括:视觉坐标系中X轴、Y轴方向单位像素尺寸值与焦距的比值(fx,fy),以及视觉系统中相机的光轴与图像平面的交点在视觉坐标系下的坐标(u0,v0)。
进一步地,上述步骤1.5中求解图像采集设备内参的具体公式为:
Figure GDA0004065771910000081
式中,M为视觉坐标系和世界坐标系的转换关系。
进一步地,上述外参标定板上的整体外形尺寸与移动端标靶和固定端标靶一致,且外参标定板上特征圆点阵列排布形式与移动端标靶和固定端标靶一致。
进一步地,上述移动端标靶和固定端标靶均采用粘接或工装固定的方式安装于移动端或固定端。
本发明的有益效果是:
本发明提出单目视觉测量定位引导技术,待对接的大型刚体构件表面的标靶进行快速测量,根据靶标的姿态测量结果,求解大型刚体的调姿参数,引导调姿平台进行对接。与激光测量引导对接法相比,该方法简单、快捷、成本低且适用于一些安全性要求较高的场合;与多目视觉测量引导对接方法比,无需对定期对标定系统参数进行标定,使得该方法具有稳定性高、柔性好、精度高等优点,同时简化了操作和维护流程。
附图说明
图1为实施例给出的对接系统的结构示意图。
图2为外参标定过程的示意图。
图3为移动端标靶的结构简图;
图4为固定端标靶的结构简图;
图5为步骤4的过程示意图。
附图标记如下:
1-单目视觉系统、2-移动端标靶、3-固定端标靶3、4-调姿平台、5-移动端、6-固定端、7-外参标定板。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在有没做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明提供了一种基于单目视觉的大型刚体构件自动对接方法,该方法可快速、精确获取两个大型刚体构件对接位姿,并引导多种不同类型的调姿平台动作,从而实现大型刚体构件的对接。
下面给出一个本方法具体示例,来对本发明的方法作进一步详细的介绍。
在采用本方法时,需要构建以下对接系统,该对接系统包括一套单目视觉系统1(即图像采集设备,图像采集设备包括工业相机、镜头以及光源)、移动端标靶2、固定端标靶3、调姿平台4以及用于对接位姿求解以及与调姿平台通讯的工控机(图中未示出)。
工作时,将移动端标靶2、固定端标靶3分别安装于刚体构件的移动端5和固定端6,图像采集设备采集图像,工控机利用单目视觉定位引导技术得到调姿平台需调整的参数,通过通讯将数据传递给调姿平台控制系统,引导调姿平台完成对接。
基于上述实施例提供的系统基本结构描述,现对采用该系统进行自动对接的方法流程进行详细说明:
步骤1:视觉系统的内参标定
所述视觉系统的内参包括:视觉坐标系中X轴、Y轴方向单位像素尺寸值与焦距的比值(fx,fy),以及工业相机的光轴与图像平面的交点在视觉坐标系下的坐标(u0,v0);
该步骤的具体流程如下:
步骤1.1:将内参标定板放置在视觉系统的工业相机视场范围内;此处需要说明的是:内参标定板为视觉系统通常使用的标准件,属于本领域技术人员常用的零件,此处对该标定板的结构形状不做赘述;
步骤1.2:使内参标定板在工业相机的视场范围内移动,且遍历整个工业相机的视场,采集到多幅(本实施例采集到8-10幅图像)内参标定板的图像;
步骤1.3:对采集到的多幅内参标定板图像进行处理,获得内参标定板中各特征点的视觉坐标(u,v);
步骤1.4:建立世界坐标系,利用已知的内参标定板各特征点的实际位置关系,获取内参标定板各特征点的世界坐标(Xw,Yw,Zw);
步骤1.5:对步骤1.3求得的各特征点的视觉坐标与步骤1.4获取的各特征点的世界坐标进行数据拟合,求解得到视觉系统的内参;
具体计算公式为:
Figure GDA0004065771910000111
式中,M为视觉坐标系和世界坐标系的转换关系。
步骤2:视觉系统的外参标定
步骤2.1:将外参标定板7与调姿平台固连,位置确定调姿平台坐标系;
步骤2.2:控制调姿平台将外参标定板7沿一特定方向(B)由位置1移动到位置2(但不限于仅移动两个位置,多个位置亦可,且结果更加准确),这一过程下外参标定板7在调姿平台坐标系下旋转变换为B1,在视觉坐标系下的旋转变换为A1;令视觉坐标系到调姿平台坐标系的转换关系为X,从而构建第一个典型的手眼标定方程:A1X=XB1;当视觉系统和控制调姿平台相对固定时,
Figure GDA0004065771910000121
为视觉坐标系到调姿平台坐标系下的旋转矩阵,/>
Figure GDA0004065771910000122
为视觉坐标系到调姿平台坐标系下的平移向量;
步骤2.3:控制调姿平台沿另一特定方向(A)由位置2移动到位置1,这一过程下外参标定板在调姿平台坐标系下旋转变换为B2,在视觉坐标系下的旋转变换为A2;令视觉坐标系到调姿平台坐标系的转换关系为X,从而构建第二个典型的手眼标定方程:A2X=XB2;
步骤2.4:根据两个手眼标定方程求解出X,即可得到
Figure GDA0004065771910000123
从而完成视觉系统的外参标定;
步骤3:标定对接状态下移动端标靶与固定端标靶在调姿平台坐标系下的旋转矩阵
Figure GDA0004065771910000124
以及平移向量/>
Figure GDA0004065771910000125
其中,移动端标靶与固定端标靶上均设有标志点阵列(靶标的设计如图3和4所示,两个标靶上均设有45个标志点),并将移动端标靶与固定端标靶的四个角的标志点作为编码标志点,且移动端标靶的四个角编码标志点与固定端标靶的四个编码标志点形状不同,用于对靶标的身份进行识别和靶标上非编码标志点排序(如图3中A1、A2、A3、A4四个编码标志点的形状和图4中B1、B2、B3、B4四个编码标志点形状不同);
步骤3.1:设定刚体构件的移动端和刚体构件的固定端对接状态时移动端标靶与固定端标靶之间的位姿关系(这一过程可以采用人工将移动端和固定端实现对接后获取移动端标靶与固定端标靶的位姿关系,也可通过仿真模拟的手段获取刚体构件的移动端和刚体构件的固定端对接时,移动端标靶与固定端标靶的位姿关系),并获取当前位姿关系下移动端标靶与固定端标靶上的各标志点在世界坐标系下的坐标值,定义为m1和m2,同时获取移动端标靶与固定端标靶上的各标志点在视觉坐标系下的坐标值定义为S1和S2
步骤3.2:根据步骤2.3中视觉坐标系到调姿平台坐标系的转换关系X、步骤3.1中获取的m1和m2,以及S1和S2,标定出移动端标靶与固定端标靶对齐时,移动端标靶与固定端标靶在调姿平台坐标系下的旋转矩阵
Figure GDA0004065771910000131
以及平移向量/>
Figure GDA0004065771910000132
步骤4:求解实际对接过程中调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵Rb以及平移向量tb
步骤4.1:将移动端标靶与固定端标靶分别安装于移动端和固定端;
步骤4.2:利用与移动端调姿平台固连的图像采集设备拍摄待对接状态图像;
步骤4.3:对采集的图像进行处理,提取移动端标靶在视觉坐标系下待对接状态时各标志点的视觉坐标;
步骤4.4:利用正交迭代算法分别计算出世界坐标系下待对接状态时移动端标靶上的各标志点转换到视觉坐标系下的旋转矩阵
Figure GDA0004065771910000133
以及平移向量/>
Figure GDA0004065771910000134
以及固定端标靶上标志点转换到视觉坐标系下的旋转矩/>
Figure GDA0004065771910000135
以及平移向量/>
Figure GDA0004065771910000136
步骤4.5:根据步骤2.4获得的
Figure GDA0004065771910000137
步骤3.2获得的/>
Figure GDA0004065771910000138
以及步骤4.4获得的/>
Figure GDA0004065771910000139
计算对接状态下,移动端标靶到调姿平台坐标系的旋转矩阵/>
Figure GDA00040657719100001310
以及平移向量/>
Figure GDA00040657719100001311
具体计算公式为:/>
Figure GDA0004065771910000142
步骤4.6:根据步骤3.1获取的m1以及步骤4.5获得的
Figure GDA0004065771910000143
计算对接状态下,移动端标靶在调姿平台坐标系下的三维坐标/>
Figure GDA0004065771910000144
具体计算公式为:
Figure GDA0004065771910000145
步骤4.7:根据步骤2.4获得的
Figure GDA0004065771910000146
以及步骤4.4获得的/>
Figure GDA0004065771910000147
计算移动端标靶在待对接状态下,从世界坐标系到调姿平台坐标系的旋转矩阵/>
Figure GDA0004065771910000148
以及平移向量
Figure GDA0004065771910000149
具体计算公式为:
Figure GDA00040657719100001410
步骤4.8:根据步骤3.1获取的m1以及步骤4.7获得的
Figure GDA00040657719100001411
计算待对接状态下,移动端标靶在调姿平台坐标系下的三维坐标/>
Figure GDA00040657719100001412
具体计算公式为:
Figure GDA00040657719100001413
步骤4.9:根据移动端标靶上各标志点在待对接状态和对接状态下的三维坐标
Figure GDA00040657719100001414
求解出调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵Rb以及平移向量tb
Figure GDA00040657719100001415
步骤5:求取实际对接过程中移动端刚体构件在调姿平台坐标系下的运动角度与位移;
从步骤4.5求解的平移向量tb中分离出移动端刚体构件基于调姿平台坐标系下每个方向平移量,利用欧拉角与步骤4.5求解的旋转矩阵Rb的关系,解算出移动端刚体构件基于调姿平台坐标系的俯仰角θ,偏航角ψ,滚转角φ;
具体求解公式为:
Figure GDA0004065771910000151
其中,r11至r33为旋转矩阵Rb,t1至t3代表平移向量tb;利用欧拉角与旋转矩阵关系,解算基于调姿平台坐标系的俯仰角θ,偏航角ψ,滚转角φ,具体表达式为:
Figure GDA0004065771910000152
需要强调的一点是:在实际过程中为了确保对接的精准性,该步骤中还可以在调姿平台上增设至少一台辅助视觉系统,用于在对该步骤中求得的移动标靶在调姿平台坐标系下的俯仰角、偏航角以及滚转角进行误差校正补偿。
步骤6:将步骤5的结果解算为调姿平台各轴的具体动作值,控制调姿平台动作从而实现对接。
需要说明的一点是:为了使的前后算法统一,减少计算量,本实施例中所使用的外参标定板整体结构形状、特征点的数量和排布方式均与移动端标靶和固定端标靶保持一致,若对接时采用一台单目视觉系统,则无需在外参标定板上设置编码特征点,若对接时需要两台以上单目视觉系统作为上述步骤5误差补偿使用时,则需要在外参标定板设置用于区别不同视觉系统的编码特征点。

Claims (7)

1.一种基于单目视觉的大型刚体构件自动对接方法,其特征在于,包括以下步骤:
步骤1:视觉系统的内参标定
所述视觉系统的内参包括:视觉坐标系中X轴、Y轴方向单位像素尺寸值与焦距的比值(fx,fy),以及视觉系统中相机的光轴与图像平面的交点在视觉坐标系下的坐标(u0,v0);
步骤2:视觉系统的外参标定
步骤2.1:将外参标定板与调姿平台固连,确定调姿平台坐标系;
步骤2.2:控制调姿平台将外参标定板沿一个方向移动至少两个位置,这一过程下外参标定板在调姿平台坐标系下旋转变换为B1,在视觉坐标系下的旋转变换为A1;令视觉坐标系到调姿平台坐标系的转换关系为X,从而构建第一个典型的手眼标定方程:A1X=XB1;当视觉系统和控制调姿平台相对固定时,
Figure FDA0004078859300000011
Figure FDA0004078859300000012
为视觉坐标系到调姿平台坐标系下的旋转矩阵,/>
Figure FDA0004078859300000013
为视觉坐标系到调姿平台坐标系下的平移向量;
步骤2.3:控制调姿平台沿另一个方向移动至少两个位置,这一过程下外参标定板在调姿平台坐标系下旋转变换为B2,在视觉坐标系下的旋转变换为A2;令视觉坐标系到调姿平台坐标系的转换关系为X,从而构建第二个典型的手眼标定方程:A2X=XB2;
步骤2.4:根据两个手眼标定方程求解出X,即可得到
Figure FDA0004078859300000014
从而完成视觉系统的外参标定;
步骤3:标定对接状态下移动端标靶与固定端标靶在调姿平台坐标系下的旋转矩阵
Figure FDA0004078859300000021
以及平移向量/>
Figure FDA0004078859300000022
所述移动端标靶与固定端标靶上均设有标志点阵列,并将移动端标靶与固定端标靶的四个角的标志点作为编码标志点,用于对靶标的身份进行识别和靶标上非编码标志点排序;
步骤3.1:设定刚体构件的移动端和刚体构件的固定端对接状态时移动端标靶与固定端标靶之间的位姿关系,并获取当前位姿关系下移动端标靶与固定端标靶上的各标志点在世界坐标系下的坐标值,定义为m1和m2,同时获取移动端标靶与固定端标靶上的各标志点在视觉坐标系下的坐标值定义为S1和S2
步骤3.2:根据步骤2.3中视觉坐标系到调姿平台坐标系的转换关系X、步骤3.1中获取的m1和m2,以及S1和S2,标定出移动端标靶与固定端标靶对齐时,移动端标靶与固定端标靶在调姿平台坐标系下的旋转矩阵
Figure FDA0004078859300000023
以及平移向量/>
Figure FDA0004078859300000024
步骤4:求解实际对接过程中调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵Rb以及平移向量tb
步骤4.1:将移动端标靶与固定端标靶分别安装于移动端和固定端;
步骤4.2:利用与移动端调姿平台固连的图像采集设备拍摄待对接状态图像;
步骤4.3:对采集的图像进行处理,提取移动端标靶在视觉坐标系下待对接状态时各标志点的视觉坐标;
步骤4.4:利用正交迭代算法分别计算出世界坐标系下待对接状态时移动端标靶上的各标志点转换到视觉坐标系下的旋转矩阵
Figure FDA0004078859300000025
以及平移向量/>
Figure FDA0004078859300000026
以及固定端标靶上标志点转换到视觉坐标系下的旋转矩/>
Figure FDA0004078859300000027
以及平移向量/>
Figure FDA0004078859300000028
步骤4.5:计算对接状态下,移动端标靶到调姿平台坐标系的旋转矩阵
Figure FDA0004078859300000031
以及平移向量/>
Figure FDA0004078859300000032
具体计算公式为:
Figure FDA0004078859300000033
步骤4.6:计算对接状态下,移动端标靶在调姿平台坐标系下的三维坐标
Figure FDA0004078859300000034
具体计算公式为:
Figure FDA0004078859300000035
步骤4.7:获取移动端标靶在待对接状态下,从世界坐标系到调姿平台坐标系的旋转矩阵
Figure FDA0004078859300000036
以及平移向量/>
Figure FDA0004078859300000037
具体计算公式为:
Figure FDA0004078859300000038
步骤4.8:计算待对接状态下,移动端标靶在调姿平台坐标系下的三维坐标
Figure FDA0004078859300000039
具体计算公式为:
Figure FDA00040788593000000310
步骤4.9:根据移动端标靶上各标志点在待对接状态和对接状态下的三维坐标
Figure FDA00040788593000000311
求解出调姿平台坐标系下移动端标靶从待对接状态到对接状态下的旋转矩阵Rb以及平移向量tb
Figure FDA00040788593000000312
步骤5:求取实际对接过程中移动端刚体构件在调姿平台坐标系下的运动角度与位移;
从步骤4.5求解的平移向量tb中分离出移动端刚体构件基于调姿平台坐标系下每个方向平移量,利用欧拉角与步骤4.5求解的旋转矩阵Rb的关系,解算出移动端刚体构件基于调姿平台坐标系的俯仰角θ,偏航角ψ,滚转角φ;
步骤6:将步骤5的结果解算为调姿平台各轴的具体动作值,控制调姿平台动作从而实现对接。
2.根据权利要求1所述的基于单目视觉的大型刚体构件自动对接方法,其特征在于:还包括在调姿平台上增设至少一台辅助视觉系统,用于在对步骤5中求得的移动标靶在调姿平台坐标系下的俯仰角、偏航角以及滚转角进行误差校正补偿。
3.根据权利要求1所述的基于单目视觉的大型刚体构件自动对接方法,其特征在于:步骤5的具体求解过程为:
Figure FDA0004078859300000041
其中,r11至r33为旋转矩阵Rb,t1至t3代表平移向量tb;利用欧拉角与旋转矩阵关系,解算基于调姿平台坐标系的俯仰角θ,偏航角ψ,滚转角φ,具体表达式为:
Figure FDA0004078859300000042
4.根据权利要求1所述的基于单目视觉的大型刚体构件自动对接方法,其特征在于:步骤1的具体标定过程为:
步骤1.1:将内参标定板放置在视觉系统的相机视场范围内;
步骤1.2:使内参标定板在相机的视场范围内移动,且遍历整个相机的视场,采集到多幅内参标定板的图像;
步骤1.3:对采集到的多幅内参标定板图像进行处理,获得内参标定板中各特征点的视觉坐标(u,v);
步骤1.4:建立世界坐标系,利用已知的内参标定板各特征点的实际位置关系,获取内参标定板各特征点的世界坐标(Xw,Yw,Zw);
步骤1.5:对步骤1.3求得的各特征点的视觉坐标与步骤1.4获取的各特征点的世界坐标进行数据拟合,求解得到视觉系统的内参。
5.根据权利要求4所述的基于单目视觉的大型刚体构件自动对接方法,其特征在于:所述步骤1.5中求解视觉系统内参的具体公式为:
Figure FDA0004078859300000051
式中,M为视觉坐标系和世界坐标系的转换关系。
6.根据权利要求1所述的基于单目视觉的大型刚体构件自动对接方法,其特征在于:外参标定板上的整体外形尺寸与移动端标靶和固定端标靶一致,且外参标定板上特征圆点阵列排布形式与移动端标靶和固定端标靶一致。
7.根据权利要求1所述的基于单目视觉的大型刚体构件自动对接方法,其特征在于:所述移动端标靶和固定端标靶均采用粘接或工装固定的方式安装于移动端或固定端。
CN202011156320.8A 2020-10-26 2020-10-26 一种基于单目视觉的大型刚体构件自动对接方法 Active CN112381881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011156320.8A CN112381881B (zh) 2020-10-26 2020-10-26 一种基于单目视觉的大型刚体构件自动对接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011156320.8A CN112381881B (zh) 2020-10-26 2020-10-26 一种基于单目视觉的大型刚体构件自动对接方法

Publications (2)

Publication Number Publication Date
CN112381881A CN112381881A (zh) 2021-02-19
CN112381881B true CN112381881B (zh) 2023-05-23

Family

ID=74577702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011156320.8A Active CN112381881B (zh) 2020-10-26 2020-10-26 一种基于单目视觉的大型刚体构件自动对接方法

Country Status (1)

Country Link
CN (1) CN112381881B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113720261B (zh) * 2021-08-30 2024-02-09 重庆市妇幼保健院 一种基于平面的标靶球头标定方法、系统及应用
CN116923333B (zh) * 2023-07-10 2024-05-07 南京航空航天大学 一种视觉引导下的车辆对齐与调平方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012022231A1 (zh) * 2010-08-20 2012-02-23 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
EP3511122A1 (en) * 2017-11-07 2019-07-17 Dalian University of Technology Highly dynamic wide-range any-contour-error monocular six-dimensional measurement method for numerical control machine tool
CN111089569A (zh) * 2019-12-26 2020-05-01 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法
CN111681283A (zh) * 2020-05-11 2020-09-18 哈尔滨工业大学 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012022231A1 (zh) * 2010-08-20 2012-02-23 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
EP3511122A1 (en) * 2017-11-07 2019-07-17 Dalian University of Technology Highly dynamic wide-range any-contour-error monocular six-dimensional measurement method for numerical control machine tool
CN111089569A (zh) * 2019-12-26 2020-05-01 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法
CN111681283A (zh) * 2020-05-11 2020-09-18 哈尔滨工业大学 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A Novel 3-D Path Extraction Method for Arc Welding Robot Based on Stereo Structured Light Sensor";Lei Yang等;《IEEE Sensors Journal》;20190115;第19卷(第2期);第763-773页 *
"单目视觉与倾角仪组合优化的位姿测量系统";何斐彦等;《光学学报》;20161231;第36卷(第12期);第1215002-1至1215002-8页 *

Also Published As

Publication number Publication date
CN112381881A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
CN112833786B (zh) 一种舱段位姿测量及对准系统、控制方法及应用
CN110666798B (zh) 一种基于透视变换模型的机器人视觉标定方法
CN102607457B (zh) 基于惯性导航技术的大尺寸三维形貌测量装置及方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN112381881B (zh) 一种基于单目视觉的大型刚体构件自动对接方法
CN110276806A (zh) 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN111862221B (zh) Uvw平台标定方法、设备、纠偏方法、装置及对位系统
CN110136204B (zh) 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统
CN109373894B (zh) 一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法
JP5618770B2 (ja) ロボットの校正装置および校正方法
CN108132029B (zh) 一种卫星天线展开系统装配的精测方法及装置
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN111707189A (zh) 基于双目视觉的激光位移传感器光束方向标定方法
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN114459345B (zh) 基于视觉空间定位的飞机机身位置姿态检测系统及方法
CN114092552A (zh) 一种基于固定端图像进行大型刚体构件对接的方法
CN110595374A (zh) 基于传递像机的大型结构件实时形变监测方法
CN113916128A (zh) 一种基于光笔式视觉测量系统的提高精度的方法
CN110533727B (zh) 一种基于单个工业相机的机器人自定位方法
US20230100182A1 (en) Alignment Of A Radar Measurement System With A Test Target
CN114998422B (zh) 一种基于误差补偿模型的高精快速三维定位系统
CN115790366A (zh) 一种大型阵面拼接机构视觉定位系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant