CN110370286B - 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 - Google Patents

基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 Download PDF

Info

Publication number
CN110370286B
CN110370286B CN201910742217.2A CN201910742217A CN110370286B CN 110370286 B CN110370286 B CN 110370286B CN 201910742217 A CN201910742217 A CN 201910742217A CN 110370286 B CN110370286 B CN 110370286B
Authority
CN
China
Prior art keywords
coordinate system
camera
robot
face
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910742217.2A
Other languages
English (en)
Other versions
CN110370286A (zh
Inventor
王战玺
辛锋
唐婧仪
李静娜
霍志杰
张勇
白晶
曹妮
李浩妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910742217.2A priority Critical patent/CN110370286B/zh
Publication of CN110370286A publication Critical patent/CN110370286A/zh
Application granted granted Critical
Publication of CN110370286B publication Critical patent/CN110370286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明涉及一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法,将相机安装于机器人末端,针对外形不规则的定轴运动刚体,利用激光跟踪仪建立靶标坐标系、机器人基坐标系;通过测量单目相机端面和机器人法兰面的点分别对两平面进行拟合,获得平面法向量,找到单目相机端面与机器人法兰面的关系,控制机器人将单目相机调整至适当位置;再利用棋盘格标定板对相机的内、外参数进行标定,获得相机图像坐标系与世界坐标系的转换关系;最后对待测定轴运动刚体进行图像采集,通过图像坐标系与世界坐标系的转换关系即可根据刚体自身的特征点及边缘线求得其准确位置。

Description

基于工业机器人和单目相机的定轴运动刚体空间位置识别 方法
技术领域
本发明涉及机器人智能检测领域,是一种空间位置求解方法,具体为一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法。
背景技术
目前,自动化、智能化已逐渐成为制造业的主流模式,机器视觉由于信息量大,在智能生产车间得到了广泛的应用,其中视觉传感器具有简单易操作、安装方便和适用范围广的优点,常见于飞机、汽车等领域,主要作用有监视、检测、识别和引导等,要想实现车间智能化生产,就必须准确获取生产过程中关键部件的位置信息,而定轴运动刚体由于其在空间中位置的不确定、表面形状的不规则,会影响到传感器对物体位置识别的精度。
视觉定位主要有三种方法,分别是多目视觉定位、双目视觉定位和单目视觉定位。多目视觉定位采用三部或以上的摄像机同时采集图像并处理,直接得到目标特征点的位置,该方法实时性差,系统稳定性不高;双目视觉采用两部摄像机同时工作,但立体匹配复杂,计算量大、精度不高;相对来说,单目视觉畸变小,匹配精度高,系统稳定,能够适应工业自动化快速、低成本的发展趋势。利用单目相机标定,对相机采集的二维图像进行处理能更方便、准确地获取到物体空间位置信息。
在机器人视觉应用中,手眼标定是基础且关键的步骤。手眼标定即获取机器人坐标系与相机坐标系的关系,这样才能将从相机采集照片中提取的结果转换到机器人坐标系下。手眼系统中应用较为广泛的是系统摄像机安装于机器人手部末端,在机器人工作过程中摄像机随机器人一起运动。这种方式随着机器人末端接近目标,摄像机与目标的距离也会变小,测量的绝对误差会随之降低,故对摄像机标定的精度要求不高。该方式的优点一是对相机标定精度要求不高,二是当目标物位置变化时,摄像机可以随机器人运动到合适位置进行图像采集。
2012年,潘武等(基于机器视觉的工件的在线检测,组合机床与自动化加工技术,2012,(7):75-78,81)提出一种工件在线缺陷检测的方法。针对机器视觉系统,利用HALCON软件提供的算子对摄像机内外参及手眼系统进行标定,再利用图像处理软件发送信号控制机械手完成缺陷件的抓取工作。但该系统主要针对在传送带上的标准件进行缺陷和动态位置检测工作,而在工程实践还存在许多形状不规则物体,有必要对其位置检测方法进行研究;并且在该系统中若目标面法向与光轴呈一定夹角,则受到光学系统失真、系统噪声等影响空间范围内各项数据参数可能无法测量准确,因此将单目相机固定于目标面的竖直正上方以保证目标面法向与光轴平行,但这种方式对于相机安装精度要求高。因此,有必要研究一种机器视觉检测系统,使相机光轴始终与目标待测平面法向平行,并通过对机器人和相机位置的精确标定,保证检测精度符合实际要求。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法。该方法通过激光跟踪仪和标定板进行手眼标定,并利用机器人运动灵活性和单目视觉定位技术的非接触、高柔性、处理简便等优点,实现定轴运动刚体的图像采集和位置提取;在保证检测精度的情况下有效降低了相机安装和标定的复杂度。
技术方案
本发明所采用的技术方案是:将相机安装于机器人末端,针对外形不规则的定轴运动刚体,利用激光跟踪仪建立靶标坐标系、机器人基坐标系;通过测量单目相机端面和机器人法兰面的点分别对两平面进行拟合,获得平面法向量,找到单目相机端面与机器人法兰面的关系,控制机器人将单目相机调整至适当位置;再利用棋盘格标定板对相机的内、外参数进行标定,获得相机图像坐标系与世界坐标系的转换关系;最后对待测定轴运动刚体进行图像采集,通过图像坐标系与世界坐标系的转换关系即可根据刚体自身的特征点及边缘线求得其准确位置。
一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法,其特征在于步骤如下:
步骤1:在工业机器人末端安装一个单目相机,使用激光跟踪仪对相机位置进行标定,按照以下步骤确定单目相机端面在机器人基座标系下的法向量f:
1a.将激光跟踪仪固定于离机器人底座中心3~4m处,构建靶标坐标系;将靶球安装于机器人末端执行器,在激光跟踪仪测量环境下设置一个固定的虚点,控制机器人以四种不同的姿态到达这个固定虚点,并分别记录每次机器人到达时法兰坐标系的位置和姿态;
1b.根据四种不同的位置和姿态,通过建立、求解齐次转换矩阵,获取法兰坐标系到靶标坐标系的转换关系;
1c.获取机器人基坐标系与激光跟踪仪测量坐标系的位置关系:控制机器人到达任意12个点并按顺序依次标号,利用序号为单数的点作为标定点建立激光跟踪仪测量点集{xmymzm},再与机器人坐标系点集{xryrzr}进行最小二乘匹配,用序号为双数的点作为验证点;用matlab求解得到激光跟踪仪测量坐标系与机器人基坐标系的转换关系M;
1d.在激光跟踪仪测量环境下构建机器人基坐标系:规定激光跟踪仪测量坐标系为世界坐标系OwXwYwZw,利用步骤1c中得到的世界坐标系与机器人基坐标系的转换关系,将12个在世界坐标系下的坐标值转换到机器人基坐标系下,并计算转换值与机器人实际读数之间的偏差;机器人的定位误差直接影响基坐标系的建立,世界坐标系到机器人基坐标系的坐标转换结果误差是机器人标定点测量误差的2~5倍,根据系统需满足的定位精度要求,将转换结果的偏差控制在允许的误差范围内;根据转换关系M,在激光跟踪仪配套的测量软件构造新的机器人坐标系m-xryrzr,并激活;
1e.利用激光跟踪仪测量单目相机端面点集坐标,通过最小二乘法完成单目相机端面在世界坐标系下平面方程的建立,即可求得单目相机端面法向量c;
1f.利用激光跟踪仪测量工业机器人法兰面点集坐标,通过最小二乘法完成工业机器人法兰平面在世界坐标系下平面方程的建立,即可求得工业机器人法兰平面法向量d;
1g.通过单目相机端面和法兰平面在世界坐标系下的法向量c、d,求解单目相机端面法向量与法兰平面法向量的转换矢量e;
1h.通过单目相机端面法向量c和世界坐标系与机器人基坐标系的转换关系M,确定单目相机端面在机器人基坐标系下的法向量f;
步骤2:根据步骤1得到的单目相机端面在机器人基坐标系下的法向量f,及其与法兰平面法向量的转换矢量e,计算当相机端面法向量与机器人基坐标系Z轴垂直时,法兰平面在机器人基坐标系下的法向量,据此来控制机器人运动;机器人基坐标系与法兰坐标系的关系可通过机器人直接获取,通过调整机器人法兰面来调整相机端面,使其与机器人基坐标系Z轴平行,即相机端面法向量与基坐标系Z轴垂直,保证垂直度为90±0.05°;
步骤3:利用标定板进行相机内参数标定,标定步骤如下:
3a.针对可能存在的高斯噪声,使用最大似然估计进行优化,将标定板置于相机视野中,变换标定板姿态,采集20张不同姿态的标定板图像,保证每张图像都包含标定板上的所有棋盘格;
3b.利用“张正友标定法”对相机采集的20张图像进行处理,计算得到相机内参矩阵K;
步骤4:所测物体绕一条确定轴线做圆周运动,在保证相机端面与Z轴平行的前提下,控制机器人带动相机移动至一固定位置,保证无论物体做圆周运动至何位置均能出现在相机视野中,且能获取到清晰图像,并借助标定板按照以下步骤标定相机外参数:
4a.将标定板平面固定于相机视野中,利用激光跟踪仪测量标定板平面点集坐标,通过最小二乘法完成标定板平面在世界坐标系下平面方程的建立,即可求得标定板平面法向量g;根据步骤1e所得相机法向量调整标定板平面,使其与相机端面平行,相机端面法向量和标定板平面保证垂直度为90±0.05°;
4b.测量标定板三点在世界坐标系下的位置,建立标定板坐标系ObXbYbZb,求标定板坐标系ObXbYbZb在世界坐标系OwXwYwZw下的位姿矩阵Twb
4c.假设相机坐标系为OcXcYcZc,对标定板坐标系ObXbYbZb在相机坐标系OcXcYcZc下的位姿矩阵Tcb进行求解;
4d.计算相机坐标系OcXcYcZc在世界坐标系OwXwYwZw下的位姿矩阵Twc,获取相机坐标系和世界坐标系之间换算关系中的旋转矩阵R和平移矩阵T;
步骤5:利用步骤3和步骤4获得的相机内参和外参即可确定世界坐标系、相机坐标系和图像坐标系三者的转换关系,通过转换关系即可将相机采集所得图像中的像素坐标转换到世界坐标系中;
步骤6:利用相机采集多组物体图像,通过图像预处理、边缘检测、特征识别对物体在图像坐标系中特征点或边缘线的坐标进行提取,利用图像坐标系和世界坐标系的转换关系即可获得物体的准确位置。
有益效果
本发明提出的一种基于工业机器人和单目相机的定轴运动刚体位置识别方法。将单目相机安装于机器人末端,相机相对于机器人末端法兰的安装位置和姿态无要求,这种相机安装方式简便易实施;通过激光跟踪仪获取机器人坐标系与相机坐标系的关系,再利用标定板标定相机内外参数,不但没有过分依赖相机的传统标定方法,而且标定工具易操作,方法简单可行、精度较高。该方法适用范围广,通过机器人与相机之间精确的位置标定,实现高精度的目标位置检测、识别,该方法适合多种形状规则或不规则的定轴运动刚体,具有广泛的应用场合。
附图说明
图1是定轴运动刚体位置识别流程图;
图2是机器人与末端工具示意图;
图3是相机视觉坐标系示意图;
图4是相机外参矩阵求解示意图;
其中:1-公转轴;2-桨叶一;3-桨叶一自转轴;4-桨叶二;5-桨叶二自转轴;6-标记特征点;7-边缘线;8-工业机器人;9-前段板;10-光源;11-单目相机;12-相机安装座;13-侧板;14-法兰连接座;15-相机坐标系;16-成像平面;17-图像坐标系;18-世界坐标系;19-物体位置;20-标定板坐标系;21-标定板。
具体实施方式
现结合实施例、附图对本发明作进一步描述:
参阅附图1~4,本实施例基于工业机器人和单目相机的定轴运动刚体位置识别方法,运用于不规则定轴运动桨叶位置检测上。桨叶一2和桨叶二4分别绕自转轴3和自转轴5转动,两桨叶自转的同时又绕公转轴1转动,利用机器视觉系统对不规则桨叶位置,即标记特征点6和边缘线7进行检测;将视觉检测设备安装于工业机器人8末端,用于获取所测目标图像;视觉检测主体设备为单目相机11,相机固定于相机安装座12上,再通过侧板13与前段板9和法兰连接座14固定,通过法兰连接座安装于机器人末端,光源10安装于前段板9上,用于辅助相机进行图像采集。利用激光跟踪仪标定相机与机器人的相对位置,控制机器人将单目相机调整至适当位置,利用棋盘格标定板对相机的内、外参数进行标定,获得相机图像坐标系与世界坐标系的转换关系,对待测定轴运动桨叶进行图像采集,通过图像坐标系与世界坐标系的转换关系即可根据目标物自身的特征点及边缘线求得物体的准确位置。
下面给出本实施例中方法的具体步骤:
步骤1.利用激光跟踪仪对固定于机器人末端的相机与机器人的相对位置进行标定,按照以下步骤确定单目相机端面在机器人基座标系下的法向量e。
a.将激光跟踪仪固定于离机器人底座中心3~4m处,构建靶标坐标系。规定靶标坐标系原点位于靶球中心,方向与法兰坐标系一致。通过靶标转接座将靶球固定于机器人末端,在激光跟踪仪测量坐标系下设置一个固定的虚点,手动示教机器人以四种不同的姿态接近这个固定虚点,当在激光跟踪仪坐标系下靶球中心与这个固定虚点三个方向的坐标值相差很小时,认为靶球中心与固定虚点重合。记录每次靶球与虚点重合时机器人法兰坐标系的位置和姿态;
b.根据四种不同的位置和姿态,求解法兰坐标系到靶标坐标系的转换关系。设这个固定虚点在机器人基坐标系下的坐标为p0,读取示教器中法兰坐标系在机器人基坐标系下的坐标[X Y Z A B C],并将坐标值转换成齐次矩阵形式。法兰坐标系在机器人基坐标系下的位置分别为p1、p2、p3、p4,姿态矩阵分别为R1、R2、R3、R4。位置与XYZ对应,姿态矩阵可以由ZYX欧拉角A、B、C计算得到;
c.获取机器人基坐标系与激光跟踪仪测量坐标系的位置关系。求解激光跟踪仪坐标系到机器人基坐标系的齐次变换矩阵。将步骤1-a设定的靶标坐标系设定为当前工具坐标系,控制机器人到达间隔较大的12个点并按顺序依次标号。利用序号为单数的点作为标定点建立激光跟踪仪测量点集{xmymzm},再与机器人坐标系点集{xryrzr}进行最小二乘匹配,将序号为双数的点作为验证点。用matlab求解得到激光跟踪仪测量坐标系与机器人基坐标系的转换关系M;
d.在激光跟踪仪测量环境下构建机器人基坐标系,参照附图3,规定激光跟踪仪测量坐标系为世界坐标系OwXwYwZw,假设空间中某一物体上的点为A点,A点在世界坐标系OwXwYwZw中坐标为(Xw,Yw,Zw),利用步骤1-c中得到的世界坐标系与机器人基坐标系的转换关系,将12个在世界坐标系下的坐标值转换到机器人基坐标系下,并计算由激光跟踪仪测量值转换得到的坐标值与机器人实际读数值的偏差。机器人的定位误差直接影响基坐标系的建立,世界坐标系到机器人基坐标系的坐标转换结果误差是机器人标定点测量误差的2~5倍,当构建坐标系的误差在测量精度之内时,基坐标系构建成功,根据转换关系M,在激光跟踪仪配套的测量软件构造新的坐标系m-xryrzr,并激活;
e.利用激光跟踪仪测量单目相机端面点,获取点集坐标至少10组,通过最小二乘法完成单目相机端面在世界坐标系下平面方程的建立,即可求得单目相机端面法向量c;
f.利用激光跟踪仪测量工业机器人法兰面点,获取点集坐标至少10组,通过最小二乘法完成工业机器人法兰平面在世界坐标系下平面方程的建立,即可求得工业机器人法兰平面法向量d;
g.通过单目相机端面和法兰平面在世界坐标系下的法向量c、d,求解单目相机端面法向量与法兰平面法向量的转换矢量e;
h.根据单目相机端面在世界坐标系下的法向量c和步骤1-c计算得到的转换关系M,即可确定单目相机端面在机器人基坐标系下的法向量f;
步骤2.机器人基坐标系与法兰坐标系的关系已知,根据步骤1-h得到的单目相机端面在机器人基坐标系下的法向量f,可计算得出法向量f相对于基坐标系Z轴的角度,结合步骤1-g得到的相机端面法向量与法兰平面法向量的转换矢量e,可解算出当相机端面法向量与Z轴垂直时,在机器人基坐标系中法兰平面的法向量d′,通过调整机器人法兰面,使相机端面与机器人基坐标系Z轴平行,即相机端面法向量f与基坐标系Z轴垂直,保证垂直度为90±0.05°;
步骤3.利用标定板进行相机内参数标定,标定步骤如下:
a.针对可能存在的高斯噪声,使用最大似然估计进行优化,将标定板棋盘格完全置于相机视野中,保证相机拍摄图像清晰。通过变换标定板姿态,采集20张不同姿态的标定板图像,保证在每张图像中都包含标定板上的所有棋盘格;
b.利用“张正友标定法”对相机采集的20张图像进行处理,计算得到相机内参矩阵K;
步骤4.所测桨叶一2、桨叶二4在自转的同时绕公转轴1做圆周运动,在保证相机端面与Z轴平行的前提下,利用机器人带动相机移至一固定位置,保证无论物体定轴运动至何位置均能出现在相机视野中,且能获取到清晰图像。参照附图3和附图4,已知世界坐标系18为OwXwYwZw,假设相机坐标系15为OcXcYcZc,空间中某一物体上的点A在相机坐标系OcXcYcZc中坐标为(Xc,Yc,Zc),借助标定板21按照以下步骤标定相机外参数:
a.选择长度已知的棋盘格标定板作为参照物,将标定板平面固定于相机视野中,利用激光跟踪仪测量标定板平面点,获取点集坐标至少10组,通过最小二乘法完成标定板平面在世界坐标系下平面方程的建立,即可求得标定板平面法向量g,根据步骤1-e计算得到的相机法向量调整标定板平面,使标定板平面与相机端面平行,且相机端面和标定板平面保证平行度为0±0.05°;
b.参照附图4,在标定板平面上建立笛卡尔右手坐标系ObXbYbZb,即标定板坐标系20,坐标系原点位于标定板21上,在平行于标定板两边的方向上取点,点与原点的连线分别作为标定板坐标系的xb轴和yb轴,zb轴方向与标定板平面垂直。测量标定板A、B、C三点在世界坐标系下的坐标,即直接测量得到A、B、C三点世界坐标。下面建立标定板坐标系,以A点为原点,其与B点组建的向量
Figure BDA0002164335750000101
方向为标定板坐标系的xb轴正方向,A点与C点组建的向量
Figure BDA0002164335750000102
方向为标定板坐标系的yb轴正方向,以垂直于标定板平面竖直向里为标定板坐标系的zb轴正方向,由此得到标定板坐标系ObXbYbZb在世界坐标系OwXwYwZw下的位姿矩阵Twb
c.标定板上AB点的实际距离h已知,相机坐标系为OcXcYcZc,对相机采集到的标定板图像进行处理后可获得在图像坐标系17中成像平面16上的A、B点像素坐标(xApix,yApix)、(xBpix,yBpix),由此可计算出两点间实际距离与像素坐标差的比值hx和hy,即为单位像素长度。由步骤3得到的内参矩阵可知光轴中心的像素坐标(u0,v0),根据已知的单位像素长度、光轴中心像素坐标及A点像素坐标,可求解出标定板坐标系原点A点在相机坐标系中的位置(xcb,ycb,zcb),其中zcb为相机光心至标定板平面的距离,则可得到标定板坐标系ObXbYbZb在相机坐标系OcXcYcZc下的位姿矩阵Tcb
d.根据Twb和Tcb计算相机坐标系OcXcYcZc在世界坐标系OwXwYwZw下的位姿矩阵,即相机外参矩阵Twc=Twb*(Tcb)-1,获取相机坐标系和世界坐标系之间换算关系中的旋转矩阵R和平移矩阵T;
步骤5.利用步骤3和步骤4获得的相机内参和外参即可确定世界坐标系、相机坐标系和图像坐标系三者的转换关系,通过转换关系即可将相机采集所得图像中的像素坐标转换到世界坐标系中,获得相机图像中各点在世界坐标系中的具体位置;
步骤6.利用相机采集多组物体图像,通过图像预处理、边缘检测、特征识别等方法对物体在图像坐标系中特征点或边缘线的坐标进行提取,利用图像坐标系和世界坐标系的转换关系即可确定桨叶在空间的准确位置。

Claims (1)

1.一种基于工业机器人和单目相机的定轴运动刚体空间位置识别方法,其特征在于步骤如下:
步骤1:在工业机器人末端安装一个单目相机,使用激光跟踪仪对相机位置进行标定,按照以下步骤确定单目相机端面在机器人基座标系下的法向量f:
1a.将激光跟踪仪固定于离机器人底座中心3~4m处,构建靶标坐标系;将靶球安装于机器人末端执行器,在激光跟踪仪测量环境下设置一个固定的虚点,控制机器人以四种不同的姿态到达这个固定虚点,并分别记录每次机器人到达时法兰坐标系的位置和姿态;
1b.根据四种不同的位置和姿态,通过建立、求解齐次转换矩阵,获取法兰坐标系到靶标坐标系的转换关系;
1c.获取机器人基坐标系与激光跟踪仪测量坐标系的位置关系:控制机器人到达任意12个点并按顺序依次标号,利用序号为单数的点作为标定点建立激光跟踪仪测量点集{xmymzm},再与机器人坐标系点集{xryrzr}进行最小二乘匹配,用序号为双数的点作为验证点;用matlab求解得到激光跟踪仪测量坐标系与机器人基坐标系的转换关系M;
1d.在激光跟踪仪测量环境下构建机器人基坐标系:规定激光跟踪仪测量坐标系为世界坐标系OwXwYwZw,利用步骤1c中得到的世界坐标系与机器人基坐标系的转换关系,将12个在世界坐标系下的坐标值转换到机器人基坐标系下,并计算转换值与机器人实际读数之间的偏差;机器人的定位误差直接影响基坐标系的建立,世界坐标系到机器人基坐标系的坐标转换结果误差是机器人标定点测量误差的2~5倍,根据系统需满足的定位精度要求,将转换结果的偏差控制在允许的误差范围内;根据转换关系M,在激光跟踪仪配套的测量软件构造新的机器人坐标系m-xryrzr,并激活;
1e.利用激光跟踪仪测量单目相机端面点集坐标,通过最小二乘法完成单目相机端面在世界坐标系下平面方程的建立,即可求得单目相机端面法向量c;
1f.利用激光跟踪仪测量工业机器人法兰面点集坐标,通过最小二乘法完成工业机器人法兰平面在世界坐标系下平面方程的建立,即可求得工业机器人法兰平面法向量d;
1g.通过单目相机端面和法兰平面在世界坐标系下的法向量c、d,求解单目相机端面法向量与法兰平面法向量的转换矢量e;
1h.通过单目相机端面法向量c和世界坐标系与机器人基坐标系的转换关系M,确定单目相机端面在机器人基坐标系下的法向量f;
步骤2:根据步骤1得到的单目相机端面在机器人基坐标系下的法向量f,及其与法兰平面法向量的转换矢量e,计算当单目相机端面在机器人基坐标系下的法向量f与机器人基坐标系Z轴垂直时,法兰平面在机器人基坐标系下的法向量,据此来控制机器人运动;机器人基坐标系与法兰坐标系的关系可通过机器人直接获取,通过调整机器人法兰面来调整相机端面,使其与机器人基坐标系Z轴平行,即相机端面法向量与基坐标系Z轴垂直,保证垂直度为90±0.05°;
步骤3:利用标定板进行相机内参数标定,标定步骤如下:
3a.针对可能存在的高斯噪声,使用最大似然估计进行优化,将标定板置于相机视野中,变换标定板姿态,采集20张不同姿态的标定板图像,保证每张图像都包含标定板上的所有棋盘格;
3b.利用“张正友标定法”对相机采集的20张图像进行处理,计算得到相机内参矩阵K;
步骤4:所测物体绕一条确定轴线做圆周运动,在保证相机端面与Z轴平行的前提下,控制机器人带动相机移动至一固定位置,保证无论物体做圆周运动至何位置均能出现在相机视野中,且能获取到清晰图像,并借助标定板按照以下步骤标定相机外参数:
4a.将标定板平面固定于相机视野中,利用激光跟踪仪测量标定板平面点集坐标,通过最小二乘法完成标定板平面在世界坐标系下平面方程的建立,即可求得标定板平面法向量g;根据步骤1e所得单目相机端面法向量c调整标定板平面,使其与相机端面平行,单目相机端面法向量c和标定板平面保证垂直度为90±0.05°;
4b.测量标定板三点在世界坐标系下的位置,建立标定板坐标系ObXbYbZb,求标定板坐标系ObXbYbZb在世界坐标系OwXwYwZw下的位姿矩阵Twb
4c.假设相机坐标系为OcXcYcZc,对标定板坐标系ObXbYbZb在相机坐标系OcXcYcZc下的位姿矩阵Tcb进行求解;
4d.计算相机坐标系OcXcYcZc在世界坐标系OwXwYwZw下的位姿矩阵Twc,获取相机坐标系和世界坐标系之间换算关系中的旋转矩阵R和平移矩阵T;
步骤5:利用步骤3和步骤4获得的相机内参和外参即可确定世界坐标系、相机坐标系和图像坐标系三者的转换关系,通过转换关系即可将相机采集所得图像中的像素坐标转换到世界坐标系中;
步骤6:利用相机采集多组物体图像,通过图像预处理、边缘检测、特征识别对物体在图像坐标系中特征点或边缘线的坐标进行提取,利用图像坐标系和世界坐标系的转换关系即可获得物体的准确位置。
CN201910742217.2A 2019-08-13 2019-08-13 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 Active CN110370286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910742217.2A CN110370286B (zh) 2019-08-13 2019-08-13 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910742217.2A CN110370286B (zh) 2019-08-13 2019-08-13 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法

Publications (2)

Publication Number Publication Date
CN110370286A CN110370286A (zh) 2019-10-25
CN110370286B true CN110370286B (zh) 2022-04-12

Family

ID=68259005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910742217.2A Active CN110370286B (zh) 2019-08-13 2019-08-13 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法

Country Status (1)

Country Link
CN (1) CN110370286B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062989B (zh) * 2019-12-12 2023-06-06 深圳慧智星晨科技有限公司 一种高精度二维摄像头与机器人手眼标定的方法及系统
CN111080627B (zh) * 2019-12-20 2021-01-05 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111089569B (zh) * 2019-12-26 2021-11-30 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法
JP7323057B2 (ja) * 2020-03-31 2023-08-08 日本電気株式会社 制御装置、制御方法、および、制御プログラム
CN111489436A (zh) * 2020-04-03 2020-08-04 北京博清科技有限公司 一种焊缝三维重建方法、装置、设备及存储介质
CN111673735A (zh) * 2020-04-28 2020-09-18 平安科技(深圳)有限公司 一种基于单目视觉定位的机械臂控制方法及装置
CN112045676A (zh) * 2020-07-31 2020-12-08 广州中国科学院先进技术研究所 一种基于深度学习的机器人抓取透明物体的方法
CN112102473A (zh) * 2020-09-01 2020-12-18 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的作业场景建模方法及系统
CN112285625A (zh) * 2020-09-21 2021-01-29 广东电网有限责任公司广州供电局 一种通用型电力仪表自动检定系统及其检定方法
CN112629499B (zh) * 2020-12-03 2023-01-17 合肥中科君达视界技术股份有限公司 基于线扫描仪的手眼标定重复定位精度测量方法及装置
CN112489126B (zh) * 2020-12-10 2023-09-19 浙江商汤科技开发有限公司 车辆关键点信息检测方法、车辆控制方法及装置、车辆
US20240095957A1 (en) * 2020-12-25 2024-03-21 Intel Corporation Camera registration via robot
CN112748737A (zh) * 2020-12-28 2021-05-04 上海电机学院 一种巡逻机器人三目视觉位姿估计激光充电方法
CN112853835B (zh) * 2021-01-04 2022-04-19 中铁四局集团有限公司 一种用于钢轨铺设的自动控制方法与系统
CN113112543A (zh) * 2021-04-08 2021-07-13 东方电气集团科学技术研究院有限公司 一种基于视觉移动目标的大视场二维实时定位系统及方法
CN113134683A (zh) * 2021-05-13 2021-07-20 兰州理工大学 基于机器学习的激光标刻方法及装置
CN113763469A (zh) * 2021-08-03 2021-12-07 东风悦达起亚汽车有限公司 一种汽车车门bpr胶喷涂工艺
CN113658248A (zh) * 2021-08-09 2021-11-16 煤炭科学研究总院 自移机尾的姿态监测方法、装置及电子设备
CN114029970B (zh) * 2021-10-13 2023-08-22 河钢工业技术服务有限公司 一种钢卷端面检测机器人及其路径规划方法
CN114406985B (zh) * 2021-10-18 2024-04-12 苏州迪凯尔医疗科技有限公司 一种目标追踪的机械臂方法、系统、设备及存储介质
CN114559417A (zh) * 2022-01-28 2022-05-31 湖南航智科技有限公司 一种基于3d视觉的捏合机桨叶自动清理机器人系统
CN114935316B (zh) * 2022-05-20 2024-03-12 长春理工大学 基于光学跟踪与单目视觉的标准深度图像生成方法
CN115401689B (zh) * 2022-08-01 2024-03-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
CN115781665B (zh) * 2022-11-01 2023-08-08 深圳史河机器人科技有限公司 一种基于单目相机的机械臂控制方法、装置及存储介质
CN116222384B (zh) * 2023-05-08 2023-08-04 成都飞机工业(集团)有限责任公司 一种全向测量标定方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011242198A (ja) * 2010-05-17 2011-12-01 Fujitsu Ltd 位置特定装置、位置特定方法、及びプログラム
JP2013122434A (ja) * 2011-12-12 2013-06-20 Itt:Kk レーザーを用いた単眼カメラによる3次元形状位置計測装置,3次元形状位置計測処理方法および3次元形状位置計測処理プログラム
CN105091744A (zh) * 2015-05-07 2015-11-25 中国科学院自动化研究所 一种基于视觉传感器和激光测距仪的位姿检测装置与方法
CN108344360A (zh) * 2017-11-15 2018-07-31 北京航空航天大学 一种视觉测量系统的激光扫描式全局校准装置及方法
CN108444449A (zh) * 2018-02-02 2018-08-24 中国科学院西安光学精密机械研究所 一种对具有平行线特征的目标空间姿态测量方法
CN109373894A (zh) * 2018-09-27 2019-02-22 南京航空航天大学 一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法
CN109794963A (zh) * 2019-01-07 2019-05-24 南京航空航天大学 一种面向曲面构件的机器人快速定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011242198A (ja) * 2010-05-17 2011-12-01 Fujitsu Ltd 位置特定装置、位置特定方法、及びプログラム
JP2013122434A (ja) * 2011-12-12 2013-06-20 Itt:Kk レーザーを用いた単眼カメラによる3次元形状位置計測装置,3次元形状位置計測処理方法および3次元形状位置計測処理プログラム
CN105091744A (zh) * 2015-05-07 2015-11-25 中国科学院自动化研究所 一种基于视觉传感器和激光测距仪的位姿检测装置与方法
CN108344360A (zh) * 2017-11-15 2018-07-31 北京航空航天大学 一种视觉测量系统的激光扫描式全局校准装置及方法
CN108444449A (zh) * 2018-02-02 2018-08-24 中国科学院西安光学精密机械研究所 一种对具有平行线特征的目标空间姿态测量方法
CN109373894A (zh) * 2018-09-27 2019-02-22 南京航空航天大学 一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法
CN109794963A (zh) * 2019-01-07 2019-05-24 南京航空航天大学 一种面向曲面构件的机器人快速定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
单目视觉- 激光测距定位系统的标定与姿态校正;郑帅超 等;《机械科学与技术》;20171231;1926-1934 *
机器人系统在立式混合机清理中的设计;辛锋 等;《航天制造技术》;20190430;5-9 *

Also Published As

Publication number Publication date
CN110370286A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110370286B (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN109794938B (zh) 一种适用于曲面结构的机器人制孔误差补偿装置及其方法
CN107214703B (zh) 一种基于视觉辅助定位的机器人自标定方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
JP4021413B2 (ja) 計測装置
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN109297413B (zh) 一种大型筒体结构视觉测量方法
CN109794963B (zh) 一种面向曲面构件的机器人快速定位方法
CN109015110B (zh) 一种机床回转轴位置误差建模与辨识方法
CN111531407B (zh) 一种基于图像处理的工件姿态快速测量方法
CN105806251A (zh) 基于线激光传感器的四轴测量系统及其测量方法
CN112648934B (zh) 一种自动化弯管几何形态检测方法
CN110081821A (zh) 智能化高铁白车身装配质量检测装置及其方法
CN113532277B (zh) 板状不规则曲面工件的检测方法及系统
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
CN111008602B (zh) 一种小曲率薄壁零件用二维和三维视觉结合的划线特征提取方法
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN112729112A (zh) 基于机器人视觉的发动机缸体孔径与孔位检测方法
CN115752295A (zh) 一种线激光轮廓仪自动手眼标定方法
CN203772217U (zh) 非接触式柔性在线尺寸测量装置
CN110962127A (zh) 一种用于机械臂末端位姿辅助标定装置及其标定方法
CN108257184B (zh) 一种基于正方形点阵合作目标的相机姿态测量方法
CN112508933A (zh) 一种基于复杂空间障碍物定位的柔性机械臂运动避障方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant