CN113643380A - 一种基于单目相机视觉标靶定位的机械臂引导方法 - Google Patents

一种基于单目相机视觉标靶定位的机械臂引导方法 Download PDF

Info

Publication number
CN113643380A
CN113643380A CN202110939348.7A CN202110939348A CN113643380A CN 113643380 A CN113643380 A CN 113643380A CN 202110939348 A CN202110939348 A CN 202110939348A CN 113643380 A CN113643380 A CN 113643380A
Authority
CN
China
Prior art keywords
coordinate system
target
mechanical arm
tag
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110939348.7A
Other languages
English (en)
Inventor
夏科睿
马姓
彭超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yuanguji Intelligent Technology Co ltd
Original Assignee
Anhui Yuanguji Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yuanguji Intelligent Technology Co ltd filed Critical Anhui Yuanguji Intelligent Technology Co ltd
Priority to CN202110939348.7A priority Critical patent/CN113643380A/zh
Publication of CN113643380A publication Critical patent/CN113643380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种基于单目相机视觉标靶定位的机械臂引导方法，属于计算机视觉与机器人领域，解决如何满足复杂环境光线下机械臂对视觉引导作业的灵活性、可靠性以及精度的要求的问题；灵活使用不同尺寸、不同编码、不同结构的标签码定制视觉标靶，定制完成后对标靶进行标定，在提高视觉标靶灵活性的同时保证精度；使用多级曝光图像进行视觉标靶检测与位姿求解，通过多级曝光采集图像，并提供一种视觉标靶的检测与位姿解算方法，在保证检测与定位精度的同时，提高视觉标靶的环境鲁棒性以及精度；定位完成后对视觉定位结果进行评估，有利于不同场景下的可靠性需求；具备成本低廉、算法计算复杂度低、精度高、鲁棒性强的特点，可灵活部署至各种机械臂作业场景。

Description

一种基于单目相机视觉标靶定位的机械臂引导方法
技术领域
本发明属于计算机视觉与机器人领域，涉及一种基于单目相机视觉标靶定位的机械臂引导方法。
背景技术
随着机器人技术的广泛应用，机器人将逐渐趋向于智能化发展。无论是工业机器人领域还是服务机器人领域，均对视觉定位技术有着一定的要求。目标视觉定位技术一般应用于移动机器人导航与避障，机械臂抓取与人机交互等场景。相比于激光跟踪仪、激光雷达、毫米波雷达等设备，视觉设备具有成本低廉、灵活性高等特点。以视觉相机作为传感器的目标定位技术逐渐成为机器人定位研究的热点。
机器人领域常见的视觉相机一般分为单目相机与RGB-D相机两种。RGB-D相机可同时输出彩色图像与三维点云信息，结合图像分析点云即可进行目标物体的定位。但三维点云信息的分析处理具有计算成本高的问题，且点云的精度受目标物体距离、环境光线、环境温度等因素的影响，一般消费级RGB-D相机较难获取到高质量的三维点云数据。基于单目相机的目标定位一般以视图几何方法或机器学习方法为理论基础进行建模从而实现目标物体的位姿估计，但视图几何方法的精度受物体特征检测与匹配等前置算法的影响，机器学习方法则对数据集有着较强的依赖且算法存在一定的不确定因素。目前，将AprilTag、ArUco等图像特征较为明确的标签检测与视图几何方法进行结合目标视觉定位方法逐渐成为机器人领域的应用热点。
以标签码作为标靶的单目视觉目标定位方法广泛应用于AGV、无人机等领域。现有方法通常以单个标签码或标签码阵列的检测进行位姿解算。基于单个标签码的方法计算量小且较为灵活，常应用于AGV与无人机的定位导航，但该类方法通常存在精度低不可靠的问题。基于标签码阵列的方法精度较高，但标签码阵列面积较大不够灵活且计算压力较高，常应用于相机的参数标定。对于机械臂视觉引导这类同时对精度与灵活性均有一定要求的应用场景，单个标签码或标签码阵列的方法稍显不足。对于环境光线复杂多变昼夜交替的室外场景，现有标签码方法的识别率与定位精度将下降。
以视觉标靶为引导的机械臂视觉定位任务通常对视觉标靶的尺寸、精度、灵活性、鲁棒性均有一定要求。如移动作业等类型机器人的机械臂部分通常用于环境光线多变的复杂场景，现有视觉定位方法对该类机械臂运动引导的应用需求存在不足。
现有技术中，公开号为CN108177143A、公开日期为2018年6月19日的中国发明专利申请《一种基于激光视觉引导的机器人定位抓取方法及系统》，该发明技术方案公开了使用激光测距进行测距仪结合视觉传感器进行目标物体的识别与定位，该发明需要基于激光测距的结果对二维图像进行变换，并未提出仅使用单目相机进行目标物体位姿计算的方法。公开号为CN110853096A、公开日期为2020年2月28日的中国发明专利申请《基于单目视觉的固定靶标空间定位方法》，该发明技术方案公开了针对图像进行滤波、轮廓查找等处理，并未从图像采集的角度针对环境光线进行应对方法制定，并未提出如何灵活定制与标定视觉标靶。该发明提到了使用透视变换原理计算视觉标靶位姿，并未针对位姿解算结果的可靠性评估问题提供解决方法。公开日期为2017年4月的文献《基于单目视觉和固定靶标的位姿测量系统》(红外与激光工程，华北电力大学，王天宇)公开了一种标靶位姿的解算方法，但是该论文中公开的标靶的设计检测是基于视觉特征与模板匹配，通过特征检测与匹配进行标靶的检测，并未涉及多级曝光图像采集与处理。公开日期为2017年6月的文献《基于单目视觉的靶标定位系统研究与应用》(电子科技大学，朱彤)，该论文公开了基于滤波、直方图操作、图像形态学操作等方法提高标靶检测的性能，提出使用几何特征较为明显的图形进行视觉标靶的设计与定制，但是所提供的标靶位姿解算方法未解决标靶位姿解算可能存在的多解奇异性分析方法问题。
发明内容
本发明的目的在于如何设计一种基于单目相机视觉标靶定位的机械臂引导方法，以满足复杂环境光线下机械臂对视觉引导作业的灵活性、可靠性以及精度的要求。
本发明是通过以下技术方案解决上述技术问题的：
一种基于单目相机视觉标靶定位的机械臂引导方法，包括以下步骤：
1)系统部署与标定，包括：
S1、部署机械臂手眼系统，选取不同尺寸、不同编码、不同结构的多个标签码制作视觉标靶，设定系统参数；
根据现场应用场景需求，可以使用不同尺寸编码的多个标签码，也可以使用相同尺寸编码的多个标签码，方法灵活。
S2、建立整套系统坐标系；
S3、标定相机参数，标定标靶角点坐标；
2)使用多级曝光图像进行视觉标靶检测与位姿解算，包括：
S4、多级曝光采集多幅图像；
S5、检测标签码，筛选出标签码数量最多区域最大的多幅图像；
S6、求解潜在标靶位姿；
S7、计算重投影误差，计算一阶微分矩阵行列式的值；
3)定位结果评估与坐标变换，包括：
S8、计算视觉标靶位姿；
S9、评估标靶位姿解算结果是否可靠，如果是，坐标变换后发送至机械臂控制器；如果否，丢弃本次位姿解算结果。
视觉标靶的定制与标定，灵活使用不同尺寸、不同编码、不同结构的标签码定制视觉标靶，定制完成后对标靶进行标定，在提高视觉标靶灵活性的同时保证精度；使用多级曝光图像进行视觉标靶检测与位姿求解，通过多级曝光采集图像，并提供一种视觉标靶的检测与位姿解算方法，在保证检测与定位精度的同时，提高视觉标靶的环境鲁棒性以及精度；定位完成后对视觉定位结果进行评估，适应不同场景下的可靠性需求；该方案具备成本低廉、算法计算复杂度低、精度高、鲁棒性强的特点，可灵活部署至各种机械臂作业场景。
作为本发明技术方案的进一步改进，步骤S1中：所述机械臂手眼系统的硬件结构包括：机械臂、单目相机、视觉标靶、标定板，安装单目相机于机械臂中，使得单目相机与机械臂本体某一部分保持相对不变关系；将视觉标靶与标定板固定于同一平面内，根据机械臂手眼系统的布置方法安装标定板；保持标定板与机械臂本体某一部分相对关系不变；
所述视觉标靶用于机械臂的视觉引导，视觉标靶由多个处于同一平面且ID或编码互不相同的标签码组成；
所述设定系统参数包括：设定区域面积阈值Sdis，一阶微分矩阵阈值Jlim，误差范围阈值Elim，误差差异系数阈值Eratio，标靶偏移Toffset。
作为本发明技术方案的进一步改进，步骤S2中所述的建立系统坐标系，具体方法为：设相机坐标系为{cam}，机械臂末端法兰盘坐标系为{end}，机械臂基座坐标系为{base}，视觉标靶坐标系为{obj}，标靶偏移坐标系为{offset}，标定板坐标系为{board}；选定机械臂基座制定{base}坐标系，机械臂第一关节轴的轴心向上方向为z轴，第一关节前向x轴，根据笛卡尔坐标系的性质即可确定y轴；对于视觉标靶坐标系为{obj}的规则参照视觉标靶制作；标靶偏移坐标系{offset}根据系统参数标靶偏移Toffset而定；对于标定板坐标系{board}，选取标定板左上角为坐标原点，横向方向为x轴，纵向方向为y轴；相机坐标系{cam}的建立选用计算机视觉内常见的针孔相机模型建立。
作为本发明技术方案的进一步改进，步骤S3中所述的标定相机参数，标定标靶中角点坐标，具体方法为：
使用机械臂示教器操作机械臂，选取多个位置角度对标定板与视觉标靶进行拍照保存，每次拍照时通过机械臂示教器读取法兰盘坐标系在机械臂基坐标系下的位姿关系
Figure BDA0003214135230000041
并记录；
以拍摄有标定板的图像数据为基础；使用张正友相机参数标定法求解相机内参以及每个拍照位姿下相机坐标系与棋盘格标定板坐标系之间的关系，相关表达式为：
Figure BDA0003214135230000042
Figure BDA0003214135230000043
其中，Kcam表示相机内参，zc表示像素深度，
Figure BDA0003214135230000044
表示标定板坐标系{board}在相机坐标系{cam}下的关系。通过标定得到集合
Figure BDA0003214135230000045
以及相机内参Kcam。[u,v]T表示图像坐标系下的像素坐标，[X,Y,0]T表示标定板平面各点在标定板坐标系下的坐标；
求解视觉标靶中各标签码角点在标定板坐标系下的坐标：标签码角点在像素坐标系下的坐标[u,v]T与该角点对应在标定板坐标系下的坐标[X,Y]T之间的约束关系为：
Figure BDA0003214135230000046
Figure BDA0003214135230000047
Kcam与
Figure BDA0003214135230000048
相乘得到3乘以3大小的矩阵，m00…分别表示该矩阵的元素(比如m00表示矩阵中第一行第一列的元素)，[u,v]T表示图像坐标系下的像素坐标；
根据上式计算标靶中各标签码角点在标定板坐标系下的坐标；将相机标定得到的
Figure BDA0003214135230000049
以及Kcam与每幅图像中标签码角点的像素坐标[u,v]T相结合，使用拍照时得到的所有图像的数据，构造关于标靶中标签码各角点在标定板坐标系下坐标{Pboard}的方程：
Figure BDA0003214135230000051
求解上式方程得到标靶中标签码各角点在标定板坐标系下坐标{Pboard}，选取标靶中一个标签码的几何中心建立目标定位标靶整体的参考坐标系{obj}，测量该标签码定位点之间的边长s，根据边长s计算得到该标签码四个角点在坐标系{obj}下的坐标Ptag＝{p0tag,p1tag,p2tag,p3tag}；其中，p0tag,p1tag,p2tag,p3tag表示标签码4个角点在坐标系{obj}下的坐标；联合已知的标签码角点在坐标系{obj}下的坐标Ptag与角点在标定板坐标系下的坐标Pboard求解变换关系
Figure BDA0003214135230000052
如下：
Figure BDA0003214135230000053
根据变换关系
Figure BDA0003214135230000054
计算得到标靶中各标签码四个定位角点在标靶坐标系{obj}下的坐标：{Pobj}＝{(P0tag0,P1tag0,P2tag0,P3tag0),(P0tag1,P1tag1,P2tag1,P3tag1),…}；其中，
Figure BDA0003214135230000055
表示大小为3乘以3的矩阵，将该矩阵展开表示为
Figure BDA0003214135230000056
其中cosθ与sinθ表示三角函数，
Figure BDA0003214135230000057
与
Figure BDA0003214135230000058
表示坐标系{board}与坐标系{obj}之间的平移关系；
Figure BDA0003214135230000059
表示对矩阵
Figure BDA00032141352300000510
求逆。
标定手眼关系：以集合
Figure BDA00032141352300000511
与集合
Figure BDA00032141352300000512
中的数据为基础，使用Tsai-Lenz算法计算相机坐标系与机械臂坐标系之间的关系。
作为本发明技术方案的进一步改进，步骤S4中所述的多级曝光采集多幅图像，具体方法为：
设定相机曝光时间参数，设定最大曝光时间为Eposmax，最小曝光时间为Eposmin，曝光级数为n；计算每个曝光等级下的曝光时间{Epos}n：
Figure BDA0003214135230000061
其中，{Epos}n表示一个集合，该集合中每个元素通过上式等号右边求解得到，
Figure BDA0003214135230000062
表示集合中第一个元素，以此类推；
控制单目相机在同一位置以不同曝光时间{Eposn}对视觉标靶进行拍照，获取不同曝光等级下的n幅图像的集合{Img}n＝{Img1,Img2,…,Imgn}。
作为本发明技术方案的进一步改进，步骤S5中所述的检测标签码，筛选出标签码数量最多区域最大的多幅图像，具体方法为：
分别对图像集合{Img}n中的每幅图像进行标签码检测，得到标签码检测结果的集合
Figure BDA0003214135230000063
其中，每个元素
Figure BDA0003214135230000064
包含检测到的每个标签码的ID以及四个定位点在图像中的像素点：
Figure BDA0003214135230000065
统计每幅图像中所检测到的标签码的个数；计算单幅图像中检测到标签码数量最多的i幅图像中包含的标签码信息集合{Tags}i，即：
{Tags}i＝Max({Tags}n)
计算{Tags}i中每幅图像中标签码区域的面积；
以{Tags}i中所有被检测到的标签码角点
Figure BDA0003214135230000066
为基础，分别对每幅图像中的标签码信息进行德洛内三角剖分(Delaunay triangulation)；
对于{Tags}i，每幅图像得到所对应的德洛内三角形集合{triangle}n；
使用海伦公式分别计算{Tags}i中每幅图像所包含的三角形集合{triangle}n的总面积
Figure BDA0003214135230000067
Figure BDA0003214135230000068
Figure BDA0003214135230000069
其中，(la,lb,lc)表示三角形三个边的边长；
Figure BDA0003214135230000071
表示求解三角形集合{triangle}n的总面积；
计算标签码信息集合{Tags}i中德洛内三角区域面积与最大德洛内三角区域面积之间的比例大于Sdis的j幅图像中标签码信息的集合{Tags}j，即：
Figure BDA0003214135230000072
其中，标签码信息集合{Tags}j中包含筛选过后的j幅图像中每幅图像中所检测到的标签码的ID以及每个标签码对应的四个定位角点像素坐标。
作为本发明技术方案的进一步改进，步骤S6中所述的求解潜在的标签码位姿的方法为：
结合标签码信息集合{Tags}j以及视觉标靶坐标系{obj}下各标签码定位角点对应的坐标Pobj求解相机坐标系{cam}与视觉标靶坐标系{obj}之间的关系；联合{Tags}j中每幅图像所检测到的图像标签码角点信息
Figure BDA0003214135230000077
以及视觉标靶坐标系{obj}下对应标签码的坐标Pobj，结合相机参数矩阵Kcam对标签角点进行标准化后，使用直接线性变换(DLT)法求解得到计算视觉标靶平面每幅图像下与相机坐标系平面之间的单应性矩阵{H}j：
Figure BDA0003214135230000073
结合单应性矩阵{H}j计算归一化中心处的一阶微分矩阵{J}j；
Figure BDA0003214135230000074
上式中单应性矩阵H为3乘以3大小的矩阵，
Figure BDA0003214135230000075
表示该矩阵中各元素；矩阵J是大小为2乘以2的矩阵，该矩阵中各元素由上式计算得到，比如J00由H00-H20·H02计算得到；
联合{H}j以及{J}j中的数据，使用IPPE算法求解得到j幅图像下的相机坐标系{cam}与标靶坐标系{obj}之间的齐次变换关系：
Figure BDA0003214135230000076
Figure BDA0003214135230000081
其中，
Figure BDA0003214135230000082
表示多幅图像中，每幅图像计算得到的
Figure BDA0003214135230000083
与,
Figure BDA0003214135230000084
两个变换关系；对于j幅图像，则有集合
Figure BDA0003214135230000085
IPPE(H,J)表示使用IPPE算法基于单应性矩阵H以及一阶微分矩阵J进行计算；IPPE算法为计算机视觉中的一个算法。
作为本发明技术方案的进一步改进，步骤S7中所述的计算重投影误差，计算一阶微分矩阵行列式的值的方法为：
分别计算{Tags}j中每幅图像基于姿态Ta以及姿态Tb下标签码定位角点的重投影误差
Figure BDA0003214135230000086
Ereproj＝Ereprojection(T,Pobj,PImg)
其中，Ereprojection(T,Pobj,PImg)表示通过每幅图像计算得到的变换关系T以及图像中点的像素坐标PImg和对应目标靶坐标系下点的坐标Pobj计算重投影误差，Ereproj表示计算得到的重投影误差，重投影误差为计算机视觉中常见的误差计算方法；
计算
Figure BDA0003214135230000087
中重投影误差最小的一幅图像中的位姿变换关系，即：
Figure BDA0003214135230000088
根据一阶微分矩阵集合{J}j计算
Figure BDA0003214135230000089
所对应的一阶微分矩阵行列式的值det(Jfin)；Min()表示对括号内的元素求最小。
作为本发明技术方案的进一步改进，步骤S8中所述的计算视觉标靶位姿的方法为：
判断变换关系
Figure BDA00032141352300000810
与
Figure BDA00032141352300000811
是否等价，若等价则得到姿态关系
Figure BDA00032141352300000812
且
Figure BDA00032141352300000813
若不等价则分别计算
Figure BDA00032141352300000814
与
Figure BDA00032141352300000815
所对应的重投影误差
Figure BDA00032141352300000816
与
Figure BDA00032141352300000817
以及(Ereproj)|fin；
Figure BDA00032141352300000818
如上式所示，取
Figure BDA0003214135230000091
与
Figure BDA0003214135230000092
之间重投影误差较小的姿态为姿态关系
Figure BDA0003214135230000093
作为本发明技术方案的进一步改进，步骤S9中所述的评估标靶位姿解算结果是否可靠，如果是，坐标变换后发送至机械臂控制器；如果否，丢弃本次位姿解算结果的具体方法为：
计算
Figure BDA0003214135230000094
与
Figure BDA0003214135230000095
之间的差异系数：
Figure BDA0003214135230000096
判断det(Jfin)与Jlim之间的关系，若det(Jfin)小于Jlim则认为
Figure BDA0003214135230000097
不可靠，根据具体使用情况放弃本次求解得到的
Figure BDA0003214135230000098
判断(Ereproj)|fin与Elim之间的关系，若)Ereproj)|fin大于Elim则认为
Figure BDA0003214135230000099
不可靠，根据具体使用情况放弃本次求解得到的
Figure BDA00032141352300000910
判断Eres与误差差异系数阈值Eratio之间的关系，若Eres小于Eratio则认为
Figure BDA00032141352300000911
不可靠，根据具体使用情况放弃本次求解得到的
Figure BDA00032141352300000912
通过机械臂控制器获取机械臂法兰盘在机械臂基坐标系下的位姿关系
Figure BDA00032141352300000913
计算目标位姿与机械臂基坐标系之间的关系
Figure BDA00032141352300000914
最终将得到的信息发送至机械臂控制器，机械臂控制器运动规划后执行视觉引导动作。
本发明的优点在于：
(1)本发明的技术方案灵活使用不同尺寸、不同编码、不同结构的标签码定制视觉标靶，定制完成后对标靶进行标定，在提高视觉标靶灵活性的同时保证精度；使用多级曝光图像进行视觉标靶检测与位姿求解，通过多级曝光采集图像，并提供一种视觉标靶的检测与位姿解算方法，在保证检测与定位精度的同时，提高视觉标靶的环境鲁棒性以及精度；定位完成后对视觉定位结果进行评估，有利于不同场景下的可靠性需求。整套方法具备成本低廉、算法计算复杂度低、精度高、鲁棒性强的特点，可灵活部署至各种机械臂作业场景。
(2)本发明的技术方案可实现高精度、高可靠性的能够适应复杂光线环境的机械臂视觉定位与引导；可根据实际使用需求灵活制作视觉标靶，对视觉标靶的编码类型、边长尺寸、相对位姿结构无特殊限制；对于同样的硬件结构，仅需一次标定即可，仅需借助标定板与单目相机即可完成标定，具有灵活性强、精度高、成本低廉的特点。
附图说明
图1为本发明实施例的基于单目相机视觉标靶定位的机械臂引导方法的流程图；
图2为本发明实施例的基于单目相机视觉标靶定位的机械臂引导方法的关于视觉标靶的设计以及几种常见的视觉标签码；
图3为本发明实施例的基于单目相机视觉标靶定位的机械臂引导方法的坐标系建立方法；
图4为本发明实施例的基于单目相机视觉标靶定位的机械臂引导方法的标定过程中机械臂、视觉标靶、标定板之间的位置部署；
图5为本发明实施例的基于单目相机视觉标靶定位的机械臂引导方法的视觉标靶定位过程中对检测到的标签码进行三角化划分后的流程结果，虚线内区域为三角化划分后的区域，圆形黑色区域为光照、遮挡等因素而导致的标签码检测丢失，标签上的白色圆圈为能正常检测到的标签码角点；
图6为本发明实施例的基于单目相机视觉标靶定位的机械臂引导方法的使用视觉标靶进行机械臂运动引导时的坐标变换关系。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
1、系统部署与标定：
S1、部署系统，制作视觉标靶，设定系统参数；
部署系统，系统的硬件结构包括机械臂、单目相机、视觉标靶、标定板，设置机械臂手眼系统，安装单目相机于机械臂中，使得相机与机械臂本体某一部分保持相对不变关系。图4中列举了“Eye-in-Hand”与“Eye-to-Hand”两种常见的机械臂相机安装方式，对于“Eye-in-Hand”系统，相机与机械臂末端法兰盘之间的相对位姿关系保持不变，对于“Eye-to-Hand”系统，相机与机械臂基座之间的关系保持不变。
制作视觉标靶，用于机械臂的视觉引导，标靶由多个处于同一平面且ID或编码互不相同的标签码组成。
图2列举了几种常见的标签码，包括DataMatrix码、ArUco码、AprilTag41h12码、QRCode码。优选地，选用大于三个标签制作视觉标靶。三个以上标签码有利于灵活设计视觉标靶的大小(每三个可划分出任意大小的三角形区域)。当因环境因素导致标靶中某个标签码被遮挡时(参照图5)，仅需要保证有一个标签码不被遮挡就能进行视觉定位，因此三个以上标签码将带来更好的鲁棒性(可靠性、稳定性)。
需要设定的系统参数包括：区域面积阈值Sdis，一阶微分矩阵阈值Jlim，误差范围阈值Elim，误差差异系数阈值Eratio，标靶偏移Toffset。
S2、建立系统坐标系；
参照图3，设相机坐标系为{cam}，机械臂末端法兰盘坐标系为{end}，机械臂基座坐标系为{base}，视觉标靶坐标系为{obj}，标靶偏移坐标系为{offset}，标定板坐标系为{board}。
选定机械臂基座制定{base}坐标系，机械臂第一关节轴的轴心向上方向为z轴，第一关节前向x轴，根据笛卡尔坐标系的性质即可确定y轴(已知坐标系中两个轴可确定第三个轴)。对于视觉标靶坐标系为{obj}的规则参照下文中介绍视觉标靶制作实例的内容。标靶偏移坐标系{offset}根据实际使用情况任意设计(比如相比于坐标系{obj})根据系统参数(标靶偏移Toffset)而定。对于标定板坐标系{board}，选取标定板左上角为坐标原点，横向方向为x轴，纵向方向为y轴。相机坐标系{cam}的建立选用计算机视觉内常见的针孔相机模型建立，具体可参考张正友相机标定法。
标定机械臂视觉引导所需的系统模型参数信息。
将视觉标靶与标定板固定于同一平面内(该关系仅系统标定步骤时，系统标定完成后标定板可弃用)。根据机械臂手眼系统的布置方法安装标定板。图4中列举了“Eye-in-Hand”与“Eye-to-Hand”两种不同手眼系统中标定板的安装方法。对于“Eye-in-Hand”系统，标定板与机械臂基座之间关系不变。对于“Eye-to-Hand”系统，标定板与机械臂末端法兰盘之间关系不变。
系统部署完成后开始标定流程。
S3、标定相机参数，标定标靶角点坐标；
使用机械臂示教器操作机械臂。如图4所示，选取多个位置角度对标定板与视觉标靶进行拍照保存，每次拍照时通过机械臂示教器读取法兰盘坐标系在机械臂基坐标系下的位姿关系
Figure BDA0003214135230000121
并记录。
以拍摄有标定板的图像数据为基础。使用张正友相机参数标定法求解相机内参以及每个拍照位姿下相机坐标系与棋盘格标定板坐标系之间的关系，相关表达式为：
Figure BDA0003214135230000122
Figure BDA0003214135230000123
其中，Kcam表示相机内参，zc表示像素深度，
Figure BDA0003214135230000124
表示标定板坐标系{board}在相机坐标系{cam}下的关系。通过标定得到集合
Figure BDA0003214135230000125
以及相机内参Kcam。[u,v]T表示图像坐标系下的像素坐标，[X,Y,0]T表示标定板平面各点在标定板坐标系下的坐标。
其中，
Figure BDA0003214135230000126
为4乘以4大小的齐次矩阵，表示目标标签坐标系{board}在相机坐标系{cam}下的齐次变换关系。
Figure BDA0003214135230000127
为矩阵
Figure BDA0003214135230000128
左上角的旋转矩阵(大小为3乘以3)，
Figure BDA0003214135230000129
为
Figure BDA00032141352300001210
右上角的平移向量部分(大小为3乘以1)。为方便表示，设r1，r2，r3分别为矩阵
Figure BDA00032141352300001211
的第1，2，3列。
求解视觉标靶中各标签码角点在标定板坐标系下的坐标。根据本发明所提供的方法，标签码角点[u,v]T在像素坐标系下的坐标与该角点对应在标定板坐标系下的坐标[X,Y]T有以下等式所表示的约束关系。
Figure BDA00032141352300001212
Figure BDA00032141352300001213
Kcam与
Figure BDA00032141352300001214
相乘得到3乘以3大小的矩阵，m00…分别表示该矩阵的元素(比如m00表示矩阵中第一行第一列的元素)，[u,v]T表示图像坐标系下的像素坐标。
根据上式计算标靶中各标签码角点在标定板坐标系下的坐标。将相机标定得到的
Figure BDA00032141352300001215
以及Kcam与每幅图像中标签码角点的像素坐标[u,v]T相结合，使用拍照时得到的所有图像的数据，构造关于标靶中标签码各角点在标定板坐标系下坐标{Pboard}的方程：
Figure BDA0003214135230000131
上式通过角标表示不同图像中不同的标签码角点。如
Figure BDA0003214135230000132
右上角的角标img1表示图像1，右下角的角标1表示其中一个标签码角点，联立知
Figure BDA0003214135230000133
即表示图像1中检测到的标签码角点1的像素坐标u。
Figure BDA0003214135230000134
与
Figure BDA0003214135230000135
以及
Figure BDA0003214135230000136
同理。由于每幅图像仅有一个矩阵
Figure BDA0003214135230000137
因此
Figure BDA0003214135230000138
符号表示图像1对应的矩阵
Figure BDA0003214135230000139
中的元素m20。
求解上式方程得到标靶中标签码各角点在标定板坐标系下坐标{Pboard}。
选取标靶中一个标签码的几何中心建立目标定位标靶整体的参考坐标系{obj}。测量该标签码定位点之间的边长s。根据边长s计算该标签码四个角点在坐标系{obj}下的坐标Ptag＝{p0tag,p1tag,p2tag,p3tag}。
p0tag,p1tag,p2tag,p3tag表示标签码4个角点在坐标系{obj}下的坐标。Ptag表示p0tag,p1tag,p2tag,p3tag每个标签码4个角点坐标所组成的集合。
联合已知的标签码角点在坐标系{obj}下的坐标Ptag与角点在标定板坐标系下的坐标Pboard求解变换关系
Figure BDA00032141352300001310
Figure BDA00032141352300001311
进一步根据变换关系
Figure BDA00032141352300001312
计算得到标靶中各标签码四个定位角点在标靶坐标系{obj}下的坐标：
{Pobj}＝{(P0tag0,P1tag0,P2tag0,P3tag0),(P0tag1,P1tag1,P2tag1,P3tag1),…}。
其中，
Figure BDA0003214135230000141
表示大小为3乘以3的矩阵，将该矩阵展开表示为
Figure BDA0003214135230000142
其中cosθ与sinθ表示三角函数，
Figure BDA0003214135230000143
与
Figure BDA0003214135230000144
表示坐标系{board}与坐标系{obj}之间的平移关系。
Figure BDA0003214135230000145
表示对矩阵
Figure BDA0003214135230000146
求逆。
标定手眼关系。以集合
Figure BDA0003214135230000147
与集合
Figure BDA0003214135230000148
中的数据为基础，使用Tsai-Lenz算法计算相机坐标系与机械臂坐标系之间的关系，对于“Eye-in-Hand”系统有
Figure BDA0003214135230000149
对于“Eye-to-Hand”系统有
Figure BDA00032141352300001410
至此，已完成标定步骤。为实现基于视觉标靶的机械臂运动引导，进一步进行视觉标靶的位姿解算。
2、视觉标靶检测与位姿解算：
S4、多级曝光采集多幅图像；
设定相机曝光时间参数，设定最大曝光时间为Eposmax，最小曝光时间为EpoSmin，曝光级数为n。计算每个曝光等级下的曝光时间{Epos}n，此处给出计算{Epos}n的实例：
Figure BDA00032141352300001411
其中，{Epos}n表示一个集合，根据上式，该集合中每个元素通过上式等号右边求解得到，比如
Figure BDA00032141352300001412
表示集合中第一个元素，以此类推。
控制单目相机在同一位置以不同曝光时间{Eposn}对视觉标靶进行拍照，获取不同曝光等级下的n幅图像的集合{Img}n＝{Img1,Img2,…,Imgn}。
S5、检测标签码，筛选出标签码数量最多区域最大的多幅图像；
分别对图像集合{Img}n中的每幅图像进行标签码检测，得到标签码检测结果的集合
Figure BDA00032141352300001413
其中，每个元素
Figure BDA00032141352300001414
包含检测到的每个标签码的ID以及四个定位点在图像中的像素点
Figure BDA00032141352300001415
统计每幅图像中所检测到的标签码的个数。计算单幅图像中检测到标签码数量最多的i幅图像中包含的标签码信息集合{Tags}i，即：
{Tags}i＝Max({Tags}n)
计算{Tags}i中每幅图像中标签码区域的面积。根据本发明所述方法，此处对标签码区域面积的求解步骤进行实例介绍。
以{Tags}i中所有被检测到的标签码角点
Figure BDA0003214135230000151
为基础，分别对每幅图像中的标签码信息进行德洛内三角剖分(Delaunay triangulation)。对于{Tags}i，每幅图像得到所对应的德洛内三角形集合{triangle}n。三角剖分后的区域轮廓如图5所示，其中虚线区域为三角剖分后的区域，黑色圆形物体为因不均匀光照、遮挡等因素导致的标签码检测失效。
使用海伦公式(Heron's formula)分别计算{Tags}i中每幅图像所包含的三角形集合{triangle}n的总面积
Figure BDA0003214135230000152
Figure BDA0003214135230000153
Figure BDA0003214135230000154
其中，(la,lb,lc)表示三角形三个边的边长。
Figure BDA0003214135230000155
表示求解三角形集合{triangle}n的总面积。
计算标签码信息集合{Tags}i中德洛内三角区域面积与最大德洛内三角区域面积之间的比例大于Sdis的j幅图像中标签码信息的集合{Tags}j，即：
{Tags}j＝{Tagsi}i＝0,1,…
Figure BDA0003214135230000156
其中，标签码信息集合{Tags}j中包含筛选过后的j幅图像中每幅图像中所检测到的标签码的ID以及每个标签码对应的四个定位角点像素坐标。
S6、求解潜在的标签码位姿；
结合标签码信息集合{Tags}j以及视觉标靶坐标系{obj}下各标签码定位角点对应的坐标Pobj进一步求解相机坐标系{cam}与视觉标靶坐标系{obj}之间的关系。
联合{Tags}j中每幅图像所检测到的图像标签码角点信息
Figure BDA0003214135230000157
以及视觉标靶坐标系{obj}下对应标签码的坐标Pobj，结合相机参数矩阵Kcam对标签角点进行标准化后，使用直接线性变换(DLT)法求解得到计算视觉标靶平面每幅图像下与相机坐标系平面之间的单应性矩阵{H}j:
Figure BDA0003214135230000161
结合单应性矩阵{H}j计算归一化中心处的一阶微分矩阵{}j。
Figure BDA0003214135230000162
上式中单应性矩阵H为3乘以3大小的矩阵，
Figure BDA0003214135230000163
表示该矩阵中各元素。矩阵J是大小为2乘以2的矩阵，该矩阵中各元素由上式计算得到，比如J00由H00-H20·H02计算得到。
联合{H}j以及{J}j中的数据，使用IPPE算法求解得到j幅图像下的相机坐标系{cam}与标靶坐标系{obj}之间的齐次变换关系
Figure BDA0003214135230000164
其中，
Figure BDA0003214135230000165
表示多幅图像中，每幅图像计算得到的
Figure BDA0003214135230000166
与,
Figure BDA0003214135230000167
两个变换关系(相机与目标标靶之间的变换关系)。对于j幅图像，则有集合
Figure BDA0003214135230000168
IPPE(H,J)表示使用IPPE算法基于单应性矩阵H以及一阶微分矩阵J进行计算。IPPE算法为计算机视觉中的一个算法。
S7、计算重投影误差，计算一阶微分矩阵行列式的值；
分别计算{Tags}j中每幅图像基于姿态Ta以及姿态Tb下标签码定位角点的重投影误差
Figure BDA0003214135230000169
Figure BDA00032141352300001610
其中，Ereprojection(T,Pobj,PImg)表示通过每幅图像计算得到的变换关系T以及图像中点的像素坐标PImg和对应目标靶坐标系下点的坐标Pobj计算重投影误差，Ereproj表示计算得到的重投影误差，重投影误差为计算机视觉中常见的误差计算方法。
计算
Figure BDA00032141352300001717
中重投影误差最小的一幅图像中的位姿变换关系，即：
Figure BDA0003214135230000171
根据一阶微分矩阵集合{J}j计算
Figure BDA0003214135230000172
所对应的一阶微分矩阵行列式的值det(Jfin)。
Min()表示对括号内的元素求最小。
3、定位结果评估与坐标变换：
S8、计算视觉标靶位姿；
判断变换关系
Figure BDA0003214135230000173
与
Figure BDA0003214135230000174
是否等价，若等价则得到姿态关系
Figure BDA0003214135230000175
且
Figure BDA0003214135230000176
若不等价则分别计算
Figure BDA0003214135230000177
与
Figure BDA0003214135230000178
所对应的重投影误差
Figure BDA0003214135230000179
与
Figure BDA00032141352300001718
以及(Ereproj)|fin。
Figure BDA00032141352300001719
如上式所示，取
Figure BDA00032141352300001710
与
Figure BDA00032141352300001711
之间重投影误差较小的姿态为姿态关系
Figure BDA00032141352300001712
S9、评估标靶位姿解算结果是否可靠，如果是，坐标变换后发送至机械臂控制器；如果否，丢弃本次位姿解算结果；
计算
Figure BDA00032141352300001720
与
Figure BDA00032141352300001721
之间的差异系数：
Figure BDA00032141352300001713
判断det(Jfin)与Jlim之间的关系，若det(Jfin)小于Jlim则认为
Figure BDA00032141352300001714
不可靠，优选地，根据具体使用情况放弃本次求解得到的
Figure BDA00032141352300001715
判断(Ereproj)|fin与Elim之间的关系，若(Ereproj)|fin大于Elim则认为
Figure BDA00032141352300001716
不可靠。优选地，根据具体使用情况放弃本次求解得到的
Figure BDA0003214135230000181
判断Eres与误差差异系数阈值Eratio之间的关系，若Eres小于Eratio则认为
Figure BDA0003214135230000182
不可靠，根据具体使用情况放弃本次求解得到的
Figure BDA0003214135230000183
如图6所示，对于“Eye-in-Hand”系统，机械臂基座与相机之间的关系
Figure BDA0003214135230000184
为：
Figure BDA0003214135230000185
对于“Eye-to-Hand”系统，手眼标定步骤完成时即得到了机械臂基座与相机之间的关系
Figure BDA0003214135230000186
通过机械臂控制器获取机械臂法兰盘在机械臂基坐标系下的位姿关系
Figure BDA0003214135230000187
计算目标位姿与机械臂基坐标系之间的关系
Figure BDA0003214135230000188
最终，将本发明所提供的方法流程得到的信息发送至机械臂控制器，机械臂控制器运动规划后执行视觉引导动作。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，包括以下步骤：
1)系统部署与标定，包括：
S1、部署机械臂手眼系统，选取不同尺寸、不同编码、不同结构的标签码制作视觉标靶，设定系统参数；
S2、建立整套系统坐标系；
S3、标定相机参数，标定标靶角点坐标；
2)使用多级曝光图像进行视觉标靶检测与位姿解算，包括：
S4、多级曝光采集多幅图像；
S5、检测标签码，筛选出标签码数量最多区域最大的多幅图像；
S6、求解潜在标靶位姿；
S7、计算重投影误差，计算一阶微分矩阵行列式的值；
3)定位结果评估与坐标变换，包括：
S8、计算视觉标靶位姿；
S9、评估标靶位姿解算结果是否可靠，如果是，坐标变换后发送至机械臂控制器；如果否，丢弃本次位姿解算结果。
2.根据权利要求1所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S1中：所述机械臂手眼系统的硬件结构包括：机械臂、单目相机、视觉标靶、标定板，安装单目相机于机械臂中，使得单目相机与机械臂本体某一部分保持相对不变关系；将视觉标靶与标定板固定于同一平面内，根据机械臂手眼系统的布置方法安装标定板；保持标定板与机械臂本体某一部分保持相对不变关系；
所述视觉标靶用于机械臂的视觉引导，视觉标靶由多个处于同一平面且ID或编码互不相同的标签码组成；
所述设定系统参数包括：设定区域面积阈值Sdis，一阶微分矩阵阈值Jlim，误差范围阈值Elim，误差差异系数阈值Eratio，标靶偏移Toffset。
3.根据权利要求2所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S2中所述的建立系统坐标系，具体方法为：设相机坐标系为{cam}，机械臂末端法兰盘坐标系为{end}，机械臂基座坐标系为{base}，视觉标靶坐标系为{obj}，标靶偏移坐标系为{offset}，标定板坐标系为{board}；选定机械臂基座制定{base}坐标系，机械臂第一关节轴的轴心向上方向为z轴，第一关节前向x轴，根据笛卡尔坐标系的性质即可确定y轴；对于视觉标靶坐标系为{obj}的规则参照视觉标靶制作；标靶偏移坐标系{offset}根据系统参数标靶偏移Toffset而定；对于标定板坐标系{board}，选取标定板左上角为坐标原点，横向方向为x轴，纵向方向为y轴；相机坐标系{cam}的建立选用计算机视觉内常见的针孔相机模型建立。
4.根据权利要求3所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S3中所述的标定相机参数，标定标靶中角点坐标，具体方法为：
使用机械臂示教器操作机械臂，选取多个位置角度对标定板与视觉标靶进行拍照保存，每次拍照时通过机械臂示教器读取法兰盘坐标系在机械臂基坐标系下的位姿关系
Figure FDA0003214135220000021
并记录；
以拍摄有标定板的图像数据为基础；使用张正友相机参数标定法求解相机内参以及每个拍照位姿下相机坐标系与棋盘格标定板坐标系之间的关系，相关表达式为：
Figure FDA0003214135220000022
Figure FDA0003214135220000023
其中，Kcam表示相机内参，zc表示像素深度，
Figure FDA0003214135220000024
表示标定板坐标系{board}在相机坐标系{cam}下的关系。通过标定得到集合
Figure FDA0003214135220000025
以及相机内参Kcam。[u，v]T表示图像坐标系下的像素坐标，[X，Y，0]T表示标定板平面各点在标定板坐标系下的坐标；
求解视觉标靶中各标签码角点在标定板坐标系下的坐标：标签码角点[u，v]T在像素坐标系下的坐标与该角点对应在标定板坐标系下的坐标有以下等式所表示的约束关系为：
Figure FDA0003214135220000026
Figure FDA0003214135220000027
Kcam与
Figure FDA0003214135220000028
相乘得到3乘以3大小的矩阵，m00.....分别表示该矩阵的元素(比如m00表示矩阵中第一行第一列的元素)，[u，v]T表示图像坐标系下的像素坐标；
根据上式计算标靶中各标签码角点在标定板坐标系下的坐标；将相机标定得到的
Figure FDA0003214135220000031
以及Kcam与每幅图像中标签码角点的像素坐标[u，v]T相结合，使用拍照时得到的所有图像的数据，构造关于标靶中标签码各角点在标定板坐标系下坐标{Pboard}的方程：
Figure FDA0003214135220000032
求解上式方程得到标靶中标签码各角点在标定板坐标系下坐标{Pboard}，选取标靶中一个标签码的几何中心建立目标定位标靶整体的参考坐标系{obj}，测量该标签码定位点之间的边长s，根据边长s计算该标签码四个角点在坐标系{obj}下的坐标Ptag＝{p0tag，p1tag，p2tag，p3tag}；其中，p0tag，p1tag，p2tag，p3tag表示标签码4个角点在坐标系{obj}下的坐标；Ptag表示p0tag，p1tag，p2tag，p3tag每个标签码4个角点坐标所组成的集合；
联合已知的标签码角点在坐标系{obj}下的坐标Ptag与角点在标定板坐标系下的坐标Pboard求解变换关系
Figure FDA0003214135220000033
如下：
Figure FDA0003214135220000034
根据变换关系
Figure FDA0003214135220000035
计算得到标靶中各标签码四个定位角点在标靶坐标系{obj}下的坐标：{Pobj}＝{(P0tag0，P1tag0，P2tag0，P3tag0)，(P0tag1，P1tag1，P2tag1，P3tag1)，...}；
其中，
Figure FDA0003214135220000036
表示大小为3乘以3的矩阵，将该矩阵展开表示为
Figure FDA0003214135220000037
其中cosθ与sinθ表示三角函数，
Figure FDA0003214135220000038
与
Figure FDA00032141352200000312
表示坐标系{board}与坐标系{obj}之间的平移关系；
Figure FDA00032141352200000310
表示对矩阵
Figure FDA00032141352200000311
求逆。
标定手眼关系：以集合
Figure FDA0003214135220000041
与集合
Figure FDA0003214135220000042
中的数据为基础，使用Tsai-Lenz算法计算相机坐标系与机械臂坐标系之间的关系。
5.根据权利要求4所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S4中所述的多级曝光采集多幅图像，具体方法为：
设定相机曝光时间参数，设定最大曝光时间为Eposmax，最小曝光时间为Eposmin，曝光级数为n；计算每个曝光等级下的曝光时间{Epos}n：
Figure FDA0003214135220000043
Figure FDA0003214135220000044
其中，{Epos}n表示一个集合，该集合中每个元素通过上式等号右边求解得到，
Figure FDA0003214135220000045
表示集合中第一个元素，以此类推；
控制单目相机在同一位置以不同曝光时间{Eposn}对视觉标靶进行拍照，获取不同曝光等级下的n幅图像的集合{Img}n＝{Img1，Img2，…，Imgn}。
6.根据权利要求5所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S5中所述的检测标签码，筛选出标签码数量最多区域最大的多幅图像，具体方法为：
分别对图像集合{Img}n中的每幅图像进行标签码检测，得到标签码检测结果的集合
Figure FDA0003214135220000046
其中，每个元素
Figure FDA0003214135220000047
包含检测到的每个标签码的ID以及四个定位点在图像中的像素点
Figure FDA0003214135220000048
统计每幅图像中所检测到的标签码的个数；计算单幅图像中检测到标签码数量最多的i幅图像中包含的标签码信息集合{Tags}i，即：
{Tags}i＝Max({Tags}n)
计算{Tags}i中每幅图像中标签码区域的面积；
以{Tags}i中所有被检测到的标签码角点
Figure FDA0003214135220000049
为基础，分别对每幅图像中的标签码信息进行德洛内三角剖分(Delaunay triangulation)；
对于{Tags}i，每幅图像得到所对应的德洛内三角形集合{triangle}n；
使用海伦公式分别计算{Tags}i中每幅图像所包含的三角形集合{triangle}n的总面积
Figure FDA0003214135220000051
Figure FDA0003214135220000052
Figure FDA0003214135220000053
其中，(la，lb，lc)表示三角形三个边的边长；
Figure FDA0003214135220000054
表示求解三角形集合{triangle}n的总面积；
计算标签码信息集合{Tags}i中德洛内三角区域面积与最大德洛内三角区域面积之间的比例大于Sdis的j幅图像中标签码信息的集合{Tags}j，即：
{Tags}j＝{Tagsi} i＝0，1，…
Figure FDA0003214135220000055
其中，标签码信息集合{Tags}j中包含筛选过后的j幅图像中每幅图像中所检测到的标签码的ID以及每个标签码对应的四个定位角点像素坐标。
7.根据权利要求6所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S6中所述的求解潜在的标签码位姿的方法为：
结合标签码信息集合{Tags}j以及视觉标靶坐标系{obj}下各标签码定位角点对应的坐标Pobj求解相机坐标系{cam}与视觉标靶坐标系{obj}之间的关系；联合{Tags}j中每幅图像所检测到的图像标签码角点信息
Figure FDA0003214135220000056
以及视觉标靶坐标系{obj}下对应标签码的坐标Pobj，结合相机参数矩阵Kcam对标签角点进行标准化后，使用直接线性变换(DLT)法求解得到计算视觉标靶平面每幅图像下与相机坐标系平面之间的单应性矩阵{H}j：
Figure FDA0003214135220000057
结合单应性矩阵{H}j计算归一化中心处的一阶微分矩阵{J}j；
Figure FDA0003214135220000058
上式中单应性矩阵H为3乘以3大小的矩阵，
Figure FDA0003214135220000059
表示该矩阵中各元素；矩阵J是大小为2乘以2的矩阵，该矩阵中各元素由上式计算得到，比如J00由H00-H20·H02计算得到；
联合{H}j以及{J}j中的数据，使用IPPE算法求解得到j幅图像下的相机坐标系{cam}与标靶坐标系{obj}之间的齐次变换关系：
Figure FDA0003214135220000061
Figure FDA0003214135220000062
其中，
Figure FDA0003214135220000063
表示多幅图像中，每幅图像计算得到的
Figure FDA0003214135220000064
与，
Figure FDA0003214135220000065
两个变换关系；对于j幅图像，则有集合
Figure FDA0003214135220000066
IPPE(H，J)表示使用IPPE算法基于单应性矩阵H以及一阶微分矩阵J进行计算；IPPE算法为计算机视觉中的一个算法。
8.根据权利要求7所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S7中所述的计算重投影误差，计算一阶微分矩阵行列式的值的方法为：
分别计算{Tags}j中每幅图像基于姿态Ta以及姿态Tb下标签码定位角点的重投影误差
Figure FDA0003214135220000067
Ereproj＝Ereprojection(T，Pobj，PImg)
其中，Ereprojection(T，Pobj，PImg)表示通过每幅图像计算得到的变换关系T以及图像中点的像素坐标PImg和对应目标靶坐标系下点的坐标Pobj计算重投影误差，Ereproj表示计算得到的重投影误差，重投影误差为计算机视觉中常见的误差计算方法；
计算
Figure FDA0003214135220000068
中重投影误差最小的一幅图像中的位姿变换关系，即：
Figure FDA0003214135220000069
根据一阶微分矩阵集合{J}j计算
Figure FDA00032141352200000610
所对应的一阶微分矩阵行列式的值det(Jfin)；Min()表示对括号内的元素求最小。
9.根据权利要求8所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S8中所述的计算视觉标靶位姿的方法为：
判断变换关系
Figure FDA00032141352200000611
与
Figure FDA00032141352200000612
是否等价，若等价则得到姿态关系
Figure FDA0003214135220000071
且
Figure FDA0003214135220000072
若不等价则分别计算
Figure FDA0003214135220000073
与
Figure FDA0003214135220000074
所对应的重投影误差
Figure FDA0003214135220000075
与
Figure FDA0003214135220000076
以及(Ereproj)|fin；
Figure FDA0003214135220000077
如上式所示，取
Figure FDA0003214135220000078
与
Figure FDA0003214135220000079
之间重投影误差较小的姿态为姿态关系
Figure FDA00032141352200000710
10.根据权利要求9所述的一种基于单目相机视觉标靶定位的机械臂引导方法，其特征在于，步骤S9中所述的评估标靶位姿解算结果是否可靠，如果是，坐标变换后发送至机械臂控制器；如果否，丢弃本次位姿解算结果的具体方法为：
计算
Figure FDA00032141352200000711
与
Figure FDA00032141352200000712
之间的差异系数：
Figure FDA00032141352200000713
判断det(Jfin)与Jlim之间的关系，若det(Jfin)小于Jlim则认为
Figure FDA00032141352200000714
不可靠，根据具体使用情况放弃本次求解得到的
Figure FDA00032141352200000715
判断(Ereproj)|fin与Elim之间的关系，若(Ereproj)|fin大于Elim则认为
Figure FDA00032141352200000716
不可靠，根据具体使用情况放弃本次求解得到的
Figure FDA00032141352200000717
判断Eres与误差差异系数阈值Eratio之间的关系，若Eres小于Eratio则认为
Figure FDA00032141352200000718
不可靠，根据具体使用情况放弃本次求解得到的
Figure FDA00032141352200000719
通过机械臂控制器获取机械臂法兰盘在机械臂基坐标系下的位姿关系
Figure FDA00032141352200000720
计算目标位姿与机械臂基坐标系之间的关系
Figure FDA00032141352200000721
最终将得到的信息发送至机械臂控制器，机械臂控制器运动规划后执行视觉引导动作。
CN202110939348.7A 2021-08-16 2021-08-16 一种基于单目相机视觉标靶定位的机械臂引导方法 Pending CN113643380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939348.7A CN113643380A (zh) 2021-08-16 2021-08-16 一种基于单目相机视觉标靶定位的机械臂引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939348.7A CN113643380A (zh) 2021-08-16 2021-08-16 一种基于单目相机视觉标靶定位的机械臂引导方法

Publications (1)

Publication Number Publication Date
CN113643380A true CN113643380A (zh) 2021-11-12

Family

ID=78422177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939348.7A Pending CN113643380A (zh) 2021-08-16 2021-08-16 一种基于单目相机视觉标靶定位的机械臂引导方法

Country Status (1)

Country Link
CN (1) CN113643380A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643598A (zh) * 2022-05-13 2022-06-21 北京科技大学 一种基于多信息融合的机械臂末端位置估计方法
CN116563391A (zh) * 2023-05-16 2023-08-08 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116592899A (zh) * 2023-04-28 2023-08-15 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971406A (zh) * 2017-03-06 2017-07-21 广州视源电子科技股份有限公司 物体位姿的检测方法和装置
CN107590835A (zh) * 2017-08-24 2018-01-16 中国东方电气集团有限公司 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN110954067A (zh) * 2019-12-28 2020-04-03 长安大学 一种基于靶标的单目视觉挖掘机位姿测量系统及测量方法
CN112541946A (zh) * 2020-12-08 2021-03-23 深圳龙岗智能视听研究院 一种基于透视多点投影的机械臂的位姿实时检测方法
DE102020124285A1 (de) * 2019-09-20 2021-03-25 Nvidia Corporation Visionsbasierte teleoperation eines beweglichen robotersystems
CN113084808A (zh) * 2021-04-02 2021-07-09 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971406A (zh) * 2017-03-06 2017-07-21 广州视源电子科技股份有限公司 物体位姿的检测方法和装置
CN107590835A (zh) * 2017-08-24 2018-01-16 中国东方电气集团有限公司 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
DE102020124285A1 (de) * 2019-09-20 2021-03-25 Nvidia Corporation Visionsbasierte teleoperation eines beweglichen robotersystems
CN110954067A (zh) * 2019-12-28 2020-04-03 长安大学 一种基于靶标的单目视觉挖掘机位姿测量系统及测量方法
CN112541946A (zh) * 2020-12-08 2021-03-23 深圳龙岗智能视听研究院 一种基于透视多点投影的机械臂的位姿实时检测方法
CN113084808A (zh) * 2021-04-02 2021-07-09 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHAOHUI ZHENG ET AL.: "Industrial part localization and grasping using a robotic arm guided by 2D monocular vision", 《THE INDUSTRIAL ROBOT》 *
张旭;魏鹏;: "针对机器人位姿测量立体标靶的单目视觉标定方法", 红外与激光工程, no. 11 *
雷金周;曾令斌;叶南;: "工业机器人单目视觉对准技术研究", 光学精密工程, no. 03 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643598A (zh) * 2022-05-13 2022-06-21 北京科技大学 一种基于多信息融合的机械臂末端位置估计方法
CN116592899A (zh) * 2023-04-28 2023-08-15 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量系统
CN116592899B (zh) * 2023-04-28 2024-03-29 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量系统
CN116563391A (zh) * 2023-05-16 2023-08-08 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116563391B (zh) * 2023-05-16 2024-02-02 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法

Similar Documents

Publication Publication Date Title
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
Guindel et al. Automatic extrinsic calibration for lidar-stereo vehicle sensor setups
CN110243360B (zh) 机器人在运动区域的地图构建及定位方法
Daftry et al. Building with drones: Accurate 3D facade reconstruction using MAVs
CN113643380A (zh) 一种基于单目相机视觉标靶定位的机械臂引导方法
JP6261016B2 (ja) マーカ画像処理システム
US7333631B2 (en) Landmark, apparatus, and method for effectively determining position of autonomous vehicles
CN111964680B (zh) 一种巡检机器人的实时定位方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN108332752B (zh) 机器人室内定位的方法及装置
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN114415736B (zh) 一种无人机多阶段视觉精准降落方法和装置
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN110515088B (zh) 一种智能机器人的里程计估计方法及系统
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
Guan et al. Minimal solvers for relative pose estimation of multi-camera systems using affine correspondences
Hu et al. Tescalib: Targetless extrinsic self-calibration of lidar and stereo camera for automated driving vehicles with uncertainty analysis
CN111964681B (zh) 一种巡检机器人的实时定位系统
Kim et al. Automatic multiple lidar calibration based on the plane features of structured environments
Bazin et al. Dynamic programming and skyline extraction in catadioptric infrared images
Su Vanishing points in road recognition: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination