CN115990889B - 一种基于多感受野的复合定位方法、装置及计算机系统 - Google Patents
一种基于多感受野的复合定位方法、装置及计算机系统 Download PDFInfo
- Publication number
- CN115990889B CN115990889B CN202310287428.8A CN202310287428A CN115990889B CN 115990889 B CN115990889 B CN 115990889B CN 202310287428 A CN202310287428 A CN 202310287428A CN 115990889 B CN115990889 B CN 115990889B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- robot
- receptive field
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于多感受野的复合定位方法,步骤如下:S1、特征识别:训练目标检测模型,拟合出最高圆轮廓;S2、相机标定:使用Tsai两步相机标定法;S3、记录示教点:求解旋转矩阵,记录示教位置点;S4、双感受野特征组合定位:特征识别与定位,坐标映射计算,旋转与平移量,计算机械臂姿态;S5、多感受野复合定位:组合求解,误差补偿。本发明还提供了一种基于多感受野的复合定位装置和计算机系统,包括:特征识别模块;相机标定模块;记录示教点模块;双感受野模块;多感受野模块。本发明对大型工件能够精准的识别与定位,并能够兼容多尺寸的托盘的识别与定位,可以广泛应用于柔性制造中的物流运输环节。
Description
技术领域
本发明涉及柔性制造中的物流运输环节,特别是涉及一种基于多感受野的复合定位方法、装置及计算机系统。
背景技术
智能工厂中柔性自动化加工线体在开始加工时,大型工件由AGV替代人工进行物料运输工作。由于AGV的定位精度在厘米级别,与机械臂抓取的1mm内的允许误差相比超出了一个量级,所以,需要通过二次定位的方式矫正偏差。
针对这种情况,目前现有技术采用两种方案:1)采用机械+电气结构进行物理矫正;2)托盘入库前进行激光打标创建一个基准特征,通过高精度相机进行拍照定位矫正。
对于第1)种情况,在运输大型工件时,机械结构易磨损,常规电气结构的推力不足以回正零件,这不符合特种设备成本安规,并且对于柔性生产中多品类的工件无法兼容。
在第2)种情况中,由于托盘多属于非定制产品,这增加了基准特征的加工程序,一方面造成二次加工的误差问题,另外不同厂商加工时标准可能不统一,导致特征位置不准确。
发明内容
本发明的目的是为了克服上述背景技术的不足,提供一种基于多感受野的复合定位方法、装置及计算机系统,使其能解决基于多向同性特征的基准计算问题,并能通过多感受野来扩大视觉系统的整体感知区域,从而降低了单像素误差导致的定位角度误差,同时减小了因部分特征的检测精度波动而导致的超差风险。
本发明提供的一种基于多感受野的复合定位方法,包括如下步骤:S1、特征识别:基于采样图片对目标检测模型进行训练并检测,使用经验值做出拟合度最高的圆轮廓;S2、相机标定:使用Tsai两步相机标定法对所有相机进行标定,并建立标定板的相机坐标系;S3、记录示教点:求解从相机坐标系变换到机器人坐标系的旋转矩阵,记录示教位置点;S4、双感受野特征组合定位:对图像上任一点的特征识别与定位,坐标映射计算,求解旋转与平移量,并计算机械臂姿态;S5、多感受野复合定位:使用多感受野的组合求解,进行误差补偿,抑制大偏移角情况下的误差。
在上述技术方案中,所述步骤S2的具体过程如下:S21、分别测量托盘底面至镜头距离L0和标定板底面至镜头距离L1;S22、调整机械臂I/J/K角度,使其与托盘底面水平;S23、分别将标定板在多个相机视野范围内进行N次平移、M次水平旋转,其中,N≥3,M≥1,并记录每次旋转平移后机器人的坐标;S24、通过标定板分别对多个相机进行内参标定并基于标定的内参结果纠正图像畸变;S25、采用纠正后的标定板图像建立标定板的相机坐标系;S26、单次平移中机器人的偏移量P0与标定板基准点在相机坐标系中的距离P1,得到单像素精度的精确值s=P0/P1。
在上述技术方案中,所述步骤S3的具体过程如下:S31、根据标定板基准点进行单次平移后在相机坐标系中矢量与机器人坐标系中的矢量夹角θ,得到由相机坐标系变换到机器人坐标系的旋转矩阵T:;S32、机器人将托盘放置在接驳站的中心位置,记录机器人坐标Q与Z轴旋转量I、以及特征孔的像素坐标F。
在上述技术方案中,所述步骤S4的具体过程如下:S41、双相机分别测量托盘上的两个特征孔特征,得到两个相机坐标系下的点P1和P2;S42、通过公式(Pn-F)*T+Q得到P1和P2在机器人坐标系下的x/y坐标P1’和P2’;S43、由矢量夹角公式得到P1’和P2’连线在机器人坐标系X-Y平面上的旋转角I’;S44、计算P1’和P2’的中心点P’;S45、根据相机坐标系变换到机器人坐标系的旋转矩阵T,分别得到第1个相机图像特征的像素坐标F1和第2个相机图像特征的像素坐标F2,将F1和F2带入步骤S42~S44进行计算,得到其在机器人坐标系下中心点F’;S46、通过双感受野计算得到当前位置下机器人的抓取坐标(S’= P’-F’+Q)和Z轴旋转角度I’。
在上述技术方案中,所述步骤S5的具体过程如下:S51、在托盘的各特征孔位下安装N个相机并按特征识别步骤对每个相机执行操作;S52、N个感受野中的特征图进行两两组合得到CN 2,连续执行双感受野特征组合定位操作;S53、当N小于等于3,计算得到抓取坐标:SN=ΣSij/CN 2、以及Z轴旋转角度:IN=ΣIij/CN 2;S54、当N大于3,去除1个坐标离群组合以及1个角度离群组合后,再次计算获取抓取坐标SN和Z轴旋转角度IN。
本发明还提供了一种基于多感受野的复合定位装置,包括如下部分:特征识别模块:基于采样图片对目标检测模型进行训练并检测,使用经验值做出拟合度最高的圆轮廓;相机标定模块:使用Tsai两步相机标定法对所有相机进行标定,并建立标定板的相机坐标系;记录示教点模块:求解从相机坐标系变换到机器人坐标系的旋转矩阵,记录示教位置点;双感受野模块:对图像上任一点的特征识别与定位,坐标映射计算,求解旋转与平移量,并计算机械臂姿态;多感受野模块:使用多感受野的组合求解,进行误差补偿,抑制大偏移角情况下的误差。
本发明还披露了一种计算机系统,包括存储装置,所述存储装置存储能执行基于多感受野的复合定位方法的程序。
本发明基于多感受野的复合定位方法、装置及计算机系统,具有以下有益效果:
对装夹在托盘上的大型工件进行精准的识别与定位,并将定位结果转换为机械臂相对示教点的偏移量与旋转量,并能够兼容多尺寸的托盘的识别与定位。
附图说明
图1为本发明基于多感受野的复合定位方法的整体流程图;
图2为本发明基于多感受野的复合定位方法的误差分析图;
图3为本发明基于多感受野的复合定位方法的对比分析例中单视野定位误差放大原理示意图;
图4为本发明基于多感受野的复合定位装置的结构示意图;
图5为本发明计算机系统的结构示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述,但该实施例不应理解为对本发明的限制。
参见图1,本发明基于多感受野的复合定位方法的具体流程如下:
步骤一、设备安装等高与水平调节;
步骤二、单相机的标定,如果是,就完成所有相机的标定,如果否,则回到单相机的标定流程,直至完成单相机标定;
步骤三、求解变换矩阵,并记录示教位置点,矩阵和位置点信息存入数据库;
步骤四、依次完成特征识别与定位、坐标映射、求解旋转与平移相对量和计算机械臂姿态,其中,数据库的信息随时反馈到机械臂姿态计算流程中;
步骤五、机械臂抓取工件。
实施例
本发明基于多感受野的复合定位方法的优选实施例为:
1、特征识别
1.1采样不同规格托盘,不同工作环境下托盘(未加工,已加工)以及不同环境光照下的托盘。对销钉孔进行拍照。
1.2基于采样图片对目标检测模型进行训练,迭代至准确率接近100%,召回率高于99%。该指标是满足自动化系统连续稳定生产的最低要求。
1.3使用训练的模型进行目标检测,对托盘销钉孔特征进行粗定位。
1.4使用定位框的中心以及销钉孔的0.9倍半径与1.1倍半径作为霍夫找圆的输入参数,求解出拟合度最高的圆轮廓(0.9与1.1为经验值)。
2、相机标定
2.1将托盘放置于接驳站上,测量托盘底面至镜头距离L0。
2.2在机械臂夹爪底面安装标定板,测量标定板底面至镜头距离L1。
2.3调整机械臂I/J/K角度,使其与托盘底面水平。
2.4分别将标定板在多个相机视野范围内进行N次平移、M次水平旋转(N>=3,M>=1),并记录每次旋转平移后机器人的坐标。
2.5通过标定板分别对多个相机进行内参标定并基于标定的内参结果纠正图像畸变。
2.6采用纠正后的标定板图像建立标定板的相机坐标系,由于相机坐标系中旋转的相对量与机器人坐标系中旋转相对量一致,通过一次旋转就可以得到相机坐标系与机器人坐标系中旋转方向是否一致。
2.7单次平移中机器人的偏移量P0与标定板基准点在相机坐标系中距离P1,可以得到单像素精度的精确值s=P0/P1。
2.8标定板基准点进行单次平移后在相机坐标系中矢量与机器人坐标系中的矢量夹角θ。因此可以得到相机坐标系=>机器人坐标系的旋转矩阵T:
2.9机器人将托盘放置在接驳站的中心位置,记录机器人坐标Q与Z轴旋转量I、以及特征孔的像素坐标F。
3、双感受野特征组合定位
3.1对于图像上任意一个点Pn,可以通过公式:(Pn-F)*T+Q得到点在机器人坐标系下的x/y坐标。
3.2双相机分别测量托盘上的两个特征孔特征,得到两个相机坐标系下的点P1,P2。
3.3通过步骤3.1得到P1、P2在机器人坐标系下坐标P1’和P2’。
3.4由矢量夹角公式可得P1’和P2’连线在机器人坐标系X-Y平面上的旋转角I’。
3.5计算P1’和P2’中心点P’。
3.6将步骤2.9中F1(第1个相机图像特征的像素坐标)、F2(第2个相机图像特征的像素坐标)带入步骤3.2~3.4中进行计算,得到其在机器人坐标系下中心点F’。
3.7通过双感受野计算得到当前位置下机器人的抓取坐标:S’= P’-F’+Q,以及Z轴旋转角度I’。
4、多感受野复合定位
4.1在托盘的各特征孔位下安装N个相机并对每个相机执行步骤1操作。
4.2N个感受野中的特征图两两组合(CN 2),连续执行步骤3。
例如,3个感受野则组合成(N1,N2),(N1,N3),(N2,N3)三组双感受野,并计算出抓取坐标S12,S13,S23以及旋转角度I12,I13和I23。
4.3当N小于等于3,抓取坐标:SN=ΣSij/CN 2,Z轴旋转角度:IN=ΣIij/CN 2。
4.4当N大于3,去除1个坐标离群组合以及1个角度离群组合后执行步骤4.3。
该方法将有效抑制大偏移角情况下的误差。
对比分析例
参见图2至图3,单感受野与多感受野误差对比分析如下:
1)由视锥公式可知,标定与实际测量时由与高度不在同一水平面而产生的百分比误差δ=ΔL/L1,ΔL=|L1-L0|。
2)相机工作平面上单像素精度为s,特征孔特征像素大小为R。则因标定平面与工作平面未完全重合所产生的误差γ1=δ*s*R。
3)机器人运动控制误差γ2范围通常为(0.05~0.10mm)。
4)霍夫找圆算法的误差γ3通常在小于0.5像素。
5)2D相机拍摄物体边缘误差γ4通常在1~3像素。
6)边缘方向切向畸变误差γ5小于2像素。
7)最终定位精度误差为:γ=γ1+γ2+γ3+γ4+γ5
工作平面物距200mm,视野范围200x200mm,单像素精度0.025mm,机器人定位误差0.08mm,特征尺寸800像素,霍夫找圆误差0.5像素以及图像边缘误差2像素,切向畸变误差2像素为例。
则γ=ΔL*800*0.025/200+0.08+0.5*0.025+2*0.025+2*0.025。
γ=ΔL*0.1+0.1925
8)单感受野工作平面重合度误差β1=γ1。
9)机器人运动控制误差β2=γ2。
10)查找直线的端点误差β3小于0.5像素,两个端点的累计误差小于1像素。
11)2D相机拍摄物体边缘误差β4=γ4。
12)边缘方向切向畸变误差β5=γ5。
13)最终定位精度误差为:β=β2+(β1+β3+β4+β5)*D/L。
例如:工作平面物距200mm,视野范围200x200mm,特征尺寸L=100mm,抓取点中心距D=400mm单像素精度0.025mm,机器人定位误差0.08mm,特征尺寸800像素,查找直线误差1像素以及图像边缘误差2像素,切向畸变误差2像素为例。
则β=(ΔL*800*0.025/200+0.5*0.025+2*0.025+2*0.025)*4+0.08,
β=ΔL*0.4+0.53,
根据采用的水平度与高度测量工具不同,ΔL∈ [0.1,1],
采用无纠正的多感受野的定位误差 γ∈[0.2025,0.2925],
采用单一感受野的定位误差 β∈[0.57,0.93]。
由此可见,多感受野的定位误差大大低于单一感受野的定位误差。
参见图4,本发明还提供了一种基于多感受野的复合定位装置,其特征在于:包括如下部分:
特征识别模块:基于采样图片对目标检测模型进行训练并检测,使用经验值做出拟合度最高的圆轮廓;
相机标定模块:使用Tsai两步相机标定法对所有相机进行标定,并建立标定板的相机坐标系;
记录示教点模块:求解从相机坐标系变换到机器人坐标系的旋转矩阵,记录示教位置点;
双感受野模块:对图像上任一点的特征识别与定位,坐标映射计算,求解旋转与平移量,并计算机械臂姿态;
多感受野模块:使用多感受野的组合求解,进行误差补偿,抑制大偏移角情况下的误差。
参见图5,本发明还披露了一种计算机系统,包括存储装置,所述存储装置存储能执行基于多感受野的复合定位方法的程序。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (7)
1.一种基于多感受野的复合定位方法,其特征在于:包括如下步骤:
S1、特征识别:根据采样识别出特征是不同规格托盘销钉孔,并基于这些销钉孔的采样图片对目标检测模型进行训练并检测,使用经验值做出拟合度最高的圆轮廓;
S2、相机标定:使用Tsai两步相机标定法对所有相机进行标定,并建立标定板的相机坐标系;
S3、记录示教点:求解从相机坐标系变换到机器人坐标系的旋转矩阵,记录示教位置点;
S4、双感受野特征组合定位:对图像上任一点的特征识别与定位,坐标映射计算,求解机械臂要抓取的工件相对于示教位置点的旋转与平移量,并计算机械臂姿态;
S5、多感受野复合定位:使用多感受野的两两组合求解,进行误差补偿,抑制大偏移角情况下的误差。
2.根据权利要求1所述的基于多感受野的复合定位方法,其特征在于:所述步骤S2的具体过程如下:
S21、分别测量托盘底面至镜头距离L0和标定板底面至镜头距离L1;
S22、调整机械臂I/J/K角度,使其与托盘底面水平;
S23、分别将标定板在多个相机视野范围内进行N次平移、M次水平旋转,其中,N≥3,M≥1,并记录每次旋转平移后机器人的坐标;
S24、通过标定板分别对多个相机进行内参标定并基于标定的内参结果纠正图像畸变;
S25、采用纠正后的标定板图像建立标定板的相机坐标系;
S26、单次平移中机器人的偏移量P0与标定板基准点在相机坐标系中的距离P1,得到单像素精度的精确值s=P0/P1。
4.根据权利要求3所述的基于多感受野的复合定位方法,其特征在于:所述步骤S4的具体过程如下:
S41、双相机分别测量托盘上的两个特征孔特征,得到两个相机坐标系下的点P1和P2;
S42、通过公式(Pn-F)*T+Q得到P1和P2在机器人坐标系下的x/y坐标P1’和P2’;
S43、由矢量夹角公式得到P1’和P2’连线在机器人坐标系X-Y平面上的旋转角I’;
S44、计算P1’和P2’的中心点P’;
S45、根据相机坐标系变换到机器人坐标系的旋转矩阵T,分别得到第1个相机图像特征的像素坐标F1和第2个相机图像特征的像素坐标F2,将F1和F2带入步骤S42~S44进行计算,得到其在机器人坐标系下中心点F’;
S46、通过双感受野计算得到当前位置下机器人的抓取坐标(S’= P’-F’+Q)和Z轴旋转角度I’。
5.根据权利要求4所述的基于多感受野的复合定位方法,其特征在于:所述步骤S5的具体过程如下:
S51、在托盘的各特征孔位下安装N个相机并按特征识别步骤对每个相机执行操作;
S52、N个感受野中的特征图进行两两组合得到CN 2,连续执行双感受野特征组合定位操作;
S53、当N小于等于3,计算得到抓取坐标:SN=ΣSij/CN 2、以及Z轴旋转角度:IN=ΣIij/CN 2;
S54、当N大于3,去除1个坐标离群组合以及1个角度离群组合后,再次计算获取抓取坐标SN和Z轴旋转角度IN。
6.一种基于多感受野的复合定位装置,其特征在于:包括如下部分:
特征识别模块:根据采样识别出特征是不同规格托盘销钉孔,并基于这些销钉孔的采样图片对目标检测模型进行训练并检测,使用经验值做出拟合度最高的圆轮廓;
相机标定模块:使用Tsai两步相机标定法对所有相机进行标定,并建立标定板的相机坐标系;
记录示教点模块:求解从相机坐标系变换到机器人坐标系的旋转矩阵,记录示教位置点;
双感受野模块:对图像上任一点的特征识别与定位,坐标映射计算,求解机械臂要抓取的工件相对于示教位置点的旋转与平移量,并计算机械臂姿态;
多感受野模块:使用多感受野的两两组合求解,进行误差补偿,抑制大偏移角情况下的误差。
7.一种计算机系统,包括存储装置,所述存储装置存储能执行如权利要求1~5所述复合定位方法的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310287428.8A CN115990889B (zh) | 2023-03-23 | 2023-03-23 | 一种基于多感受野的复合定位方法、装置及计算机系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310287428.8A CN115990889B (zh) | 2023-03-23 | 2023-03-23 | 一种基于多感受野的复合定位方法、装置及计算机系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115990889A CN115990889A (zh) | 2023-04-21 |
CN115990889B true CN115990889B (zh) | 2023-06-23 |
Family
ID=85995320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310287428.8A Active CN115990889B (zh) | 2023-03-23 | 2023-03-23 | 一种基于多感受野的复合定位方法、装置及计算机系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115990889B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5999615B2 (ja) * | 2011-10-07 | 2016-09-28 | 国立研究開発法人情報通信研究機構 | カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム |
CN110605714B (zh) * | 2019-08-06 | 2021-08-03 | 华中科技大学 | 一种基于人眼凝视点的手眼协调抓取方法 |
CN111300422B (zh) * | 2020-03-17 | 2021-04-23 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
CN114714356A (zh) * | 2022-04-14 | 2022-07-08 | 武汉理工大学重庆研究院 | 基于双目视觉的工业机器人手眼标定误差精确检测方法 |
CN115741678A (zh) * | 2022-11-03 | 2023-03-07 | 武汉益模科技股份有限公司 | 一种机器人运动仿真方法及仿真系统 |
-
2023
- 2023-03-23 CN CN202310287428.8A patent/CN115990889B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115990889A (zh) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108453701B (zh) | 控制机器人的方法、示教机器人的方法和机器人系统 | |
CN105066884B (zh) | 一种机器人末端定位偏差校正方法及系统 | |
JP2020011339A (ja) | ロボットシステムの制御方法、およびロボットシステム | |
CN112894823B (zh) | 一种基于视觉伺服的机器人高精度装配方法 | |
US8133823B2 (en) | Method for picking up semiconductor chips from a wafer table and method for mounting semiconductor chips on a substrate | |
CN104827480A (zh) | 机器人系统的自动标定方法 | |
US20200262080A1 (en) | Comprehensive model-based method for gantry robot calibration via a dual camera vision system | |
JP2017071033A (ja) | 作業用基準物体、作業用基準物体の製造方法、ロボットアームの調整方法、ビジョンシステム、ロボット装置、及び指標用部材 | |
CN110148187A (zh) | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 | |
CN111716346B (zh) | 机械手臂工具校正方法及其校正装置 | |
CN112264992B (zh) | 一种工业机器人坐标系校准方法、系统、装置和存储介质 | |
US20190325601A1 (en) | Wireless substrate-like teaching sensor for semiconductor processing | |
CN112109072B (zh) | 一种大型稀疏特征托盘精确6d位姿测量和抓取方法 | |
CN112958960A (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
CN111591474B (zh) | 一种航天器在轨操作系统对准式手眼标定方法 | |
KR102147777B1 (ko) | 영상, 레이저 하이브리드 신호를 이용한 로봇 오토 티칭 시스템 및 방법 | |
CN110154038B (zh) | 机器人的位置信息恢复方法 | |
CN115990889B (zh) | 一种基于多感受野的复合定位方法、装置及计算机系统 | |
CN112129809B (zh) | 一种基于视觉引导的铜片热阻率检测装置及其检测方法 | |
KR20190110438A (ko) | 로봇의 위치 정보 복원 방법 | |
CN113894793B (zh) | 一种零件与视觉传感器相对位姿关系的获取方法 | |
KR101792499B1 (ko) | 반도체 제조 장치의 티칭 방법 | |
CN110815177A (zh) | 一种复合机器人2d视觉引导示教的迁移方法 | |
CN112207444B (zh) | 一种用于led灯珠不良品标记的超高精度激光打标方法 | |
CN114571199A (zh) | 一种锁螺丝机及螺丝定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |