CN115990889A - 一种基于多感受野的复合定位方法、装置及计算机系统 - Google Patents

Abstract

本发明公开了一种基于多感受野的复合定位方法，步骤如下：S1、特征识别：训练目标检测模型，拟合出最高圆轮廓；S2、相机标定：使用Tsai两步相机标定法；S3、记录示教点：求解旋转矩阵，记录示教位置点；S4、双感受野特征组合定位：特征识别与定位，坐标映射计算，旋转与平移量，计算机械臂姿态；S5、多感受野复合定位：组合求解，误差补偿。本发明还提供了一种基于多感受野的复合定位装置和计算机系统，包括：特征识别模块；相机标定模块；记录示教点模块；双感受野模块；多感受野模块。本发明对大型工件能够精准的识别与定位，并能够兼容多尺寸的托盘的识别与定位，可以广泛应用于柔性制造中的物流运输环节。

Description

一种基于多感受野的复合定位方法、装置及计算机系统

技术领域

本发明涉及柔性制造中的物流运输环节，特别是涉及一种基于多感受野的复合定位方法、装置及计算机系统。

背景技术

智能工厂中柔性自动化加工线体在开始加工时，大型工件由AGV替代人工进行物料运输工作。由于AGV的定位精度在厘米级别，与机械臂抓取的1mm内的允许误差相比超出了一个量级，所以，需要通过二次定位的方式矫正偏差。

针对这种情况，目前现有技术采用两种方案：1）采用机械+电气结构进行物理矫正；2）托盘入库前进行激光打标创建一个基准特征，通过高精度相机进行拍照定位矫正。

对于第1）种情况，在运输大型工件时，机械结构易磨损，常规电气结构的推力不足以回正零件，这不符合特种设备成本安规，并且对于柔性生产中多品类的工件无法兼容。

在第2）种情况中，由于托盘多属于非定制产品，这增加了基准特征的加工程序，一方面造成二次加工的误差问题，另外不同厂商加工时标准可能不统一，导致特征位置不准确。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于多感受野的复合定位方法、装置及计算机系统，使其能解决基于多向同性特征的基准计算问题，并能通过多感受野来扩大视觉系统的整体感知区域，从而降低了单像素误差导致的定位角度误差，同时减小了因部分特征的检测精度波动而导致的超差风险。

本发明提供的一种基于多感受野的复合定位方法，包括如下步骤：S1、特征识别：基于采样图片对目标检测模型进行训练并检测，使用经验值做出拟合度最高的圆轮廓；S2、相机标定：使用Tsai两步相机标定法对所有相机进行标定，并建立标定板的相机坐标系；S3、记录示教点：求解从相机坐标系变换到机器人坐标系的旋转矩阵，记录示教位置点；S4、双感受野特征组合定位：对图像上任一点的特征识别与定位，坐标映射计算，求解旋转与平移量，并计算机械臂姿态；S5、多感受野复合定位：使用多感受野的组合求解，进行误差补偿，抑制大偏移角情况下的误差。

在上述技术方案中，所述步骤S2的具体过程如下：S21、分别测量托盘底面至镜头距离L0和标定板底面至镜头距离L1；S22、调整机械臂I/J/K角度，使其与托盘底面水平；S23、分别将标定板在多个相机视野范围内进行N次平移、M次水平旋转，其中，N≥3，M≥1，并记录每次旋转平移后机器人的坐标；S24、通过标定图片板分别对多个相机进行内参标定并基于标定的内参结果纠正图像畸变；S25、采用纠正后的标定板图像建立标定板的相机坐标系；S26、单次平移中机器人的偏移量P0与标定板基准点在图像坐标系中的距离P1，得到单像素精度的精确值s=P0/P1。

在上述技术方案中，所述步骤S3的具体过程如下：S31、根据标定板基准点进行单平移后在图像坐标系中矢量与机器人坐标系中的矢量夹角θ，得到由相机坐标系变换到机器人坐标系的旋转矩阵T：；S32、机器人将托盘放置在接驳站的中心位置，记录机器人坐标Q与Z轴旋转量I、以及特征孔的像素坐标F。

在上述技术方案中，所述步骤S4的具体过程如下：S41、双相机分别测量托盘上的两个圆孔特征，得到两个图像坐标系下的点P1和P2；S42、通过公式(Pn-F)*T+Q得到P1和P2在机器人坐标系下的x/y坐标P1’和P2’；S43、由矢量夹角公式得到P1’和P2’连线在机器人坐标系X-Y平面上的旋转角I’；S44、计算P1’和P2’的中心点P’；S45、根据相机坐标系变换到机器人坐标系的旋转矩阵T，分别得到第1个相机图像特征的像素坐标F1和第2个相机图像特征的像素坐标F2，将F1和F2带入步骤S42~S44进行计算，得到其在机器人坐标系下中心点F’；S46、通过双感受野计算得到当前位置下机器人的抓取坐标（S’= P’－F’＋Q）和Z轴旋转角度I’。

在上述技术方案中，所述步骤S5的具体过程如下：S51、在托盘的各特征孔位下安装N个相机并按特征识别步骤对每个相机执行操作；S52、N个感受野中的特征图进行两两组合得到C_N ²，连续执行双感受野特征组合定位操作；S53、当N小于等于3，计算得到抓取坐标：SN=ΣSij/C_N ²、以及Z轴旋转角度：IN=ΣIij/C_N ²；S54、当N大于3，去除1个坐标离群组合以及1个角度离群组合后，再次计算获取抓取坐标SN和Z轴旋转角度IN。

本发明还提供了一种基于多感受野的复合定位装置，包括如下部分：特征识别模块：基于采样图片对目标检测模型进行训练并检测，使用经验值做出拟合度最高的圆轮廓；相机标定模块：使用Tsai两步相机标定法对所有相机进行标定，并建立标定板的相机坐标系；记录示教点模块：求解从相机坐标系变换到机器人坐标系的旋转矩阵，记录示教位置点；双感受野模块：对图像上任一点的特征识别与定位，坐标映射计算，求解旋转与平移量，并计算机械臂姿态；多感受野模块：使用多感受野的组合求解，进行误差补偿，抑制大偏移角情况下的误差。

本发明还披露了一种计算机系统，包括存储装置，所述存储装置存储能执行基于多感受野的复合定位方法的程序。

本发明基于多感受野的复合定位方法、装置及计算机系统，具有以下有益效果：

对装夹在托盘上的大型工件进行精准的识别与定位，并将定位结果转换为机械臂相对示教点的偏移量与旋转量，并能够兼容多尺寸的托盘的识别与定位。

附图说明

图1为本发明基于多感受野的复合定位方法的整体流程图；

图2为本发明基于多感受野的复合定位方法的误差分析图；

图3为本发明基于多感受野的复合定位方法的对比分析例中单视野定位误差放大原理示意图；

图4为本发明基于多感受野的复合定位装置的结构示意图；

图5为本发明计算机系统的结构示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细描述，但该实施例不应理解为对本发明的限制。

参见图1，本发明基于多感受野的复合定位方法的具体流程如下：

步骤一、设备安装等高与水平调节；

步骤二、单相机的标定，如果是，就完成所有相机的标定，如果否，则回到单相机的标定流程，直至完成单相机标定；

步骤三、求解变换矩阵，并记录示教位置点，矩阵和位置点信息存入数据库；

步骤四、依次完成特征识别与定位、坐标映射、求解旋转与平移相对量和计算机械臂姿态，其中，数据库的信息随时反馈到机械臂姿态计算流程中；

步骤五、机械臂抓取工件。

实施例

本发明基于多感受野的复合定位方法的优选实施例为：

1、特征识别

1.1采样不同规格托盘，不同工作环境下托盘（未加工，已加工）以及不同环境光照下的托盘。对销钉孔进行拍照。

1.2基于采样图片对目标检测模型进行训练，迭代至准确率接近100%，召回率高于99%。该指标是满足自动化系统连续稳定生产的最低要求。

1.3使用训练的模型进行目标检测，对托盘销钉孔特征进行粗定位。

1.4使用定位框的中心以及销钉孔的0.9倍半径与1.1倍半径作为霍夫找圆的输入参数，求解出拟合度最高的圆轮廓（0.9与1.1为经验值）。

2、相机标定

2.1将托盘放置于接驳站上，测量托盘底面至镜头距离L0。

2.2在机械臂夹爪底面安装标定板，测量标定板底面至镜头距离L1。

2.3调整机械臂I/J/K角度，使其与托盘底面水平。

2.4分别将标定板在多个相机视野范围内进行N次平移、M次水平旋转(N>=3,M>=1)，并记录每次旋转平移后机器人的坐标。

2.5通过标定图片板分别对多个相机进行内参标定并基于标定的内参结果纠正图像畸变。

2.6采用纠正后的标定板图像建立标定板的相机坐标系，由于相机坐标系中旋转的相对量与机器人坐标系中旋转相对量一致，通过一次旋转就可以得到相机坐标系与机器人坐标系中旋转方向是否一致。

2.7单次平移中机器人的偏移量P0与标定板基准点在图像坐标系中距离P1,可以得到单像素精度的精确值s=P0/P1。

2.8标定板基准点进行单平移后在图像坐标系中矢量与机器人坐标系中的矢量夹角θ。因此可以得到相机坐标系=>机器人坐标系的旋转矩阵T：

。

2.9机器人将托盘放置在接驳站的中心位置，记录机器人坐标Q与Z轴旋转量I、以及特征孔的像素坐标F。

3、双感受野特征组合定位

3.1对于图像上任意一个点Pn，可以通过公式：(Pn-F)*T+Q得到点在机器人坐标系下的x/y坐标。

3.2双相机分别测量托盘上的两个圆孔特征，得到两个图像坐标系下的点P1，P2。

3.3通过步骤3.1得到P1、P2在机器人坐标系下坐标P1’和P2’。

3.4由矢量夹角公式可得P1’和P2’连线在机器人坐标系X-Y平面上的旋转角I’。

3.5计算P1’和P2’中心点P’。

3.6将步骤2.9中F1（第1个相机图像特征的像素坐标）、F2（第2个相机图像特征的像素坐标）带入步骤3.2~3.4中进行计算，得到其在机器人坐标系下中心点F’。

3.7通过双感受野计算得到当前位置下机器人的抓取坐标：S’= P’-F’+Q，以及Z轴旋转角度I’。

4、多感受野复合定位

4.1在托盘的各特征孔位下安装N个相机并对每个相机执行步骤1操作。

4.2N个感受野中的特征图两两组合（C_N ²），连续执行步骤3。

例如，3个感受野则组合成(N1,N2)，(N1,N3)，(N2,N3)三组双感受野，并计算出抓取坐标S12，S13，S23以及旋转角度I12，I13和I23。

4.3当N小于等于3，抓取坐标:SN=ΣSij/C_N ²，Z轴旋转角度：IN=ΣIij/C_N ²。

4.4当N大于3，去除1个坐标离群组合以及1个角度离群组合后执行步骤4.3。

该方法将有效抑制大偏移角情况下的误差。

对比分析例

参见图2至图3，单感受野与多感受野误差对比分析如下：

1）由视锥公式可知，标定与实际测量时由与高度不在同一水平面而产生的百分比误差δ=ΔL/L1，ΔL=|L1-L0|。

2）相机工作平面上单像素精度为s，圆孔特征像素大小为R。则因标定平面与工作平面未完全重合所产生的误差γ1=δ*s*R。

3）机器人运动控制误差γ2范围通常为（0.05~0.10mm）。

4）霍夫找圆算法的误差γ3通常在小于0.5像素。

5）2D相机拍摄物体边缘误差γ4通常在1~3像素。

6）边缘方向切向畸变误差γ5小于2像素。

7）最终定位精度误差为：γ=γ1+γ2+γ3+γ4+γ5

工作平面物距200mm，视野范围200x200mm，单像素精度0.025mm，机器人定位误差0.08mm，特征尺寸800像素，霍夫找圆误差0.5像素以及图像边缘误差2像素,切向畸变误差2像素为例。

则γ=ΔL*800*0.025/200+0.08+0.5*0.025+2*0.025+2*0.025。

γ=ΔL*0.1+0.1925

8）单感受野工作平面重合度误差β1=γ1。

9）机器人运动控制误差β2=γ2。

10）查找直线的端点误差β3小于0.5像素，两个端点的累计误差小于1像素。

11）2D相机拍摄物体边缘误差β4=γ4。

12）边缘方向切向畸变误差β5=γ5。

13）最终定位精度误差为：β=β2+(β1+β3+β4+β5)*D/L。

例如：工作平面物距200mm，视野范围200x200mm，特征尺寸L=100mm，抓取点中心距D=400mm单像素精度0.025mm，机器人定位误差0.08mm，特征尺寸800像素，查找直线误差1像素以及图像边缘误差2像素，切向畸变误差2像素为例。

则β=(ΔL*800*0.025/200+0.5*0.025+2*0.025+2*0.025)*4+0.08，

β=ΔL*0.4+0.53，

根据采用的水平度与高度测量工具不同，ΔL∈ [0.1,1]，

采用无纠正的多感受野的定位误差 γ∈[0.2025,0.2925]，

采用单一感受野的定位误差 β∈[0.57,0.93]。

由此可见，多感受野的定位误差大大低于单一感受野的定位误差。

参见图4，本发明还提供了一种基于多感受野的复合定位装置，其特征在于：包括如下部分：

特征识别模块：基于采样图片对目标检测模型进行训练并检测，使用经验值做出拟合度最高的圆轮廓；

相机标定模块：使用Tsai两步相机标定法对所有相机进行标定，并建立标定板的相机坐标系；

记录示教点模块：求解从相机坐标系变换到机器人坐标系的旋转矩阵，记录示教位置点；

双感受野模块：对图像上任一点的特征识别与定位，坐标映射计算，求解旋转与平移量，并计算机械臂姿态；

多感受野模块：使用多感受野的组合求解，进行误差补偿，抑制大偏移角情况下的误差。

参见图5，本发明还披露了一种计算机系统，包括存储装置，所述存储装置存储能执行基于多感受野的复合定位方法的程序。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种基于多感受野的复合定位方法，其特征在于：包括如下步骤：

S1、特征识别：基于采样图片对目标检测模型进行训练并检测，使用经验值做出拟合度最高的圆轮廓；

S2、相机标定：使用Tsai两步相机标定法对所有相机进行标定，并建立标定板的相机坐标系；

S3、记录示教点：求解从相机坐标系变换到机器人坐标系的旋转矩阵，记录示教位置点；

S4、双感受野特征组合定位：对图像上任一点的特征识别与定位，坐标映射计算，求解旋转与平移量，并计算机械臂姿态；

S5、多感受野复合定位：使用多感受野的组合求解，进行误差补偿，抑制大偏移角情况下的误差。

2.根据权利要求1所述的基于多感受野的复合定位方法，其特征在于：所述步骤S2的具体过程如下：

S21、分别测量托盘底面至镜头距离L0和标定板底面至镜头距离L1；

S22、调整机械臂I/J/K角度，使其与托盘底面水平；

S23、分别将标定板在多个相机视野范围内进行N次平移、M次水平旋转，其中，N≥3，M≥1，并记录每次旋转平移后机器人的坐标；

S24、通过标定图片板分别对多个相机进行内参标定并基于标定的内参结果纠正图像畸变；

S25、采用纠正后的标定板图像建立标定板的相机坐标系；

S26、单次平移中机器人的偏移量P0与标定板基准点在图像坐标系中的距离P1，得到单像素精度的精确值s=P0/P1。

3.根据权利要求2所述的基于多感受野的复合定位方法，其特征在于：所述步骤S3的具体过程如下：

S31、根据标定板基准点进行单平移后在图像坐标系中矢量与机器人坐标系中的矢量夹角θ，得到由相机坐标系变换到机器人坐标系的旋转矩阵T：

；

S32、机器人将托盘放置在接驳站的中心位置，记录机器人坐标Q与Z轴旋转量I、以及特征孔的像素坐标F。

4.根据权利要求3所述的基于多感受野的复合定位方法，其特征在于：所述步骤S4的具体过程如下：

S41、双相机分别测量托盘上的两个圆孔特征，得到两个图像坐标系下的点P1和P2；

S42、通过公式(Pn-F)*T+Q得到P1和P2在机器人坐标系下的x/y坐标P1’和P2’；

S43、由矢量夹角公式得到P1’和P2’连线在机器人坐标系X-Y平面上的旋转角I’；

S44、计算P1’和P2’的中心点P’；

S45、根据相机坐标系变换到机器人坐标系的旋转矩阵T，分别得到第1个相机图像特征的像素坐标F1和第2个相机图像特征的像素坐标F2，将F1和F2带入步骤S42~S44进行计算，得到其在机器人坐标系下中心点F’；

S46、通过双感受野计算得到当前位置下机器人的抓取坐标（S’= P’－F’＋Q）和Z轴旋转角度I’。

5.根据权利要求4所述的基于多感受野的复合定位方法，其特征在于：所述步骤S5的具体过程如下：

S51、在托盘的各特征孔位下安装N个相机并按特征识别步骤对每个相机执行操作；

S52、N个感受野中的特征图进行两两组合得到C_N ²，连续执行双感受野特征组合定位操作；

S53、当N小于等于3，计算得到抓取坐标：SN=ΣSij/C_N ²、以及Z轴旋转角度：IN=ΣIij/C_N ²；

S54、当N大于3，去除1个坐标离群组合以及1个角度离群组合后，再次计算获取抓取坐标SN和Z轴旋转角度IN。

6.一种基于多感受野的复合定位装置，其特征在于：包括如下部分：

特征识别模块：基于采样图片对目标检测模型进行训练并检测，使用经验值做出拟合度最高的圆轮廓；

相机标定模块：使用Tsai两步相机标定法对所有相机进行标定，并建立标定板的相机坐标系；

记录示教点模块：求解从相机坐标系变换到机器人坐标系的旋转矩阵，记录示教位置点；

双感受野模块：对图像上任一点的特征识别与定位，坐标映射计算，求解旋转与平移量，并计算机械臂姿态；

多感受野模块：使用多感受野的组合求解，进行误差补偿，抑制大偏移角情况下的误差。

7.一种计算机系统，包括存储装置，所述存储装置存储能执行如权利要求1~5所述复合定位方法的程序。

Images