CN116117800A - 补偿高度差的机器视觉处理方法、电子设备及存储介质 - Google Patents

Abstract

本发明涉及工业机器人技术领域，特别涉及一种补偿高度差的机器视觉处理方法、电子设备及存储介质，其中方法包括：对机器视觉采集系统中用于采集物体和目标所在平面视觉图像的第一平面相机和第二平面相机，分别确定高度差修正参数；对所述第一平面相机和所述第二平面相机，分别获取视觉图像并确定视觉图像中的物体特征点和目标点在机器人坐标系中的空间位置：基于所述第一平面相机和所述第二平面相机所对应的物体特征点和目标点在机器人坐标系中的空间位置，确定从物体到目标的偏移值。本发明通过获取高度信息，能够对物体特征点和目标点之间高度差所造成的误差进行补偿。

Description

补偿高度差的机器视觉处理方法、电子设备及存储介质

技术领域

本发明实施例涉及工业机器人技术领域，特别涉及一种补偿高度差的机器视觉处理方法、基于多相机的机器视觉四自由度操作方法、电子设备及存储介质。

背景技术

机器视觉是引导工业机器人进行精确作业的重要技术。当工业机器人操作的物体和目标的位置存在高度差，现有技术在将视觉图像中的像素点转换为机器人坐标系(或称工具坐标系)下的空间位置时会存在误差。因此，通常需要先控制平面高度一致，再将像素点转换至机器人坐标系下，这增加了机器人处理流程与计算时间，最终影响工业机器人放置物体的效率及精度。

发明内容

基于现有工业机器人机器视觉处理难以应对高度差所引起的误差的问题，本发明实施例提供了一种补偿高度差的机器视觉处理方法、基于多相机的机器视觉四自由度操作方法、电子设备及存储介质，能够对物体特征点和目标点之间的高度差造成的误差进行补偿。

第一方面，本发明实施例提供了一种补偿高度差的机器视觉处理方法，包括：

对机器视觉采集系统中用于采集物体和目标所在平面视觉图像的第一平面相机和第二平面相机，分别采用如下方式确定高度差修正参数：

确定所拍摄的视觉图像在两个不同已知高度下的标准仿射变换矩阵；标准仿射变换矩阵通过相机标定确定，用于将视觉图像中的像素点转换到机器人坐标系下，且机器人坐标系的旋转中心为视觉图像仿射变换后的原点；

基于两个不同已知高度及对应的标准仿射变换矩阵，确定高度差修正参数；

对所述第一平面相机和所述第二平面相机，分别采用如下方式获取视觉图像并确定视觉图像中的物体特征点和目标点在机器人坐标系中的空间位置：

以物体特征点所在高度为参考平面高度，获取含有物体特征点和目标点的视觉图像及目标点相对于参考平面高度的高度差，并确定对应参考平面高度的标准仿射变换矩阵；

基于高度差修正参数及目标点相对于参考平面高度的高度差，对对应参考平面高度的标准仿射变换矩阵进行修正，得到对应目标点高度的修正仿射变换矩阵；

基于含有物体特征点和目标点的视觉图像及对应参考平面高度的标准仿射变换矩阵，得到物体特征点在机器人坐标系下的坐标；

基于含有物体特征点和目标点的视觉图像及对应目标点高度的修正仿射变换矩阵，得到目标点在机器人坐标系下的坐标；

基于所述第一平面相机和所述第二平面相机所对应的物体特征点和目标点在机器人坐标系中的空间位置，确定从物体到目标的偏移值。

可选地，所述基于两个不同已知高度及对应的标准仿射变换矩阵，确定高度差修正参数，包括：

设两个不同已知高度分别为h₁和h₂，对应的标准仿射变换矩阵分别为A′₁和A′₂，表达式为：

其中，

至

为对应高度h₁的标准仿射变换矩阵A′₁中的元素，

至

为对应高度h₂的标准仿射变换矩阵A′₂中的元素；

计算高度差修正参数d₀、x₀和y₀，表达式为：

其中，k表示放缩率。

可选地，所述得到对应目标点高度的修正仿射变换矩阵，表达式为：

其中，

至

为对应目标点高度的修正仿射变换矩阵A_t中的元素，h′₁₁至h’₂₃为对应参考平面高度的标准仿射变换矩阵A_s中的元素，

k′表示放缩率，d为目标点相对于参考平面高度的高度差。

可选地，所述基于所述第一平面相机和所述第二平面相机所对应的物体特征点和目标点在机器人坐标系中的空间位置，确定从物体到目标的偏移值，包括：

基于所述第一平面相机和所述第二平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态；

基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态；

基于所述物体姿态和所述目标姿态，确定从物体到目标的变换矩阵；

基于所述变换矩阵，分解确定从物体到目标的偏移值。

可选地，所述基于所述第一平面相机和所述第二平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态，包括：

基于所述第一平面相机和所述第二平面相机所对应的物体特征点投影到机器人坐标系xoy平面下的坐标

和

计算对应物体的偏航角度θ_s，表达式为：

基于对应物体的偏航角度θ_s和第一平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态，表达式为：

所述基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态，包括：

基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标

和

计算对应目标的偏航角度θ_t，表达式为：

其中，d为目标点相对于参考平面高度的高度差；

基于对应目标的偏航角度θ_t和和第一平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态，表达式为：

所述基于所述物体姿态和所述目标姿态，确定从物体到目标的变换矩阵，表达式为：

其中，H为变换矩阵，

为物体姿态Pose_s的逆矩阵。

可选地，所述相机标定包括：

在固定高度下，通过9点标定法进行仿射变换标定，得到仿射变换矩阵；

通过对机器人绕固定轴旋转至少3次，获取至少3个像素点；

利用仿射变换矩阵，将获取的至少3个像素点转换到机器人坐标系下，并通过圆拟合法确定圆心坐标；

基于确定的圆心坐标，对仿射变换矩阵进行平移，将仿射变换后的原点移动至圆心的位置，获得标准仿射变换矩阵。

可选地，所述的补偿高度差的机器视觉处理方法通过第三平面相机确定机器视觉采集系统中第一平面相机和第二平面相机的高度及目标点相对于参考平面高度的高度差。

第二方面，本发明实施例还提供了一种基于多相机的机器视觉四自由度操作方法，

采用包括三个平面相机的机器视觉采集系统实现，包括如下步骤：

通过工业机器人夹持待操作的物体；

利用如上一项所述的补偿高度差的机器视觉处理方法获得从物体到目标的偏移值，包括物体与目标之间x,y和Rz三个自由度的偏移值及高度差d；

基于获得的从物体到目标的偏移值，通过工业机器人移动物体。

第三方面，本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的补偿高度差的机器视觉处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的补偿高度差的机器视觉处理方法。

本发明实施例提供了一种补偿高度差的机器视觉处理方法、基于多相机的机器视觉四自由度操作方法、电子设备及存储介质，本发明对机器视觉采集系统中的两个平面相机，基于两个不同已知高度及对应的标准仿射变换矩阵得到高度差修正参数，以利用高度差修正参数对对应参考平面高度的标准仿射变换矩阵进行修正，得到对应目标点高度的修正仿射变换矩阵，从而更为准确地确定目标点在机器人坐标系下的空间位置，进而精确解算从物体到目标的偏移值。本发明无需要求物体和目标位于同一高度，通过获取高度信息，能够对物体特征点和目标点之间高度差所造成的误差进行补偿，以提高工业机器人作业效率及精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种补偿高度差的机器视觉处理方法流程图；

图2是本发明一实施例中的一种多相机的机器视觉采集系统拍摄示意图；

图中：1：第一平面相机；2：第二平面相机；3：第三平面相机；4：物体；5：目标。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，工业机器人抓取物体的应用场景大多是物体和目标在同一个平面，只需要控制3个自由度(即x,y和Rz，x、y和Rz对应机器人坐标系)。一般的做法是先控制物体与目标在同一个平面(即x轴和y轴构成的平面)，采用2D相机提取物体和目标像素，再通过仿射变换矩阵(或称标定矩阵)将像素转换到机器人坐标系下的空间位置，进而确定从物体到目标的x，y和Rz偏移值。

如前所述，当工业机器人操作的物体和目标的位置存在高度差，在将视觉图像中的像素点转换为机器人坐标系下的空间位置时会存在误差，从而在控制工业机器人移动的x、y和Rz三个自由度上会存在误差。因此，通常需要先控制平面的高度一致，即令物体和目标位于相同高度，再采集视觉图像，进行图像识别并将对应像素点转换至机器人坐标系下，这增加了流程，最终影响工业机器人放置物体的效率及精度。有鉴于此，本发明提供了一种补偿高度差的机器视觉处理方法、基于多相机的机器视觉四自由度操作方法、电子设备及存储介质，能够引入高度信息，更为准确地确定目标点在机器人坐标系下的空间位置，以对物体特征点和目标点之间的高度差所造成的误差进行补偿。

下面描述以上构思的具体实现方式。

请参考图1，本发明实施例提供了一种补偿高度差的机器视觉处理方法，该方法包括：

步骤100，对机器视觉采集系统中用于采集物体和目标所在平面视觉图像的第一平面相机和第二平面相机，分别采用如下方式确定高度差修正参数：

步骤100-1，确定所拍摄的视觉图像在两个不同已知高度(可设为h₁和h₂)下的标准仿射变换矩阵；

标准仿射变换矩阵通过相机标定确定，用于将视觉图像中的像素点转换到机器人坐标系下，且机器人坐标系的旋转中心为视觉图像仿射变换后的原点；

步骤100-3，基于两个不同已知高度及对应的标准仿射变换矩阵，确定高度差修正参数；

步骤102，对所述第一平面相机和所述第二平面相机，分别采用如下方式获取视觉图像并确定视觉图像中的物体特征点和目标点在机器人坐标系中的空间位置：

步骤102-1，以物体特征点所在高度为参考平面高度，获取含有物体特征点和目标点的视觉图像及目标点相对于参考平面高度的高度差，并确定对应参考平面高度的标准仿射变换矩阵；

步骤102-3，基于高度差修正参数及目标点相对于参考平面高度的高度差，对对应参考平面高度的标准仿射变换矩阵进行修正，得到对应目标点高度的修正仿射变换矩阵；

步骤102-5，基于含有物体特征点和目标点的视觉图像及对应参考平面高度的标准仿射变换矩阵，得到物体特征点在机器人坐标系下的坐标，即确定物体特征点在机器人坐标系下的空间位置；

步骤102-7，基于含有物体特征点和目标点的视觉图像及对应目标点高度的修正仿射变换矩阵，得到目标点在机器人坐标系下的坐标，即确定目标点在机器人坐标系下的空间位置；

步骤104，基于所述第一平面相机和所述第二平面相机所对应的物体特征点和目标点在机器人坐标系中的空间位置，确定从物体到目标的偏移值(或称偏移量)。

本发明上述实施例对机器视觉采集系统中用于采集物体和目标信息的第一平面相机和第二平面相机分别计算高度差修正参数，获得利用高度差修正参数进行高度差补偿后的目标点空间位置，进而解算出更为准确的偏移值，以“指导”工业机器人夹持物体向目标移动。本发明无需要求物体和目标位于同一高度，通过获取高度信息，即能够对物体特征点和目标点之间的高度差造成的误差进行补偿，可提高工业机器人作业效率及精度。

下面描述图1所示的各个步骤的执行方式。

可选地，步骤100-1中，标准仿射变换矩阵通过相机标定确定，所述相机标定包括：

在固定高度(如h₁)下，通过9点标定法进行仿射变换标定，即令机器人走9个位置再进行求解，得到仿射变换矩阵，表达式为：

其中，

至

(即

和

)为仿射变换矩阵的元素，仿射变换矩阵的尺寸为2×3；

通过对机器人绕固定轴(即机器人坐标系的z轴)旋转至少3次，获取至少3个像素点；

利用仿射变换矩阵，将获取的至少3个像素点转换到机器人坐标系下，并通过圆拟合法确定圆心坐标(x_c，y_c)；

基于确定的圆心坐标，对仿射变换矩阵进行平移，将仿射变换后的原点移动至圆心的位置，获得标准仿射变换矩阵，表达式为：

其中，

至

(即

和

)表示标准仿射变换矩阵A′₁中的元素，标准仿射变换矩阵A′₁的尺寸为2×3。

上述实施例通过仿射变换标定及旋转中心标定得到标准仿射变换矩阵，对其他高度下的标准仿射变换矩阵，可采用同样的方式进行相机标定。9点标定法和圆拟合法的具体步骤可参考现有技术，在此不再进一步赘述。

可选地，步骤100-3进一步包括：

设两个不同已知高度分别为h₁和h₂，对应的标准仿射变换矩阵分别为A′₁和A′₂，表达式为：

其中，

至

为对应高度h₁的标准仿射变换矩阵A′₁中的元素，

至

为对应高度h₂的标准仿射变换矩阵A′₂中的元素，A′₁和A′₂的尺寸均为2×3，通过相机标定确定；

计算高度差修正参数d₀、x₀和y₀，表达式为：

其中，k表示放缩率，*表示乘法计算，d₀表示参考平面到相机中心的高度，x₀表示不动点的x坐标，y₀表示不动点的y坐标，d₀、x₀和y₀均属于高度差修正参数。

可选地，步骤102-3中，得到对应目标点高度的修正仿射变换矩阵A_t，表达式为：

其中，

至

为对应目标点高度的修正仿射变换矩阵A_t中的元素，h′₁₁至h′₂₃为对应参考平面高度的标准仿射变换矩阵A_s中的元素，

A_s和A_t的尺寸为2×3，k′表示放缩率，d为目标点相对于参考平面高度的高度差。

采用上述实施例，能够确定对应目标点高度的修正仿射变换矩阵A_t，以便后续更为准确地确定目标点在机器人坐标系下的空间位置。

可选地，步骤104进一步包括：

步骤104-1，基于所述第一平面相机和所述第二平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态；

步骤104-3，基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态；

步骤104-5，基于所述物体姿态和所述目标姿态，确定从物体到目标的变换矩阵；

步骤104-7，基于所述变换矩阵，分解确定从物体到目标的偏移值。

进一步地，步骤104-1包括：

基于所述第一平面相机和所述第二平面相机所对应的物体特征点投影到机器人坐标系xoy平面下的坐标

和

计算对应物体的偏航角度θ_s，表达式为：

其中，

为第一平面相机获取的视觉图像中物体特征点

通过对应参考平面高度的标准仿射变换矩阵变换得到，

为像素点，

为第二平面相机获取的视觉图像中物体特征点

通过对应参考平面高度的标准仿射变换矩阵变换得到，

为像素点；

基于对应物体的偏航角度θ_s和第一平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态Pose_s，表达式为：

步骤104-3包括：

基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标

和

计算对应目标的偏航角度θ_t，表达式为：

其中，d为目标点相对于参考平面高度的高度差，

为第一平面相机获取的视觉图像中目标点

经过对应目标点高度的修正仿射变换矩阵变换得到，

为第二平面相机获取的视觉图像中目标点

经过对应目标点高度的修正仿射变换矩阵变换得到，

和

为像素点，可通过图像识别确定，在此不再赘述；

基于对应目标的偏航角度θ_t和和第一平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态，表达式为：

步骤104-5确定从物体到目标的变换矩阵，表达式为：

其中，H为变换矩阵，

为物体姿态Pose_s的逆矩阵。

采用上述实施例，可以利用进行高度补偿后的空间位置确定变换矩阵，通过将所述变换矩阵分解，即可获得对应的x、y和Rz的偏移值。

在一些可选的实施例中，该补偿高度差的机器视觉处理方法通过第三平面相机确定机器视觉采集系统中第一平面相机和第二平面相机的高度及目标点相对于参考平面高度的高度差。

上述实施例利用了第三平面相机引入高度信息，如图2所示(为便于显示，图2中隐去了机器人本身的结构，只示意性地显示了第一平面相机1、第二平面相机2、第三平面相机3、物体4和目标5的相对关系)，第三平面相机3和第一平面相机1、第二平面相机2均属于机器视觉采集系统，与机器人(或称机械臂)的位置相对固定，跟随机器人移动。可在第三平面相机3前方设置水平横向激光线(或其他用于定位高度的图案)以指示第三平面相机3(及机器人)当前高度，水平横向激光线可显示在第三平面相机3前方一定距离处的接收板上，接收板及水平横向激光线相对于地面的位置固定，目标5相对于地面的位置也是固定的，通过第三平面相机3拍摄并识别接收板上的激光线图像点，再根据仿射变换为高度值，即可确定第三平面相机3(及机器人)相对于地面的高度。根据相机小孔成像的原理，接收板与第三平面相机之间的位置不变，因此，第三平面相机所拍摄的视觉图像中像素点到接收板坐标系的变换关系为仿射变换，表达式为：

其中，u和v表示第三平面相机拍摄的视觉图像中的激光线像素点横纵坐标，x表示激光线像素点在接收板上的位置，y代表激光线像素点的高度，y＝h₂₁*u+h₂₂*v+h₂₃，h₁₁至h₂₃为视觉图像到接收板坐标系的仿射变换矩阵中的元素，h₂₁，h₂₂，h₂₃可通过相机标定获得。

进一步地，通过相机标定获得h₂₁，h₂₂，h₂₃，可采用如下方式：

采集第三平面相机对至少两组不同高度下激光线的视觉图像，每一组数据获得激光线上任意两个不同像素点，至少获得4个像素点和对应的高度值，有如下的关系表达式：

其中，u₁和v₁、u₂和v₂、…、u_n和v_n分别表示不同像素点的横纵坐标，y₁、y₂和y_n分别表示对应的高度值；

基于上述关系表达式，通过最小二乘问题求解，确定h₂₁，h₂₂，h₂₃。

采用上述实施例，可基于多相机机器视觉处理，实现准确获取物体与目标之间x,y和Rz的偏移值及高度差d。确定高度差d时，物体4被机器人夹持，与机器人及第三平面相机3的位置相对不变，目标5的位置相对于地面不变，通过第三平面相机3拍摄水平横向激光线，确定第三平面相机3相对于地面的高度，即可通过差值确定物体4与目标5之间的高度差。

本发明还提供了一种基于多相机的机器视觉四自由度操作方法，采用采用包括三个平面相机的机器视觉采集系统实现，包括如下步骤：

通过工业机器人夹持待操作的物体；

利用如上述实施例所述的基于多相机的机器视觉处理方法，获得从物体到目标的偏移值，包括物体与目标之间x,y和Rz三个自由度的偏移值及高度差d；

基于获得的从物体到目标的偏移值，通过工业机器人移动物体。

采用上述实施例，可增加对于工业机器人操作物体的高度控制，实现机器视觉四自由度操作，同时消除高度差给计算x、y和Rz三个自由度上偏移量造成的误差。

本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种补偿高度差的机器视觉处理方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种补偿高度差的机器视觉处理方法。

具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种补偿高度差的机器视觉处理方法，其特征在于，包括：

对机器视觉采集系统中用于采集物体和目标所在平面视觉图像的第一平面相机和第二平面相机，分别采用如下方式确定高度差修正参数：

确定所拍摄的视觉图像在两个不同已知高度下的标准仿射变换矩阵；标准仿射变换矩阵通过相机标定确定，用于将视觉图像中的像素点转换到机器人坐标系下，且机器人坐标系的旋转中心为视觉图像仿射变换后的原点；

基于两个不同已知高度及对应的标准仿射变换矩阵，确定高度差修正参数；

对所述第一平面相机和所述第二平面相机，分别采用如下方式获取视觉图像并确定视觉图像中的物体特征点和目标点在机器人坐标系中的空间位置：

以物体特征点所在高度为参考平面高度，获取含有物体特征点和目标点的视觉图像及目标点相对于参考平面高度的高度差，并确定对应参考平面高度的标准仿射变换矩阵；

基于高度差修正参数及目标点相对于参考平面高度的高度差，对对应参考平面高度的标准仿射变换矩阵进行修正，得到对应目标点高度的修正仿射变换矩阵；

基于含有物体特征点和目标点的视觉图像及对应参考平面高度的标准仿射变换矩阵，得到物体特征点在机器人坐标系下的坐标；

基于含有物体特征点和目标点的视觉图像及对应目标点高度的修正仿射变换矩阵，得到目标点在机器人坐标系下的坐标；

基于所述第一平面相机和所述第二平面相机所对应的物体特征点和目标点在机器人坐标系中的空间位置，确定从物体到目标的偏移值。

2.根据权利要求1所述的方法，其特征在于，

所述基于两个不同已知高度及对应的标准仿射变换矩阵，确定高度差修正参数，包括：

设两个不同已知高度分别为h₁和h₂，对应的标准仿射变换矩阵分别为A′₁和A′₂，表达式为：

其中，

至

为对应高度h₁的标准仿射变换矩阵A′₁中的元素，

至

为对应高度h₂的标准仿射变换矩阵A′₂中的元素；

计算高度差修正参数d₀、x₀和y₀，表达式为：

其中，k表示放缩率。

3.根据权利要求2所述的方法，其特征在于，

所述得到对应目标点高度的修正仿射变换矩阵，表达式为：

其中，

至

为对应目标点高度的修正仿射变换矩阵A_t中的元素，h′₁₁至h′₂₃为对应参考平面高度的标准仿射变换矩阵A_s中的元素，

k’表示放缩率，d为目标点相对于参考平面高度的高度差。

4.根据权利要求1所述的方法，其特征在于，

所述基于所述第一平面相机和所述第二平面相机所对应的物体特征点和目标点在机器人坐标系中的空间位置，确定从物体到目标的偏移值，包括：

基于所述第一平面相机和所述第二平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态；

基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态；

基于所述物体姿态和所述目标姿态，确定从物体到目标的变换矩阵；

基于所述变换矩阵，分解确定从物体到目标的偏移值。

5.根据权利要求4所述的方法，其特征在于，

所述基于所述第一平面相机和所述第二平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态，包括：

基于所述第一平面相机和所述第二平面相机所对应的物体特征点投影到机器人坐标系xoy平面下的坐标

和

计算对应物体的偏航角度θ_s，表达式为：

基于对应物体的偏航角度θ_s和第一平面相机所对应的物体特征点在机器人坐标系下的坐标，确定物体姿态，表达式为：

所述基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态，包括：

基于所述第一平面相机和所述第二平面相机所对应的目标点在机器人坐标系下的坐标

和

计算对应目标的偏航角度θ_t，表达式为：

其中，d为目标点相对于参考平面高度的高度差；

基于对应目标的偏航角度θ_t和和第一平面相机所对应的目标点在机器人坐标系下的坐标，确定目标姿态，表达式为：

所述基于所述物体姿态和所述目标姿态，确定从物体到目标的变换矩阵，表达式为：

其中，H为变换矩阵，

为物体姿态Pose_s的逆矩阵。

6.根据权利要求1所述的方法，其特征在于，

所述相机标定包括：

在固定高度下，通过9点标定法进行仿射变换标定，得到仿射变换矩阵；

通过对机器人绕固定轴旋转至少3次，获取至少3个像素点；

利用仿射变换矩阵，将获取的至少3个像素点转换到机器人坐标系下，并通过圆拟合法确定圆心坐标；

基于确定的圆心坐标，对仿射变换矩阵进行平移，将仿射变换后的原点移动至圆心的位置，获得标准仿射变换矩阵。

7.根据权利要求1所述的方法，其特征在于，

通过第三平面相机确定机器视觉采集系统中第一平面相机和第二平面相机的高度及目标点相对于参考平面高度的高度差。

8.一种基于多相机的机器视觉四自由度操作方法，其特征在于，采用包括三个平面相机的机器视觉采集系统实现，包括如下步骤：

通过工业机器人夹持待操作的物体；

利用如权利要求7所述的补偿高度差的机器视觉处理方法获得从物体到目标的偏移值，包括物体与目标之间x,y和Rz三个自由度的偏移值及高度差d；

基于获得的从物体到目标的偏移值，通过工业机器人移动物体。

9.一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。

Images