CN116051658B - 基于双目视觉进行目标检测的相机手眼标定方法及装置 - Google Patents

Abstract

本发明涉及机器视觉手眼标定技术领域，特别是指一种基于双目视觉进行目标检测的相机手眼标定方法及装置，一种基于双目视觉进行目标检测的相机手眼标定方法包括：根据左眼相机数据和右眼相机数据进行立体匹配操作，获得深度图；根据左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系目标二维坐标；根据深度图和相机坐标系目标二维坐标，获得相机坐标系目标三维坐标；基于相机坐标系的目标三维坐标和执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；根据平移旋转变换矩阵，基于双目相机和执行器进行标定。本发明是一种三维空间中针对于目标检测的高效、精准的手眼标定方法。

Description

基于双目视觉进行目标检测的相机手眼标定方法及装置

技术领域

本发明涉及机器视觉手眼标定技术领域，特别是指一种基于双目视觉进行目标检测的相机手眼标定方法及装置。

背景技术

在当今工业4.0时代的背景下，工业制造业生产的无人化、自动化、智能化成为新的需求，无人化生产线逐渐成为主流。而在无人化分拣的场景中，由相机作为信息采集装置和机械手等作为执行装置的机器视觉分拣系统得到了广泛应用，也一直是如制造、服务、医疗、农业等行业的热点研究和应用对象。一般来说，基于机器视觉的分选系统包括传送模块、视觉模块和分选模块，其中传送模块作为流水线中的输送装置，在整个生产过程中不间断运行；视觉模块一般由相机作为采集设备，PC作为分析处理视觉信息的处理设备，其中部署了各种机器视觉的目标检测算法；分选模块由各种机械手、机械臂或触发装置组成，完成具体的分拣或分选动作。

现有的基于机器视觉方案中，单目工业相机具有分辨率高、物距高等特点，但是由于单目相机成像原理的局限性，单目工业相机无法获取场景的深度信息，也即单目相机组成的视觉系统中的目标检测算法只能完成对目标物体在二维平面上的定位。对于分拣对象为同种物体的分拣系统，机械手完成每次分拣动作所需下放的高度相同，不需要关注物体在场景中的深度信息，单目视觉系统尚能满足要求；而对于分拣对象为多种不同形状大小的物体的分拣系统，如果依然在每次分拣时只有二维位置信息，将执行器末端下放至相同高度，则可能因为下放高度过高而导致分拣失败或由于下放高度过低损坏目标物体。

在现有技术中，缺乏一种基于三维空间针对于目标检测的高效、精准的手眼标定方法。

发明内容

本发明实施例提供了一种基于双目视觉进行目标检测的相机手眼标定方法及装置。所述技术方案如下：

一方面，提供了一种基于双目视觉进行目标检测的相机手眼标定方法，该方法由电子设备实现，该方法包括：

采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标；

根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图；

根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标；

根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标；

基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；

根据所述平移旋转变换矩阵，基于双目相机和执行器进行标定。

可选地，所述根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图，包括：

根据所述左眼相机数据和所述右眼相机数据进行左右眼极线矫正、镜头成像畸变矫正和左右眼视图匹配，获得视差图；

对所述视差图进行视差优化操作，获得优化视差图；根据所述优化视差图进行计算，得到深度图。

可选地，所述根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标，包括：

根据所述左眼相机数据通过改进YOLOv5目标检测算法，获得目标二维边界框位置；

将所述目标二维边界框位置通过相机像素坐标表示，获得目标边界坐标；

根据所述目标边界坐标基于相机内参矩阵进行转换，获得相机坐标系的目标二维坐标。

其中，所述改进YOLOv5目标检测算法是基于空洞卷积和注意力机制的YOLOv5的改进算法。

可选地，所述根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标，包括：

根据所述深度图和所述相机坐标系的目标二维坐标，获得目标深度值；

根据所述相机坐标系的目标二维坐标和所述目标深度值，获得相机坐标系的目标三维坐标。

可选地，所述基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵，包括：

根据所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行采集，获得对应点坐标；

根据所述对应点坐标通过SVD算法进行计算，获得平移旋转变换矩阵。

另一方面，提供了一种基于双目视觉进行目标检测的相机手眼标定装置，该装置应用于一种基于双目视觉进行目标检测的相机手眼标定方法，该装置包括：

数据采集模块，用于采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标；

深度图获取模块，用于根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图；

二维坐标获取模块，用于根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标；

三维坐标获取模块，用于根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标；

变换矩阵计算模块，用于基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；

设备标定模块，用于根据所述平移旋转变换矩阵，基于双目相机和执行器进行标定。

可选地，所述深度图获取模块，进一步用于：

根据所述左眼相机数据和所述右眼相机数据进行左右眼极线矫正、镜头成像畸变矫正和左右眼视图匹配，获得视差图；

对所述视差图进行视差优化操作，获得优化视差图；根据所述优化视差图进行计算，得到深度图。

可选地，所述二维坐标获取模块，进一步用于：

根据所述左眼相机数据通过改进YOLOv5目标检测算法，获得目标二维边界框位置；

将所述目标二维边界框位置通过相机像素坐标表示，获得目标边界坐标；

根据所述目标边界坐标基于相机内参矩阵进行转换，获得相机坐标系的目标二维坐标。

其中，所述改进YOLOv5目标检测算法是基于空洞卷积和注意力机制的YOLOv5的改进算法。

可选地，所述三维坐标获取模块，进一步用于：

根据所述深度图和所述相机坐标系的目标二维坐标，获得目标深度值；

根据所述相机坐标系的目标二维坐标和所述目标深度值，获得相机坐标系的目标三维坐标。

可选地，所述变换矩阵计算模块，进一步用于：

根据所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行采集，获得对应点坐标；

根据所述对应点坐标通过SVD算法进行计算，获得平移旋转变换矩阵。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于双目视觉进行目标检测的相机手眼标定方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于双目视觉进行目标检测的相机手眼标定方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明提出一种基于双目视觉进行目标检测的相机手眼标定方法，将双目立体视觉与二维目标检测算法结合，实现三维目标检测与定位；根据相机三维目标坐标和执行器三维目标坐标，计算得到平移变换矩阵。本发明是一种三维空间中针对于目标检测的高效、精准的手眼标定方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于双目视觉进行目标检测的相机手眼标定方法流程图；

图2是本发明实施例提供的一种基于双目视觉进行目标检测的相机手眼标定装置框图；

图3是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于双目视觉进行目标检测的相机手眼标定方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种基于双目视觉进行目标检测的相机手眼标定方法流程图，该方法的处理流程可以包括如下的步骤：

S1、采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标。

一种可行的实施方式中，将能够被视觉检测算法识别的目标物体放置在执行器工作区域内，保证该位置对执行器末端可达且处于视觉系统检测范围内。并记录下此时目标物体在执行器坐标系下的目标坐标。

根据双目相机的左眼相机和右眼相机对目标物品进行拍摄，则获得基于目标物体的左眼相机数据和右眼相机数据。

为了方便记录物体的位置，可以先将执行器末端移动到指定坐标位置，再将物体放置在该位置，或直接使用执行器末端将物体放在指定位置。

S2、根据左眼相机数据和右眼相机数据进行立体匹配操作，获得深度图。

可选地，根据左眼相机数据和右眼相机数据进行立体匹配操作，获得深度图，包括：

根据左眼相机数据和右眼相机数据进行左右眼极线矫正、镜头成像畸变矫正和左右眼视图匹配，获得视差图；

对视差图进行视差优化操作，获得优化视差图；根据优化视差图进行计算，得到深度图。

一种可行的实施方式中，根据左右眼相机数据进行双目视觉匹配，用以计算和获取场景中各个点的视差，视差将被用于计算深度信息。

双目视觉系统的视差指的是同一物点在左右双目成像中的位置之差，视差的存在是双目系统产生立体视觉的原因，从双目相机的左右眼图像中计算场景视差图的方法称为双目立体匹配算法。本发明根据实际应用需求，以实时性强、精度相对较高的半全局立体匹配算法（Semi-Global Matching，SGM）。

SGM算法是一种基于动态规划的立体匹配算法，其目的是在代价空间中为每一个像素点搜索到最合适的（也即能够最小化能量函数的）视差值。

在极线约束的前提下，对于图像中某像素点的代价计算在以该像素点为中心，在极线上滑动的滑动窗口中进行。若以

和/>

分别表示左右相机成像在(x,y)处的像素值，以D表示视差的搜索范围，则像素(x,y)在视差D时的代价/>

定义为在滑动窗口范围内的左右图像中像素点Census变换。

Census变换是指在以(x,y)为中心的滑动窗口中，根据像素值大小对每一个元素进行变换，并将结果输出为形状与滑动窗口相同的矩阵，再将矩阵拉伸为一维向量。

使用直接对单个像素点进行代价计算的结果计算视差图，得到的图像带有大量噪声，所以需要对代价函数进行优化。

SGM使用动态规划的思想，除了计算视差代价外，还添加了额外的约束，通过惩罚相邻视差的变化来增加视差图的平滑性。SGM算法新的代价写为全局能量的函数表达式如下式（1）所示：

(1)

其中，表达式的第一项代表代表在视差为D时整幅图像中所有像素点的代价之和；第二项和第三项分别代表了对于某点p来说，其滑动窗口邻域内所有像素点的视差值变化为1个像素或1个像素值以上的惩罚项。

上述动态规划问题在二维上的求解是一个无法求解的NP完全问题，所以实际使用时，用在二维空间中的若干条一维路径来近似求解二维的情况。实际应用时，每条路径的聚合代价函数表达式如下式（2）所示：

(2)

其中，r代表某一条一维路径；

代表这条路径上视差d时p点处的代价；

代表每一点的代价之和；表达式中min的第一项代表路径中p点的上一个像素点的代价值，后三项代表对于这条路径上该点处的视差值不连续性的惩罚；最后一项减去这条路径上至上一个像素点为止的最低代价是为了防止随路径的长度增加而产生一个非常大的代价值。

代价聚合中所采用的路径数量可以是4、5、8、16个等，最终聚合的总代价是所有路径代价之和S(p,d)。

SGM的视差图计算采用的是胜者通吃机制（Winner Takes All，WTA），也即代价聚合所计算的所有视差值d所对应的路径聚合代价S(p,d)中，选择使S最小的视差值d作为点p处的视差值。

在计算得到场景视差图后，为了提高精度、剔除错误、填补空洞和对弱纹理区进行优化等，还需要对视差图进行一系列后处理操作，比如亚像素插值，一致性检查，添加唯一性约束，剔除小连通区，中值滤波等。经过视差优化后，就得到了SGM算法最终输出的场景视差图。

深度图计算模块根据双目立体匹配得到的视差图计算得到场景的深度图，此处取左眼视图的深度图，深度图是一幅二维图像，图像的每个像素点中存储了实际场景中该点的深度信息。

S3、根据左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标。

可选地，根据左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标，包括：

根据左眼相机数据通过改进YOLOv5目标检测算法，获得目标二维边界框位置；

将目标二维边界框位置通过相机像素坐标表示，获得目标边界坐标；

根据目标边界坐标基于相机内参矩阵进行转换，获得相机坐标系的目标二维坐标。

一种可行的实施方式中，目标检测模块采用改进的YOLOv5目标检测算法。对于目标检测算法来说，需要用二维图像或视频流数据作为其输入，双目相机的左眼相机和右眼相机都可以分别产生视频流数据，左右眼视频流在作为目标检测算法输入时是等价的，所以使用左右眼中任意一支视频流数据作为输入用以进行二维图像的目标检测，由于大部分双目相机的相机坐标系定义原点在相机的左眼上，故示意图中以左眼相机视频流作为目标检测的输入数据，下文描述中也是如此。

其中，改进YOLOv5目标检测算法是基于空洞卷积和注意力机制的YOLOv5的改进算法。

一种可行的实施方式中，本发明中改进的YOLOv5算法是基于空洞卷和注意力机制的YOLOv5目标检测算法，算法在原有的一种用于二维图像目标检测的深度学习算法第5版本（You Only Look Once，YOLOv5）网络结构中对骨干网络部分进行了修改。

主要包括两点，首先，将原有骨干网络中的卷积层中的卷积运算替换为空洞卷积，在保持网络的运算量和特征图大小不变的情况下增加了特征图的感受野，更利于网络对不同尺度目标的检测性能；其次在骨干网络的末尾增加了注意力模块，通过学习的方式来自动获取骨干网络输出的每个通道的特征图的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，增加了骨干网络的特征提取能力，进一步提升网络的检测性能。

改进的YOLOv5目标检测算法对特增图中的目标进行评估，获得目标特征重要程度；根据特征图中目标特征的重要程度，对当前任务中的目标特征进行筛选优化。

S4、根据深度图和相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标。

可选地，根据深度图和相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标，包括：

根据深度图和相机坐标系的目标二维坐标，获得目标深度值；

根据相机坐标系的目标二维坐标和目标深度值，获得相机坐标系的目标三维坐标。

一种可行的实施方式中，目标检测模块根据左眼视频流输入，得到目标在左眼图像中的边界框位置，由该边界框的位置可以计算得到待检测目标的中心点像素位置，将中心点像素位置输入深度图中，得到该点的深度信息。

通过相机的内参矩阵可以将目标的像素坐标转化为左眼相机坐标系下的相机坐标，结合深度信息，可以计算得到目标在左眼相机坐标系下的三维坐标位置。

一般情况下，带有视觉相机定位的机器人系统或抓取系统中，相机坐标系和执行器坐标系并不一致，相机坐标系下的三维坐标需要经过相机手眼标定后才能被转化为执行器工作坐标系下的三维坐标，进而能被执行器使用。

S5、基于相机坐标系的目标三维坐标和执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵。

可选地，基于相机坐标系的目标三维坐标和执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵，包括：

根据相机坐标系的目标三维坐标和执行器坐标系的目标三维坐标进行采集，获得对应点坐标；

根据对应点坐标通过SVD算法进行计算，获得平移旋转变换矩阵。

一种可行的实施方式中，基于SVD的相机手眼标定方法的核心是SVD算法。该方法原本用于计算两个点集之间的转换矩阵，其之所以能够用于计算坐标转换矩阵的原理是，空间中两个点集之间的转换矩阵，同时也是两个点集中对应点组成的向量组之间的转换矩阵，当一组向量构成了线性空间中的一组基时，这两组向量之间的转换矩阵也是这两个向量组所对应的线性空间之间的转换矩阵。

记录下在视觉端中输出的物体的三维坐标位置

，则/>

和

可以作为SVD相机手眼标定计算所需的点集数据的一对点加入数据集中。此处应注意，当相机坐标系与执行器坐标系之间存在尺度变换关系时，应当对/>

或/>

之一做相应的尺度变换，使二者处于相同尺度下之后再加入数据集。重复上述步骤，直到采集的两个点集中点对的数量足以使SVD计算出两个坐标系之间的转换矩阵为止，对点集P和Q，p_i为点集P中的点，q_i为点集Q中的点。

采集过程中应注意，所采集的数据点中，应至少包含三个点，分别为实际位置处于执行器坐标系的原点以及其XOY平面内不共线的两点。采集两个点集的坐标数据，每个点集中应至少包含三个点：原点、x轴上一点和y轴上一点。

两个点集的加权质心的计算公式如下式（3）所示：

（3）

根据加权质心，对两个点集中的各个点计算中心化向量计算公式如下式（4）所示：

（4）

的协方差矩阵计算公式如下式（5）所示：

（5）

其中，

表示数据维度，在计算三维空间中的转换时，/>

，/>

是/>

的矩阵，/>

是他们的列向量，/>

是权重矩阵，/>

，在权重都取1时，/>

为单位向量。

对协方差矩阵进行奇异值分解，然后得到旋转矩阵

计算公式如下式（6）、（7）所示：

（6）

（7）

根据上述步骤计算结果，计算最优平移矩阵

，计算公式如下式（8）所示：

（8）

至此，

就是我们要求的最优旋转，平移变换矩阵。在相机输出的目标三维位置为/>

时，使用/>

将其转化为执行器工作坐标/>

。

S6、根据平移旋转变换矩阵，基于双目相机和执行器进行标定。

一种可行的实施方式中，该方法不止能应用于多轴旋转自由度机器人中，还能够被应用于各种X、Y、Z三平移自由度的执行机构中。这一类执行机构中，执行器具有三维空间中的三轴平移自由度，执行器末端固定夹具或吸盘，由三轴平移将末端送至指定位置，末端负责实现拾取功能，其工作范围覆盖场景中的一块立方体空间，工作系原点一般定义在立方体的某一角，三个坐标轴方向分别与立方体的长宽高方向平行。

在该类型执行机构中应用SVD手眼标定方法，不需要经过机器人正逆运动学求解，直接对相机坐标系与执行器工作坐标系下的对应点集坐标进行求解运算就可以得到相机坐标系到执行器工作坐标系的变换矩阵。然而目前的SVD手眼标定方法实现方案中，缺少在这种类型的执行器下的实现案例。

本发明应用在分选场景的执行器是一部由x,y,z三轴平移自由度滑台模拟的天车，滑台和双目立体相机固定在框架中，框架下方有传送带运输物料，以模拟真实的物料分选场景。物料经由传送带运送到滑台工作区域，由双目相机完成对目标物料的三维定位，滑台根据视觉系统输出的位置进行物料的分拣。本分选场景中，要完成对于各种物料的定位和分拣，核心步骤就是基于双目立体视觉的三维目标检测和定位方法。

使用基于SVD的方法进行相机手眼标定中坐标系转换矩阵的计算，实施简单且计算精度高，采集的点对数量越多，计算得到的转换精度越高，只需要采集5-10组对应的点对坐标，就能够达到毫米级的转换精度，能够满足绝大部分应用场景的精度需求。

本发明提出一种基于双目视觉进行目标检测的相机手眼标定方法，将双目立体视觉与二维目标检测算法结合，实现三维目标检测与定位；根据相机三维目标坐标和执行器三维目标坐标，计算得到平移变换矩阵。本发明是一种三维空间中针对于目标检测的高效、精准的手眼标定方法。

图2是根据一示例性实施例示出的一种基于双目视觉进行目标检测的相机手眼标定装置框图。参照图2，该装置包括：

数据采集模块210，用于采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标；

深度图获取模块220，用于根据左眼相机数据和右眼相机数据进行立体匹配操作，获得深度图；

二维坐标获取模块230，用于根据左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标；

三维坐标获取模块240，用于根据深度图和相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标；

变换矩阵计算模块250，用于基于相机坐标系的目标三维坐标和执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；

设备标定模块260，用于根据平移旋转变换矩阵，基于双目相机和执行器进行标定。

可选地，深度图获取模块220，进一步用于：

根据左眼相机数据和右眼相机数据进行左右眼极线矫正、镜头成像畸变矫正和左右眼视图匹配，获得视差图；

对视差图进行视差优化操作，获得优化视差图；根据优化视差图进行计算，得到深度图。

可选地，二维坐标获取模块230，进一步用于：

根据左眼相机数据通过改进YOLOv5目标检测算法，获得目标二维边界框位置；

将目标二维边界框位置通过相机像素坐标表示，获得目标边界坐标；

根据目标边界坐标基于相机内参矩阵进行转换，获得相机坐标系的目标二维坐标。

其中，改进YOLOv5目标检测算法是基于空洞卷积和注意力机制的YOLOv5的改进算法。

可选地，三维坐标获取模块240，进一步用于：

根据深度图和相机坐标系的目标二维坐标，获得目标深度值；

根据相机坐标系的目标二维坐标和目标深度值，获得相机坐标系的目标三维坐标。

可选地，变换矩阵计算模块250，进一步用于：

根据相机坐标系的目标三维坐标和执行器坐标系的目标三维坐标进行采集，获得对应点坐标；

根据对应点坐标通过SVD算法进行计算，获得平移旋转变换矩阵。

本发明提出一种基于双目视觉进行目标检测的相机手眼标定方法，将双目立体视觉与二维目标检测算法结合，实现三维目标检测与定位；根据相机三维目标坐标和执行器三维目标坐标，计算得到平移变换矩阵。本发明是一种三维空间中针对于目标检测的高效、精准的手眼标定方法。

图3是本发明实施例提供的一种电子设备300的结构示意图，该电子设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）301和一个或一个以上的存储器302，其中，所述存储器302中存储有至少一条指令，所述至少一条指令由所述处理器301加载并执行以实现上述一种基于双目视觉进行目标检测的相机手眼标定方法的步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述一种基于双目视觉进行目标检测的相机手眼标定方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述方法包括：

采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标；

根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图；

根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标；

其中，所述根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标，包括：

根据所述左眼相机数据通过改进YOLOv5目标检测算法，获得目标二维边界框位置；

将所述目标二维边界框位置通过相机像素坐标表示，获得目标边界坐标；

根据所述目标边界坐标基于相机内参矩阵进行转换，获得相机坐标系的目标二维坐标；

其中，所述改进YOLOv5目标检测算法是基于空洞卷积和注意力机制的YOLOv5的改进算法；

其中，所述改进YOLOv5目标检测算法在原有YOLOv5目标检测算法的网络结构中对骨干网络部分进行修改，

修改包括两点，首先，将原有YOLOv5目标检测算法骨干网络中的卷积层中的卷积运算，替换为空洞卷积，在保持网络的运算量和特征图大小不变的情况下增加了特征图的感受野；利于网络对不同尺度目标的检测性能；

其次，在原有YOLOv5目标检测算法骨干网络的末尾增加注意力模块；通过学习的方式来自动获取骨干网络输出的每个通道的特征图重要程度；然后依照特征图重要程度提升有用的特征，并抑制对当前任务用处不大的特征；增加骨干网络的特征提取能力，进一步提升网络的检测性能；

所述改进YOLOv5目标检测算法用于对特征图中的目标进行评估，获得目标特征重要程度；根据所述目标特征重要程度，对当前任务中的目标特征进行筛选优化；

根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标；

基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；

根据所述平移旋转变换矩阵，基于双目相机和执行器进行标定；

所述方法还包括：该方法不止能应用于多轴旋转自由度机器人中，还能够被应用于各种X、Y、Z三平移自由度的执行机构中。

2.根据权利要求1所述的一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图，包括：

根据所述左眼相机数据和所述右眼相机数据进行左右眼极线矫正、镜头成像畸变矫正和左右眼视图匹配，获得视差图；

对所述视差图进行视差优化操作，获得优化视差图；根据所述优化视差图进行计算，得到深度图。

3.根据权利要求1所述的一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标，包括：

根据所述深度图和所述相机坐标系的目标二维坐标，获得目标深度值；

根据所述相机坐标系的目标二维坐标和所述目标深度值，获得相机坐标系的目标三维坐标。

4.根据权利要求1所述的一种基于双目视觉进行目标检测的相机手眼标定方法，其特征在于，所述基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵，包括：

根据所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行采集，获得对应点坐标；

根据所述对应点坐标通过SVD算法进行计算，获得平移旋转变换矩阵。

5.一种基于双目视觉进行目标检测的相机手眼标定装置，其特征在于，所述装置包括：

数据采集模块，用于采用双目相机采集目标数据，获得左眼相机数据和右眼相机数据；采用执行器采集目标数据，获得执行器坐标系的目标三维坐标；

深度图获取模块，用于根据所述左眼相机数据和所述右眼相机数据进行立体匹配操作，获得深度图；

二维坐标获取模块，用于根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标；

其中，所述根据所述左眼相机数据和改进YOLOv5目标检测算法，获得相机坐标系的目标二维坐标，包括：

根据所述左眼相机数据通过改进YOLOv5目标检测算法，获得目标二维边界框位置；

将所述目标二维边界框位置通过相机像素坐标表示，获得目标边界坐标；

根据所述目标边界坐标基于相机内参矩阵进行转换，获得相机坐标系的目标二维坐标；

其中，所述改进YOLOv5目标检测算法是基于空洞卷积和注意力机制的YOLOv5的改进算法；

其中，所述改进YOLOv5目标检测算法在原有YOLOv5目标检测算法的网络结构中对骨干网络部分进行修改，

修改包括两点，首先，将原有YOLOv5目标检测算法骨干网络中的卷积层中的卷积运算，替换为空洞卷积，在保持网络的运算量和特征图大小不变的情况下增加了特征图的感受野；利于网络对不同尺度目标的检测性能；

其次，在原有YOLOv5目标检测算法骨干网络的末尾增加注意力模块；通过学习的方式来自动获取骨干网络输出的每个通道的特征图重要程度；然后依照特征图重要程度提升有用的特征，并抑制对当前任务用处不大的特征；增加骨干网络的特征提取能力，进一步提升网络的检测性能；

所述改进YOLOv5目标检测算法用于对特征图中的目标进行评估，获得目标特征重要程度；根据所述目标特征重要程度，对当前任务中的目标特征进行筛选优化；

三维坐标获取模块，用于根据所述深度图和所述相机坐标系的目标二维坐标，获得相机坐标系的目标三维坐标；

变换矩阵计算模块，用于基于所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行计算，得到平移旋转变换矩阵；

设备标定模块，用于根据所述平移旋转变换矩阵，基于双目相机和执行器进行标定；

所述装置还用于：所述装置不止能应用于多轴旋转自由度机器人中，还能够被应用于各种X、Y、Z三平移自由度的执行机构中。

6.根据权利要求5所述的一种基于双目视觉进行目标检测的相机手眼标定装置，其特征在于，所述三维坐标获取模块，进一步用于：

根据所述深度图和所述相机坐标系的目标二维坐标，获得目标深度值；

根据所述相机坐标系的目标二维坐标和所述目标深度值，获得相机坐标系的目标三维坐标。

7.根据权利要求5所述的一种基于双目视觉进行目标检测的相机手眼标定装置，其特征在于，所述变换矩阵计算模块，进一步用于：

根据所述相机坐标系的目标三维坐标和所述执行器坐标系的目标三维坐标进行采集，获得对应点坐标；

根据所述对应点坐标通过SVD算法进行计算，获得平移旋转变换矩阵。

Images