CN115830018A - 基于深度学习与双目视觉的碳素块检测方法及系统 - Google Patents

Abstract

本发明公开了基于深度学习与双目视觉的碳素块检测方法及系统，属于机器视觉、自动化碳素块清理技术领域，包括以下步骤：通过双目视觉相机标定与手眼标定进行坐标系转换；通过双目立体匹配算法获取视差图，利用视差图匹配碳素块定位坐标进行碳素块位置的初始化；对滚筒带上的碳素块进行运动目标检测并控制双目视觉相机拍照；利用深度学习算法识别碳素块的种类、定位其坐标并获取平面旋转角度，并计算坐标偏移量和平面旋转角度偏移量；将碳素块种类、坐标偏移量和平面旋转角度偏移量传输给机器人，识别与定位过程结束。本发明相对于传统算法的图像检测，提高了检测速度和鲁棒性。

Description

基于深度学习与双目视觉的碳素块检测方法及系统

技术领域

本发明属于机器视觉、自动化碳素块清理技术领域，具体涉及基于深度学习与双目视觉的碳素块检测方法及系统。

背景技术

碳素块是电解铝用阳极的主要材料，碳素块质量的好坏直接影响铝电解生产工艺技术指标。碳素块在煅烧炉烧制完成后，表面会附着粘土颗粒等杂质，严重影响碳素块质量。目前国内大部分碳素块杂质处理采用人工方式来进行清理，清理过程中产生大量灰尘和碳粉会污染环境、危害工作人员身体健康，导致工人无法长时间工作、碳素块生产效率低。随着现在工业自动化技术的发展，利用机器人代替人工清理，搭配机器视觉可以准确高效的完成碳素块杂质清理工作。

在进行自动化清理过程中，碳素块类型识别与碳素块位置精确定位是实现高质量碳素块清理的基础和关键技术之一。碳素块种类繁多，不同种类碳素块清理方式各异，通过机器视觉技术实现碳素块种类检测是完成清理的基础；同时机器视觉引导机器人清理需要对碳素块实现高精度定位，引导机械手完成碳素块的清理，保证清理质量。

现有的自动化碳素块检测方式有：线激光检测和双目视觉检测等。线激光检测精度较高，可达到毫米级精度，但存在设备昂贵、结构复杂、检测效率低、存在辐射对人体和环境有潜在危害等缺点。基于双目视觉的方法可以获取目标三维信息，成本低，易于部署和扩展，可应用在碳素块检测应用中。但目前的检测方法多为传统图像识别方法，存在特征点提取不完整、检测速度较慢的问题。尤其是在碳素块检测应用中，由于背景与目标图像的对比度较低，缺乏视觉特征图像匹配困难，导致匹配误差大，检测精度低。因此，研发一套高效、高精度的碳素块检测方法意义非凡。

发明内容

针对现有技术中存在的上述问题，本发明提出了基于深度学习与双目视觉的碳素块检测方法及系统，设计合理，解决了现有技术的不足，具有良好的效果。

本发明的技术方案提供基于深度学习与双目视觉的碳素块检测方法，包括以下步骤：

步骤1：通过双目视觉相机标定与手眼标定进行坐标系转换；

步骤2：通过双目立体匹配算法获取视差图，利用视差图匹配碳素块定位坐标进行碳素块位置的初始化；

步骤3：对滚筒带上的碳素块进行运动目标检测并控制双目视觉相机拍照；

步骤4：利用深度学习算法识别碳素块的种类、定位其坐标并获取平面旋转角度，并计算坐标偏移量和平面旋转角度偏移量；

步骤5：通过Socket将碳素块种类、坐标偏移量和平面旋转角度偏移量传输给机器人，识别与定位过程结束。

进一步地，在所述步骤1中，首先进行双目视觉相机进行标定，利用双目视觉相机同时拍摄多组标定图像，获取相机内外参数，利用相机内参数矫正图像畸变，利用相机外参数进行像素坐标系与世界坐标系转换；然后进行机器人与双目视觉相机的手眼标定，进行相机坐标系到机器人坐标系的转换关系。

进一步地，步骤1中的手眼标定具体过程为：通过机器人机械手拿取标定板，固定双目视觉相机位置不动，拍摄机械手不同位姿下的标定板，获取多组机械手位姿参数和双目视觉相机位姿参数，利用Eye-To-Hand手眼标定算法完成双目视觉相机到机器人的坐标系转换，转换公式为AX=XB，其中A表示机器人工具坐标系到机器人基础坐标系的转换矩阵，B表示为相机坐标系到标定板坐标系的转换矩阵，X表示为相机坐标系到机器人坐标系的转换矩阵。

进一步地，在所述步骤2中，包括以下子步骤：

步骤2.1：双目视觉相机拍摄碳素块的左右图像，对左右图像进行畸变矫正；

步骤2.2：将畸变矫正后的图像输入深度学习算法模型识别初始碳素块类型，并定位碳素块在图像中的位置，获取碳素块的定位点初始二维坐标和初始平面旋转角度；

步骤2.3：通过算法模型判断碳素块的类型是否识别成功，若识别失败，则对工作人员进行警告操作，工作人员结束该过程，若识别成功，则进入步骤2.4；

步骤2.4：通过双目立体匹配算法获取矫正后左右图像的视差图；

步骤2.5：视差图与碳素块的定位点初始二维坐标进行匹配并计算该点的初始三维坐标；

步骤2.6：记录识别的初始碳素块类型、定位点初始三维坐标和初始平面旋转角度，完成碳素块初始化。

进一步地，在所述步骤3中，包括以下子步骤：

步骤3.1：当碳素块经滚筒带运输到工作区域，控制双目视觉相机拍摄左右图像，对图像进行包括去噪和灰度化的预处理；

步骤3.2：通过背景差分算法进行背景与前景的分离，设置第一帧图像的灰度图作为初始化背景，与第二帧图像对应像素点的灰度值进行差分计算，获得差分图像，对该差分图像进行二值化处理后再进行形态学腐蚀操作，得到图像前景边缘轮廓；通过Gabor小波算法对图像进行边缘特征提取，在不同尺度和方向上进行多维度的滤波，得到不同的边缘特征；将图像前景边缘轮廓和Gabor小波算法提取的边缘特征图像进行图像“与”操作，利用Gabor小波算法消除背景差分算法的误匹配区域，计算图像前景边缘轮廓占整个图像的面积比例；

步骤3.3：将第二帧图像作为新的初始化背景，与第三帧图像进行差分计算，获得新的差分图像，并计算新的差分图像中图像前景边缘轮廓占整个图像的面积比例，依次类推，不断更新初始化背景并计算图像前景边缘轮廓占整个图像的面积比例；

步骤3.4：当比例超过设定阈值，则判定画面中有运动的物体；背景图与前景图趋于稳定状态，则判定画面中目标碳素块静止，控制双目视觉相机对碳素块拍照。

进一步地，所述步骤3.2中背景与前景的分离过程具体为：

设置第一帧图像的灰度图作为初始化背景，随后的每帧图像与初始化背景进行差分计算，获取差分图像；对差分图像进行大津算法二值化处理：

；

通过阈值threshold进行前后背景分割，大于阈值threshold的像素设定为maxval，小于阈值threshold的像素设定为0，图像被分成背景和前景两部分。

进一步地，在所述步骤4中，根据双目视觉相机获得的碳素块左右图像，首先利用标定后的相机内参数修正图像畸变；然后将左右图像输入至深度学习算法模型中，获取碳素块种类、定位点后续坐标和后续平面旋转角度；将识别的碳素块种类与初始碳素块种类进行比较，若种类不一致，则结束该过程，若种类一致，则利用双目立体匹配算法，获取左右图像的视差图，匹配该定位点坐标在视差图的位置，将定位点后续二维坐标转化为后续三维坐标；将后续三维坐标、后续平面旋转角度与初始三维坐标、初始平面旋转角度进行偏移量计算。

进一步地，在所述步骤2中和步骤4中，定位点二维坐标（u , v）和空间三维坐标(X ,Y , Z )的转换公式为：

；

其中，Z_c为转换因子，dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度，(u0,v0)为图像平面的主点，γ代表像素点在x,y方向上尺度的偏差, f代表相机的焦距，R代表旋转矩阵、T代表平移矩阵；

通过手眼标定算法将空间三维坐标点( X ,Y , Z )转换为机器人坐标所在三维坐标点(X_r, Y_r, Z_r)。

本发明的技术方案还提供基于深度学习与双目视觉的碳素块检测系统，采用如上所述的碳素块检测方法，包括标定模块、识别模块、运动检测模块、通信模块以及视频模块；

所述标定模块包括双目视觉相机标定、手眼标定与三维立体匹配；通过双目视觉相机标定获取双目视觉相机的内外参数，用于矫正图像与坐标系转化；手眼标定用于双目视觉相机到机器人的坐标系转换；三维立体匹配用于将图像上坐标点(u, v)转化为三维坐标（x, y, z）；

所述识别模块用于将待检测的左右碳素块图像输入深度学习模型得到识别结果；

所述运动目标检测模块用于判断工作区域是否有碳素块，并控制双目视觉相机拍摄左右图像；

所述通信模块用于将碳素块三维信息传输给机器人；

所述视频模块用于连接双目视觉相机并显示视频。

本发明带来的有益技术效果：

本发明提供了一种基于深度学习与双目视觉的碳素块检测方法及系统，采用了基于高斯混合模型的背景差分算法结合Gabor小波算法和增加识别框旋转角度回归模型的Yolov5算法。通过基于高斯混合模型当的背景差分算法结合Gabor小波算法减少运动目标检测时，因光照变化、复杂环境和背景物体抖动等影响造成目标轮廓面积误匹配，提高了目标轮廓检测的精度。采用增加识别框旋转角度回归模型的Yolov5算法，提高了目标检测时平面旋转角度的精度，相对于传统算法的旋转角度检测，提高了检测速度和鲁棒性。

附图说明

图1为本发明中碳素块检测方法的流程图；

图2为本发明中碳素块初始化流程图；

图3为本发明中对碳素块进行运动目标检测的流程图；

图4为本发明中碳素块检测系统的示意图；

具体实施方式

下面结合具体实施例对本发明的具体实施方式做进一步说明：

基于深度学习与双目视觉的碳素块检测方法，如图1所示，包括以下步骤：

步骤1：通过双目视觉相机标定与手眼标定进行坐标系转换；

具体地，首先根据张正友标定算法对双目视觉相机进行标定，使得相机成像平面共面，利于三维信息的计算，利用双目视觉相机同时拍摄10-20组标定图像，获取相机内外参数，利用相机内参数矫正图像畸变，利用相机外参数（旋转向量和平移向量）进行像素坐标系（二维数字图像坐标系）与世界坐标系（真实三维坐标系）转换；然后进行机器人与双目视觉相机的手眼标定，进行相机坐标系到机器人坐标系的转换关系。

步骤1中的手眼标定具体过程为：通过机器人机械手拿取标定板，固定双目视觉相机位置不动，拍摄机械手不同位姿下的标定板，获取15-20组机械手位姿参数（机器人示教器显示）和双目视觉相机位姿参数，其中获得的机械手位姿参数为欧拉角（x, y, z, rx,ry, rz），rx表示绕x轴旋转的角度，ry表示绕y轴旋转的角度，rz表示绕z轴旋转的角度，数据如表1所示，获得的双目视觉相机位姿参数也为欧拉角，数据如表2所示；

利用Eye-To-Hand手眼标定算法完成双目视觉相机到机器人的坐标系转换，转换公式为AX=XB，其中A表示机器人工具坐标系到机器人基础坐标系的转换矩阵，B表示为相机坐标系到标定板坐标系的转换矩阵，X表示为相机坐标系到机器人坐标系的转换矩阵，通过转换矩阵X获取机器人与双目视觉相机的位置关系。

表1 机械手位姿参数；

x	y	z	rx	ry	rz
						1.389353	-0.161673	-0.374760	-0.104558	-0.078648	0.004093
1.495724	-0.333834	-0.238036	-0.208144	-0.157947	0.016149
						1.562537	-0.524060	-0.080913	-0.309766	-0.238570	0.035489
1.585289	-0.722849	0.093874	-0.408389	-0.321219	0.060983

表2 双目视觉相机位姿参数；

x	y	z	rx	ry	rz
						1.129317	-2.504976	-0.082139	0.016742	-0.114454	0.060038
1.343040	-2.404228	-0.195400	0.026881	-0.227699	0.121104
						1.574492	-2.279905	-0.267207	0.030753	-0.337338	0.186284
1.812526	-2.132939	-0.293461	0.028844	-0.441023	0.258158

步骤2：通过双目立体匹配算法获取视差图，利用视差图匹配碳素块定位坐标进行碳素块位置的初始化；

在步骤2中，如图2所示，包括以下子步骤：

步骤2.1：双目视觉相机拍摄碳素块的左右图像，利用标定得到的相机内外参数，对左右图像进行畸变矫正，减少图像畸变对定位精度的影响；

步骤2.2：将畸变矫正后的图像输入深度学习算法模型识别初始碳素块类型，并定位碳素块在图像中的位置，获取碳素块定位点初始二维坐标和初始平面旋转角度；

其中碳素块定位点的坐标为其识别框的几何中心，平面旋转角度为其识别框与x轴所成的锐角；

深度学习算法模型采用YoloV5模型，在模型中增加识别框旋转角度回归模块，需要在构建数据集中增加目标的旋转信息，利用roLabelImg工具对碳素块图像进行标注，并在标注过程中增加旋转角度。构建完碳素块数据集后，对数据集进行训练，其训练过程为：采集数量充足并完成标注的碳素块图像作为训练样本，通过对图片进行旋转、缩放、添加噪声、随机裁剪等方法对训练样本进行扩充；将扩充后的训练样本以一定的比例分为训练集和测试集；用训练集对建立的深度卷积神经网络模型进行训练，并用测试集评价训练结果，当评价结果达到预期值时，停止训练过程。训练好的深度卷积神经网络模型就可以对多个碳素块图像进行分类与定位，判断图像中碳素块的类型，获取定位点的坐标和平面旋转角度。

步骤2.3：通过算法模型判断碳素块的类型是否识别成功，若识别失败，则对工作人员进行警告操作，结束该过程，若识别成功，则进入步骤2.4；

步骤2.4：利用双目立体匹配算法处理矫正后的左右图像，寻找目标点在左右图像中的像素点，即最佳左右匹配点，进行视差计算生成视差图，视差图为同一个场景在两个相机下成像的像素的位置偏差，视差图为灰度图；

步骤2.5：视差图与碳素块定位点初始二维坐标进行匹配，找到对应视差图中点的位置，计算该点的初始三维坐标；

步骤2.6：记录识别的初始碳素块类型、定位点初始三维坐标和初始平面旋转角度，完成碳素块初始化。

步骤3：对滚筒带上的碳素块进行运动目标检测并控制双目视觉相机拍照；

在步骤3中，如图3所示，包括以下子步骤：

步骤3.1：当碳素块经滚筒带运输到工作区域，控制双目视觉相机拍摄左右图像，对图像进行中值滤波，消除图像中的噪声成分，其次进行灰度化处理，将原有的RGB彩色图片转化为颜色深度在（0-255）的灰色图像，方便计算机直接进行目标定位等方面的处理；

步骤3.2：通过背景差分算法进行背景与前景的分离，利用高斯混合模型对第一帧图像像素进行建模，设置第一帧图像的灰度图作为初始化背景，与第二帧图像的对应像素点的灰度值进行差分计算，获得差分图像，对该差分图像进行二值化处理后再进行形态学腐蚀操作，腐蚀操作沿着图像物体边界移除噪声像素，增强边缘轮廓特征，得到图像前景边缘轮廓；通过Gabor小波算法对图像进行边缘特征提取，在不同尺度和方向上进行多维度的滤波，得到目标物体的边缘特征，需要说明的是碳素块占图像面积比例最大，选取图像轮廓面积最大的区域作为碳素块边缘轮廓；将图像前景边缘轮廓和Gabor小波算法提取的边缘特征图像进行图像“与”操作，利用Gabor小波算法消除背景差分算法的误匹配区域，计算图像前景边缘轮廓占整个图像的面积比例；

由于传统的背景差分算法受光照突然变化、复杂环境和背景物体抖动的影响，为了消除这一影响，采用Gabor小波算法对提取的前景轮廓进行加强处理，Gabor特征具有较强的空间局部性和方向选择性，可以更好的描述图像的纹理信息。碳素块表面附着大量杂质，纹理信息丰富，可以更好的提取碳素块的边缘轮廓。

具体地，对获取的差分图像分别进行大津算法（OTSU）二值化处理：

；

通过阈值threshold进行前后背景分割，大于阈值threshold的像素设定为maxval，小于阈值threshold的像素设定为0，图像被分成背景和前景两部分。

步骤3.3：将第二帧图像作为新的初始化背景，与第三帧图像进行差分计算，获得新的差分图像，并计算新的差分图像中图像前景边缘轮廓占整个图像的面积比例，依次类推，不断更新初始化背景并计算图像前景边缘轮廓占整个图像的面积比例；

步骤3.4：当比例超过设定阈值时，则判定画面中有运动的物体；背景图与前景图趋于稳定状态，则判定画面中目标碳素块静止，控制双目视觉相机对碳素块拍照。

步骤4：利用深度学习算法识别碳素块的种类、定位其坐标并获取平面旋转角度，并计算坐标偏移量和平面旋转角度偏移量；

具体地，根据双目视觉相机获得的碳素块左右图像，首先利用标定后的相机内参数对左右图像进行预处理，进行图像畸变矫正，消除畸变对精度造成的影响；然后将左右图像输入至深度学习算法模型中，获取碳素块种类、定位点后续坐标和后续平面旋转角度；将识别的碳素块种类与初始碳素块种类进行比较，若种类不一致，则结束该过程，若种类一致，则利用双目立体匹配算法，获取左右图像的视差图，匹配该定位点坐标在视差图的位置，将该定位点后续坐标转化为后续三维坐标；将后续三维坐标、后续平面旋转角度与初始三维坐标、初始平面旋转角度进行偏移量计算，包括x轴、y轴的偏移和平面旋转角度的偏移，如表3所示。

表3 偏移量；

种类	x偏移	y偏移	旋转角度偏移
				3-1	-32.66	46.09	20.0
3-2	19.68	5.22	10.0
				3-3	- 77.98	72.52	-5.0
3-4	18.52	48. 61	-19.5

步骤2和步骤4中，定位点二维坐标点（u，v）到空间三维坐标点( X , Y , Z )的转换公式为：

；

其中，Z_c为转换因子，dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度，(u0,v0)为图像平面的主点，γ代表像素点在x,y方向上尺度的偏差, f代表相机的焦距，R代表旋转矩阵、T代表平移矩阵；

通过手眼标定算法将空间三维坐标点( X ,Y , Z )转换为机器人坐标所在三维坐标点(X_r, Y_r, Z_r)。

步骤5：通过Socket将碳素块种类、坐标偏移量和平面旋转角度偏移量传输给机器人，识别与定位过程结束，机器人根据偏移信息和种类对不同的碳素块进行清理工作。

基于深度学习与双目视觉碳素块检测系统，采用如上所述的碳素块检测方法，如图4所示，包括标定模块、识别模块、运动检测模块、通信模块以及视频模块；

标定模块包括双目视觉相机标定、手眼标定与三维立体匹配；通过双目视觉相机标定获取双目视觉相机的内外参数，用于矫正图像与坐标系转化；手眼标定用于双目视觉相机到机器人的坐标系转换；三维立体匹配用于将图像上坐标点(u, v)转化为三维坐标（x, y, z）；

识别模块用于将待检测的左右碳素块图像输入深度学习模型得到识别结果；

运动目标检测模块用于判断工作区域是否有碳素块，并控制双目视觉相机拍摄左右图像；

通信模块用于将碳素块三维信息传输给机器人；

视频模块用于连接双目视觉相机并显示视频。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (9)

1.基于深度学习与双目视觉的碳素块检测方法，其特征在于，包括以下步骤：

步骤1：通过双目视觉相机标定与手眼标定进行坐标系转换；

步骤2：通过双目立体匹配算法获取视差图，利用视差图匹配碳素块定位坐标进行碳素块位置的初始化；

步骤3：对滚筒带上的碳素块进行运动目标检测并控制双目视觉相机拍照；

步骤4：利用深度学习算法识别碳素块的种类、定位其坐标并获取平面旋转角度，并计算坐标偏移量和平面旋转角度偏移量；

步骤5：通过Socket将碳素块种类、坐标偏移量和平面旋转角度偏移量传输给机器人，识别与定位过程结束。

2.根据权利要求1所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，在所述步骤1中，首先进行双目视觉相机进行标定，利用双目视觉相机同时拍摄多组标定图像，获取相机内外参数，利用相机内参数矫正图像畸变，利用相机外参数进行像素坐标系与世界坐标系转换；然后进行机器人与双目视觉相机的手眼标定，进行相机坐标系到机器人坐标系的转换关系。

3.根据权利要求2所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，步骤1中的手眼标定具体过程为：通过机器人机械手拿取标定板，固定双目视觉相机位置不动，拍摄机械手不同位姿下的标定板，获取多组机械手位姿参数和双目视觉相机位姿参数，利用Eye-To-Hand手眼标定算法完成双目视觉相机到机器人的坐标系转换，转换公式为AX=XB，其中A表示机器人工具坐标系到机器人基础坐标系的转换矩阵，B表示为相机坐标系到标定板坐标系的转换矩阵，X表示为相机坐标系到机器人坐标系的转换矩阵。

4.根据权利要求1所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，在所述步骤2中，包括以下子步骤：

步骤2.1：双目视觉相机拍摄碳素块的左右图像，对左右图像进行畸变矫正；

步骤2.2：将畸变矫正后的图像输入深度学习算法模型识别初始碳素块类型，并定位碳素块在图像中的位置，获取碳素块的定位点初始二维坐标和初始平面旋转角度；

步骤2.3：通过算法模型判断碳素块的类型是否识别成功，若识别失败，则对工作人员进行警告操作，工作人员结束该过程，若识别成功，则进入步骤2.4；

步骤2.4：通过双目立体匹配算法获取矫正后左右图像的视差图；

步骤2.5：视差图与碳素块的定位点初始二维坐标进行匹配并计算该点的初始三维坐标；

步骤2.6：记录识别的初始碳素块类型、定位点初始三维坐标和初始平面旋转角度，完成碳素块初始化。

5.根据权利要求1所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，在所述步骤3中，包括以下子步骤：

步骤3.1：当碳素块经滚筒带运输到工作区域，控制双目视觉相机拍摄左右图像，对图像进行包括去噪和灰度化的预处理；

步骤3.2：通过背景差分算法进行背景与前景的分离，设置第一帧图像的灰度图作为初始化背景，与第二帧图像对应像素点的灰度值进行差分计算，获得差分图像，对该差分图像进行二值化处理后再进行形态学腐蚀操作，得到图像前景边缘轮廓；通过Gabor小波算法对图像进行边缘特征提取，在不同尺度和方向上进行多维度的滤波，得到不同的边缘特征；将图像前景边缘轮廓和Gabor小波算法提取的边缘特征图像进行图像“与”操作，利用Gabor小波算法消除背景差分算法的误匹配区域，计算图像前景边缘轮廓占整个图像的面积比例；

步骤3.3：将第二帧图像作为新的初始化背景，与第三帧图像进行差分计算，获得新的差分图像，并计算新的差分图像中图像前景边缘轮廓占整个图像的面积比例，依次类推，不断更新初始化背景并计算图像前景边缘轮廓占整个图像的面积比例；

步骤3.4：当比例超过设定阈值时，则判定画面中有运动的物体；背景图与前景图趋于稳定状态，则判定画面中目标碳素块静止，控制双目视觉相机对碳素块拍照。

6.根据权利要求5所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，所述步骤3.2中：对差分图像进行大津算法二值化处理：

；

通过阈值threshold进行前后背景分割，大于阈值threshold的像素设定为maxval，小于阈值threshold的像素设定为0，图像被分成背景和前景两部分。

7.根据权利要求4所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，在所述步骤4中，根据双目视觉相机获得的碳素块左右图像，首先利用标定后的相机内参数修正图像畸变；然后将左右图像输入至深度学习算法模型中，获取碳素块种类、定位点后续坐标和后续平面旋转角度；将识别的碳素块种类与初始碳素块种类进行比较，若种类不一致，则结束该过程，若种类一致，则利用双目立体匹配算法，获取左右图像的视差图，匹配该定位点坐标在视差图的位置，将定位点后续二维坐标转化为后续三维坐标；将后续三维坐标、后续平面旋转角度与初始三维坐标、初始平面旋转角度进行偏移量计算。

8.根据权利要求4所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，在所述步骤2中和步骤4中，将定位点二维坐标（u , v）和空间三维坐标( X ,Y , Z )的转换公式为：

；

其中，Z_c为转换因子，dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度，(u0,v0)为图像平面的主点，γ代表像素点在x,y方向上尺度的偏差，f代表相机的焦距，R代表旋转矩阵、T代表平移矩阵；

通过手眼标定算法将空间三维坐标点( X ,Y , Z )转换为机器人坐标所在三维坐标点(X_r, Y_r, Z_r)。

9.基于深度学习与双目视觉的碳素块检测系统，其特征在于，采用如权利要求1-8任一项所述的碳素块检测方法，包括标定模块、识别模块、运动检测模块、通信模块以及视频模块；

所述标定模块包括双目视觉相机标定、手眼标定与三维立体匹配；通过双目视觉相机标定获取双目视觉相机的内外参数，用于矫正图像与坐标系转化；手眼标定用于双目视觉相机到机器人的坐标系转换；三维立体匹配用于将图像上坐标点(u, v)转化为三维坐标（x, y, z）；

所述识别模块用于将待检测的左右碳素块图像输入深度学习模型得到识别结果；

所述运动目标检测模块用于判断工作区域是否有碳素块，并控制双目视觉相机拍摄左右图像；

所述通信模块用于将碳素块三维信息传输给机器人；

所述视频模块用于连接双目视觉相机并显示视频。

Images