CN115530092B - 基于深度神经网络的双机械臂肉鸽饲喂系统 - Google Patents

Abstract

本申请提供一种基于深度神经网络的双机械臂肉鸽饲喂系统，包括底盘车模块、喂料模块、送料模块与控制运算模块；底盘车模块包括底盘车行走机构与第一深度相机；喂料模块包括双机械臂、第二深度相机、超声波测距传感器与接料盒；送料模块设置在双机械臂之间且送料模块与接料盒连通；运算控制模块分别与底盘车模块、喂料模块、送料模块电连接。该饲喂系统通过三维视觉感知用于底盘车的导航与料槽的识别定位，利用视觉信号控制底盘车的启停与送料模块的送料，利用双机械臂实现协作饲喂，从而完成肉鸽的全自动喂养，提高肉鸽养殖的料肉比、降低人力成本、提高喂养效率与精准度。

Description

基于深度神经网络的双机械臂肉鸽饲喂系统

技术领域

本发明涉及饲养技术领域，具体涉及一种基于深度神经网络的双机械臂肉鸽饲喂系统。

背景技术

目前，肉鸽的养殖仍然以人工饲养为主，在养殖过程中，饲喂环节极其耗费劳动生产力、饲喂效率低；同时，人工饲养的饲料用量基本靠饲养人员的主观判断，人为影响因素高。因此，通过饲喂机器人替代人工进行饲喂，从而降低人力成本、提高饲喂效率，在养殖行业中的研发与应用越来越收到重视。

中国专利文献CN114097659A中公开了一种鸽子养殖自动投料喂食机器人，其通过储料箱将饲料送至餐食盒内实现投料，利用电动滑块与电动坏的配合实现餐食盒的间歇性运动，保证鸽笼内的鸽子都能吃到饲料，通过清理板实现对餐食盒内饲料的清理，从而完成鸽子的自动投料喂食；然而，该喂食机器人需要提前铺设轨道，具有较大的局限性、增加物料成本，同时该喂食机器人需要对应鸽笼设置输送喂食装置(即一列鸽笼设置一列输送喂食装置)，成本高、灵活性差，缺乏便捷性和高效性，无法满足大规模笼养肉鸽的需求。

发明内容

针对以上现有技术存在的问题，本发明的目的在于提供一种基于深度神经网络的双机械臂肉鸽饲喂系统，该饲喂系统通过三维视觉感知用于底盘车的导航与料槽的识别定位，利用视觉信号控制底盘车的启停与送料模块的送料，利用双机械臂实现协作饲喂，从而完成肉鸽的全自动喂养，提高肉鸽养殖的料肉比、降低人力成本、提高喂养效率与精准度。

本发明的目的通过以下技术方案实现：

一种基于深度神经网络的双机械臂肉鸽饲喂系统，其特征在于：包括底盘车模块、喂料模块、送料模块与控制运算模块；底盘车模块包括底盘车行走机构与第一深度相机，第一深度相机安装在底盘车行走机构的前沿中部；喂料模块包括双机械臂、第二深度相机、超声波测距传感器与接料盒，双机械臂分别安装在底盘车行走结构的左、右两侧且双机械臂侧方分别安装一第二深度相机与超声波测距传感器，双机械臂末端分别设置一接料盒；送料模块设置在双机械臂之间且送料模块与接料盒连通；运算控制模块分别与底盘车模块、喂料模块、送料模块电连接。

优选的，所述双机械臂的底座(即机械臂与底盘车行走机构连接处)中心距离为0.7～1.0m。

优选的，所述第一深度相机与第二深度相机均采用RealsenD455深度相机。

优选的，所述送料模块与接料盒之间采用星型下料阀，且接料盒采用风车形料盒。

一种基于深度神经网络的双机械臂肉鸽饲喂方法，采用上述系统，其特征在于：包括：

步骤S100：将饲喂系统放置在待饲喂的肉鸽养殖棚内，上电，进行饲喂系统初始化；

步骤S200：启动第一深度相机，运算控制模块通过第一深度相机采集的数据、获得底盘车行走机构的导航线；同时，运算模块通过第一深度相机采集的数据、获得料槽侧面中心点在第一深度相机坐标系的相对位置；

步骤S300：运算控制模块启动底盘车行走机构按照步骤S200中的导航线运行，到达步骤S200中获得的料槽位置后，底盘车行走机构停止运行；

步骤S400：启动两侧的第二深度相机与超声波测距传感器，获取料槽正面中心点在第二深度相机坐标系的相对位置及料槽内剩料情况；然后，运算控制模块将获得的料槽正面中心点转换为机械臂坐标系中的三维坐标，规划机械臂控制轨迹；

步骤S500：运算控制模块根据步骤S400中的剩料情况打开星型下料阀，通过喂料模块向料槽盒内定量送料；之后，运算控制模块根据步骤S400中的机械臂控制轨迹启动机械臂，依次完成饲喂动作；

步骤S600：重复进行步骤S200～S500，直至完成一列鸽笼料槽的投喂。

作进一步优化，所述步骤S200中获取底盘车行走机构的导航线具体为：

步骤S201：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*480的养殖道路图片5000张；然后，针对采集到的图像进行预处理与增强处理；

步骤S202：采用Unet作为基础框架搭建语义分割网络模型，将步骤S201中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第一数据集；之后，将第一数据集放入神经网络进行模型迭代训练，训练后的模型能够分割道路轮廓；然后，将分割出来的道路轮廓进行图像处理后，得到道路边缘点坐标信息；

步骤S203：将步骤S202中的道路边缘点坐标信息分为左边缘点(x_l，y_l)、右边缘点(x_r，y_r)，获取导航点坐标(x_m，y_m)，具体为：

y_m＝y_l＝y_r；

式中：d表示道路宽度；

拟合导航点坐标[(x_m1,y_m1),…，(x_mi,y_mi),…，(x_mn,y_mn)]，获得导航线：

y＝ax+b；

式中：表示所有导航点坐标x_m的平均值；/>表示所有导航点坐标y_m的平均值。

优选的，所述导航线根据相关系数R判断其拟合效果：

式中：

当R趋近于1时，导航线的精度高。

作进一步优化，所述步骤S200中获得料槽侧面中心点在第一深度相机坐标系的相对位置具体为：

步骤S204：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*360的料槽侧面图片5000张；然后，针对采集到的图像进行预处理与增强处理；

步骤S205：采用Yolov5作为基础框架搭建目标识别网络模型，将步骤S204中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第二数据集；之后，将第二数据集放入神经网络进行模型迭代训练，训练后的模型能够从侧面识别料槽；然后，将识别出来的料槽侧面图像进行图像处理后，得到料槽侧面识别框的坐标信息；取料槽侧面识别框的中心点，获得料槽侧面中心点在第一深度相机坐标系的相对位置：

式中：z_p表示深度信息；u、v表示料槽侧面图像识别框的中心点坐标；d_x、d_y表示像素尺寸大小；f_x、f_y表示相机在x轴、y轴的成像焦距；(x_p，y_p，z_p)表示料槽侧面中心点在第一深度相机坐标系的三维位置。

作进一步优化，所述步骤S400中通过第二深度相机获取料槽正面中心点在第二深度相机坐标系的相对位置与步骤S200中通过第一深度相机获取料槽侧面中心点在第一深度相机坐标系的相对位置的方法一致。

作进一步优化，所述步骤S400中获取料槽内剩料情况的方法具体为：

步骤S401：通过两侧的第二深度相机分别获取两侧的图像、并截取料槽图像，对图像进行降噪处理；

步骤S402：将进行降噪处理后的料槽图像转换为HSV格式，从而获取到料槽图像的每一个像素点的HSV颜色空间值；然后，根据V分量颜色空间对每一列的每一个像素对应的V分量值，获得X_i-col的一维矩阵[v_1i,v_2i,…，v_ni]；之后，对X_i-col的一维矩阵进行v_(i+1)i-v_(i)i的迭代计算，当其差值的绝对值大于预设阈值V_limit时，获得n个阈值边界点(若未获得绝对值大于预设阈值V_limit的差值、则一直进行迭代计算或报错)，取最后一个边界点为X_i-col的一维矩阵的边界点X_b；最后，对每一列进行上述操作，提取出阴影的上轮廓曲线，结合料槽图像的底部边缘，获得料槽正投影阴影轮廓面积；

步骤S403：开启带有直射光源的超声波测距传感器，分别获取超声波到料槽内部左侧点的距离D_l、超声波到料槽内部中点的距离D_c、及超声波到料槽内部右侧点的距离D_r；获取回归曲线：

W＝kD+b；

式中：W表示补偿权重，其包括左侧点补偿权重W_l、中点补偿权重W_c与右侧点补偿权重W_r；k、b为常数值；

然后，根据补偿权重(W_l，W_c，W_r)与获得的正投影阴影轮廓面积(正投影阴影轮廓面积根据料槽图像的Y像素点分成三部分)，获得最终轮廓曲线X_bN：

X_bN＝W·X_b；

得到料槽内的剩料情况。

作进一步优化，所述步骤S400中运算控制模块将获得的料槽正面中心点转换为机械臂坐标系中的三维坐标、规划机械臂控制轨迹具体为：

步骤S404：首先，采用“张正友标定法”进行第二深度相机与机械臂末端转换矩阵的标定；

步骤S405：然后，根据D-H参数和参考坐标系获得机械臂中关节间的相对位置：

式中：θ_i表示关节旋转角；α_i表示连杆旋转角；a_i表示连杆长度；d_i表示关节长度；

步骤S406：搭建基于边缘计算机NVIDIA T600的ROS控制环境，构建双机械臂的URDF模型，在模型中建立各关节与根坐标系的关系，机械臂运动实时反馈joint_state_publisher节点与机械臂实时运动控制在Rviz中显示；之后，双机械臂各创建生成一个MoveIt配置的功能包，包含运动学正逆解算、碰撞检测、环境感知和动作规划，实现双机械臂的协作通讯和运动控制；

步骤S407：获得料槽正面中心点在第二深度相机坐标系的三维坐标以及料槽正面中心点在机械臂坐标系的三维坐标后，根据实际饲喂场景，对视觉系统获取的料槽位置进行偏置:在获取的料槽正面中心点的基础上，在x轴正方向上偏移15cm、y轴正方向上偏移5cm、z轴正方向上偏移20cm；到达饲喂位置后机械臂末端关节转动90°。

本发明具有如下技术效果：

本申请基于Unet与Yolov5两个深度神经网络进行饲喂机器人的运算控制，且搭配两个机械臂同时进行左、右作业，实现双机械臂的协作控制；利用三维视觉感知系统进行底盘车的导航与鸽子料槽的识别定位，同时通过图像阈值分割与超声波测距传感器配合实现料槽剩料判断，从而准确、快速的完成对于肉鸽料槽的投料，且确保饲料的适量，避免投料过多而造成饲料的浪费。本申请系统实现鸽子的全自主导航饲喂，提高肉鸽养殖的料肉比，大大降低劳动力需求和人工成本，实现鸽子的科学喂养。

附图说明

图1为本发明实施例中肉鸽饲喂系统的流程图。

图2为本发明实施例中肉鸽饲喂系统的实物图。

图3为本发明实施例中导航线拟合的效果图。

图4为本发明实施例中料槽正面识别的效果图。

图5为本发明实施例中机械臂末端的接料盒的结构示意图。

图6为本发明实施例中ROS控制环境的机械臂模型效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

一种基于深度神经网络的双机械臂肉鸽饲喂系统，其特征在于：包括底盘车模块、喂料模块、送料模块与控制运算模块；底盘车模块包括底盘车行走机构与第一深度相机，第一深度相机安装在底盘车行走机构的前沿中部；喂料模块包括双机械臂、第二深度相机、超声波测距传感器与接料盒，双机械臂分别安装在底盘车行走结构的左、右两侧且双机械臂侧方分别安装一第二深度相机与超声波测距传感器，双机械臂末端分别设置一接料盒；双机械臂的底座(即机械臂与底盘车行走机构连接处)中心距离为0.7～1.0m(优选0.8m)。送料模块设置在双机械臂之间且送料模块与接料盒连通；料模块与接料盒之间采用星型下料阀，且接料盒采用风车形料盒(如图5所示)。运算控制模块分别与底盘车模块、喂料模块、送料模块电连接。

第一深度相机与第二深度相机均采用RealsenD455深度相机，且第一深度相机与识别区域的距离为0.8～20m。

实施例2：

一种基于深度神经网络的双机械臂肉鸽饲喂方法，采用如实施例1所述的系统，其特征在于：包括：

步骤S100：将饲喂系统放置在待饲喂的肉鸽养殖棚内，上电，进行饲喂系统初始化；

步骤S200：启动第一深度相机，运算控制模块通过第一深度相机采集的数据、获得底盘车行走机构的导航线：

步骤S201：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*480的养殖道路图片5000张；然后，针对采集到的图像进行预处理与增强处理；增强可采用Mosaic数据增强，Mosaic数据增强是对4张图片按照随机缩放、随机裁剪、随机排布的方式进行拼接，丰富了数据集样本，使网络具有更好的鲁棒性；

步骤S202：采用Unet作为基础框架搭建语义分割网络模型，将步骤S201中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第一数据集；之后，将第一数据集放入神经网络进行模型迭代训练，训练后的模型能够分割道路轮廓；然后，将分割出来的道路轮廓进行图像处理后，得到道路边缘点坐标信息；

步骤S203：将步骤S202中的道路边缘点坐标信息分为左边缘点(x_l，y_l)、右边缘点(x_r，y_r)，获取导航点坐标(x_m，y_m)，具体为：

y_m＝y_l＝y_r；

式中：d表示道路宽度；

拟合导航点坐标[(x_m1,y_m1),…，(x_mi,y_mi),…，(x_mn,y_mn)]，获得导航线：

y＝ax+b；

式中：表示所有导航点坐标x_m的平均值；/>表示所有导航点坐标y_m的平均值。

导航线根据相关系数R判断其拟合效果：

式中：

当R趋近于1时，导航线的精度高。

同时，运算模块通过第一深度相机采集的数据、获得料槽侧面中心点在第一深度相机坐标系的相对位置：

步骤S204：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*360的料槽侧面图片5000张；然后，针对采集到的图像进行预处理与增强处理；增强可采用Mosaic数据增强，Mosaic数据增强是对4张图片按照随机缩放、随机裁剪、随机排布的方式进行拼接，丰富了数据集样本，使网络具有更好的鲁棒性；

步骤S205：采用Yolov5作为基础框架搭建目标识别网络模型，将步骤S204中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第二数据集；之后，将第二数据集放入神经网络进行模型迭代训练，训练后的模型能够从侧面识别料槽；然后，将识别出来的料槽侧面图像进行图像处理后，得到料槽侧面识别框的坐标信息；取料槽侧面识别框的中心点，获得料槽侧面中心点在第一深度相机坐标系的相对位置：

式中：z_p表示深度信息；u、v表示料槽侧面图像识别框的中心点坐标；d_x、d_y表示像素尺寸大小；f_x、f_y表示相机在x轴、y轴的成像焦距；(x_p，y_p，z_p)表示料槽侧面中心点在第一深度相机坐标系的三维位置。

步骤S300：运算控制模块启动底盘车行走机构按照步骤S200中的导航线运行，到达步骤S200中获得的料槽位置后，底盘车行走机构停止运行；此时，启动两侧的第二深度相机进行料槽识别，若识别到料槽、则停止，若未识别到料槽、则沿着导航线继续前移一定偏置量(偏置量根据实际情况进行设置)；

步骤S400：启动两侧的第二深度相机与超声波测距传感器，获取料槽正面中心点在第二深度相机坐标系的相对位置及料槽内剩料情况；

通过第二深度相机获取料槽正面中心点在第二深度相机坐标系的相对位置与步骤S200中(即上述步骤S204～步骤S205)通过第一深度相机获取料槽侧面中心点在第一深度相机坐标系的相对位置的方法一致。

获取料槽内剩料情况的方法具体为：

步骤S401：通过两侧的第二深度相机分别获取两侧的图像、并截取料槽图像，对图像进行降噪处理；

步骤S402：将进行降噪处理后的料槽图像转换为HSV格式，从而获取到料槽图像的每一个像素点的HSV颜色空间值；然后，根据V分量颜色空间对每一列的每一个像素对应的V分量值，获得X_i-col的一维矩阵[v_1i,v_2i,…，v_ni]；之后，对X_i-col的一维矩阵进行v_(i+1)i-v_(i)i的迭代计算，当其差值的绝对值大于预设阈值V_limit时(本实施例中，V_limit为30)，获得n个阈值边界点(若未获得绝对值大于预设阈值V_limit的差值、则一直进行迭代计算或报错)，取最后一个边界点为X_i-col的一维矩阵的边界点X_b；最后，对每一列进行上述操作，提取出阴影的上轮廓曲线，结合料槽图像的底部边缘，获得料槽正投影阴影轮廓面积；

步骤S403：开启带有直射光源的超声波测距传感器，分别获取超声波到料槽内部左侧点的距离D_l、超声波到料槽内部中点的距离D_c、及超声波到料槽内部右侧点的距离D_r；获取回归曲线：

W＝kD+b；

式中：W表示补偿权重，其包括左侧点补偿权重W_l、中点补偿权重W_c与右侧点补偿权重W_r；k、b为常数值；

然后，根据补偿权重(W_l，W_c，W_r)与获得的正投影阴影轮廓面积(正投影阴影轮廓面积根据料槽图像的Y像素点分成三部分)，获得最终轮廓曲线X_bN：

X_bN＝W·X_b；

得到料槽内的剩料情况。

然后，运算控制模块将获得的料槽正面中心点转换为机械臂坐标系中的三维坐标，规划机械臂控制轨迹；具体为：

步骤S404：首先，采用“张正友标定法”进行第二深度相机与机械臂末端转换矩阵的标定；

步骤S405：然后，根据D-H参数和参考坐标系获得机械臂中关节间的相对位置：

式中：θ_i表示关节旋转角；α_i表示连杆旋转角；a_i表示连杆长度；d_i表示关节长度；

步骤S406：搭建基于边缘计算机NVIDIA T600的ROS控制环境，构建双机械臂的URDF模型，在模型中建立各关节与根坐标系的关系，机械臂运动实时反馈joint_state_publisher节点与机械臂实时运动控制在Rviz中显示；之后，双机械臂各创建生成一个MoveIt配置的功能包，包含运动学正逆解算、碰撞检测、环境感知和动作规划，实现双机械臂的协作通讯和运动控制；

步骤S407：获得料槽正面中心点在第二深度相机坐标系的三维坐标以及料槽正面中心点在机械臂坐标系的三维坐标后，根据实际饲喂场景，对视觉系统获取的料槽位置进行偏置:在获取的料槽正面中心点的基础上，在x轴正方向上偏移15cm、y轴正方向上偏移5cm、z轴正方向上偏移20cm；到达饲喂位置后机械臂末端关节转动90°。

步骤S500：运算控制模块根据步骤S400中的剩料情况打开星型下料阀，通过喂料模块向料槽盒内定量送料；之后，运算控制模块根据步骤S400中的机械臂控制轨迹启动机械臂，依次完成饲喂动作(即依次完成一纵列不同高度的料槽的投料，如图2所示)；完成一纵列不同高度的料槽投料后，双机械臂初始化、即回到初始位置；

步骤S600：重复进行步骤S200～S500，直至完成一列(一横列)鸽笼料槽的投喂。

实施例3：

作为对本申请方案的进一步优化，在实施例2的基础上，步骤S202中边缘点坐标信息采用区域像素特征算法去除伪边缘点，从而获得左、右边缘点，

具体为：

步骤S2021、伪边缘点的去除：当前检测处的目标识别点为n个(n大于2)，且每个识别点的图像像素位置为(x_i，y_i)，i＝1,2，…，n；根据像素值对x进行目标识别点的排序，获取最小值、即x_min与最大值、即x_max对应的目标识别点，判断x_min是否小于预设阈值x_limit-l(本实施例中，x_limit-l为120)，同时判断x_min对应的y值、即y_xmin与x_max对应的y值、即y_xmax之间的差值(即|y_xmax-y_xmin|)是否大于预设阈值y_limit(本实施例中，y_limit为100)；

若x_min＜x_limit-l且|y_xmax-y_xmin|＞y_limit，则剔除x_min所对应的目标识别点，剩余目标识别点为(n-1)个；

若上述条件不成立，则判断x_max是否大于预设阈值x_limit-h(本实施例中，x_limit-h为540)，同时判断同时判断x_min对应的y值、即y_xmin与x_max对应的y值、即y_xmax之间的差值(即|y_xmax-y_xmin|)是否大于预设阈值y_limit；

若x_max＞x_limit-h且|y_xmax-y_xmin|＞y_limit，则剔除x_max所对应的目标识别点，剩余目标识别点为(n-1)个；

若上述条件均不成立，则表示无需进行目标识别点的剔除，即无伪边缘点；

步骤S2022、左、右边缘点的获得：

伪边缘点去除处理后，获得目标识别点矩阵[(x₁,y₁),…，(x_i,y_i),…，(x_n,y_n)]；计算目标识别点矩阵第1个到第n个点之间的均值，获得道路中点x_c；目标识别矩阵内x值大于x_c的点为右侧边缘点，否则为左侧边缘点。

实施例4：

作为对本申请方案的进一步优化，在实施例2的基础上，在步骤S203拟合得到的导航线后，运算控制模块实时接收导航预瞄点，并结合深度流数据获取得出深度距离Z，从而获得偏航角delta：

其中：

式中：CX、FX表示深度相机内参，可以直接从第一深度相机读出；

将获得的偏航角delta输入PID算法进行比例积分调节获得当前时刻的delta，从而输入到底盘车模块的控制器中，结合运动学模型，控制器分配速度给底盘车模块的车轮、实现行走控制。

尽管已经示出和描述了本发明的实施例，对于本领域普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于深度神经网络的双机械臂肉鸽饲喂系统，其特征在于：包括底盘车模块、喂料模块、送料模块与控制运算模块；底盘车模块包括底盘车行走机构与第一深度相机，第一深度相机安装在底盘车行走机构的前沿中部；喂料模块包括双机械臂、第二深度相机、超声波测距传感器与接料盒，双机械臂分别安装在底盘车行走结构的左、右两侧且双机械臂侧方分别安装一第二深度相机与超声波测距传感器，双机械臂末端分别设置一接料盒；送料模块设置在双机械臂之间且送料模块与接料盒连通；运算控制模块分别与底盘车模块、喂料模块、送料模块电连接；

所述送料模块与接料盒之间采用星型下料阀，且接料盒采用风车形料盒；

该系统进行肉鸽饲喂的方法具体包括：

步骤S100：将饲喂系统放置在待饲喂的肉鸽养殖棚内，上电，进行饲喂系统初始化；

步骤S200：启动第一深度相机，运算控制模块通过第一深度相机采集的数据、获得底盘车行走机构的导航线，具体为：

步骤S201：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*480的养殖道路图片5000张；然后，针对采集到的图像进行预处理与增强处理；

步骤S202：采用Unet作为基础框架搭建语义分割网络模型，将步骤S201中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第一数据集；之后，将第一数据集放入神经网络进行模型迭代训练，训练后的模型能够分割道路轮廓；然后，将分割出来的道路轮廓进行图像处理后，得到道路边缘点坐标信息；

步骤S203：将步骤S202中的道路边缘点坐标信息分为左边缘点(x_l，y_l)、右边缘点(x_r，y_r)，获取导航点坐标(x_m，y_m)，具体为：

y_m＝y_l＝y_r；

式中：d表示道路宽度；

拟合导航点坐标[(x_m1,y_m1),…，(x_mi,y_mi),…，(x_mn,y_mn)]，获得导航线：

y＝ax+b；

式中：表示所有导航点坐标x_m的平均值；/>表示所有导航点坐标y_m的平均值；

同时，运算模块通过第一深度相机采集的数据、获得料槽侧面中心点在第一深度相机坐标系的相对位置，具体为：

步骤S204：首先，通过第一深度相机获取鸽场实地环境、多种真实光照条件下的640*360的料槽侧面图片5000张；然后，针对采集到的图像进行预处理与增强处理；

步骤S205：采用Yolov5作为基础框架搭建目标识别网络模型，将步骤S204中经预处理和增强处理后的图像、通过labelimg工具进行标注后制成第二数据集；之后，将第二数据集放入神经网络进行模型迭代训练，训练后的模型能够从侧面识别料槽；然后，将识别出来的料槽侧面图像进行图像处理后，得到料槽侧面识别框的坐标信息；取料槽侧面识别框的中心点，获得料槽侧面中心点在第一深度相机坐标系的相对位置：

式中：z_p表示深度信息；u、v表示料槽侧面图像识别框的中心点坐标；d_x、d_y表示像素尺寸大小；f_x、f_y表示相机在x轴、y轴的成像焦距；(x_p，y_p，z_p)表示料槽侧面中心点在第一深度相机坐标系的三维位置；

步骤S300：运算控制模块启动底盘车行走机构按照步骤S200中的导航线运行，到达步骤S200中获得的料槽位置后，底盘车行走机构停止运行；

步骤S400：启动两侧的第二深度相机与超声波测距传感器，获取料槽正面中心点在第二深度相机坐标系的相对位置及料槽内剩料情况，具体为：

步骤S401：通过两侧的第二深度相机分别获取两侧的图像、并截取料槽图像，对图像进行降噪处理；

步骤S402：将进行降噪处理后的料槽图像转换为HSV格式，从而获取到料槽图像的每一个像素点的HSV颜色空间值；然后，根据V分量颜色空间对每一列的每一个像素对应的V分量值，获得X_i-col的一维矩阵[v_1i,v_2i,…，v_ni]；之后，对X_i-col的一维矩阵进行v_(i+1)i-v_(i)i的迭代计算，当其差值的绝对值大于预设阈值V_limit时，获得n个阈值边界点，取最后一个边界点为X_i-col的一维矩阵的边界点X_b；最后，对每一列进行上述操作，提取出阴影的上轮廓曲线，结合料槽图像的底部边缘，获得料槽正投影阴影轮廓面积；

步骤S403：开启带有直射光源的超声波测距传感器，分别获取超声波到料槽内部左侧点的距离D_l、超声波到料槽内部中点的距离D_c、及超声波到料槽内部右侧点的距离D_r；获取回归曲线：

W＝kD+b；

式中：W表示补偿权重，其包括左侧点补偿权重W_l、中点补偿权重W_c与右侧点补偿权重W_r；k、b为常数值；

然后，根据补偿权重与获得的正投影阴影轮廓面积，获得最终轮廓曲线X_bN：

X_bN＝W·X_b；

得到料槽内的剩料情况；

然后，运算控制模块将获得的料槽正面中心点转换为机械臂坐标系中的三维坐标，规划机械臂控制轨迹；

步骤S500：运算控制模块根据步骤S400中的剩料情况打开星型下料阀，通过喂料模块向料槽盒内定量送料；之后，运算控制模块根据步骤S400中的机械臂控制轨迹启动机械臂，依次完成饲喂动作；

步骤S600：重复进行步骤S200～S500，直至完成一列鸽笼料槽的投喂。

2.根据权利要求1所述的一种基于深度神经网络的双机械臂肉鸽饲喂系统，其特征在于：所述双机械臂的底座中心距离为0.7～1.0m。

3.根据权利要求1所述的一种基于深度神经网络的双机械臂肉鸽饲喂系统，其特征在于：所述步骤S400中通过第二深度相机获取料槽正面中心点在第二深度相机坐标系的相对位置与步骤S200中通过第一深度相机获取料槽侧面中心点在第一深度相机坐标系的相对位置的方法一致。

4.根据权利要求1所述的一种基于深度神经网络的双机械臂肉鸽饲喂系统，其特征在于：所述步骤S400中运算控制模块将获得的料槽正面中心点转换为机械臂坐标系中的三维坐标、规划机械臂控制轨迹具体为：

步骤S404：首先，采用“张正友标定法”进行第二深度相机与机械臂末端转换矩阵的标定；

步骤S405：然后，根据D-H参数和参考坐标系获得机械臂中关节间的相对位置：

式中：θ_i表示关节旋转角；α_i表示连杆旋转角；a_i表示连杆长度；d_i表示关节长度；

步骤S406：搭建基于边缘计算机NVIDIA T600的ROS控制环境，构建双机械臂的URDF模型，在模型中建立各关节与根坐标系的关系，机械臂运动实时反馈joint_state_publisher节点与机械臂实时运动控制在Rviz中显示；之后，双机械臂各创建生成一个MoveIt配置的功能包，包含运动学正逆解算、碰撞检测、环境感知和动作规划，实现双机械臂的协作通讯和运动控制；

步骤S407：获得料槽正面中心点在第二深度相机坐标系的三维坐标以及料槽正面中心点在机械臂坐标系的三维坐标后，根据实际饲喂场景，对视觉系统获取的料槽位置进行偏置:在获取的料槽正面中心点的基础上，在x轴正方向上偏移15cm、y轴正方向上偏移5cm、z轴正方向上偏移20cm；到达饲喂位置后机械臂末端关节转动90°。