CN115526880B - 一种用于笼养肉鸽料槽剩料的判别方法 - Google Patents

一种用于笼养肉鸽料槽剩料的判别方法 Download PDF

Info

Publication number
CN115526880B
CN115526880B CN202211271128.2A CN202211271128A CN115526880B CN 115526880 B CN115526880 B CN 115526880B CN 202211271128 A CN202211271128 A CN 202211271128A CN 115526880 B CN115526880 B CN 115526880B
Authority
CN
China
Prior art keywords
trough
points
point
obtaining
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211271128.2A
Other languages
English (en)
Other versions
CN115526880A (zh
Inventor
朱立学
郭晓耿
莫冬炎
陈品岚
赖颖杰
张智浩
张世昂
官金炫
邓文乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Lingnan Modern Agricultural Science And Technology
Zhongkai University of Agriculture and Engineering
Original Assignee
Guangdong Provincial Laboratory Of Lingnan Modern Agricultural Science And Technology
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Lingnan Modern Agricultural Science And Technology, Zhongkai University of Agriculture and Engineering filed Critical Guangdong Provincial Laboratory Of Lingnan Modern Agricultural Science And Technology
Priority to CN202211271128.2A priority Critical patent/CN115526880B/zh
Publication of CN115526880A publication Critical patent/CN115526880A/zh
Application granted granted Critical
Publication of CN115526880B publication Critical patent/CN115526880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/80—Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
    • Y02P60/87—Re-use of by-products of food processing for fodder production

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种用于笼养肉鸽料槽剩料的判别方法，包括：移动机器人导航线的拟合、料槽侧面中心点与深度相机坐标系相对位置的获取、以及通过料槽图像与超声波测距传感器数据判断料槽剩料情况。该方法能够有效判断鸽子各个料槽中的饲料剩余情况，从而针对不同料槽提供精确、适量的饲料投喂，确保投喂的饲料保证肉鸽正常生长的同时、避免过量投喂饲料而造成的饲料浪费，从而实现智能、科学的肉鸽养殖。

Description

一种用于笼养肉鸽料槽剩料的判别方法
技术领域
本发明涉及肉鸽饲养技术领域，具体涉及一种用于笼养肉鸽料槽剩料的判别方法。
背景技术
近年来，我国畜禽养殖业、尤其是肉鸽养殖产业的规模与产值不断增加；然而，随着畜禽养殖集约化程度不断提高、熟练肉鸽养殖技术的劳动力不断减少、高密度养殖对肉鸽养殖场的劳动力需求不断加大，目前，急需智能化养殖、管理的方式来克服肉鸽养殖过程中劳动力短缺、养殖效率低下的问题。
目前，肉鸽饲养大多以纯人工喂养及半自动机械喂养为主：纯人工喂养浪费大量的劳动生产力、增加养殖成本且耗费大量的时间进行饲料喂养环节、降低喂养效率，此外，纯人工喂养喂料用量大多根据人为主观判断，对于饲养人员的经验要求较高、人为主观因素高；半自动化机械喂养一般为无差别加料，即无论料槽中是否存在剩料、均是进行一次定量加料，例如中国专利文献CN110326554A、一种自动喂鸽子装置，其通过设置的喂料装置、振动装置、行走架装置，能自动完成为鸽子定量添加饲料，然而，其缺乏饲料喂养的精确性与适应性(即根据各个料槽中的不同剩料进行饲料不同用量的添加)，易造成饲料的大量浪费、增加养殖成本。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种用于笼养肉鸽料槽剩料的判别方法，该方法能够有效判断鸽子各个料槽中的饲料剩余情况，从而针对不同料槽提供精确、适量的饲料投喂，确保投喂的饲料保证肉鸽正常生长的同时、避免过量投喂饲料而造成的饲料浪费，从而实现智能、科学的肉鸽养殖。
本发明的目的通过以下技术方案实现：
一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：由移动机器人与两个检测机构组成的装置实现，其中，两个检测机构分别安装在移动机器人的左、右两侧，包括深度相机与超声波测距传感器；移动机器人中部设置一个深度相机；具体方法为：
步骤A：基于移动机器人的深度相机，获得深度神经网络的第一数据集；
步骤B：将第一数据集放入深度神经网络进行模型迭代训练后，获得第一目标检测框，通过第一目标检测框并结合实地测量数据值，确定鸽笼两侧边缘；采用区域像素特征算法去除伪边缘点，获得道路中点与左、右边缘点，进而拟合得到移动机器人的导航线；
步骤C：基于移动机器人的深度相机，获得深度神经网络的第二数据集；
步骤D：将第二数据集放入深度神经网络中进行模型迭代训练后，获得第二目标检测框；通过第二目标检测框中心点的坐标信息，获得料槽侧面中心点与深度相机坐标系的相对位置；
步骤E：基于两个检测机构的深度相机，分别获取两侧料槽图像；对料槽图像进行预处理、阈值分割处理后，结合超声波测距传感器数据并进行不同补偿权重分配，判断料槽剩料情况。
作进一步优化，所述步骤A获得第一数据集的具体步骤为：首先，通过深度相机获取鸽场实地环境、多种真实光照条件下的640*360的养殖道路图片N张；然后，经图像预处理后，将采集到的图像采用labelimg工具进行标注，标注出其鸽笼边缘的支撑杆，从而获得第一数据集。
作进一步优化，所述步骤B中基于Yolov5s作为基础框架搭建目标识别网络模型；迭代训练的过程具体为：读取已加载第一数据集到Yolov5s的输入端，采用Mosaic数据增强、自适应锚框计算和图片尺寸处理等方式，其中，Mosaic数据增强是对4张图片按照随机缩放、随机裁剪、随机排布的方式进行拼接，丰富了数据集样本，使网络具有更好的鲁棒性；通过骨干网络进行特征提取，骨干特征提取网络主要包括切片结构(Focus)、卷积模块(CBL)、瓶颈层(CSP)以及SPP模块；输出端以GIoU_loss作为目标边界框回归的损失函数，采用非极大值抑制(NMS)，提高对多目标框重叠现象的检测能力，输出包含预测图像中的缺陷位置和分类信息向量。
作进一步优化，所述步骤B中采用区域像素特征算法去除伪边缘点，获得道路中点与左、右边缘点具体为：
步骤B1、伪边缘点的去除：当前检测处的目标识别点为n个(n大于2)，且每个识别点的图像像素位置为(Xi，Yi)，i＝1,2，…，n；根据像素值对X进行目标识别点的排序，获取最小值、即Xmin与最大值、即Xmax对应的目标识别点，判断Xmin是否小于预设阈值Xlimit-l，同时判断Xmin对应的Y值、即Yxmin与Xmax对应的Y值、即Yxmax之间的差值(即|Yxmax-Yxmin|)是否大于预设阈值Ylimit；
若Xmin＜Xlimit-l且|Yxmax-Yxmin|＞Ylimit，则剔除Xmin所对应的目标识别点，剩余目标识别点为(n-1)个；
若上述条件不成立，则判断Xmax是否大于预设阈值Xlimit-h，同时判断同时判断Xmin对应的Y值、即Yxmin与Xmax对应的Y值、即Yxmax之间的差值(即|Yxmax-Yxmin|)是否大于预设阈值Ylimit；
若Xmax＞Xlimit-h且|Yxmax-Yxmin|＞Ylimit，则剔除Xmax所对应的目标识别点，剩余目标识别点为(n-1)个；
若上述条件均不成立，则表示无需进行目标识别点的剔除，即无伪边缘点；
步骤B2、道路中点与左、右边缘点的获得：
伪边缘点去除处理后，获得目标识别点矩阵[(X1,Y1),(X2,Y2),…，(Xn,Yn)]；计算目标识别点矩阵第1个到第n个点之间的均值，获得道路中点Xm；目标识别矩阵内X值大于Xm的点为右侧边缘点，否则为左侧边缘点。
作进一步优化，所述步骤B中拟合得到移动机器人的导航线y为：
y＝ax+b；
其中：
式中：表示目标识别矩阵中识别点的所有X点的平均值、即Xm；/>表示目标识别矩阵中识别点的所有Y点的平均值。
作进一步优化，所述步骤C获得第二数据集的具体步骤为：对步骤A中获得的N张640*360的养殖道路图片，经图像预处理后与清洗后，挑选出N0张图片，进行图像增强处理；然后采用labelimg工具进行标注，标注出料槽，从而获得第二数据集。
作进一步优化，所述步骤D中基于Yolov5s作为基础框架搭建目标识别网络模型。
作进一步优化，所述步骤D中通过第二目标检测框中心点的坐标信息，获得料槽侧面中心点与深度相机坐标系的相对位置具体为：
式中：zp表示深度信息；u、v表示图像的像素坐标，即第二目标检测框的中心点坐标；dx、dy表示像素尺寸大小；fx、fy表示相机在x轴、y轴的成像焦距；(xp，yp，zp)表示实际料槽侧面中心点在相机坐标系的三维位置。
作进一步优化，所述步骤E中对料槽图像进行预处理、阈值分割处理具体为：
首先，将进行降噪处理后的料槽图像转换为HSV格式，从而获取到料槽图像的每一个像素点的HSV颜色空间值；然后，根据V分量颜色空间对每一列的每一个像素对应的V分量值，获得Xi-col的一维矩阵[v1i,v2i,…，vni]；之后，对Xi-col的一维矩阵进行v(i+1)i-v(i)i的迭代计算，当其差值的绝对值大于预设阈值Vlimit时，获得n个阈值边界点(若未获得绝对值大于预设阈值Vlimit的差值、则一直进行迭代计算或报错)，取最后一个边界点为Xi-col的一维矩阵的边界点Xb；最后，对每一列进行上述操作，提取出阴影的上轮廓曲线，结合料槽图像的底部边缘，获得料槽正投影阴影轮廓面积。
作进一步优化，所述步骤E中结合超声波测距传感器数据并进行不同补偿权重分配，获得料槽剩料情况具体为：
首先，超声波测距传感器分别获取超声波到料槽内部左侧点的距离Dl、超声波到料槽内部中点的距离Dc、及超声波到料槽内部右侧点的距离Dr，获取回归曲线：
W＝kD+b；
式中：W表示补偿权重，其包括左侧点补偿权重Wl、中点补偿权重Wc与右侧点补偿权重Wr；k、b为常数值；
根据补偿权重(Wl，Wc，Wr)与正投影阴影轮廓曲线(正投影阴影轮廓曲线根据料槽图像的Y像素点分成三部分)，获得正面最终轮廓曲线XbN：
XbN＝W·Xb；
进而获得料槽内的剩料情况。
本发明具有如下技术效果：
本申请通过机器学习、卷积神经网络、图像处理等方式，实现精确获取移动机器人的行进路径、以及定位料槽的位置信息；定位准确性高、误差小且定位快速。通过阈值分割的图像处理与超声波测距传感器的配合，实现对料槽内部剩料情况的判断，方便饲喂机器人根据不同料槽的剩料情况、进行不同用量饲料的精确投喂，避免无差别投料而导致的饲料浪费、或投喂饲料无法满足肉鸽食用量的问题，实现智能化、精确化的肉鸽养殖，提高肉鸽养殖的料肉比、降低养殖成本；同时，通过对于料槽中剩余饲料的判定，通过肉鸽对于饲料的食用量、从侧面判断对肉鸽的挑食行为与患病概率，从而避免由于挑食或患病造成的肉鸽减产、肉质差等问题。
附图说明
图1为本发明实施例中料槽剩料判别的流程图。
图2为本发明实施例中料槽剩料判别机器人的实物图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：由移动机器人与两个检测机构组成的装置实现，其中，两个检测机构分别安装在移动机器人的左、右两侧，包括深度相机与超声波测距传感器；移动机器人中部设置一个深度相机；具体方法为：
步骤A：基于移动机器人的深度相机，获得深度神经网络的第一数据集；具体为：首先，通过深度相机获取鸽场实地环境、多种真实光照条件下的640*360的养殖道路图片N张(本实施例中N为8000张)；然后，经图像预处理后，将采集到的图像采用labelimg工具进行标注，标注出其鸽笼边缘的支撑杆，从而获得第一数据集；将第一数据集按照8:1:1的比例随机分为训练集、验证集和测试集；
步骤B：基于Yolov5s作为基础框架搭建目标识别网络模型(Yolov5s目标检测网络模型基于python3.6版本的pytroch深度学习框架下进行,主要的依赖库Opencv、Numpy、matlibplot等)，将第一数据集(的训练集)放入深度神经网络进行模型迭代训练后，获得第一目标检测框，迭代训练的过程具体为：读取已加载第一数据集(的训练集)到Yolov5s的输入端，采用Mosaic数据增强、自适应锚框计算和图片尺寸处理等方式，其中，Mosaic数据增强是对4张图片按照随机缩放、随机裁剪、随机排布的方式进行拼接，丰富了数据集样本，使网络具有更好的鲁棒性；通过骨干网络进行特征提取，骨干特征提取网络主要包括切片结构(Focus)、卷积模块(CBL)、瓶颈层(CSP)以及SPP模块；输出端以GIoU_loss作为目标边界框回归的损失函数，采用非极大值抑制(NMS)，提高对多目标框重叠现象的检测能力，输出包含预测图像中的缺陷位置和分类信息向量。
通过第一目标检测框并结合实地测量数据值，确定鸽笼两侧边缘；
采用区域像素特征算法去除伪边缘点，获得道路中点与左、右边缘点，具体为：
步骤B1、伪边缘点的去除：当前检测处的目标识别点为n个(n大于2)，且每个识别点的图像像素位置为(Xi，Yi)，i＝1,2，…，n；根据像素值对X进行目标识别点的排序，获取最小值、即Xmin与最大值、即Xmax对应的目标识别点，判断Xmin是否小于预设阈值Xlimit-l(本实施例中，Xlimit-l为120)，同时判断Xmin对应的Y值、即Yxmin与Xmax对应的Y值、即Yxmax之间的差值(即|Yxmax-Yxmin|)是否大于预设阈值Ylimit(本实施例中，Ylimit为100)；
若Xmin＜Xlimit-l且|Yxmax-Yxmin|＞Ylimit，则剔除Xmin所对应的目标识别点，剩余目标识别点为(n-1)个；
若上述条件不成立，则判断Xmax是否大于预设阈值Xlimit-h(本实施例中，Xlimit-h为540)，同时判断同时判断Xmin对应的Y值、即Yxmin与Xmax对应的Y值、即Yxmax之间的差值(即|Yxmax-Yxmin|)是否大于预设阈值Ylimit；
若Xmax＞Xlimit-h且|Yxmax-Yxmin|＞Ylimit，则剔除Xmax所对应的目标识别点，剩余目标识别点为(n-1)个；
若上述条件均不成立，则表示无需进行目标识别点的剔除，即无伪边缘点；
步骤B2、道路中点与左、右边缘点的获得：
伪边缘点去除处理后，获得目标识别点矩阵[(X1,Y1),(X2,Y2),…，(Xn,Yn)]；计算目标识别点矩阵第1个到第n个点之间的均值，获得道路中点Xm；目标识别矩阵内X值大于Xm的点为右侧边缘点，否则为左侧边缘点。
通过左、右边缘点拟合得到移动机器人的导航线y：
y＝ax+b；
其中：
式中：表示目标识别矩阵中识别点的所有X点的平均值、即Xm；/>表示目标识别矩阵中识别点的所有Y点的平均值。
步骤C：基于移动机器人的深度相机，获得深度神经网络的第二数据集：对步骤A中获得的N张640*360的养殖道路图片，经图像预处理后与清洗后，挑选出N0张图片(N0＜N，本实施例中N0为5000张)，进行图像增强处理、增强到7000张图像(图像增强处理采用本领域常见的图像增强手段)；然后采用labelimg工具进行标注，标注出料槽，从而获得第二数据集；将第二数据集按照8:1:1的比例随机分为训练集、验证集和测试集；
步骤D：基于Yolov5s作为基础框架搭建目标识别网络模型(Yolov5s目标检测网络模型基于python3.6版本的pytroch深度学习框架下进行,主要的依赖库Opencv、Numpy、matlibplot等)；将第二数据集(的训练集)放入深度神经网络中进行模型迭代训练后，获得第二目标检测框；迭代训练的过程具体为：读取已加载第二数据集(的训练集)到Yolov5s的输入端，采用Mosaic数据增强、自适应锚框计算和图片尺寸处理等方式，其中，Mosaic数据增强是对4张图片按照随机缩放、随机裁剪、随机排布的方式进行拼接，丰富了数据集样本，使网络具有更好的鲁棒性；通过骨干网络进行特征提取，骨干特征提取网络主要包括切片结构(Focus)、卷积模块(CBL)、瓶颈层(CSP)以及SPP模块；输出端以GIoU_loss作为目标边界框回归的损失函数，采用非极大值抑制(NMS)，提高对多目标框重叠现象的检测能力，输出包含预测图像中的缺陷位置和分类信息向量；
通过第二目标检测框中心点的坐标信息，获得料槽侧面中心点(即距离移动机器人最近一列的料槽侧面的中心点)与深度相机(即移动机器人上的深度相机)坐标系的相对位置；具体为：
式中：zp表示深度信息；u、v表示图像的像素坐标，即第二目标检测框的中心点坐标；dx、dy表示像素尺寸大小；fx、fy表示相机在x轴、y轴的成像焦距；(xp，yp，zp)表示实际料槽侧面中心点在相机坐标系的三维位置；
拟合移动机器人左、右两侧的料槽侧面中心点的三维位置后，获得距移动机器人最近料槽的三维位置，从而控制移动机器人运行过程中的停止。
步骤E：基于两个检测机构的深度相机，分别获取两侧料槽图像；对料槽图像进行预处理、阈值分割处理后，结合超声波测距传感器数据并进行不同补偿权重分配，获得料槽剩料情况。
其中，对料槽图像进行预处理、阈值分割处理具体为(必要时，可先基于目标检测网络对采集的料槽图像进行识别与截取，获得仅包含料槽的图像，可采用本实施例上述方法进行料槽图像的截取)：
首先，将进行降噪处理后的料槽图像转换为HSV格式，从而获取到料槽图像的每一个像素点的HSV颜色空间值；然后，根据V分量颜色空间对每一列的每一个像素对应的V分量值，获得Xi-col的一维矩阵[v1i,v2i,…，vni]；之后，对Xi-col的一维矩阵进行v(i+1)i-v(i)i的迭代计算，当其差值的绝对值大于预设阈值Vlimit时(本实施例中，Vlimit为30)，获得n个阈值边界点(若未获得绝对值大于预设阈值Vlimit的差值、则一直进行迭代计算或报错)，取最后一个边界点为Xi-col的一维矩阵的边界点Xb；最后，对每一列进行上述操作，提取出阴影的上轮廓曲线，结合料槽图像的底部边缘，获得料槽正投影阴影轮廓面积。
结合超声波测距传感器数据并进行不同补偿权重分配，获得料槽剩料情况具体为：
首先，超声波测距传感器分别获取超声波到料槽内部左侧点的距离Dl、超声波到料槽内部中点的距离Dc、及超声波到料槽内部右侧点的距离Dr，获取回归曲线：
W＝kD+b；
式中：W表示补偿权重，其包括左侧点补偿权重Wl、中点补偿权重Wc与右侧点补偿权重Wr；k、b为常数值；
根据补偿权重(Wl，Wc，Wr)与正投影阴影轮廓曲线(正投影阴影轮廓曲线根据料槽图像的Y像素点分成三部分)，获得最终轮廓曲线XbN：
XbN＝W·Xb；
通过最终轮廓曲线判断料槽内的剩料情况。
实施例2：
作为对本申请方案的进一步优化，在实施例1方案的基础上，基于C/S架构编写多线程发送与接收图像程序，在移动机器人上搭载jieson nano设备部署客户端读出深度相机的视频流数据并实时发送，在本地终端搭建内嵌nvidia jetson AGX设备部署目标检测网络与相应服务端并实时接收图像数据进行目标检测处理。
在步骤B拟合得到移动机器人的导航线后，移动机器人客户端控制设备实时接收本地终端发送的导航预瞄点，并结合深度流数据获取得出深度距离Z，从而获得偏航角delta：
其中：
式中：CX、FX表示深度相机内参，可以直接从深度相机读出；
将获得的偏航角delta输入PID算法进行比例积分调节获得当前时刻的delta，从而输入到移动机器人的控制器中，结合运动学模型，控制器分配速度给移动机器人的车轮、实现行走控制。
实施例3：
如图1所示，一种用于笼养肉鸽料槽剩料的实时判别方法，其特征在于：包括：搭载边缘控制设备、远程传输模块与两个检测机构的移动机器人，以及搭载图像处理模块、远程传输模块、目标检测网络模块的终端处理器；
步骤一：移动机器人放置在肉鸽棚内，各系统程序参数初始化、上电；
步骤二：加载目标检测网络模型、图像接收多线程程序，同时数据连接至云端程序；
步骤三：移动机器人与终端处理器远程连接，启动移动机器人的深度相机，深度相机采集分辨率640*360图像并通过socket通信方式传输到终端处理器；
步骤四：终端处理器通过实施例1中步骤A与步骤B中的方法获得导航线，并通过实施例2中的方法获得偏转角delta，利用偏转角与PID算法实现移动机器人的行走控制；同时，终端处理器通过实施例1中步骤C与步骤D中的方法获得料槽侧面中心点与移动机器人深度相机坐标系的相对位置；
步骤五：根据步骤四中的行走控制控制移动机器人沿着导航线运行，当位于最近的料槽位置时(根据左、右两列料槽侧面中心点与移动机器人的深度相机的相对位置进行判断)，移动机器人停止运行；
步骤六：分别开启两个检测机构的深度相机和超声波测距传感器(同时开启检测机构上的直射光源)，检测机构的深度相机相隔一定时间提取一次图像，获得料槽图像与超声波测距传感器的数据，并利用实施例1中步骤E的方法判断料槽剩料情况；
步骤七：循环步骤三与步骤六，直至完成所有料槽剩料情况的判断。
尽管已经示出和描述了本发明的实施例，对于本领域普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：由移动机器人与两个检测机构组成的装置实现，其中，两个检测机构分别安装在移动机器人的左、右两侧，检测机构包括深度相机与超声波测距传感器；移动机器人中部设置一个深度相机；具体方法为：
步骤A：基于移动机器人的深度相机，获得深度神经网络的第一数据集；
步骤B：将第一数据集放入深度神经网络进行模型迭代训练后，获得第一目标检测框，通过第一目标检测框并结合实地测量数据值，确定鸽笼两侧边缘；采用区域像素特征算法去除伪边缘点，获得道路中点与左、右边缘点，进而拟合得到移动机器人的导航线；
步骤C：基于移动机器人的深度相机，获得深度神经网络的第二数据集；
步骤D：将第二数据集放入深度神经网络中进行模型迭代训练后，获得第二目标检测框；通过第二目标检测框中心点的坐标信息，获得料槽侧面中心点与深度相机坐标系的相对位置；
步骤E：首先，控制移动机器人沿着导航线运行，当移动机器人位于最近料槽位置时，移动机器人停止运行；然后，基于两个检测机构的深度相机，分别获取两侧料槽图像；对料槽图像进行预处理、阈值分割处理后，结合超声波测距传感器数据并进行不同补偿权重分配，判断料槽剩料情况；
其中，对料槽图像进行预处理、阈值分割处理具体为：
首先，将进行降噪处理后的料槽图像转换为HSV格式，从而获取到料槽图像的每一个像素点的HSV颜色空间值；然后，根据V分量颜色空间对每一列的每一个像素对应的V分量值，获得Xi-col的一维矩阵[v1i,v2i,…，vni]；之后，对Xi-col的一维矩阵进行v(i+1)i-v(i)i的迭代计算，当其差值的绝对值大于预设阈值Vlimit时，获得n个阈值边界点，取最后一个边界点为Xi-col的一维矩阵的边界点Xb；最后，对每一列进行上述操作，提取出阴影的上轮廓曲线，结合料槽图像的底部边缘，获得料槽正投影阴影轮廓面积；
结合超声波测距传感器数据并进行不同补偿权重分配、获得料槽剩料情况具体为：
首先，超声波测距传感器分别获取超声波到料槽内部左侧点的距离Dl、超声波到料槽内部中点的距离Dc、及超声波到料槽内部右侧点的距离Dr，获取回归曲线：
W＝kD+b；
式中：W表示补偿权重，其包括左侧点补偿权重Wl、中点补偿权重Wc与右侧点补偿权重Wr；k、b为常数值；
根据补偿权重与正投影阴影轮廓曲线，获得正面最终轮廓曲线XbN：
XbN＝W·Xb；
进而获得料槽内的剩料情况。
2.根据权利要求1所述的一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：所述步骤A获得第一数据集的具体步骤为：首先，通过深度相机获取鸽场实地环境、多种真实光照条件下的640*360的养殖道路图片N张；然后，经图像预处理后，将采集到的图像采用labelimg工具进行标注，标注出其鸽笼边缘的支撑杆，从而获得第一数据集。
3.根据权利要求1或2所述的一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：所述步骤B中基于Yolov5s作为基础框架搭建目标识别网络模型。
4.根据权利要求3所述的一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：所述步骤B中采用区域像素特征算法去除伪边缘点，获得道路中点与左、右边缘点具体为：
步骤B1、伪边缘点的去除：当前检测处的目标识别点为n个，且每个识别点的图像像素位置为(Xi，Yi)，i＝1,2，…，n；根据像素值对X进行目标识别点的排序，获取最小值、即Xmin与最大值、即Xmax对应的目标识别点，判断Xmin是否小于预设阈值Xlimit-l，同时判断Xmin对应的Y值、即Yxmin与Xmax对应的Y值、即Yxmax之间的差值是否大于预设阈值Ylimit；
若Xmin＜Xlimit-l且|Yxmax-Yxmin|＞Ylimit，则剔除Xmin所对应的目标识别点，剩余目标识别点为(n-1)个；
若上述条件不成立，则判断Xmax是否大于预设阈值Xlimit-h，同时判断同时判断Xmin对应的Y值、即Yxmin与Xmax对应的Y值、即Yxmax之间的差值是否大于预设阈值Ylimit；
若Xmax＞Xlimit-h且|Yxmax-Yxmin|＞Ylimit，则剔除Xmax所对应的目标识别点，剩余目标识别点为(n-1)个；
若上述条件均不成立，则表示无需进行目标识别点的剔除，即无伪边缘点；
步骤B2、道路中点与左、右边缘点的获得：
伪边缘点去除处理后，获得目标识别点矩阵[(X1,Y1),(X2,Y2),…，(Xn,Yn)]；计算目标识别点矩阵第1个到第n个点之间的均值，获得道路中点Xm；目标识别矩阵内X值大于Xm的点为右侧边缘点，否则为左侧边缘点。
5.根据权利要求4所述的一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：所述步骤B中拟合得到移动机器人的导航线y为：
y＝ax+b；
其中：
式中：表示目标识别矩阵中识别点的所有X点的平均值、即Xm；/>表示目标识别矩阵中识别点的所有Y点的平均值。
6.根据权利要求4所述的一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：所述步骤C获得第二数据集的具体步骤为：对步骤A中获得的N张640*360的养殖道路图片，经图像预处理后与清洗后，挑选出N0张图片，进行图像增强处理；然后采用labelimg工具进行标注，标注出料槽，从而获得第二数据集。
7.根据权利要求6所述的一种用于笼养肉鸽料槽剩料的判别方法，其特征在于：所述步骤D中基于Yolov5s作为基础框架搭建目标识别网络模型。
CN202211271128.2A 2022-10-17 2022-10-17 一种用于笼养肉鸽料槽剩料的判别方法 Active CN115526880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211271128.2A CN115526880B (zh) 2022-10-17 2022-10-17 一种用于笼养肉鸽料槽剩料的判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211271128.2A CN115526880B (zh) 2022-10-17 2022-10-17 一种用于笼养肉鸽料槽剩料的判别方法

Publications (2)

Publication Number Publication Date
CN115526880A CN115526880A (zh) 2022-12-27
CN115526880B true CN115526880B (zh) 2023-08-01

Family

ID=84704268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211271128.2A Active CN115526880B (zh) 2022-10-17 2022-10-17 一种用于笼养肉鸽料槽剩料的判别方法

Country Status (1)

Country Link
CN (1) CN115526880B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105433033A (zh) * 2015-12-22 2016-03-30 河南牧业经济学院 含有刺梨提取物的肉鸡配合饲料及其制备方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6525271B2 (ja) * 2016-03-28 2019-06-05 国立研究開発法人農業・食品産業技術総合研究機構 残餌量測定装置および残餌量測定用プログラム
CN110073999A (zh) * 2019-04-26 2019-08-02 中国农业科学院农业信息研究所 自动计量食槽、剩余饲料计量系统及计量方法
CN211696587U (zh) * 2020-04-15 2020-10-16 中国农业科学院农业信息研究所 基于tof深度相机的剩余食料量监测系统
CN112861734A (zh) * 2021-02-10 2021-05-28 北京农业信息技术研究中心 一种料槽余食监测方法及系统
CN113516201B (zh) * 2021-08-09 2023-10-31 中国农业大学 一种基于深度神经网络的肉兔料盒中余料量的估算方法
CN115049934B (zh) * 2022-08-11 2022-12-16 山东万牧农业科技有限公司郯城分公司 基于图像处理的禽类饲料智能检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105433033A (zh) * 2015-12-22 2016-03-30 河南牧业经济学院 含有刺梨提取物的肉鸡配合饲料及其制备方法

Also Published As

Publication number Publication date
CN115526880A (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN113537106B (zh) 一种基于YOLOv5的鱼类摄食行为识别方法
CN111007073B (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测系统
CN108369067B (zh) 用于确定输送机上的给料的质量的方法和系统
Lines et al. An automatic image-based system for estimating the mass of free-swimming fish
CN102221559B (zh) 基于机器视觉的织物疵点在线自动检测方法及其装置
CN112465738B (zh) 基于红外与可见光图像的光伏电站在线运维方法及系统
WO2018232518A1 (en) DETERMINING POSITIONS AND OBJECT ORIENTATIONS
CN109816697B (zh) 一种无人模型车建立地图的系统及方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
Atienza-Vanacloig et al. Vision-based discrimination of tuna individuals in grow-out cages through a fish bending model
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN108990862B (zh) 一种基于机器视觉的科学确定河蟹投饵量的方法
US9691144B2 (en) System and method for counting zooplankton
CN106900601B (zh) 一种快速精准识别对虾图像虾头点与虾尾点的方法
CN115526880B (zh) 一种用于笼养肉鸽料槽剩料的判别方法
CN110689059A (zh) 一种垃圾自动分拣的方法
CN114529510A (zh) 一种阴极铜在线质量自动检测分类方法
Lai et al. Automatic measuring shrimp body length using CNN and an underwater imaging system
CN113706512A (zh) 一种基于深度学习和深度相机的生猪体重测量方法
CN116109633B (zh) 一种轴承保持器的窗口检测方法及设备
CN114550069B (zh) 一种基于深度学习的仔猪乳头计数方法
CN114120318A (zh) 一种基于集成决策树的暗场图像目标点精确提取方法
CN111222510B (zh) 一种烧结机的台车箅条图像摄取方法及系统
TW202309823A (zh) 人工智慧養殖魚群食慾判斷方法與系統
CN113538389A (zh) 一种鸽蛋品质识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant