CN116524336A - 一种青贮玉米收获机自动抛送填装控制方法 - Google Patents

一种青贮玉米收获机自动抛送填装控制方法 Download PDF

Info

Publication number
CN116524336A
CN116524336A CN202211524639.0A CN202211524639A CN116524336A CN 116524336 A CN116524336 A CN 116524336A CN 202211524639 A CN202211524639 A CN 202211524639A CN 116524336 A CN116524336 A CN 116524336A
Authority
CN
China
Prior art keywords
throwing
cylinder
point
filling
blanking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211524639.0A
Other languages
English (en)
Inventor
尤泳
李芳旭
王德成
纪中良
王海翼
惠云婷
张国锐
王天一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202211524639.0A priority Critical patent/CN116524336A/zh
Publication of CN116524336A publication Critical patent/CN116524336A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D45/00—Harvesting of standing crops
    • A01D45/02—Harvesting of standing crops of maize, i.e. kernel harvesting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/80—Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
    • Y02P60/87—Re-use of by-products of food processing for fodder production

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental Sciences (AREA)
  • Filling Or Emptying Of Bunkers, Hoppers, And Tanks (AREA)

Abstract

本发明涉及一种青贮玉米收获机自动抛送填装控制方法，包括，S1、根据所识别车厢位姿获取期望落料点坐标；S2、调整抛筒高度至出料口对准第一期望落点，装车作业开始；S3、获取实际落料点坐标，计算期望落料点及实际落料点u，v方向距离；S4、实现于控制器的串口通讯，传输数据至控制器；S5、重复上述步骤，依次填装其余各点。本发明针对青贮玉米收获机作业时手动调节抛筒位姿效率低，抛送精度差等一系列问题，发明一种青贮玉米收获机自动抛送填装控制方法，利于喷料过程中对期望落料点连续、精准的输送，提高填充效率，节约人力、物力。

Description

一种青贮玉米收获机自动抛送填装控制方法
技术领域
本发明涉及一种青贮玉米收获机自动抛送填装控制方法，属于农业机械自动化技术领域。
背景技术
青贮饲料具有营养价值高、易消化、柔软芳香、适口性好、保存期长、成本低等诸多优点，在我国未来畜牧业的发展中，有着巨大的发展潜力。当前，青贮机在作业的过程中，抛料筒可完成抛料、卸料等基本功能，但必须在人为控制下能实现喷料方向的改变。此过程需要操作员根据实际出料量和车身相对速度对整体抛料筒和出料板的幅度进行实时调整，通过手柄手动的方式控制抛料筒喷头的角度和高度。大多数情况下在操作员观察填装状态的同时需要转头目测，增加了对抛送筒喷料装置注意力的同时也减少了对方向的控制、对地形因素的观察，进而增加风险程度及车体损坏的概率。本发明涉及一种青贮玉米收获机物料自动填装控制方法，利用YOLOv5网络完成对料车车厢的识别标定与物料落点位置检测，基于像素坐标系设定填装规则，并在既定填装规则下完成自动抛送工作，解决了抛送效率低、抛送精度差等一系列问题，节省了人力、物力，提高了装车效率，最终达到了精准抛送的目的。
已公布的青贮玉米收获机自动填料装置抛筒控制方法在自动抛送任务上取得了不错的成绩，对于车厢位置已能较为精准的识别，但对于抛筒机械臂旋转、相机位置变化时，识别框误差较大。对于预设填装点的位置并未有明确的识别方式，对于物料落点的位置也只停留在抛筒不做旋转运动状态下落点位置的估算阶段。
发明内容
发明技术解决问题：为解决当前青贮机卸料过程效率低，自动化程度低，料车车厢识别精准度低，抛送运动控制方式可靠性低等现实问题，本发明提供一种青贮玉米收获机自动抛送填装控制方法以准确识别车厢位置、车内期望落料点与实际落料点的定位，综合考虑了车厢内物料堆垛的规律，设置高效的填充规则以达到精准抛送目的。
为了克服上述现有的技术问题，本发明提供一种青贮玉米收获机自动抛送填装控制方法，系统根据车身、抛筒相对位置根据既定填装规则完成青贮物料的自动抛送流程，包括：
S1、获取期望落料点坐标：
通过位于青贮机抛送筒出料板上方的工业摄像头实时获取车厢位置及物料填装情况，利用rotation-yolov5目标检测算法，对镜头下旋转目标进行检测，实现对车厢的标定和识别，进而获取青贮机收获作业中期望落料点于像素坐标系中的实时坐标；
S2、调整抛筒高度，装车作业开始：
根据所识别车厢位姿及期望料点位置，调整抛筒位置至出料口对准第一期望落料点，青贮机开始收获，装车作业开始；
S3、获取实际落料点坐标：
通过位于青贮机抛送筒出料板上方的工业摄像头实时获取抛送筒出料口至车内物料落点物料段的物料流图像；所述摄像头采用国产联途4G网络摄像头，焦距2.8mm，170°广角视野，离地高度6m。
利用YOLOv5算法对物料流落点进行识别与坐标计算，期望落料点坐标与实际落料点坐标定义在与地面平行的像素坐标系下，所述像素坐标系定义为以摄像头成像平面左上角的顶点为原点的坐标系，规定向右为u轴正方向，向下为v轴正方向，其中u、v分别表示为所在图像的行和列，其单位均为pixel，分别计算期望落料位置pn和实际落料位置pm于u、v两个方向实时距离du，dv；
S4、实现于控制器的串口通讯：
利用pyserial库实现python、arduino的串口通信，将实时距离du，dv发送至arduino控制器，当控制器检测到两点u、v两个方向距离du，dv大于允许最大距离dwx时，控制抛送筒机械臂关节调整出料、落料位置；
S5、依次填装其余各点：
继续按照预设填充规则进行装车工作，实时获取料车车厢内期望落料点位置上物料高度，到达预设高度时重复S1、S2、S3、S4步骤对下一期望落点位置进行填充。
进一步的，上述步骤S1包括有如下内容：
所述YOLO网络模型是一种实时目标检测方法，该模型可在速度和精度之间取得良好的平衡。YOLO网络模型使用单个卷积神经网(Convolutional Neural Networks，CNN)处理图像，可以直接计算图像中物体的位置坐标及其分类结果，所述YOLOv5算法是YOLO的第5个版本，其特点是检测精度高、检测速度快，满足实时监测的需求，以YOLOv5网络实现对不同角度下车厢的标定及物料流的识别，从而实现于像素坐标系中期望落料点和实际落料点的定位。
进一步的，所述青贮机抛送筒包括出料板1、出料板前节液压油缸2、抛送筒偏转弯管3、抛送筒主节下口缺板4、抛送筒主节俯仰液压油缸5、抛料筒底座6、抛送筒旋转底轴7、抛送筒主节内侧板8、抛筒机械臂侧板9、抛筒外壁10、抛送筒前节11；所述抛筒机械臂侧板9对称分布于抛送筒主节内侧板8两侧；抛送筒主节尾部为抛送筒偏转弯管3，物料于此获得离心力，并与抛筒外壁10碰撞，最终沿外壁滑移离开；所述抛送筒旋转底轴7位于抛料筒底座6与抛送筒主节之间，共同组成抛送筒旋转机构，实现抛送筒±95°的旋转运动使抛筒在喷料过程中改变在行车方向上的落料位置；所述抛送筒主节俯仰液压油缸5安装于旋转机构与抛送筒主节下口缺板4之间，用于实现整体抛送筒升降，装车作业前，需调整其整体高度使相机到达指定识别位置，抛筒到达最佳出料高度；所述抛送筒主节下口缺板4与所述抛送筒主节内侧板8属于可拆式螺钉连接，以解决物料于抛送筒主节尾部偏转弯管处物料堵塞问题；物料于所述抛送筒前节11前端出料板1处离开抛送筒；所述抛送筒前节前端出料板1包括两节结构，以铰接形式彼此相连，出料板主节101与抛送筒前节11铰接相连，出料板主节101与前节舌板103铰接相连，前节舌板103为物料最终流出位置，整体物料流经前节舌板103理顺后在俯视视角下呈矩形分布，强化流体特征，提高对物料流、实际落料位置的识别精度；拉紧弹簧102一端固定在出料板主节101上，另一端固定在前节舌板103上，出料板前节液压油缸2的一端固定在抛送筒前节11上，另一端安装在出料板主节101上，在拉紧弹簧102作用下实现前节舌板103与出料板主节101的方向偏转；所述出料板前节液压油缸2伸缩推动出料板主节101摆动，出料板拉紧弹簧102伸缩从而控制出料板俯仰角度，使抛筒在喷料过程中改变在垂直于行车方向上的落料位置，进而控制最终出料方向；青贮机抛送筒包含三个可动自由度，分别为抛送筒整体转动；在抛送筒主节俯仰液压油缸5作用下实现抛送筒整体高度调节；出料板1在出料板前节液压油缸3的作用下实现角度变化，进而控制物料流出料方向。
进一步的，上述步骤S3包括有如下内容：
S3.1、通过网络爬取和自行拍摄制作抛送筒出料板顶部摄像头视角待测物料流图像数据集，其中60％来源于网络，40％为自行拍摄，得到工作环境视角下物料流图片1400张，沿行车方向车框中线呈不同角度分部的料车车框800张；对其进行预处理以增强对特征点的获取，并保存为jpg格式；其中，获取到青贮机工作中抛送筒出料时的俯视图像数据集，图像中包含出料口至落料位置物料流段图，为YOLOv5网落训练做准备，共获取图片1400张同时进行预处理；
S3.2、利用rolabelimg工具对所得图片做标记处理，标注信息采用PASCAL VOC(PASCAL Visual Object Classes)数据集的格式进行保存，利用，转换标签格式为txt格式，并划分训练集和测试集，其中训练集占80％，测试集占20％；
S3.3、将已划分的数据集引入yolo网络迭代训练，迭代批量大小设置为16，总迭代次数为120次，对所训练模型进行评估，评估指数为：平均精度均值(mAP)、召回率(Recall)、准确率(Precision)，当迭代次数接近40次时平均精度均值接近0.996、召回率、准确率均接近1；
S3.4、完成迭代训练后，保存最优权重模型并于测试集上测试，分别在不同关照条件下，不同拍摄角度下对物料流进行检测，输出靠近实际落料点位置处矩形检测边框中点坐标，记为实际落料点坐标；
所述pyserial库是在python下用于实现串口通信的一个模块，在cmd中使用pipinstall pyserial命令进行安装，通过串口通信将用于YOLOv5网络目标检测流程所获得的坐标信息及u、v两方向的实时距离计算结果传入arduino控制器，实现电磁继电器的通断进而实现对抛送筒机械臂各关节的控制。所述期望落料点、实际落料点检测实验环境使用Window10操作系统，采用Pytorch框架，使用Geforce GTX 1060显卡进行运算。
进一步的，上述步骤S5中所述填装规则包括有如下内容：
S5.1出料前调整青贮抛送筒主节俯仰液压油缸5使识别装置到达合适高度，抛筒出料口竖直且对准预设填料点P1上方；所述青贮机抛送筒包括三个可动自由度：抛送筒整体绕旋转底轴转动；抛送筒主节俯仰伸缩液压油缸实现整体抛送筒的高度调节；抛送筒前节出料板在出料板前节液压油缸3作用下实现出料方向可调；
S5.2、YOLOv5网络检测料车车厢同时输出像素坐标系中实际物料落点pm坐标，比较t时刻期望落料点位置pn(un，vn)与实际落料点位置pm(um，vm)，分别计算u、v方向上pn、pm实时坐标差值：du＝un-um；dv＝vn-vm；分别计算u、v方向上实时距离与最大允许距离dex差值s＝dex-|du|，z＝dex-|dv|；
若s<0，则抛筒转动，z<0出料板角度变化，du>0时抛送筒顺时针转动，du<0时抛送筒逆时针转动，转动角度速度ω＝0.052rad/s，dv>0时出料板沿v轴正方向摆动，dv<0时出料板沿v轴负方向摆动；
S5.3对期望落料点位置pn按一定顺序填装，所述期望落料点位置pn位于像素坐标系中矩形车厢内部沿行车方向中心线上等距分布的若干个假想点，填装时，沿行车方向中心线上等距分布的若干个期望落料点位置假想点往后进行间隔一个进行填充，当填充到间隔的假想点的最后一个时，依次再向行车方向往前填充；
所述期望落料位置上的落料高度及车厢高度通过于出料板上方测距传感器实时测量所得；
设定有七个期望落料点位置pn时，从车头到车尾，依次为P1、P2、P3、P4、P5、P6、P7，所述填装顺序为：依次对P2、P4、P6三点进行填装，若其中某一点物料高度达到整体车厢高度80％时，换下一点进行填装，点P6到达指定高度时，依次对P7、P5、P3、P1进行填装，其中某一点物料高度达到整体车厢高度％110时，换下一点进行填装，直至点P1处物料达到指定高度，填料完成；
所述填装规则中，更换期望落料点作业时涉及抛送筒机械臂关节的运动，所述抛料筒底座6以蜗杆传动形式并在液压马达的驱动下实现抛送筒整体旋转运动；出料板1在出料板前节液压油缸2的作用下实现角度变化，更换期望落点作业及期望落料点和实际落料点距离超过阈值时抛筒机械臂运动，根据视觉检测实时反馈信息计算实时距离，抛送筒机械臂回转运动以校正u方向距离，出料板摆动以校正v方向距离。
所述S1中，所述rotation-yolov5目标检测算法包括：
基于YOLOv5目标检测算法，分别对其数据加载部分、Head部分及损失函数部分进行修改，得到rotation-yolov5目标检测算法用于实现旋转对旋转目标的识别，在数据加载部分采用长边表示法对旋转框进行定义，使用roLabelImg软件进行标注，Head部分中修改Detect类的构造函数，损失函数包括置信度损失、class分类损失、θ角度分类损失、bbox边框回归损失四部分，置信度分支的权重系数选择水平边框的之间IOU/GIOU/CIOU/DIOU，加快训练速度和gpu利用率；由于添加的θ是分类任务，所以添加分类损失，bbox边框回归损失中，YOLOv5源码中边框损失函数采用的是IOU/GIOU/CIOU/DIOU，适用于水平矩形边框之间计算IOU，旋转框的损失计算部分分为角度损失和水平边框损失两个部分，边框回归损失部分依旧采用以上损失函数。
本发明的有益效果为：
1.本发明涉及一种青贮玉米收获机自动抛送填装控制方法，基于YOLOv5神经网络模型结构分别对料车车厢、输出物料流进行检测识别，同时输出车厢识别框内期望落料点坐标与实际落料点坐标。此方法识别准确、具有灵活、轻量、快速等优点，有利于抛筒机械臂运动时的快速响应；
2.本发明采用对点识别对点抛送装填的方式，基于YOLOv5的识别机制下能实现对物料的有序抛送，简化了控制流程，解决了在青贮机自动抛送系统研究中物料浪费较多，抛送效率较差等现实问题；
3.本发明按一定顺序设置了填料规则，解决了自动抛送物料过程中物料不均，物料不满等问题，为自动抛送填料过程的稳定性提供了先决条件。
附图说明：
图1为本发明中对抛送筒机械臂抛料控制流程图；
图2为本发明中所用青贮机抛送筒机械臂结构示意图；
图3为本发明中所用青贮机抛送筒机械臂抛送筒出料板结构示意图；
图4为本发例中青贮机自动抛送装置工作环境模拟示意图；
图5为本发例中按预设填装规则装车状态流程图；其中，图5(a)为车厢期望落点示意图，图5(b)填装第一阶段车厢内物料状态示意图；图5(c)填装完成车厢内物料状态示意图；
图6为本发明中步骤S3子步骤示意图；
图7为本发明中数据集部分样本示意图及对其检测结果图；
图8为模拟青贮机工作时对俯视视角下车框样本检测对比图。
图中各标号为：1-出料板，2-出料板前节液压油缸，3-抛送筒偏转弯管，4-抛送筒主节下口缺板，5-抛送筒主节俯仰液压油缸，6-抛料筒底座，7-抛送筒旋转底轴，8-抛送筒主节内侧板，9-抛筒机械臂侧板，10-抛筒外壁，11-抛送筒前节，101-出料板主节，102-拉紧弹簧，103-前节舌板。
具体实施方式：
为了更清楚展示本发明的具体技术和优点，下面对本发明的具体实施方式做进一步描述，但应当理解，本发明不限于具体实施方式的范围，一切利用本发明构思的发明创做均在保护之列。
如图1所示为本发明实例中对抛送筒机械别控制流程图，装车开始前需操作员手动调节抛送筒机械臂空间位置至随机械臂运动的工业摄像头能对输出物料流、随车车厢准确识别标定，且使抛送筒出料口对准第一期望落点位置P1。作业期间整体抛送筒高度不变，识别系统识别到目标后计算预期落料点位置坐标及实际落料点位置坐标，所述坐标基于摄像头像素坐标系中，机械臂运动需按像素比例计算，拟设定预期落料点位置及实际落料点位置u、v方向上允许最大距离dex，并与实际距离作差计算，依次控制机械臂各关节运动方向，实时改变实际落料位置。
如图2所示，所述青贮机抛送筒包括出料板1、出料板前节液压油缸2、抛送筒偏转弯管3、抛送筒主节下口缺板4、抛送筒主节俯仰液压油缸5、抛料筒底座6、抛送筒旋转底轴7、抛送筒主节内侧板8、抛筒机械臂侧板9、抛筒外壁10、抛送筒前节11；所述抛筒机械臂侧板9对称分布于抛送筒主节内侧板8两侧；抛送筒主节尾部为抛送筒偏转弯管3，物料于此获得离心力，并与抛筒外壁10碰撞，最终沿外壁滑移离开；所述抛送筒旋转底轴7位于抛料筒底座6与抛送筒主节之间，共同组成抛送筒旋转机构，实现抛送筒±95°的旋转运动；所述抛送筒主节俯仰液压油缸5安装于旋转机构与抛送筒主节下口缺板4之间，用于实现整体抛送筒升降；所述抛送筒主节下口缺板4与所述抛送筒主节内侧板8属于可拆式螺钉连接，以解决物料于抛送筒主节尾部偏转弯管处物料堵塞问题；物料于所述抛送筒前节11前端出料板1处离开抛送筒；所述抛送筒前节前端出料板1包括两节结构，以铰接形式彼此相连，出料板主节101与抛送筒前节11铰接相连，出料板主节101与前节舌板103铰接相连，前节舌板103为物料最终流出位置，拉紧弹簧102一端固定在出料板主节101上，另一端固定在前节舌板103上，出料板前节液压油缸2的一端固定在抛送筒前节11上，另一端安装在出料板主节101上，在拉紧弹簧102作用下实现前节舌板103与出料板主节101的方向偏转；所述出料板前节液压油缸2伸缩推动出料板主节101摆动，出料板拉紧弹簧102伸缩从而控制出料板俯仰角度，进而控制最终出料方向；青贮机抛送筒包含三个可动自由度，分别为抛送筒整体转动；在抛送筒主节俯仰液压油缸5作用下实现抛送筒整体高度调节；出料板1在出料板前节液压油缸3的作用下实现角度变化，进而控制物料流出料方向。
如图4所示为本发明实例中青贮机自动抛送装置工作环境模拟示意图，青贮玉米收获机作业时物料于抛送筒底部加速风扇处获得加速度，一定速度下按固定轨迹进入料车车厢，图中沿车框行车方向上中线均匀分部的p点为预设填充点，预设填充点根据对车厢检车识别后通过中心点算法得到，根据所述填规则对P2、P4、P6三点进行装填至高度为车厢高度的80％时状态如图5(b)，对P1、P3、P5、P7四点进行填装至高度为车厢高度的110％时状态如图5(c)；
如图6所示，步骤S3中需对在作业条件下不同出料状态及不同拍摄角度对物料流图像进行收集，经过一定的图像处理流程，保留青贮机抛送筒出口至车厢内落料点位置处物料流段，作为本次YOLOv5网络训练的数据集。训练过后以最优权重进行测试并于连接摄像头后进行实况检测，本发明中认为车厢内物料流落点位置边线中点坐标为实际落料点位置，并输出其在像素坐标系下的坐标值，安装pyserial串口通讯模块，将所计算期望落料点及实际落料点u、v方向的坐标差值传输至arduino控制器。
如图7所示为青贮机作业时不同视角下的物料流部分样本以及检测结果图，图中，图中识别框中心部位坐标即为识别框底边中点位置坐标，本发明中将此点定义为实际落料点，将此点坐标定义为基于图像坐标系实际落料点坐标。
如图8所示为模拟青贮机工作时对俯视视角下车框样本检测对比图，分别以常规YOLOv5算法及rotation-yolov5目标检测算法进行检测对比，其中，图8中，第一行是改进前YOLOv5目标检测算法检测结果，第二行是改进后rotation-yolov5目标检测算法检测结果，检测结果表明，使用rotation-yolov5目标检测算法能大幅度提高对车框的检测精度，适应并满足抛筒喷料角度变化时对车厢内期望落点的检测精度。
以下为对本发明工作流程的详细说明：
具体步骤如下所示：
S1、获取期望落料点坐标：青贮机出料前操作员需手动调整整体抛送筒的高度，使车厢及物料流进入摄像头识别范围之内，以便于识别装置对车厢的准确识别，对期望落料位置坐标的准确输出；
通过位于青贮机抛送筒出料板上方的工业摄像头实时获取车厢位置及物料填装情况，利用rotation-yolov5目标检测算法，对镜头下旋转目标进行检测，实现对车厢的标定和识别，进而获取青贮机收获作业中期望落料点于像素坐标系中的实时坐标；
所述S1中，所述rotation-yolov5目标检测算法包括：
基于YOLOv5目标检测算法，分别对其数据加载部分、Head部分及损失函数部分进行修改，得到rotation-yolov5目标检测算法用于实现旋转对旋转目标的识别，在数据加载部分采用长边表示法对旋转框进行定义，使用roLabelImg软件进行标注，Head部分中修改Detect类的构造函数，损失函数包括置信度损失、class分类损失、θ角度分类损失、bbox边框回归损失四部分，置信度分支的权重系数选择水平边框的之间IOU/GIOU/CIOU/DIOU，加快训练速度和gpu利用率；由于添加的θ是分类任务，所以添加分类损失，bbox边框回归损失中，YOLOv5源码中边框损失函数采用的是IOU/GIOU/CIOU/DIOU，适用于水平矩形边框之间计算IOU，旋转框的损失计算部分分为角度损失和水平边框损失两个部分，边框回归损失部分依旧采用以上损失函数。
S2、调整抛筒高度，装车作业开始：识别系统对车厢进行标定识别，同时输出车厢内期望落料点位置坐标。得到期望落料点位置后调整出料板位置，根据所识别车厢位姿及期望料点位置，调整抛筒至出料口对准第一期望落料点P1，青贮机开始收获，抛筒出料，装车作业开始；
S3、获取实际落料点坐标：通过位于青贮机抛送筒出料板上方的工业摄像头实时获取抛送筒出料口至车内物料落点物料段的物料流图像；
利用YOLOv5算法对物料流落点进行识别与坐标计算，期望落料点坐标与实际落料点坐标定义在与地面平行的像素坐标系下，所述像素坐标系定义为以摄像头成像平面左上角的顶点为原点的坐标系，规定向右为u轴正方向，向下为v轴正方向，其中u、v分别表示为所在图像的行和列，其单位均为pixel，分别计算期望落料位置pn和实际落料位置pm于u、v两个方向实时距离du，dv；
S3.1通过网络爬取和自行拍摄制作抛送筒出料板顶部摄像头视角待测物料流图像数据集，其中60％来源于网络，40％为自行拍摄，得到工作环境下物料流图片1400张；对其进行预处理以增强对特征点的获取，并保存为jpg格式；
S3.2利用rolabelimg工具对所得图片做标记处理，标注信息采用PASCAL VOC数据集的格式进行保存，转换标签格式为txt格式，并划分训练集和测试集，其中训练集占80％，测试集占20％；
S3.3将已划分的数据集引入YOLO网络迭代训练，迭代批量大小设置为16，总迭代次数为120次，对所训练模型进行评估，评估指数为：平均精度均值、召回率、准确率，当迭代次数接近40次时平均精度均值接近0.996、召回率、准确率均接近1；
S3.4完成迭代训练后，保存最优权重模型并于测试集上测试，分别在不同光照条件，不同拍摄角度下对物料流进行检测，输出矩形检测边框落料位置处边线的中点坐标，记为实际落料点坐标。
所述期望落料点、实际落料点检测实验环境使用Window10操作系统，采用Pytorch框架，使用Geforce GTX 1060显卡进行运算。
S4、实现与控制器的串口通讯：利用pyserial库实现python、arduino的串口通信，将实时距离du，dv发送至arduino控制器，当控制器检测到两点u、v两个方向距离du，dv大于允许最大距离dex时，控制抛送筒机械臂关节调整出料、落料位置；所述pyserial库是在python下用于实现串口通信的一个模块，在cmd中使用pip install pyserial命令进行安装，通过串口通信将用于YOLOv5网络目标检测流程所获得的坐标信息及u、v两方向的实时距离计算结果传入arduino控制器，实现电磁继电器的通断进而实现对抛送筒机械臂各关节的控制。
S5、依次填装其余各点：继续以预设填充规则进行装车工作，实时获取料车车厢内期望落料点位置上物料高度，到达预设高度时重复S1、S2、S3、S4步骤对下一期望落点位置进行填充。
所述步骤S5中预设填充规则包括如下步骤：
S5.1出料前调整青贮抛送筒主节俯仰液压油缸5使识别装置到达合适高度，抛筒出料口竖直且对准预设填料点P1上方；所述青贮机抛送筒包括三个可动自由度：抛送筒整体绕旋转底轴转动；抛送筒主节俯仰伸缩液压油缸实现整体抛送筒的高度调节；抛送筒前节出料板在出料板前节液压油缸3作用下实现出料方向可调；
S5.2、YOLOv5网络检测料车车厢同时输出像素坐标系中实际物料落点pm坐标，比较t时刻期望落料点位置pn(un，vn)与实际落料点位置pm(um，vm)，分别计算u、v方向上pn、pm实时坐标差值：du＝un-um；dv＝vn-vm；分别计算u、v方向上实时距离与最大允许距离dex差值s＝dex-|du|，z＝dex-|dv|；
若s<0，则抛筒转动，z<0出料板角度变化，du>0时抛送筒顺时针转动，du<0时抛送筒逆时针转动，转动角度速度ω＝0.052rad/s，dv>0时出料板沿v轴正方向摆动，dv<0时出料板沿v轴负方向摆动；
S5.3对期望落料点位置pn按一定顺序填装，所述期望落料点位置pn位于像素坐标系中矩形车厢内部沿行车方向中心线上等距分布的若干个假想点，填装时，沿行车方向中心线上等距分布的若干个期望落料点位置假想点往后进行间隔一个进行填充，当填充到间隔的假想点的最后一个时，依次再向行车方向往前填充；
设定有七个期望落料点位置pn时，从车头到车尾，依次为P1、P2、P3、P4、P5、P6、P7，所述填装顺序为：依次对P2、P4、P6三点进行填装，若其中某一点物料高度达到整体车厢高度80％时，换下一点进行填装，点P6到达指定高度时，依次对P7、P5、P3、P1进行填装，其中某一点物料高度达到整体车厢高度％110时，换下一点进行填装，直至点P1处物料达到指定高度，填料完成。
所述期望落料位置上的落料高度及车厢高度通过于出料板上方测距传感器实时测量所得；
所述填装规则中，更换期望落料点作业时涉及抛送筒机械臂关节的运动，所述抛料筒底座6以蜗杆传动形式并在液压马达的驱动下实现抛送筒整体旋转运动；出料板1在出料板前节液压油缸2的作用下实现角度变化，更换期望落点作业及期望落料点和实际落料点距离超过阈值时抛筒机械臂运动，根据视觉检测实时反馈信息计算实时距离，抛送筒机械臂回转运动以校正u方向距离，出料板摆动以校正v方向距离。

Claims (9)

1.一种青贮玉米收获机自动抛送填装控制方法，其特征在于，具体包括以下步骤：
S1、获取期望落料点坐标：
通过位于青贮机抛送筒出料板上方的工业摄像头实时获取车厢位置及物料填装情况，利用rotation-yolov5目标检测算法，对镜头下旋转目标进行检测，实现对车厢的标定和识别，进而获取青贮机收获作业中期望落料点于像素坐标系中的实时坐标；
S2、调整抛筒高度，装车作业开始：
根据所识别车厢位姿及期望料点位置，调整抛筒至出料口对准第一期望落料点P1，青贮机开始收获，装车作业开始；
S3、获取实际落料点坐标：
通过位于青贮机抛送筒出料板上方的工业摄像头实时获取抛送筒出料口至车内物料落点物料段的物料流图像；
利用YOLOv5算法对物料流落点进行识别与坐标计算，期望落料点坐标与实际落料点坐标定义在与地面平行的像素坐标系下，所述像素坐标系定义为以摄像头成像平面左上角的顶点为原点的坐标系，规定向右为u轴正方向，向下为v轴正方向，其中u、v分别表示为所在图像的行和列，其单位均为pixel，分别计算期望落料位置pn和实际落料位置pm于u、v两个方向实时距离du，dv；
S4、实现与控制器的串口通讯：
利用pyserial库实现python、arduino的串口通信，将实时距离du，dv发送至arduino控制器，当控制器检测到两点u、v两个方向距离du，dv大于允许最大距离dex时，控制抛送筒机械臂关节调整出料、落料位置；
S5、依次填装其余各点：
继续以预设填充规则进行装车工作，实时获取料车车厢内期望落料点位置上物料高度，到达预设高度时重复S1、S2、S3、S4步骤对下一期望落点位置进行填充。
2.根据权利要求1所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，所述步骤S5中预设填充规则包括如下步骤：
S5.1出料前调整青贮抛送筒主节俯仰液压油缸(5)使识别装置到达合适高度，抛筒出料口竖直且对准预设填料点P1上方；所述青贮机抛送筒包括三个可动自由度：抛送筒整体绕旋转底轴转动；抛送筒主节俯仰伸缩液压油缸实现整体抛送筒的高度调节；抛送筒前节出料板在出料板前节液压油缸(3)作用下实现出料方向可调；
S5.2、YOLOv5网络检测料车车厢同时输出像素坐标系中实际物料落点pm坐标，比较t时刻期望落料点位置pn(un，vn)与实际落料点位置pm(um，vm)，分别计算u、v方向上pn、pm实时坐标差值：du＝un-um；dv＝vn-vm；分别计算u、v方向上实时距离与最大允许距离dex差值s＝dex-|du|，z＝dex-|dv|；
若s<0，则抛筒转动，z<0出料板角度变化，du>0时抛送筒顺时针转动，du<0时抛送筒逆时针转动，转动角度速度ω＝0.052rad/s，dv>0时出料板沿v轴正方向摆动，dv<0时出料板沿v轴负方向摆动；
S5.3对期望落料点位置pn按一定顺序填装，所述期望落料点位置pn位于像素坐标系中矩形车厢内部沿行车方向中心线上等距分布的若干个假想点，填装时，沿行车方向中心线上等距分布的若干个期望落料点位置假想点往后进行间隔一个进行填充，当填充到间隔的假想点的最后一个时，依次再向行车方向往前填充；
所述期望落料位置上的落料高度及车厢高度通过于出料板上方测距传感器实时测量所得。
3.根据权利要求1所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，所述青贮机抛送筒包括出料板(1)、出料板前节液压油缸(2)、抛送筒偏转弯管(3)、抛送筒主节下口缺板(4)、抛送筒主节俯仰液压油缸(5)、抛料筒底座(6)、抛送筒旋转底轴(7)、抛送筒主节内侧板(8)、抛筒机械臂侧板(9)、抛筒外壁(10)、抛送筒前节(11)；所述抛筒机械臂侧板(9)对称分布于抛送筒主节内侧板(8)两侧；抛送筒主节尾部为抛送筒偏转弯管(3)，物料于此获得离心力，并与抛筒外壁(10)碰撞，最终沿外壁滑移离开；所述抛送筒旋转底轴(7)位于抛料筒底座(6)与抛送筒主节之间，共同组成抛送筒旋转机构，实现抛送筒±95°的旋转运动，使抛筒在喷料过程中改变在行车方向上的落料位置；所述抛送筒主节俯仰液压油缸(5)安装于旋转机构与抛送筒主节下口缺板(4)之间，用于实现整体抛送筒升降，装车作业前，需调整其整体高度使相机到达指定识别位置，抛筒到达最佳出料高度；所述抛送筒主节下口缺板(4)与所述抛送筒主节内侧板(8)属于可拆式螺钉连接，以解决物料于抛送筒主节尾部偏转弯管处物料堵塞问题；物料于所述抛送筒前节(11)前端出料板(1)处离开抛送筒；所述抛送筒前节前端出料板(1)包括两节结构，以铰接形式彼此相连，出料板主节(101)与抛送筒前节(11)铰接相连，出料板主节(101)与前节舌板(103)铰接相连，前节舌板(103)为物料最终流出位置，整体物料流经前节舌板(103)理顺后在俯视视角下呈矩形分布，强化流体特征，提高对物料流、实际落料位置的识别精度；拉紧弹簧(102)一端固定在出料板主节(101)上，另一端固定在前节舌板(103)上，出料板前节液压油缸(2)的一端固定在抛送筒前节(11)上，另一端安装在出料板主节(101)上，在拉紧弹簧(102)作用下实现前节舌板(103)与出料板主节(101)的方向偏转；所述出料板前节液压油缸(2)伸缩推动出料板主节(101)摆动，出料板拉紧弹簧(102)伸缩从而控制出料板俯仰角度，使抛筒在喷料过程中改变在垂直于行车方向上的落料位置，进而控制最终出料方向；青贮机抛送筒包含三个可动自由度，分别为抛送筒整体转动；在抛送筒主节俯仰液压油缸(5)作用下实现抛送筒整体高度调节；出料板(1)在出料板前节液压油缸(3)的作用下实现角度变化，进而控制物料流出料方向。
4.根据权利要求1所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，步骤S3具体为：
S3.1制作抛送筒出料板顶部摄像头视角待测物料流图像数据集，得到工作环境视角下物料流图片1400张，沿行车方向车框中线呈不同角度分部的料车车框800张，对其进行预处理以增强对特征点的获取，并保存为jpg格式；
S3.2利用rolabelimg工具对所得图片做标记处理，标注信息采用PASCAL VOC数据集的格式进行保存，转换标签格式为txt格式，并划分训练集和测试集，其中训练集占80％，测试集占20％；
S3.3将已划分的数据集引入YOLO网络迭代训练，迭代批量大小设置为16，总迭代次数为120次，对所训练模型进行评估，评估指数为：平均精度均值、召回率、准确率，当迭代次数接近40次时平均精度均值接近0.996、召回率、准确率均接近1；
S3.4完成迭代训练后，保存最优权重模型并于测试集上测试，分别在不同光照条件，不同拍摄角度下对物料流进行检测，输出矩形检测边框落料位置处边线的中点坐标，记为实际落料点坐标。
5.根据权利要求1所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，所述pyserial库是在python下用于实现串口通信的一个模块，在cmd中使用pip installpyserial命令进行安装，通过串口通信将用于YOLOv5网络目标检测流程所获得的坐标信息及u、v两方向的实时距离计算结果传入arduino控制器，实现电磁继电器的通断进而实现对抛送筒机械臂各关节的控制。
6.根据权利要求1所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，所述期望落料点、实际落料点检测实验环境使用Window10操作系统，采用Pytorch框架，使用Geforce GTX 1060显卡进行运算。
7.根据权利要求2所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，所述填装规则中，更换期望落料点作业时涉及抛送筒机械臂关节的运动，所述抛料筒底座(6)以蜗杆传动形式并在液压马达的驱动下实现抛送筒整体旋转运动；出料板(1)在出料板前节液压油缸(2)的作用下实现角度变化，更换期望落点作业及期望落料点和实际落料点距离超过阈值时抛筒机械臂运动，根据视觉检测实时反馈信息计算实时距离，抛送筒机械臂回转运动以校正u方向距离，出料板摆动以校正v方向距离。
8.根据权利要求2所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，设定有七个期望落料点位置pn时，从车头到车尾，依次为P1、P2、P3、P4、P5、P6、P7，所述填装顺序为：依次对P2、P4、P6三点进行填装，若其中某一点物料高度达到整体车厢高度80％时，换下一点进行填装，点P6到达指定高度时，依次对P7、P5、P3、P1进行填装，其中某一点物料高度达到整体车厢高度％110时，换下一点进行填装，直至点P1处物料达到指定高度，填料完成。
9.根据权利要求1所述的一种青贮玉米收获机自动抛送填装控制方法，其特征在于，所述S1中，所述rotation-yolov5目标检测算法包括：
基于YOLOv5目标检测算法，分别对其数据加载部分、Head部分及损失函数部分进行修改，得到rotation-yolov5目标检测算法用于实现旋转对旋转目标的识别，在数据加载部分采用长边表示法对旋转框进行定义，使用roLabelImg软件进行标注，Head部分中修改Detect类的构造函数，损失函数包括置信度损失、class分类损失、θ角度分类损失、bbox边框回归损失四部分，置信度分支的权重系数选择水平边框的之间IOU/GIOU/CIOU/DIOU，加快训练速度和gpu利用率；由于添加的θ是分类任务，所以添加分类损失，bbox边框回归损失中，YOLOv5源码中边框损失函数采用的是IOU/GIOU/CIOU/DIOU，适用于水平矩形边框之间计算IOU，旋转框的损失计算部分分为角度损失和水平边框损失两个部分，边框回归损失部分依旧采用以上损失函数。
CN202211524639.0A 2022-12-01 2022-12-01 一种青贮玉米收获机自动抛送填装控制方法 Pending CN116524336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211524639.0A CN116524336A (zh) 2022-12-01 2022-12-01 一种青贮玉米收获机自动抛送填装控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211524639.0A CN116524336A (zh) 2022-12-01 2022-12-01 一种青贮玉米收获机自动抛送填装控制方法

Publications (1)

Publication Number Publication Date
CN116524336A true CN116524336A (zh) 2023-08-01

Family

ID=87405247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211524639.0A Pending CN116524336A (zh) 2022-12-01 2022-12-01 一种青贮玉米收获机自动抛送填装控制方法

Country Status (1)

Country Link
CN (1) CN116524336A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117602396A (zh) * 2023-11-29 2024-02-27 中国农业大学 一种青饲料收获机自动跟车抛送填装方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117602396A (zh) * 2023-11-29 2024-02-27 中国农业大学 一种青饲料收获机自动跟车抛送填装方法
CN117602396B (zh) * 2023-11-29 2024-04-30 中国农业大学 一种青饲料收获机自动跟车抛送填装方法

Similar Documents

Publication Publication Date Title
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN103325106B (zh) 基于LabVIEW的运动工件分拣方法
CN111496770A (zh) 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
CN106935683B (zh) 一种太阳能电池片高速视觉定位及矫正系统及其方法
CN112605033B (zh) 一种光伏板姿态识别及清洗调控装置及方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN116524336A (zh) 一种青贮玉米收获机自动抛送填装控制方法
CN109955265A (zh) 一种室内靶场智能弹壳清理机器人
CN110302981B (zh) 一种固废分拣在线抓取方法和系统
CN116686545B (zh) 基于机器视觉控制的荔枝采摘机器人除遮方法
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN109947115A (zh) 一种割草机控制系统及其控制方法
CN108935413B (zh) 一种基于植物空间处方图的叶面药喷施的装置及方法
CN118386258B (zh) 一种包装机械手臂控制系统
CN105549486A (zh) 基于机器视觉的烟草打顶抑芽检测控制系统
CN114132745A (zh) 一种基于agv及机器视觉进行工件自动上下料系统及方法
Li et al. Development and optimization of a deep-learning-based egg-collecting robot
CN110892873B (zh) 一种基于物联网的智能化种鹅选育管理系统及运行方法
CN117021059A (zh) 采摘机器人及其果实定位方法、装置、电子设备及介质
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN113715012A (zh) 一种遥控器零件自动装配方法和系统
CN114931112B (zh) 基于智能巡检机器人的母猪体尺检测系统
CN117428777A (zh) 一种拆袋机器人的手眼标定方法
CN112657869A (zh) 一种基于视觉的螺母分拣设备及其分拣方法
Jareanpon et al. Developing an Intelligent Farm System to Automate Real-time Detection of Fungal Diseases in Mushrooms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination