CN115047870A - 一种玉米籽粒收获机无人驾驶系统及其运行方法 - Google Patents
一种玉米籽粒收获机无人驾驶系统及其运行方法 Download PDFInfo
- Publication number
- CN115047870A CN115047870A CN202210581288.0A CN202210581288A CN115047870A CN 115047870 A CN115047870 A CN 115047870A CN 202210581288 A CN202210581288 A CN 202210581288A CN 115047870 A CN115047870 A CN 115047870A
- Authority
- CN
- China
- Prior art keywords
- harvester
- corn
- information
- unmanned
- cloud platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 240000008042 Zea mays Species 0.000 title claims abstract description 101
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 101
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 title claims abstract description 88
- 235000005822 corn Nutrition 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000003306 harvesting Methods 0.000 claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 claims abstract description 13
- 235000013339 cereals Nutrition 0.000 claims abstract description 13
- 235000009973 maize Nutrition 0.000 claims abstract description 13
- 230000008447 perception Effects 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 208000028257 Joubert syndrome with oculorenal defect Diseases 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000012271 agricultural production Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Combines (AREA)
Abstract
本发明公开了一种玉米籽粒收获机无人驾驶系统及其运行方法，属于农业机械技术领域。包括玉米籽收获机本体，玉米籽粒收获机无人驾驶系统还包括实时定位与环境感知端、收获作业控制端和云平台，实时定位与环境感知端和收获作业控制端均设置于玉米籽收获机本体上，且无人驾驶规划端、实时定位与环境感知端和收获作业控制端均与云平台无线连接，云平台中设置有无人驾驶规划端。本发明不仅实现了玉米籽粒收获机的无人驾驶，可以通过卷积神经网络CNN进行玉米杆和障碍物的识别，实时调整收获机作业状态和参数，动态规划行动路径，有效地提高了收获质量；同时，收获过程中可实现减人少人甚至无人作业，对人力成本大大降低。提高了收获精度和收获效率。
Description
技术领域
本发明涉及一种玉米籽粒收获机无人驾驶系统及其运行方法，属于农业机械技术领域。
背景技术
“农机无人驾驶技术”是指集成卫星定位、环境感知、远程通信、总线网络和智能控制等技术，实现按规划路径进行无人驾驶作业。近几年，随着农机导航自动驾驶系统在我国的黑龙江、新疆、内蒙古等省、自治区广泛应用，一些农机导航自动驾驶系统的生产企业以及一些高校和科研院所对农机导航系统进行了深度开发，在智能控制、定位、通信等方面与农业机械进行了有效结合，加快了农机无人化发展进程。特别是近两年，农业生产规模化逐步形成，标准化农田建设快速发展，农业生产从劳动密集型、低能高成本，迫切向高质、高效、低成本转型升级，在国家倡导智慧农场的前提下，促进了无人化农场的产生。
目前无人驾驶农业机械在国际、国内都没有任何标准，对于生产企业及推广应用单位来说，无法分辨该类产品的作业质量和性能的优劣，对其无人驾驶技术的应用与农业生产是否有效结合成为当前迫切需要解决的关键问题。
因此，研发一种玉米籽粒收获机无人驾驶系统以解决上述问题是社会迫切需求的。
发明内容
本发明提出了一种玉米籽粒收获机无人驾驶系统及其运行方法，以解决现有技术存在的问题。
一种玉米籽粒收获机无人驾驶系统，包括玉米籽收获机本体，所述玉米籽粒收获机无人驾驶系统还包括实时定位与环境感知端、收获作业控制端和云平台，所述实时定位与环境感知端和收获作业控制端均设置于所述玉米籽收获机本体上，且所述无人驾驶规划端、实时定位与环境感知端和收获作业控制端均与所述云平台无线连接，所述云平台中设置有无人驾驶规划端。
进一步的，所述无人驾驶规划端，用于设置收获区域、进行收获全局、局部路径规划和设置收获作业参数，并将规划信息和收获作业参数发送至玉米籽粒收获机的ECU中；
所述实时定位与环境感知端，用于进行收获机实时高精度定位与障碍物探测，并将定位信息和探测信息发送至ECU中；
所述收获作业控制端，用于在ECU汇总并处理了所述规划信息、收获作业参数、定位信息和探测信息后，根据ECU的命令进行玉米籽粒收获；
所述云平台，用于将本机采集的数据实时统计和存储，所述数据包括作业状态和故障预警代码，还用于为玉米籽粒收获机无人驾驶系统中的其他端更新固件。
进一步的，所述实时定位与环境感知端，包括GNSS定位模块、摄像机、毫米波雷达、计算板卡和数传模块，所述GNSS定位模块、摄像机和毫米波雷达均与计算板卡连接，所述GNSS定位模块、摄像机、毫米波雷达和计算板卡同时与玉米籽粒收获机中的CAN总线连接，所述计算板卡与数传模块双向连接，所述数传模块与云平台双向连接。
进一步的，所述GNSS定位模块，用于在GNSS信号的基础上，通过单点基站或CORS网络传输的差分信号进行高精度定位，根据高精度定位信息和路径规划信息进行自动计算，并将计算结果转换为控制信号输出到玉米籽粒收获机中的CAN总线，玉米籽粒收获机中的转向和智能驱动系统根据CAN总线中的控制信号执行相应动作；
所述摄像机，用于生成周围景象信息供所述计算板卡进行识别；
所述毫米波雷达，安装在所述玉米籽收获机本体的前后与侧方，用于进行环360°探测周围物体，并将雷达探测信息发送至所述计算板卡；
所述计算板卡，用于通过接收所述周围景象信息和雷达探测信息，通过深度学习的视觉图像特征标记，辅助判断识别障碍物，提高障碍物判断精度，检测到障碍物时通过CAN总线发送停车指令至转向和智能驱动系统或进行预警；同时，还用于通过深度学习识别判断周围物体是否为玉米杆；
所述数传模块，用于将实时定位信息和计算板卡的判断识别信息上传至云平台。
进一步的，所述云平台还连接有上位机，所述上位机用于使操作人员下达指令并观察玉米籽粒收获机的各项参数、路径、现场视频及含周围环境的俯视角实施图像。
一种玉米籽粒收获机无人驾驶系统的运行方法，基于上述的一种玉米籽粒收获机无人驾驶系统，所述玉米籽粒收获机无人驾驶系统的运行方法包括以下步骤：
S100、启动玉米籽粒收获机；
S200、操作人员通过上位机圈定预收获的玉米地块，上位机将圈定信息发送至云平台；
S300、云平台根据所述圈定信息，通过内部的无人驾驶规划端设置收获区域和进行路径规划，并将规划信息和收获作业参数发送至玉米籽粒收获机的ECU中；
S400、ECU通过CAN总线将规划信息输出至GNSS定位模块，GNSS定位模块根据高精度定位信息和规划信息进行自动计算，并将计算结果转换为控制信号输出到CAN总线，玉米籽粒收获机中的转向和智能驱动系统根据CAN总线中的控制信号执行相应动作；
S500、在玉米籽粒收获机运动过程中，摄像机生成周围景象信息发送至计算板卡中，毫米波雷达环360°探测周围物体，并将雷达探测信息发送至所述计算板卡；
S600、计算板卡通过接收周围景象信息和雷达探测信息，通过深度学习的视觉图像特征标记，辅助判断识别障碍物，提高障碍物判断精度，检测到障碍物时通过CAN总线发送停车指令至转向和智能驱动系统或进行预警；同时通过深度学习识别判断周围物体是否为玉米杆，辅助云平台判断当前收获方向是否正确；
S700、在ECU持续汇总并处理规划信息、收获作业参数、定位信息和探测信息，当ECU判断玉米籽粒收获机进入收获范围后，ECU命令收获作业控制端进行玉米籽粒收获，直至完成任务。
进一步的，在S600中，玉米杆和障碍物的识别具体包括以下步骤：
S610、提供训练集，对卷积神经网络CNN进行训练；
S620、将训练好的卷积神经网络CNN内置在计算板卡；
S630、当毫米波雷达探测到有障碍物时，开启摄像机；
S640、摄像机持续摄入图像至计算板卡中；
S650、计算板卡对图像进行预处理；
S660、计算板卡对通过预处理过的图像进行识别，识别出玉米地中的玉米杆和障碍物的信息。
进一步的，在S610中，训练集分为玉米杆和其他障碍物两类数据，并进行分类和标注。
进一步的，在S650中，预处理的具体步骤包括：
S651、对摄像机拍摄到的视频分为若干帧图片，将所有图片的分辨率统一；
S652、对图片进行数据增强。
进一步的，在S660后，还包括：
S670、上位机通过云平台汇总全程运行数据，并生成工作日志。
本发明的有益效果：本发明的一种玉米籽粒收获机无人驾驶系统及其运行方法，不仅实现了玉米籽粒收获机的无人驾驶，还可以通过卷积神经网络CNN进行玉米杆和障碍物的识别，实时调整收获机作业状态和参数，动态规划行动路径，有效地提高了收获质量；同时，收获过程中可实现减人少人甚至无人作业，对人力成本大大降低。提高了收获精度和收获效率。
附图说明
图1为本发明的一种玉米籽粒收获机无人驾驶系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明提出了一种玉米籽粒收获机无人驾驶系统，包括玉米籽收获机本体，所述玉米籽粒收获机无人驾驶系统还包括实时定位与环境感知端、收获作业控制端和云平台，所述实时定位与环境感知端和收获作业控制端均设置于所述玉米籽收获机本体上，且所述无人驾驶规划端、实时定位与环境感知端和收获作业控制端均与所述云平台无线连接，所述云平台中设置有无人驾驶规划端。
进一步的，所述无人驾驶规划端，用于设置收获区域、进行收获全局、局部路径规划和设置收获作业参数，并将规划信息和收获作业参数发送至玉米籽粒收获机的ECU中；
所述实时定位与环境感知端，用于进行收获机实时高精度定位与障碍物探测，并将定位信息和探测信息发送至ECU中；
所述收获作业控制端，用于在ECU汇总并处理了所述规划信息、收获作业参数、定位信息和探测信息后，根据ECU的命令进行玉米籽粒收获；
所述云平台，用于将本机采集的数据实时统计和存储，所述数据包括作业状态和故障预警代码，还用于为玉米籽粒收获机无人驾驶系统中的其他端更新固件。
进一步的，所述实时定位与环境感知端，包括GNSS定位模块、摄像机、毫米波雷达、计算板卡和数传模块，所述GNSS定位模块、摄像机和毫米波雷达均与计算板卡连接，所述GNSS定位模块、摄像机、毫米波雷达和计算板卡同时与玉米籽粒收获机中的CAN总线连接，所述计算板卡与数传模块双向连接，所述数传模块与云平台双向连接。
具体的，收获作业控制端包括车载控制器、轮速传感器、行走系统速度控制阀、刮板输送器、超声波料位传感器、螺旋布料器控制阀、加速度传感器、发动机转速传感器、脱粒滚筒主轴转速控制装置、割台主轴转速控制装置。
进一步的，所述GNSS定位模块，用于在GNSS信号的基础上，通过单点基站或CORS网络传输的差分信号进行高精度定位，根据高精度定位信息和路径规划信息进行自动计算，并将计算结果转换为控制信号输出到玉米籽粒收获机中的CAN总线，玉米籽粒收获机中的转向和智能驱动系统根据CAN总线中的控制信号执行相应动作；
所述摄像机，用于生成周围景象信息供所述计算板卡进行识别；
所述毫米波雷达，安装在所述玉米籽收获机本体的前后与侧方，用于进行环360°探测周围物体，并将雷达探测信息发送至所述计算板卡；
所述计算板卡，用于通过接收所述周围景象信息和雷达探测信息，通过深度学习的视觉图像特征标记，辅助判断识别障碍物，提高障碍物判断精度，检测到障碍物时通过CAN总线发送停车指令至转向和智能驱动系统或进行预警；同时，还用于通过深度学习识别判断周围物体是否为玉米杆；
所述数传模块，用于将实时定位信息和计算板卡的判断识别信息上传至云平台。
具体的，所述GNSS定位系统是在GNSS信号的基础上，通过单点基站或CORS网络传输的差分信号进行高精度定位的技术。差分信号的传输途径包括电台、移动网络和卫星，也可以是上述二者的无缝切换。
进一步的，所述云平台还连接有上位机，所述上位机用于使操作人员下达指令并观察玉米籽粒收获机的各项参数、路径、现场视频及含周围环境的俯视角实施图像。
具体的，本发明具备现有的故障智能诊断功能，能对收获机的发动机、变速箱、脱粒滚筒、割台主要零部件或总成等发生故障时应能进行诊断，
而加入云平台后，云平台能够提供相应的故障的解决方法。
本发明具备现有的智能健康维护管理功能，收获机通过云平台将自身的使用时间、发动机运行状态、自身状态信息及时向用户提供需要维修保养的提示。
本发明具备环境信息感知功能，同样通过摄像机和计算板卡的配合，通过内置的深度学习算法进行视觉感知，能感知作业环境温湿度，田地起伏情况。作物信息感知功能，能实时感知籽粒含水率、作物产量、作物倒伏等信息。障碍物感知功能，能感知移动障碍物。
本发明可通过云平台实现多机数据共享，路径信息共享。本地路径保存功能。数据断点续传功能。获取总产量和亩产量信息的功能。
一种玉米籽粒收获机无人驾驶系统的运行方法，基于上述的一种玉米籽粒收获机无人驾驶系统，所述玉米籽粒收获机无人驾驶系统的运行方法包括以下步骤：
S100、启动玉米籽粒收获机；
S200、操作人员通过上位机圈定预收获的玉米地块，上位机将圈定信息发送至云平台；
S300、云平台根据所述圈定信息，通过内部的无人驾驶规划端设置收获区域和进行路径规划，并将规划信息和收获作业参数发送至玉米籽粒收获机的ECU中；
S400、ECU通过CAN总线将规划信息输出至GNSS定位模块，GNSS定位模块根据高精度定位信息和规划信息进行自动计算，并将计算结果转换为控制信号输出到CAN总线，玉米籽粒收获机中的转向和智能驱动系统根据CAN总线中的控制信号执行相应动作；
S500、在玉米籽粒收获机运动过程中，摄像机生成周围景象信息发送至计算板卡中，毫米波雷达环360°探测周围物体，并将雷达探测信息发送至所述计算板卡；
S600、计算板卡通过接收周围景象信息和雷达探测信息，通过深度学习的视觉图像特征标记，辅助判断识别障碍物，提高障碍物判断精度，检测到障碍物时通过CAN总线发送停车指令至转向和智能驱动系统或进行预警；同时通过深度学习识别判断周围物体是否为玉米杆，辅助云平台判断当前收获方向是否正确；
S700、在ECU持续汇总并处理规划信息、收获作业参数、定位信息和探测信息，当ECU判断玉米籽粒收获机进入收获范围后，ECU命令收获作业控制端进行玉米籽粒收获，直至完成任务。
进一步的，在S600中，玉米杆和障碍物的识别具体包括以下步骤：
S610、提供训练集，对卷积神经网络CNN进行训练；
S620、将训练好的卷积神经网络CNN内置在计算板卡；
S630、当毫米波雷达探测到有障碍物时，开启摄像机；
S640、摄像机持续摄入图像至计算板卡中；
S650、计算板卡对图像进行预处理；
S660、计算板卡对通过预处理过的图像进行识别，识别出玉米地中的玉米杆和障碍物的信息。
进一步的，在S610中，训练集分为玉米杆和其他障碍物两类数据，并进行分类和标注。
进一步的，在S650中，预处理的具体步骤包括：
S651、对摄像机拍摄到的视频分为若干帧图片，将所有图片的分辨率统一；
S652、对图片进行数据增强。
进一步的，在S660后，还包括：
S670、上位机通过云平台汇总全程运行数据，并生成工作日志。
Claims (10)
1.一种玉米籽粒收获机无人驾驶系统，包括玉米籽收获机本体，其特征在于，所述玉米籽粒收获机无人驾驶系统还包括实时定位与环境感知端、收获作业控制端和云平台，所述实时定位与环境感知端和收获作业控制端均设置于所述玉米籽收获机本体上，且所述无人驾驶规划端、实时定位与环境感知端和收获作业控制端均与所述云平台无线连接，所述云平台中设置有无人驾驶规划端。
2.根据权利要求1所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，
所述无人驾驶规划端，用于设置收获区域、进行收获全局、局部路径规划和设置收获作业参数，并将规划信息和收获作业参数发送至玉米籽粒收获机的ECU中；
所述实时定位与环境感知端，用于进行收获机实时高精度定位与障碍物探测，并将定位信息和探测信息发送至ECU中；
所述收获作业控制端，用于在ECU汇总并处理了所述规划信息、收获作业参数、定位信息和探测信息后，根据ECU的命令进行玉米籽粒收获；
所述云平台，用于将本机采集的数据实时统计和存储，所述数据包括作业状态和故障预警代码，还用于为玉米籽粒收获机无人驾驶系统中的其他端更新固件。
3.根据权利要求2所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，所述实时定位与环境感知端，包括GNSS定位模块、摄像机、毫米波雷达、计算板卡和数传模块，所述GNSS定位模块、摄像机和毫米波雷达均与计算板卡连接，所述GNSS定位模块、摄像机、毫米波雷达和计算板卡同时与玉米籽粒收获机中的CAN总线连接，所述计算板卡与数传模块双向连接，所述数传模块与云平台双向连接。
4.根据权利要求3所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，
所述GNSS定位模块，用于在GNSS信号的基础上，通过单点基站或CORS网络传输的差分信号进行高精度定位，根据高精度定位信息和路径规划信息进行自动计算，并将计算结果转换为控制信号输出到玉米籽粒收获机中的CAN总线，玉米籽粒收获机中的转向和智能驱动系统根据CAN总线中的控制信号执行相应动作；
所述摄像机，用于生成周围景象信息供所述计算板卡进行识别；
所述毫米波雷达，安装在所述玉米籽收获机本体的前后与侧方，用于进行环360°探测周围物体，并将雷达探测信息发送至所述计算板卡；
所述计算板卡，用于通过接收所述周围景象信息和雷达探测信息，通过深度学习的视觉图像特征标记，辅助判断识别障碍物，提高障碍物判断精度，检测到障碍物时通过CAN总线发送停车指令至转向和智能驱动系统或进行预警；同时，还用于通过深度学习识别判断周围物体是否为玉米杆；
所述数传模块，用于将实时定位信息和计算板卡的判断识别信息上传至云平台。
5.根据权利要求4所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，所述云平台还连接有上位机，所述上位机用于使操作人员下达指令并观察玉米籽粒收获机的各项参数、路径、现场视频及含周围环境的俯视角实施图像。
6.一种玉米籽粒收获机无人驾驶系统的运行方法，基于权利要求1-5所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，所述玉米籽粒收获机无人驾驶系统的运行方法包括以下步骤：
S100、启动玉米籽粒收获机；
S200、操作人员通过上位机圈定预收获的玉米地块，上位机将圈定信息发送至云平台；
S300、云平台根据所述圈定信息，通过内部的无人驾驶规划端设置收获区域和进行路径规划，并将规划信息和收获作业参数发送至玉米籽粒收获机的ECU中；
S400、ECU通过CAN总线将规划信息输出至GNSS定位模块，GNSS定位模块根据高精度定位信息和规划信息进行自动计算，并将计算结果转换为控制信号输出到CAN总线，玉米籽粒收获机中的转向和智能驱动系统根据CAN总线中的控制信号执行相应动作；
S500、在玉米籽粒收获机运动过程中，摄像机生成周围景象信息发送至计算板卡中，毫米波雷达环360°探测周围物体，并将雷达探测信息发送至所述计算板卡；
S600、计算板卡通过接收周围景象信息和雷达探测信息，通过深度学习的视觉图像特征标记，辅助判断识别障碍物，提高障碍物判断精度，检测到障碍物时通过CAN总线发送停车指令至转向和智能驱动系统或进行预警；同时通过深度学习识别判断周围物体是否为玉米杆，辅助云平台判断当前收获方向是否正确；
S700、在ECU持续汇总并处理规划信息、收获作业参数、定位信息和探测信息，当ECU判断玉米籽粒收获机进入收获范围后，ECU命令收获作业控制端进行玉米籽粒收获，直至完成任务。
7.根据权利要求6所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，在S600中，玉米杆和障碍物的识别具体包括以下步骤：
S610、提供训练集，对卷积神经网络CNN进行训练；
S620、将训练好的卷积神经网络CNN内置在计算板卡；
S630、当毫米波雷达探测到有障碍物时，开启摄像机；
S640、摄像机持续摄入图像至计算板卡中；
S650、计算板卡对图像进行预处理；
S660、计算板卡对通过预处理过的图像进行识别，识别出玉米地中的玉米杆和障碍物的信息。
8.根据权利要求7所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，在S610中，训练集分为玉米杆和其他障碍物两类数据，并进行分类和标注。
9.根据权利要求8所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，在S650中，预处理的具体步骤包括：
S651、对摄像机拍摄到的视频分为若干帧图片，将所有图片的分辨率统一；
S652、对图片进行数据增强。
10.根据权利要求9所述的一种玉米籽粒收获机无人驾驶系统，其特征在于，在S660后，还包括：
S670、上位机通过云平台汇总全程运行数据，并生成工作日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210581288.0A CN115047870A (zh) | 2022-05-26 | 2022-05-26 | 一种玉米籽粒收获机无人驾驶系统及其运行方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210581288.0A CN115047870A (zh) | 2022-05-26 | 2022-05-26 | 一种玉米籽粒收获机无人驾驶系统及其运行方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115047870A true CN115047870A (zh) | 2022-09-13 |
Family
ID=83159702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210581288.0A Pending CN115047870A (zh) | 2022-05-26 | 2022-05-26 | 一种玉米籽粒收获机无人驾驶系统及其运行方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115047870A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116339289A (zh) * | 2023-05-19 | 2023-06-27 | 济南大学 | 一种无人驾驶收获机群车载故障诊断系统及方法 |
-
2022
- 2022-05-26 CN CN202210581288.0A patent/CN115047870A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116339289A (zh) * | 2023-05-19 | 2023-06-27 | 济南大学 | 一种无人驾驶收获机群车载故障诊断系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110122073B (zh) | 一种基于机器视觉的草莓采摘机器人 | |
| CN108574737B (zh) | 基于云技术和zynq平台的农业自动监控系统及方法 | |
| WO2014050525A1 (ja) | 対地作業車両、対地作業車両管理システム、対地作業情報表示方法 | |
| CN115047870A (zh) | 一种玉米籽粒收获机无人驾驶系统及其运行方法 | |
| CN210570820U (zh) | 一种农业检测预警系统 | |
| US20220346303A1 (en) | Field monitoring and data collection systems and methods for a precision agriculture system | |
| CN110825058A (zh) | 一种农作物实时监控系统 | |
| CN113902990A (zh) | 一种巡检机器人的异常预警方法及系统 | |
| CN201536491U (zh) | 一种基于gps的联合收割机测量农田面积计价装置 | |
| CN216351838U (zh) | 一种农作物监测系统 | |
| CN112233270A (zh) | 一种无人机自主智能绕塔巡检系统 | |
| CN115511219A (zh) | 一种小麦作物生长状态智能预测方法及系统 | |
| Goltyapin et al. | Global trends in the development of monitoring systems for mobile agricultural equipment | |
| CN104904415B (zh) | 一种联合收割机远程测控机载设备及方法 | |
| CN112068572A (zh) | 一种无人收割系统及方法 | |
| CN116897668B (zh) | 一种电驱农作物播种施肥控制方法及系统 | |
| CN112883999A (zh) | 一种用于奶牛运动异常检测计步器系统及其方法 | |
| CN115407771A (zh) | 一种基于机器视觉的农作物监测方法、系统以及装置 | |
| CN213083293U (zh) | 一种基于eps的农机自动驾驶装置 | |
| CN110335167B (zh) | 一种植物种植信息采集分析系统 | |
| CN108132040B (zh) | 一种拖拉机耕地面积自动测量装置及测量方法 | |
| CN113762767A (zh) | 杂粮生产全程跨平台农机作业智能管理方法及终端系统 | |
| CN205899417U (zh) | 基于微处理器stm32的农田信息采集监测系统 | |
| CN205485625U (zh) | 一种智能农林业机械全自主作业检测控制系统 | |
| CN112305972A (zh) | 一种智能机械自动控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |