CN111201879A - 基于图像识别的粮食收割、运输一体化装载装置/方法 - Google Patents

基于图像识别的粮食收割、运输一体化装载装置/方法 Download PDF

Info

Publication number
CN111201879A
CN111201879A CN201811389372.2A CN201811389372A CN111201879A CN 111201879 A CN111201879 A CN 111201879A CN 201811389372 A CN201811389372 A CN 201811389372A CN 111201879 A CN111201879 A CN 111201879A
Authority
CN
China
Prior art keywords
grain
loading
grain outlet
harvester
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811389372.2A
Other languages
English (en)
Other versions
CN111201879B (zh
Inventor
史宬宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinhua Zhongke Aite Intelligent Technology Research Institute Co Ltd
Original Assignee
Jinhua Zhongke Aite Intelligent Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinhua Zhongke Aite Intelligent Technology Research Institute Co Ltd filed Critical Jinhua Zhongke Aite Intelligent Technology Research Institute Co Ltd
Priority to CN201811389372.2A priority Critical patent/CN111201879B/zh
Publication of CN111201879A publication Critical patent/CN111201879A/zh
Application granted granted Critical
Publication of CN111201879B publication Critical patent/CN111201879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/1208—Tanks for grain or chaff
    • A01D41/1217—Unloading mechanisms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Combines (AREA)
  • Harvester Elements (AREA)

Abstract

本发明揭示了一种基于图像识别的粮食收割运输一体化装载装置/方法，涉及深度视觉、图像识别、农业收割、车联网技术领域，利用立体视觉技术实现农具农艺改进，提升了收割机与卸粮车的自动化、农艺信息化水平，在提高收割效率的同时避免了人为操作失误导致的粮食或设备浪费；本发明有效改进了现有联合收割机与跟随料车的自适应作业方式，既可以引导料车人类驾驶员(驾驶机器人)针对当时工况做出更精确有效的操控反应，为避免作业过程中漏出浪费与装填不足效率低下等做出更有利改进；更可以直接将环境信息或决策指令导入车辆运动控制器中实现对无人农机的横向或纵向控制，从而实现全程无人农艺操作。

Description

基于图像识别的粮食收割、运输一体化装载装置/方法
技术领域
本发明涉及深度视觉、图像识别、农业收割、车联网技术领域，更具体地指一种基于图像识别的粮食收割运输一体化装载装置/方法。
背景技术
长期以来，传统的收割机与运输车是分离的，粮食收割机，因收割机和运输车驾驶员的经验判断、观测操作等主观人员操控，导致的卸粮车位置偏离、斗内粮食堆放不均、区域性装载溢出、装载不足等问题，不仅工作效率低，而且因为人为操作失误导致的粮食或设备浪费。随着现代农业的发展，必需要实现收割一体化，提升收割机与卸粮车的自动化、农艺信息化水平，在提高收割效率的同时，需要减少人为操作失误导致的粮食或设备的浪费。
发明内容
(一)解决的技术问题
本发明目的是针收割机和运输车驾驶员主观人员操控的缺陷问题，提供一种基于图像识别的粮食收割运输一体化装载装置/方法，通过深度视觉识别技术，实现在收割机出粮口对运输车装载箱内空间的探测，以达到驾驶员或驾驶机器人对运输车跟随路线调整、位置调整及收割卸粮筒位置调整的目的，从而更精准地实现运输车粮食装载及避免漏料、漏装的效果。
(二)技术方案
基于图像识别的粮食收割运输一体化装载装置，包括收割机、卸料筒、运输车、装载箱、图像采集设备、信息处理设备、无线通信设备、显示设备；收割机通过卸料筒与运输车进行连接，卸料筒前端设有出粮口，运输车上端设有装载箱；收割机用于粮食收割、卸粮筒位置及卸粮流量调整、自身状态获取与控制；运输车用于装载收割机收割的粮食、自身状态的获取与控制；图像采集设备安装在收割机卸粮筒的出粮口位置，来获取出粮口下方图像信息；信息处理设备安装在收割机上，用于图像识别计算处理、数据处理、命令发出；无线通信设备安装于运输车中，用于与信息处理设备进行无线数据交互；显示设备分别安装于收割机和运输车的驾驶室，用于显示相关状态信息。
根据本发明的一实施例，所述显示设备用于显示相关状态信息包括收割机速度、运输车速度、装载箱装载情况、卸粮桶状态、调节控制状态信息。
根据本发明的一实施例，所述图像采集设备采集到的图像通过双目立体、3D结构光或TOF图像识别测量距离。
根据本发明的一实施例，所述图像采集设备采集到的图像通过TOF图像识别测量距离。
根据本发明的一实施例，所述装载箱包括箱壁和高度定位柱，高度定位柱安装在箱壁的四个角上，高度定位柱顶部与装载箱顶部齐平。
基于图像识别的粮食收割运输一体化装载方法，包括以下步骤：
S1、运输车行驶方向与收割机行驶方向相同，运输车平行于收割机驶入有效卸粮区；
S2、运输车上的无线通信设备与信息处理设备进行通信连接，以便进行数据、控制命令等交互；
S3、若运输车与信息处理设备成功建立了无线连接且能正常数据收发，则进行S4，否则转向S2，以重新建立无线通信连接；
S4、安装于卸粮筒出粮口位置的图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S5、信息处理设备把预设的出粮口到地面的垂直高度H出粮口-地面与出粮口到深度图中各像素点所示位置的垂直高度H出粮口-各点做差比较；若出粮口正下方的位置点H出粮口-地面-H出粮口-各点等于H装载箱底部-地面，则装载箱位于有效卸粮区内，程序转向S6；若各点H出粮口-地面-H出粮口-各点等于0，则出粮口下方无装载箱，信息处理设备通过无线通信向运输车发出位置调整命令，运输车收到命令后进行位置调整，直到运输车装载箱位于有效卸粮区，即：运输车装载箱位于出粮口正下方；
S6、信息处理设备比较收割机输出V收割机与运输车速度V运输车；若V收割机等于V运输车，则两车的相对速度为零，进行S7，否则信息处理设备通过无线通信向运输车发出加速或减速命令，运输车收到命令后执行相关操作，直到V收割机等于V运输车，即两车的相对速度为零；
S7、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S8、信息处理设备根据深度图中各点的深度数据来绘制出装载箱的俯视平面轮廓及装载箱四角的高度定位柱的俯视平面轮廓；
S9、信息处理设备根据“X/Y/Z坐标系”与“装载箱分区”来建立坐标系及装载箱分区；
S10、信息处理设备根据采集的图像信息，判断出粮口是否位于坐标系原点正上方；若出粮口位于坐标原点正上方，则进行S11，否则信息处理设备向收割机发出调整命令，收割机根据命令来调整卸粮筒位置，直到出粮口位于坐标原点正上方；
S11、出粮口开启，收割机收割的粮食通过卸粮筒向装载箱输送；
S12、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S13、信息处理设备把深度图中所示的某一装载区到出粮口的垂直高度H出粮口-装载区与装载箱内高度定位柱顶部到出粮口的垂直高度H出粮口-高度定位柱做比较，若H出粮口-装载区等于H出粮口-高度定位柱，则该装载区已满载；若装载箱内所有装载区都满载，则装载箱满载，此时进行S14；否则调整卸粮筒位置，使未满载粮食的装载区继续装载粮食，直至装载箱满载为止；
S14、出粮口关闭，卸粮筒停止出粮；
S15、无线通信断开，运输车驶离收割机。
根据本发明的一实施例，所述步骤S5中H装载箱底部-地面为预设值，表示装载箱底部到地面的距离，是一个预设范围值。
根据本发明的一实施例，所述步骤S10中卸粮筒只能在平行于X/Y轴组成的平面内进行移动或伸缩调整，H出粮口-地面为固定值；不管卸粮筒位置如何调整，出粮口仅能位于步骤S8绘制的装载箱轮廓内。
(三)有益效果
采用了本发明的技术方案，基于图像识别的粮食收割运输一体化装载装置/方法，利用立体视觉技术实现农具农艺改进，提升了收割机与卸粮车的自动化、农艺信息化水平，在提高收割效率的同时避免了人为操作失误导致的粮食或设备浪费；本发明有效改进了现有联合收割机与跟随料车的自适应作业方式，既可以引导料车人类驾驶员(驾驶机器人)针对当时工况做出更精确有效的操控反应，为避免作业过程中漏出浪费与装填不足效率低下等做出更有利改进；更可以直接将环境信息或决策指令导入车辆运动控制器中实现对无人农机的横向或纵向控制，从而实现全程无人农艺操作。
附图说明
在本发明中，相同的附图标记始终表示相同的特征，其中：
图1是本发明装置结构图。
图2是本发明装置侧视图。
图3是装载箱俯视图。
图4是装载箱坐标系示意图。
图5是装载箱分区示意图。
图6是本发明方法流程图。
图7是有效卸粮区示意图。
图8(a)是无效卸粮区示意图。
图8(b)是无效卸粮区示意图。
图9是未满载的装载区调整示意图。
附图标记说明：
1、收割机；2、卸粮筒；3、出粮口；4、运输车；5、装载箱；6、图像采集设备；51、箱壁；52、高度定位柱。
具体实施方式
下面结合附图和实施例进一步说明本发明的技术方案。
智慧农业是充分应用现代信息技术成果，集成应用计算机与网络技术、物联网技术、音视频技术、3S技术、无线通信技术及专家智慧与知识，实现农业可视化远程诊断、远程控制、灾变预警等智能管理。
自动农机卸粮感知系统又是农机无人系统的子系统之一，其主要功能是负责利用各种传感器(超声波雷达、立体相机、雷达(激光、毫米波))对收割农机与卸粮车所处相对环境、及卸粮筒运行作业进行障碍和环境信息数据采集，环境感知处理器将所得到信息进行数据化，再将数据化的环境信息通过复杂的融合计算，从而得到本车和卸粮筒周围障碍物所处的位置信息以及周围卸粮车斗边框等障碍物的距离、速度、方位、移动物体运动轨迹推算、报警信息等信息，进而为各种控制决策提供信息依据。
结合图1和图2，基于图像识别的粮食收割运输一体化装载装置，包括收割机1、卸料筒2、运输车4、装载箱5、图像采集设备6、信息处理设备、无线通信设备、显示设备；收割机1通过卸料筒2与运输车4进行连接，卸料筒2前端设有出粮口3，运输车4上端设有装载箱5；收割机用于粮食收割、卸粮筒位置及卸粮流量调整、自身状态获取与控制；运输车用于装载收割机收割的粮食、自身状态的获取与控制；图像采集设备和传统的摄像头不同，其为专业领域的图像采集器，采集到的图像通过双目立体、3D结构光或TOF图像识别技术用于距离测量，采集到的图像优选通过TOF图像识别技术用于距离测量，该设备安装在收割机卸粮筒的出粮口位置，来获取出粮口下方图像信息；信息处理设备安装在收割机上，用于图像识别计算处理、数据处理、命令发出等；无线通信设备安装于运输车中，用于与信息处理设备进行无线数据交互，如：运输车装载、控制命令接收、数据收发等；显示设备分别安装于收割机和运输车的驾驶室，用于显示相关状态信息，如：收割机速度、运输车速度、装载箱装载情况、卸粮桶状态、调节控制状态等信息。
虚线区域为图像采集设备采集的运输车装载箱范围。结合图3，装载箱5包括箱壁51和高度定位柱52，高度定位柱52安装在箱壁51的四个角上，高度定位柱顶部与装载箱顶部齐平；通过图像识别技术(如：TOF)可测量俯视图中各点的深度数据，根据各点的深度数据差异来绘制俯视平面轮廓图，如：装载箱箱壁有一定宽度，该宽度上各点的深度数据相同，从而可绘制出箱壁轮廓。
双目立体、3D结构光、TOF都能实现不同场景及特性的三维信息，根据现有技术及芯片特性组成的传感器，本方案中采用的是TOF技术。TOF是Time of Flight的缩写，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。军事上和无人驾驶汽车上用的工业级激光雷达(LiDAR)也采用到了ToF技术，利用激光束来探测目标的位置、速度等特征量，结合了激光、全球定位系统GPS和惯性测量装置(Inertial Measurement Unit，IMU)三者的作用，进行逐点扫描来获取整个探测物体的深度信息。
图像采集设备采用可集成在消费类电子产品的小型化TOF相机。TOF相机与普通相机成像过程类似，主要由光源、感光芯片、镜头、传感器、驱动控制电路以及处理电路等几部分关键单元组成。TOF相机包括两部分核心模块，发射照明模块和感光接收模块，根据这两大核心模块之间的相互关联来生成深度信息。TOF相机的感光芯片根据像素单元的数量也分为单点和面阵式感光芯片，为了测量整个三维物体表面位置深度信息，可以利用单点TOF相机通过逐点扫描方式获取被探测物体三维几何结构，也可以通过面阵式TOF相机，拍摄一张场景图片即可实时获取整个场景的表面几何结构信息。
结合图4装载箱坐标系示意图，以装载箱顶部平面的中心为坐标原点建立X/Y/Z坐标系，其中定义运输车的行驶方向为X轴的正方向，运输车指向收割机的方向为Y轴的正方向，垂直于装载箱顶部平面且指向天空的方向为Z轴的正方向。
结合图5装载箱分区示意图，把装载箱俯视平面图在X/Y平面上平均分成N个区域，为便于说明，图5中的装载箱俯视平面图平均分成了A1/A2/A3/B1/B2/B3/C1/C2/C3等9个区域，分别定义为A1装载区、A2装载区……C3装载区，其中坐标原点位于B2装载区的正中心位置。
装载箱位于出粮口正下方，此时运输车即位于有效卸粮区内。
结合图6，基于图像识别的粮食收割运输一体化装载方法，包括以下步骤：
S1、运输车行驶方向与收割机行驶方向相同，运输车平行于收割机驶入有效卸粮区；
S2、运输车上的无线通信设备与信息处理设备进行通信连接，以便进行数据、控制命令等交互；
S3、若运输车与信息处理设备成功建立了无线连接且能正常数据收发，则程序转向S4，否则程序转向S2，以重新建立无线通信连接；
S4、安装于卸粮筒出粮口位置的图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术(如：TOF)来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
TOF相机模组输出除常规摄像机X/Y信息外，还有对应的Z轴深度的数据，即RGB-D数据，在本发明中对卸粮车斗内及相机视角内形成三维立体数据。即：当卸粮作业进入不同区域，斗内不同区域的谷物堆放也能由TOF相机成像数据集合呈现完整的堆放三维，从而得以判断哪些区域已达到堆放上限并根据预设行径策略搜寻未填满区域，或停止全部装卸作业。
S5、信息处理设备把预设的出粮口到地面的垂直高度H出粮口-地面与出粮口到深度图中各像素点所示位置的垂直高度H出粮口-各点做差比较；若出粮口正下方的位置点H出粮口-地面-H出粮口-各点等于H装载箱底部-地面，则装载箱位于有效卸粮区内，程序转向S6；若各点H出粮口-地面-H出粮口-各点等于0，则出粮口下方无装载箱，信息处理设备通过无线通信向运输车发出位置调整命令，运输车收到命令后进行位置调整，直到运输车装载箱位于有效卸粮区，即：运输车装载箱位于出粮口正下方；
其中，H装载箱底部-地面为预设值，表示装载箱底部到地面的距离，其可以是一个预设范围值。
S6、信息处理设备比较收割机输出V收割机与运输车速度V运输车；若V收割机等于V运输车，则两车的相对速度为零，程序转向S7，否则信息处理设备通过无线通信向运输车发出加速或减速命令，运输车收到命令后执行相关操作，直到V收割机等于V运输车，即两车的相对速度为零；
S7、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术(如：TOF)来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S8、信息处理设备根据深度图中各点的深度数据来绘制出装载箱的俯视平面轮廓及装载箱四角的高度定位柱的俯视平面轮廓；
S9、信息处理设备根据“X/Y/Z坐标系”与“装载箱分区”来建立坐标系及装载箱分区；
S10、信息处理设备根据采集的图像信息，判断出粮口是否位于坐标系原点正上方；若出粮口位于坐标原点正上方，则程序转向S11，否则信息处理设备向收割机发出调整命令，收割机根据命令来调整卸粮筒位置，直到出粮口位于坐标原点正上方；
其中，卸粮筒只能在平行于X/Y轴组成的平面内进行移动或伸缩调整，H出粮口-地面为固定值；不管卸粮筒位置如何调整，出粮口仅能位于步骤S8绘制的装载箱轮廓内。
S11、出粮口开启，收割机收割的粮食通过卸粮筒向装载箱输送；
S12、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术(如：TOF)来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S13、信息处理设备把深度图中所示的某一装载区到出粮口的垂直高度H出粮口-装载区与装载箱内高度定位柱顶部到出粮口的垂直高度H出粮口-高度定位柱做比较，若H出粮口-装载区等于H出粮口-高度定位柱，则该装载区已满载；若装载箱内所有装载区都满载，则装载箱满载，此时转向S14；否则调整卸粮筒位置，使未满载粮食的装载区继续装载粮食，直至装载箱满载为止；
S14、出粮口关闭，卸粮筒停止出粮；
S15、无线通信断开，运输车驶离收割机。
本发明有效改进了现有联合收割机与跟随料车的自适应作业方式，既可以引导料车人类驾驶员(驾驶机器人)针对当时工况做出更精确有效的操控反应，为避免作业过程中漏出浪费与装填不足效率低下等做出更有利改进；更可以直接将环境信息或决策指令导入车辆运动控制器中实现对无人农机的横向或纵向控制，从而实现全程无人农艺操作。
实施例
基于图像识别的粮食收割运输一体化装载方法，包括以下步骤：
S1、运输车行驶方向与收割机行驶方向相同，运输车平行于收割机驶入有效卸粮区；结合图7收割机卸粮筒的出粮口位于运输车装载箱范围内，此时装载箱即位于有效装载区内，图8(a)收割机卸粮筒的出粮口位于运输车装载箱范围前方，此时装载箱不在有效卸粮区内，运输车应加速向前，直至装载箱位于有效卸粮区内，图8(b)收割机卸粮筒的出粮口位于运输车装载箱范围后方，此时装载箱不在有效卸粮区内，运输车应减速向后，直至装载箱位于有效卸粮区内；
S2、运输车上的无线通信设备与信息处理设备进行通信连接，以便进行数据、控制命令等交互；
S3、若运输车与信息处理设备成功建立了无线连接且能正常数据收发，则程序转向S4，否则程序转向S2，以重新建立无线通信连接；
S4、安装于卸粮筒出粮口位置的图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术(如：TOF)来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
TOF相机模组输出除常规摄像机X/Y信息外，还有对应的Z轴深度的数据，即RGB-D数据，在本发明中对卸粮车斗内及相机视角内形成三维立体数据。即：当卸粮作业进入不同区域，斗内不同区域的谷物堆放也能由TOF相机成像数据集合呈现完整的堆放三维，从而得以判断哪些区域已达到堆放上限并根据预设行径策略搜寻未填满区域，或停止全部装卸作业。
S5、信息处理设备把预设的出粮口到地面的垂直高度H出粮口-地面与出粮口到深度图中各像素点所示位置的垂直高度H出粮口-各点做差比较；若出粮口正下方的位置点H出粮口-地面-H出粮口-各点等于H装载箱底部-地面，则装载箱位于有效卸粮区内，程序转向S6；若各点H出粮口-地面-H出粮口-各点等于0，则出粮口下方无装载箱，信息处理设备通过无线通信向运输车发出位置调整命令，运输车收到命令后进行位置调整，直到运输车装载箱位于有效卸粮区，即：运输车装载箱位于出粮口正下方；
其中，H装载箱底部-地面为预设值，表示装载箱底部到地面的距离，其可以是一个预设范围值。
S6、信息处理设备比较收割机输出V收割机与运输车速度V运输车；若V收割机等于V运输车，则两车的相对速度为零，程序转向S7，否则信息处理设备通过无线通信向运输车发出加速或减速命令，运输车收到命令后执行相关操作，直到V收割机等于V运输车，即两车的相对速度为零；
S7、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术(如：TOF)来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S8、信息处理设备根据深度图中各点的深度数据来绘制出装载箱的俯视平面轮廓及装载箱四角的高度定位柱的俯视平面轮廓；
S9、信息处理设备根据“X/Y/Z坐标系”与“装载箱分区”来建立坐标系及装载箱分区；
S10、信息处理设备根据采集的图像信息，判断出粮口是否位于坐标系原点正上方；若出粮口位于坐标原点正上方，则程序转向S11，否则信息处理设备向收割机发出调整命令，收割机根据命令来调整卸粮筒位置，直到出粮口位于坐标原点正上方；
其中，卸粮筒只能在平行于X/Y轴组成的平面内进行移动或伸缩调整，H出粮口-地面为固定值；不管卸粮筒位置如何调整，出粮口仅能位于步骤S8绘制的装载箱轮廓内。
S11、出粮口开启，收割机收割的粮食通过卸粮筒向装载箱输送；
S12、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术(如：TOF)来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S13、信息处理设备把深度图中所示的某一装载区到出粮口的垂直高度H出粮口-装载区与装载箱内高度定位柱顶部到出粮口的垂直高度H出粮口-高度定位柱做比较，若H出粮口-装载区等于H出粮口-高度定位柱，则该装载区已满载；若装载箱内所有装载区都满载，则装载箱满载，此时转向S14；否则调整卸粮筒位置，使未满载粮食的装载区继续装载粮食，直至装载箱满载为止；
如图9中装载箱内分9个装载区，其中除A3装载区未满载外其他装载区已满载粮食，此时卸粮筒的出粮口位于C1装载区。为使出粮口位于A3装载区，卸粮筒首先向X方向旋转一定角度至合适位置，然后卸粮筒向-Y方向伸长至A3，直到出粮口位于A3装载区。
S14、出粮口关闭，卸粮筒停止出粮；
S15、无线通信断开，运输车驶离收割机。
为了能更清楚说明本发明的方法，举例来说，
在步骤S5中，信息处理设备把预设的出粮口到地面的垂直高度H出粮口-地面与出粮口到深度图中各像素点所示位置的垂直高度H出粮口-各点做差比较；若出粮口正下方的位置点H出粮口-地面-H出粮口-各点等于H装载箱底部-地面，则装载箱位于有效卸粮区内，程序转向S6；若各点H出粮口-地面-H出粮口-各点等于0，则出粮口下方无装载箱，信息处理设备通过无线通信向运输车发出位置调整命令，运输车收到命令后进行位置调整，直到运输车装载箱位于有效卸粮区，即：运输车装载箱位于出粮口正下方；
其中，H装载箱底部-地面为预设值，表示装载箱底部到地面的距离，其可以是一个预设范围值；同时，假定H出粮口-地面＝4米、H出粮口-装载箱底部＝3.1米、H装载箱底部-地面＝0.9米，则：
若装载箱位于有效卸粮区内，此时H出粮口-各点等于H出粮口-装载箱底部，应满足：
H出粮口-地面-H出粮口-各点＝H装载箱底部-地面，即：4米-3.1米＝0.9米，此时程序转向S6；
若出粮口下方无装载箱，此时H出粮口-各点等于H出粮口-地面，应满足：
H出粮口-地面-H出粮口-各点＝0，即：4米-4米＝0米，此时信息处理设备通过无线通信向运输车发出位置调整命令，直到运输车装载箱位于有效卸粮区。
在步骤S6中，信息处理设备比较收割机输出V收割机与运输车速度V运输车；若V收割机等于V运输车，则两车的相对速度为零，程序转向S7，否则信息处理设备通过无线通信向运输车发出加速或减速命令，运输车收到命令后执行相关操作，直到V收割机等于V运输车，即两车的相对速度为零。
当V收割机速度＝5Km/H时，若V运输车速度也等于5Km/H，则两车的相对速度为零，否则运输车应调整自身速度，以达到V运输车为5Km/H。
在步骤S9中，信息处理设备根据“X/Y/Z坐标系”与“装载箱分区”来建立坐标系及装载箱分区；
假定根据“X/Y/Z坐标系”与“装载箱分区”建立方法，把装载箱俯视平面图平均分成了A1/A2/A3/B1/B2/B3/C1/C2/C3等9个区域(如图5所示)，此时坐标原点位于B2装载区的正中心位置；
步骤S10中，信息处理设备根据采集的图像信息，判断出粮口是否位于坐标系原点正上方；若出粮口位于坐标原点正上方，即出粮口位于B2装载区的正中心的上方，则程序转向S11，否则信息处理设备向收割机发出调整命令，收割机根据命令来调整卸粮筒位置，直到出粮口位于坐标原点正上方，即出粮口位于B2装载区的正中心的上方。
其中，卸粮筒只能在平行于X/Y轴组成的平面内进行移动或伸缩调整，H出粮口-地面为固定值；不管卸粮筒位置如何调整，出粮口仅能位于步骤S8绘制的装载箱轮廓内。
S11、出粮口开启，收割机收割的粮食通过卸粮筒向装载箱输送；
S12、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术(如：TOF)来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S13、信息处理设备把深度图中所示的某一装载区到出粮口的垂直高度H出粮口-装载区与装载箱内高度定位柱顶部到出粮口的垂直高度H出粮口-高度定位柱做比较，若H出粮口-装载区等于H出粮口-高度定位柱，则该装载区已满载；若装载箱内所有装载区都满载，则装载箱满载，此时转向S14；否则调整卸粮筒位置，使未满载粮食的装载区继续装载粮食，直至装载箱满载为止。
如图9中装载箱内分9个装载区，其中除A3装载区未满载外其他装载区已满载粮食，此时卸粮筒的出粮口位于C1装载区。为使出粮口位于A3装载区，卸粮筒首先向X方向旋转一定角度至合适位置，然后卸粮筒向-Y方向伸长至A3，直到出粮口位于A3装载区。
综上所述，采用了本发明的技术方案，基于图像识别的粮食收割运输一体化装载装置/方法，利用立体视觉技术实现农具农艺改进，提升了收割机与卸粮车的自动化、农艺信息化水平，在提高收割效率的同时避免了人为操作失误导致的粮食或设备浪费；本发明有效改进了现有联合收割机与跟随料车的自适应作业方式，既可以引导料车人类驾驶员(驾驶机器人)针对当时工况做出更精确有效的操控反应，为避免作业过程中漏出浪费与装填不足效率低下等做出更有利改进；更可以直接将环境信息或决策指令导入车辆运动控制器中实现对无人农机的横向或纵向控制，从而实现全程无人农艺操作。

Claims (8)

1.基于图像识别的粮食收割运输一体化装载装置，其特征在于：包括收割机、卸料筒、运输车、装载箱、图像采集设备、信息处理设备、无线通信设备、显示设备；收割机通过卸料筒与运输车进行连接，卸料筒前端设有出粮口，运输车上端设有装载箱；收割机用于粮食收割、卸粮筒位置及卸粮流量调整、自身状态获取与控制；运输车用于装载收割机收割的粮食、自身状态的获取与控制；图像采集设备安装在收割机卸粮筒的出粮口位置，来获取出粮口下方图像信息；信息处理设备安装在收割机上，用于图像识别计算处理、数据处理、命令发出；无线通信设备安装于运输车中，用于与信息处理设备进行无线数据交互；显示设备分别安装于收割机和运输车的驾驶室，用于显示相关状态信息。
2.如权利要求1所述的基于图像识别的粮食收割运输一体化装载装置，其特征在于，所述显示设备用于显示相关状态信息包括收割机速度、运输车速度、装载箱装载情况、卸粮桶状态、调节控制状态信息。
3.如权利要求1所述的基于图像识别的粮食收割运输一体化装载装置，其特征在于，所述图像采集设备采集到的图像通过双目立体、3D结构光或TOF图像识别测量距离。
4.如权利要求3所述的基于图像识别的粮食收割运输一体化装载装置，其特征在于，所述图像采集设备采集到的图像通过TOF图像识别测量距离。
5.如权利要求1所述的基于图像识别的粮食收割运输一体化装载装置，其特征在于，所述装载箱包括箱壁和高度定位柱，高度定位柱安装在箱壁的四个角上，高度定位柱顶部与装载箱顶部齐平。
6.如权利要求1所述的基于图像识别的粮食收割运输一体化装载方法，其特征在于，包括以下步骤：
S1、运输车行驶方向与收割机行驶方向相同，运输车平行于收割机驶入有效卸粮区；
S2、运输车上的无线通信设备与信息处理设备进行通信连接，以便进行数据、控制命令等交互；
S3、若运输车与信息处理设备成功建立了无线连接且能正常数据收发，则进行S4，否则转向S2，以重新建立无线通信连接；
S4、安装于卸粮筒出粮口位置的图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S5、信息处理设备把预设的出粮口到地面的垂直高度H出粮口-地面与出粮口到深度图中各像素点所示位置的垂直高度H出粮口-各点做差比较；若出粮口正下方的位置点H出粮口-地面-H出粮口-各点等于H装载箱底部-地面，则装载箱位于有效卸粮区内，程序转向S6；若各点H出粮口-地面-H出粮口-各点等于0，则出粮口下方无装载箱，信息处理设备通过无线通信向运输车发出位置调整命令，运输车收到命令后进行位置调整，直到运输车装载箱位于有效卸粮区，即：运输车装载箱位于出粮口正下方；
S6、信息处理设备比较收割机输出V收割机与运输车速度V运输车；若V收割机等于V运输车，则两车的相对速度为零，进行S7，否则信息处理设备通过无线通信向运输车发出加速或减速命令，运输车收到命令后执行相关操作，直到V收割机等于V运输车，即两车的相对速度为零；
S7、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S8、信息处理设备根据深度图中各点的深度数据来绘制出装载箱的俯视平面轮廓及装载箱四角的高度定位柱的俯视平面轮廓；
S9、信息处理设备根据“X/Y/Z坐标系”与“装载箱分区”来建立坐标系及装载箱分区；
S10、信息处理设备根据采集的图像信息，判断出粮口是否位于坐标系原点正上方；若出粮口位于坐标原点正上方，则进行S11，否则信息处理设备向收割机发出调整命令，收割机根据命令来调整卸粮筒位置，直到出粮口位于坐标原点正上方；
S11、出粮口开启，收割机收割的粮食通过卸粮筒向装载箱输送；
S12、图像采集设备采集出粮口下方图像，并把采集的图像传给信息处理设备进行分析处理，信息处理设备利用图像识别技术来分析采集的图像内各像素点所示位置的深度数据并建立深度图；
S13、信息处理设备把深度图中所示的某一装载区到出粮口的垂直高度H出粮口-装载区与装载箱内高度定位柱顶部到出粮口的垂直高度H出粮口-高度定位柱做比较，若H出粮口-装载区等于H出粮口-高度定位柱，则该装载区已满载；若装载箱内所有装载区都满载，则装载箱满载，此时进行S14；否则调整卸粮筒位置，使未满载粮食的装载区继续装载粮食，直至装载箱满载为止；
S14、出粮口关闭，卸粮筒停止出粮；
S15、无线通信断开，运输车驶离收割机。
7.如权利要求6所述的基于图像识别的粮食收割运输一体化装载方法，其特征在于，所述步骤S5中H装载箱底部-地面为预设值，表示装载箱底部到地面的距离，是一个预设范围值。
8.如权利要求6所述的基于图像识别的粮食收割运输一体化装载方法，其特征在于，所述步骤S10中卸粮筒只能在平行于X/Y轴组成的平面内进行移动或伸缩调整，H出粮口-地面为固定值；不管卸粮筒位置如何调整，出粮口仅能位于步骤S8绘制的装载箱轮廓内。
CN201811389372.2A 2018-11-21 2018-11-21 基于图像识别的粮食收割、运输一体化装载装置/方法 Active CN111201879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811389372.2A CN111201879B (zh) 2018-11-21 2018-11-21 基于图像识别的粮食收割、运输一体化装载装置/方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811389372.2A CN111201879B (zh) 2018-11-21 2018-11-21 基于图像识别的粮食收割、运输一体化装载装置/方法

Publications (2)

Publication Number Publication Date
CN111201879A true CN111201879A (zh) 2020-05-29
CN111201879B CN111201879B (zh) 2023-10-03

Family

ID=70783059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811389372.2A Active CN111201879B (zh) 2018-11-21 2018-11-21 基于图像识别的粮食收割、运输一体化装载装置/方法

Country Status (1)

Country Link
CN (1) CN111201879B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11079725B2 (en) 2019-04-10 2021-08-03 Deere & Company Machine control using real-time model
US11178818B2 (en) 2018-10-26 2021-11-23 Deere & Company Harvesting machine control system with fill level processing based on yield data
US11234366B2 (en) 2019-04-10 2022-02-01 Deere & Company Image selection for machine control
US11240961B2 (en) 2018-10-26 2022-02-08 Deere & Company Controlling a harvesting machine based on a geo-spatial representation indicating where the harvesting machine is likely to reach capacity
US20220110251A1 (en) 2020-10-09 2022-04-14 Deere & Company Crop moisture map generation and control system
US11467605B2 (en) 2019-04-10 2022-10-11 Deere & Company Zonal machine control
US11474523B2 (en) 2020-10-09 2022-10-18 Deere & Company Machine control using a predictive speed map
US11477940B2 (en) 2020-03-26 2022-10-25 Deere & Company Mobile work machine control based on zone parameter modification
US11592822B2 (en) 2020-10-09 2023-02-28 Deere & Company Machine control using a predictive map
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11635765B2 (en) 2020-10-09 2023-04-25 Deere & Company Crop state map generation and control system
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
US11650587B2 (en) 2020-10-09 2023-05-16 Deere & Company Predictive power map generation and control system
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11675354B2 (en) 2020-10-09 2023-06-13 Deere & Company Machine control using a predictive map
US11711995B2 (en) 2020-10-09 2023-08-01 Deere & Company Machine control using a predictive map
US11727680B2 (en) 2020-10-09 2023-08-15 Deere & Company Predictive map generation based on seeding characteristics and control
US11778945B2 (en) 2019-04-10 2023-10-10 Deere & Company Machine control using real-time model
US11825768B2 (en) 2020-10-09 2023-11-28 Deere & Company Machine control using a predictive map
US11844311B2 (en) 2020-10-09 2023-12-19 Deere & Company Machine control using a predictive map
US11845449B2 (en) 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11849672B2 (en) 2020-10-09 2023-12-26 Deere & Company Machine control using a predictive map
US11849671B2 (en) 2020-10-09 2023-12-26 Deere & Company Crop state map generation and control system
US11864483B2 (en) 2020-10-09 2024-01-09 Deere & Company Predictive map generation and control system
US11874669B2 (en) 2020-10-09 2024-01-16 Deere & Company Map generation and control system
US11889787B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system
US11889788B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive biomass map generation and control
US11895948B2 (en) 2020-10-09 2024-02-13 Deere & Company Predictive map generation and control based on soil properties
US11927459B2 (en) 2020-10-09 2024-03-12 Deere & Company Machine control using a predictive map
US11946747B2 (en) 2020-10-09 2024-04-02 Deere & Company Crop constituent map generation and control system
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11983009B2 (en) 2020-10-09 2024-05-14 Deere & Company Map generation and control system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1488676A1 (de) * 2003-06-18 2004-12-22 Deere & Company Selbstfahrende Erntemaschine
CN106034549A (zh) * 2016-07-28 2016-10-26 福建农林大学 一种直列双驱可避稻茬再生稻收割机及其使用方法
CN106233920A (zh) * 2016-08-31 2016-12-21 逯栓柱 自走式向日葵联合收割机
WO2018039998A1 (zh) * 2016-08-29 2018-03-08 江苏大学 高效能履带式捡拾打捆机及其草捆自动堆垛系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1488676A1 (de) * 2003-06-18 2004-12-22 Deere & Company Selbstfahrende Erntemaschine
CN106034549A (zh) * 2016-07-28 2016-10-26 福建农林大学 一种直列双驱可避稻茬再生稻收割机及其使用方法
WO2018039998A1 (zh) * 2016-08-29 2018-03-08 江苏大学 高效能履带式捡拾打捆机及其草捆自动堆垛系统
CN106233920A (zh) * 2016-08-31 2016-12-21 逯栓柱 自走式向日葵联合收割机

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11178818B2 (en) 2018-10-26 2021-11-23 Deere & Company Harvesting machine control system with fill level processing based on yield data
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11240961B2 (en) 2018-10-26 2022-02-08 Deere & Company Controlling a harvesting machine based on a geo-spatial representation indicating where the harvesting machine is likely to reach capacity
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
US11778945B2 (en) 2019-04-10 2023-10-10 Deere & Company Machine control using real-time model
US11467605B2 (en) 2019-04-10 2022-10-11 Deere & Company Zonal machine control
US11829112B2 (en) 2019-04-10 2023-11-28 Deere & Company Machine control using real-time model
US11079725B2 (en) 2019-04-10 2021-08-03 Deere & Company Machine control using real-time model
US11234366B2 (en) 2019-04-10 2022-02-01 Deere & Company Image selection for machine control
US11650553B2 (en) 2019-04-10 2023-05-16 Deere & Company Machine control using real-time model
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
US11477940B2 (en) 2020-03-26 2022-10-25 Deere & Company Mobile work machine control based on zone parameter modification
US11727680B2 (en) 2020-10-09 2023-08-15 Deere & Company Predictive map generation based on seeding characteristics and control
US11849671B2 (en) 2020-10-09 2023-12-26 Deere & Company Crop state map generation and control system
US11675354B2 (en) 2020-10-09 2023-06-13 Deere & Company Machine control using a predictive map
US11711995B2 (en) 2020-10-09 2023-08-01 Deere & Company Machine control using a predictive map
US11635765B2 (en) 2020-10-09 2023-04-25 Deere & Company Crop state map generation and control system
US11592822B2 (en) 2020-10-09 2023-02-28 Deere & Company Machine control using a predictive map
US11474523B2 (en) 2020-10-09 2022-10-18 Deere & Company Machine control using a predictive speed map
US11825768B2 (en) 2020-10-09 2023-11-28 Deere & Company Machine control using a predictive map
US11844311B2 (en) 2020-10-09 2023-12-19 Deere & Company Machine control using a predictive map
US11845449B2 (en) 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11849672B2 (en) 2020-10-09 2023-12-26 Deere & Company Machine control using a predictive map
US11650587B2 (en) 2020-10-09 2023-05-16 Deere & Company Predictive power map generation and control system
US11864483B2 (en) 2020-10-09 2024-01-09 Deere & Company Predictive map generation and control system
US11871697B2 (en) 2020-10-09 2024-01-16 Deere & Company Crop moisture map generation and control system
US11874669B2 (en) 2020-10-09 2024-01-16 Deere & Company Map generation and control system
US11889787B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system
US11889788B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive biomass map generation and control
US11895948B2 (en) 2020-10-09 2024-02-13 Deere & Company Predictive map generation and control based on soil properties
US11927459B2 (en) 2020-10-09 2024-03-12 Deere & Company Machine control using a predictive map
US11946747B2 (en) 2020-10-09 2024-04-02 Deere & Company Crop constituent map generation and control system
US20220110251A1 (en) 2020-10-09 2022-04-14 Deere & Company Crop moisture map generation and control system
US11983009B2 (en) 2020-10-09 2024-05-14 Deere & Company Map generation and control system

Also Published As

Publication number Publication date
CN111201879B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN111201879B (zh) 基于图像识别的粮食收割、运输一体化装载装置/方法
CN104106042B (zh) 用于便于从车辆卸载农业物料的方法和立体视觉系统
CN104220351B (zh) 用于便于从车辆上卸载农业物料的方法和立体视觉系统
WO2020258721A1 (zh) 智能巡航车导航方法及系统
US10222808B2 (en) Inspection system and method for performing inspections in a storage facility
US10001783B2 (en) Method for controlling a work train
Montemerlo et al. Winning the DARPA Grand Challenge with an AI robot
CN112558608B (zh) 一种基于无人机辅助的车机协同控制及路径优化方法
CN105607635A (zh) 自动导引车全景光学视觉导航控制系统及全向自动导引车
US20190329764A1 (en) Work vehicle
US20170030722A1 (en) Vehicle localization system
CN113791621B (zh) 一种自动驾驶牵引车与飞机对接方法及系统
KR102391771B1 (ko) 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법
Stentz et al. Real-time, multi-perspective perception for unmanned ground vehicles
US11618444B2 (en) Methods and systems for autonomous vehicle inference of routes for actors exhibiting unrecognized behavior
US11756317B2 (en) Methods and systems for labeling lidar point cloud data
CN111746789B (zh) 拍摄系统、服务器、控制方法以及存储程序的存储介质
KR101827075B1 (ko) 차량 원격 주행 제어 시스템
US20210200242A1 (en) Self-driving coordination system and control method thereof
US20220179082A1 (en) Methods and system for analyzing dynamic lidar point cloud data
CN115334130A (zh) 一种智能网络运营服务平台及方法
WO2022150234A1 (en) Methods and systems for generating a longitudinal plan for an autonomous vehicle based on behavior of uncertain road users
US20230237793A1 (en) False track mitigation in object detection systems
US20220067399A1 (en) Autonomous vehicle system for performing object detections using a logistic cylinder pedestrian model
US20220315002A1 (en) Traveling lane planning device, medium storing computer program for traveling lane planning, and traveling lane planning method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200529

RA01 Restoration of patent right
RA01 Restoration of patent right

Former decision: Where a patent application is deemed to have been withdrawn after its publication

Former decision publication date: 20220503

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Wenqi

Inventor after: Shi Chengyu

Inventor before: Shi Chengyu