CN108021106B - 用于管理从车辆卸载农业物料的方法和立体视觉系统 - Google Patents

用于管理从车辆卸载农业物料的方法和立体视觉系统 Download PDF

Info

Publication number
CN108021106B
CN108021106B CN201611088824.4A CN201611088824A CN108021106B CN 108021106 B CN108021106 B CN 108021106B CN 201611088824 A CN201611088824 A CN 201611088824A CN 108021106 B CN108021106 B CN 108021106B
Authority
CN
China
Prior art keywords
spout
vehicle
container
relative
lateral offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611088824.4A
Other languages
English (en)
Other versions
CN108021106A (zh
Inventor
亚历克斯·J·尼坎普
扎克利·T·邦法斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/337,577 external-priority patent/US10015928B2/en
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN108021106A publication Critical patent/CN108021106A/zh
Application granted granted Critical
Publication of CN108021106B publication Critical patent/CN108021106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001Steering by means of optical assistance, e.g. television cameras
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/127Control or measuring arrangements specially adapted for combines
    • A01D41/1278Control or measuring arrangements specially adapted for combines for automatic steering
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D43/00Mowers combined with apparatus performing additional operations while mowing
    • A01D43/06Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material
    • A01D43/07Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material in or into a trailer
    • A01D43/073Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material in or into a trailer with controllable discharge spout
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00Loading or unloading vehicles
    • B65G67/02Loading or unloading land vehicles
    • B65G67/04Loading land vehicles
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/1208Tanks for grain or chaff
    • A01D41/1217Unloading mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Soil Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Refuse Collection And Transfer (AREA)
  • Guiding Agricultural Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Combines (AREA)

Abstract

出料槽识别模块适于在收集到的图像数据中识别收割车辆的出料槽(例如,或者相关联的出料槽位置)。相对运动探测器探测接收车辆和收割车辆之间的相对运动或用于探测出料槽和接收车辆的容器之间的相对运动。对准模块适于通过处理图像数据确定出料槽和容器中的单元的相对位置,从而基于探测到的所述相对运动使出料槽与纵向轴线对齐或与偏离所述纵向轴线一横向偏移量,其中基于探测到的相对运动调节死区空间的纵向尺寸。

Description

用于管理从车辆卸载农业物料的方法和立体视觉系统
相关申请
本发明是2015年8月10日提交的美国非临时申请No.14/822,228的部分继续申请,该申请的内容通过引用纳入此文。
技术领域
本发明涉及一种用于管理从车辆卸载农业物料的方法和立体视觉系统。
背景技术
某些现有技术系统可能试图使用全球定位系统(GPS)或其他的全球导航卫星系统(GNSS)接收器以在卸载或两辆车辆之间转移农业物料期间,维持两辆车辆之间的适当的间距。其他的现有技术系统可以使用成像系统以维持车辆之间的时间的间距,或者控制卸料操作。接收农业物料的接收车辆中的贮存区域可能不被填充至全容量,或者物料可能掉落到容器之外,除非车辆操作员或控制方案精确地调节填充农业物料的出料槽的位置。因此,需要一种用于管理从车辆卸载农业物料的改进的系统,从而保证接收车辆的贮存区域被全部加载或者物料没有泼洒出。
发明内容
本发明的系统和方法便于农业物料从传送车辆(例如,收割车辆)向接收车辆的转移。该系统和方法包括接收车辆,所述接收车辆包括用于推进接收车辆的推进部分和用于贮存农业物料的容器。立体成像装置面向接收车辆的容器。所述成像装置能够收集图像数据。出料槽识别模块适于在收集到的图像数据中识别出收割车辆的出料槽(例如,或者相关联的出料槽位置)。相对运动探测器(例如,相对速度探测器)探测接收车辆和收割车辆之间的相对运动(或相对速度)或用于探测出料槽和接收车辆的容器之间的相对运动(或相对速度)。对准模块适于通过处理图像数据确定出料槽和容器中的单元的相对位置,从而基于探测到的相对运动(或探测到的相对速度),使出料槽与纵向轴线对齐或偏离所述纵向轴线一横向偏移量,其中死区空间的纵向尺寸是基于探测到的相对运动(或探测到的相对速度)而加以调节的。
附图说明
图1是用于传送车辆(例如,联合收割机)的立体视觉系统的一个实施例的方块图,该立体视觉系统用于管理来自传送车辆的农业物料的卸载。
图2是用于传送车辆(例如,自推进式饲料收割机)的立体视觉系统的另一个实施例的方块图,该立体视觉系统用于管理来自传送车辆的农业物料的卸载。
图3是用于传送车辆(没有立体视觉)的系统的一个实施例的方块图,该系统用于管理来自传送车辆的农业物料的卸载。
图4A是被安装在传送车辆(例如,联合收割机)上并且面朝接收车辆的立体视觉系统的平面图的一个实施例。
图4B是被安装在传送车辆(例如,自推进式饲料收割机)上并且面朝接收车辆的立体视觉系统的平面图的一个实施例。
图4C是沿图4B的参考线4C-4C观察到的传送车辆和接收车辆的后视图。
图5是用于处理图像数据(例如,原始立体摄像图像)以在图像数据中识别出接收车辆的容器的边界或边缘的方法或步骤的示例方块图。
图6是用于处理图像数据以在图像数据中识别出出料槽或出料槽端部、从而估算出料槽端部相对于接收车辆或容器的位置的方法或步骤的示例方块图。
图7是用于管理从车辆(例如,联合收割机)卸载农业物料的立体视觉系统的一个方法的流程图。
图8是提供根据图7的方法的流程图,该方法提供了确定出料槽和容器的相对位置并且利用物料填充容器的示例性方法。
图9示出了根据图8的方法的第一模式的容器和出料槽的剖视实测图的一个实施例。
图10示出了容器中的单元的说明性的示例。
图11示出了根据图8的方法或该方法的变形用物料填充容器的平面图。
图12示出了根据图8的方法或该方法的变形用物料填充容器的平面图。
图13示出了根据图8的方法或该方法的变形用物料填充容器的平面图。
图14示出了根据图8的方法或该方法的变形用物料填充容器的平面图。
图15是根据本公开的死区调节的纵向尺寸与相对速度、或横向偏移与相对速度之间的关系的图标或查询表。
在所有附图中,类似的附图标记指代类似的元素、步骤或程序。
优选的实施方式
根据一个实施例,图1显示用于传送车辆的车辆电子系统11,其用于管理农业物料从传送车辆(例如,联合收割机)向接收车辆(例如,谷物拖车或货车)的卸载。图4A提供了诸如图1的系统11的立体或其他视觉系统的平面图的说明性的示例,该系统被安装在传送车辆(例如,联合收割机)上并且面朝接收车辆。如用在本文件中的,“适于”与“被配置成”或与“被布置成”同义,并且可以涉及由控制器、计算机、数据处理器或模块、硬件电子器件和软件的组合执行的软件指令或程序指令,或者涉及能够执行特定的参考功能的任何结构、构造或配置。
在一个实施例中,系统11包括耦合到图像处理模块18的第一成像装置10和第二成像装置12。第一成像装置10可以包括主立体摄像机,第二成像装置12可以包括副立体摄像机。在一种构造中,第二成像装置12或副立体摄像机是可选的,并且用于提供相对于第一成像装置10的系统冗余,以便在第一成像装置10失效、故障、以及无法获得来自第一成像装置10的图像数据时而被使用。在另一构造中,第一成像装置10或第二成像装置12被安装在立柱、伸缩式立柱、手动伸缩式立柱、可伸缩的安装件、可转动的安装件(例如,可进行旋转角的远程控制)、可枢转的臂(例如,可进行手动或远程控制的倾斜和平移调节)或接收车辆上的其他支撑件上,其中,安装件致动器引起的任何远程致动的高度、角度转动或安装件的其他调节可以用于将贮存部分93或容器85(或其内部或其内容物)保持在第一成像装置10或第二成像装置12的视野中。例如,第一成像装置10或第二成像装置12被安装在水平面之上的足够高的高度处,从而能够一定程度地观察容器85(例如,谷物拖车)的内部,或者充分地观察容器85的内部,从而确定由容器85限定的空间或空间的一部分(例如,单元)中的农业物料(例如谷物)的轮廓、分布或高度水平。
图像处理模块18可以直接地或间接地耦合到车辆(例如,传送车辆)上的光源14,该光源14用于向贮存容器93、其内容物(例如,农业物料)和/或出料槽(例如,图4A中的89)提供照明,或者向第一成像装置10、第二成像装置12或者两者的视野提供照明以用于获得原始图像(例如,具有足够亮度、对比度和色彩再现的原始图像)。例如,图像处理模块18可以控制驱动器或开关,所述驱动器或开关可控制传送车辆上的光源14的开或关。如果光度计(1ight meter)指示环境光强度低于一特定的最小阈值,则图像处理模块18可以激活车辆上的光源14,以用于贮存容器(例如图4A中的85)、其内容物,或其出料槽89或前述物品的任何组合的照明。在一种构造中,光度计包括光感应器、光敏电阻器、感光装置或硫化镉电池。
在一个实施例中,出料槽控制系统16可以包括:(1)旋转角度传感器,该旋转角度传感器用于检测出料槽89相对于一个或更多旋转轴线的出料槽旋转角度(例如,图4A中的98)或其他出料槽角度;和(2)致动器(例如,出料槽致动器或调节器),所述致动器用于移动出料槽89以改变出料槽旋转角度或其他出料槽角度,并由此改变相对于接收车辆79或其贮存容器85的出料槽位置。出料槽控制系统16的致动器可包括用于移动出料槽89或出料槽端部87的一个或多个马达、线性马达、电动液压设备、棘轮或缆索致动的机械设备、或其他设备。出料槽角度或出料槽旋转角度可包括简单角、复合角或多维角,这些角可参照如下的轴线中的任何一个加以测量:平行于传送车辆移动方向的基准轴线、大致竖直的轴线、大致水平的轴线、或与大致竖直的轴线和大致水平的轴线中的至少一个大致正交的轴线。
图1的系统适用于联合收割机或收割机,出料槽89可以在(例如,转动或移动的)一个或多个维度上被控制。在一个实施例中,(收割机或联合收割机)的出料槽控制系统16在大致水平的平面中控制出料槽89的旋转角或者控制其绕大致竖直的轴线的旋转角。在其他配置中,出料槽控制系统16或出料槽控制器可以控制如下的角度中的一个或多个:(1)出料槽89在大致水平平面中的旋转角98;(2)出料槽89相对于竖直平面的倾斜角;以及(3)偏转角(flap angle)(例如,卸料构件角度),其中旋转角、倾斜角和偏转角与不同的轴线(例如,相互正交的轴线)相关。实际上,卸料构件和相关的可调节的的卸料构件角度或可调节的偏转角通常与饲料收割机出料槽或斜槽相关,而不与联合收割机的出料槽相关。在一中配置中,通过控制旋转角98,出料槽控制系统16或车辆控制器46可以在适当的时候(例如,当完成农作物料的卸料时)自动地延伸或缩回出料槽89(例如,卸料螺旋臂)。
车辆控制器46控制螺旋机构47的旋转,以用于农业物料从传送车辆91到接收车辆79的传送或移动。车辆控制器46可以提供数据信息,该数据信息指示用于从传送车辆卸载农业物料的螺旋机构47何时处于活动状态以及何时处于非活动状态。螺旋机构47可以包括螺旋推运器(auger)、用于驱动所述螺旋推运器的电动马达、和用于检测所述螺旋推运器或其相关联的轴的旋转的旋转传感器。在一个实施例中,所述螺旋机构47与用于贮存传送车辆91(例如,联合收割机)的农业物料的容器(例如,谷物箱)85相关联。
如果车辆控制器46指示传送车辆的螺旋推运器47正在旋转或处于活动状态,则图像处理模块18激活出料槽识别模块22和容器识别模块20。因此,车辆控制器46可以通过在传送车辆正在收割而非卸载农业物料到接收车辆的过程中将容器识别模块20和出料槽识别模块22置于非激活状态(或待命模式)而节约数据处理资源或能量消耗。
如果图像处理模块18、填充水平估算器21或者其他的传感器确定容器85或贮存部分93已经达到了目标填充水平(例如,第一目标水平(例如,图4C中的310),第二目标水平(图4C中的312),或容积(或容量、空间)的全部百分比或部分百分比或者一部分),图像处理模块18、车辆控制器46,或者出料槽控制系统16可以自动地关闭卸料螺旋机构47。第一目标水平可以包括基底填充水平,然而第二目标水平可以包括确保容器85的各个负载的完成填充水平(top-off fill)的完整和有效,该完成填充水平可以有利于减少用于传送任意给定区域中的收割物的总负载数量;因此有利于接收车辆79的燃料成本的潜在和相当的降低。
图像处理模块18可包括数据处理器、控制器、微型计算机、微处理器、微控制器、专用集成电路、可编程序逻辑阵列、逻辑设备、运算逻辑单元、数字信号处理器、或其他电子数据处理器以及用于支持的电子硬件和软件。在一个实施例中,图像处理模块18可以包括电子数据处理器94和被耦合到数据总线95的数据存储装置19。在一个实施例中,图像处理模块18包括容器识别模块20、出料槽识别模块22、填充水平估算器21和对准模块24。
图像处理模块18可以与数据存储装置19相关联。例如,数据存储装置19可以包括电子存储器、非易失性随机存储器、磁盘驱动器、光盘驱动器、磁存储器装置或光学存储装置。如果容器识别模块20、出料槽识别模块22、填充水平估算器21、对准模块24和相对运动模块96(例如,相对速度探测器)是软件模块,那么它们将被存储在数据存储装置19中。软件模块可包括图像处理模块18或其电子数据处理器能够执行的文件、可执行文件、库、数据记录或软件指令。图像处理模块18的数据处理器可以经由一个或多个数据总线与一个数据存储装置19或其软件模块或其内容进行通信。
在一个实施例中,相对运动模块96可以检测或处理相对运动。在该文件中,相对运动可以是指:(1)接收车辆和收割车辆的相对速度、相对加速度或上述两者;或者(2)接收车辆的出料槽端部和容器之间的相对速度、相对加速度或上述两者。例如,相对运动模块在采样间隔或采样时间周期期间测量传送车辆(或其出料槽端部87,187)的观测速度与接收车辆(或它的容器85)的观测速度之间的第一差值;相对运动模块在采样间隔或采样时间周期期间测量传送车辆(或其出料槽端部87,187)的观测速度与接收车辆(或它的容器85)的观测速度之间的第二差值。
容器识别模块20识别真实世界中的(例如,笛卡尔坐标系或极坐标系中的)一套二维或三维的点,这些点限定了贮存部分(例如,图4A中的85)的至少一部分的容器周边(例如,图4A中的81)。该套二维或三维的点与由第一成像装置10、第二成像装置12或二者收集到的图像中的像素位置相对应。容器识别模块20可以使用或检索容器基准数据。
容器基准数据包括以下的一项或多项:容器85、容器周边81、容器边缘181的基准尺寸、基准形状、图形、型号、布局、和构造;接收车辆的整个贮存部分93的基准尺寸、基准形状、图形、型号、布局、和构造;接收车辆的贮存部分93的贮存部分轴距、贮存部分旋转半径、贮存部分钩挂装置(hitch)的构造。容器基准数据可以被贮存在数据存储装置19(例如,非易失性电子存储器)中并且从该设备19中找回。例如,容器基准数据可以通过传送车辆系统11的数据存储装置19中的相应的接收车辆识别符贮存、找回或索引。对于每个接收车辆识别符来说,可以具有相对应的贮存在数据存储装置19中的唯一的容器基准数据。
在一个实施例中,传送车辆(91或191)从接收车辆接收数据信息,其中接收车辆中的车辆识别符是规律的(例如,周期性地被传输)。在另一个实施例中,传送车辆查询接收车辆的车辆识别器或通过无线通信装置(48、148)在传送车辆和接收车辆之间建立通信信道,以为卸料做准备。在另一个实施例中,当接收车辆79进入传送车辆的一定径向距离之内时,接收车辆将它的车辆识别符发送到传送车辆(91或191)。在又一个实施例中,仅由一种已知构造的接收车辆与相对应的传送车辆一起使用,并且容器基准数据被贮存或存放在数据存储装置10中。在后面的实施例中,传送车辆被至少临时性地编程,专用于具有相同容器的接收车辆,这些容器的尺寸、容量、比例和形状都是相同的。
如果在被收集的图像数据中的一组像素的线性定向与由容器基准数据规定的容器(图4A中的85)的周边(图4A中的81)的一个或更多个边缘181相一致,则容器的位置已经被识别。除了其他的可能性之外,通过将容器相对的侧面之间的距离(例如,最短距离或表面法线距离)划分为具有大致相同的空间、大致相同的尺寸的多个单元308,或者具有相同的长度和宽度(例如,但是具有与长度和宽度不同的高度)的多个柱形矩形单元,能够识别容器85的容器开口83的目标填充区域。
出料槽识别模块22识别以下的一项或多项:(1)出料槽89(图4A中)或出料槽189(图4B)的至少一部分上的出料槽像素;或(2)与出料槽(89、189)的出料槽端部(87、187)相关联的出料槽端部像素。出料槽识别模块22可以使用颜色识别、强度识别、或纹理识别,以将背景像素与一个或多个选定的出料槽像素区别开来,所述选定的出料槽像素具有用于识别目的的、用在出料槽(89、189)或出料槽(89、189)的出料槽端部(87、187)上的相关联的出料槽像素图案或特性图案(例如,颜色或颜色图案(例如,红绿蓝(RGB)像素值、像素强度图案、纹理图案、光度、亮度、色调、或反射率)。
在一个实施例中,填充水平估算器21可以被构造为估算贮存部分93或容器85的多个相应的子划分空间或单元308的多个填充水平。每个填充水平与贮存部分93或容器85的相应单元中的农业物料的相应高度相关。填充水平估算器21可以使用颜色识别、强度识别、或纹理识别,以将背景像素(例如,容器、地面或天空像素)与一个或多个限定的农业物料像素区分开,所述选出的农业物料像素具有相关联的像素图案或特性图案(例如,颜色或颜色图案(例如,红绿蓝(RGB)像素值、像素强度图案、纹理图案、光度、亮度、色调、或反射率)。图像处理模块18或填充水平估算器21确定农业物料的所述选定的或识别出的像素(例如,通过颜色识别、强度识别、或纹理识别而识别出的)或者农业物料的相邻的像素组的三维位置或竖直高度。此外,图像处理模块18或填充水平估算器21可以基于像素的二维或三维位置或坐标,或者容器93或贮存部分85中的像素的相对位置,将单元或单元识别符分配给容器或贮存部分中的相邻的像素组。
在一个实施例中,对准模块24可以包括:(1)用于传送车辆(91或191)和接收车辆79(或其容器85)之间的位置对准的相对车辆对准模块;或者(2)出料槽-容器对准模块,或可同时包括上述两者。相对车辆对准模块或对准模块24以规则的时间间隔估算或确定移动命令,以将出料槽(89、189)保持在容器85的目标填充区域(例如,目标填充区域、目标单元,或部分填满的或空的单元)上方,以用于卸载农业物料。相对车辆对准模块或对准模块24可以将与传送车辆(91或191)的速率、速度、加速度或行驶方向(或者与传送车辆相对于接收车辆79的相对速率、速度、加速度或行驶方向)有关的数据或命令从传送车辆(91或191)无线地发送到接收车辆79的电子器件(例如,图3中的电子器件),从而维持传送车辆(91或191)相对于接收车辆的位置对准。例如,相对车辆对准模块或对准模块24可以将转向命令或行驶方向命令发送到传送车辆(91或191)的驾驶控制器32,将制动或减速命令发送到传送车辆(91或191)的制动系统34,以及将推进、加速或转矩命令发送到传送车辆(91或191)的推进控制器40。此外,可经由无线通信装置(48、148)将类似的命令数据传送到接收车辆,以用于观察目的或用于通过图3的系统211的驾驶系统控制器32、制动控制器36、和推进控制器40执行接收车辆控制。在一种配置中,相对车辆对准模块或对准模块24将转向命令或行驶方向命令发送到驾驶控制器32,将制动或减速命令发送到制动系统34,以及将推进、加速或转矩命令发送到推进控制器40,从而维持第一成像装置10(例如,该第一成像装置位于接收车辆的推进部上的或者位于传送车辆上)与出料槽89的出料槽端口87之间的大致均匀的空间间隔或距离。
在一个实施例中,图像处理模块18将图像数据、相应单元308的填充状态数据或其他数据(例如,指示容器已经填满的报警信息)提供到用户界面处理模块26,所述户界面处理模块26将状态信息数据和性能信息数据直接地或间接地提供到用户界面44。如图1所示,图像处理模块18与车辆数据总线31(例如,控制器区域网络(CAN)数据总线)通信。
在一个实施例中,第一定位接收器42、第一无线通信装置48、车辆控制器46、驾驶控制器32、制动控制器36、和推进控制器40能够通过车辆数据总线31通信。依次地,驾驶控制器32被连接到传送车辆的驾驶系统30;制动控制器36被连接到传送车辆的制动系统34;并且推进控制器40被连接到传送车辆的推进系统38。
在一个实施例中,对准模块24或出料槽-容器对准模块确定出料槽(89、189)与容器85中的单元308的相对位置,从而根据填充顺序或填充计划指令将出料槽对准在单元308的目标填充区域中,在填充顺序或填充计划中:(a)一,对准模块24适于仅通过出料槽控制系统16或者通过出料槽控制系统16与相对车辆对准系统的组合引导出料槽(89、189),以在第一模式下用物料将容器85填充至第一目标水平,该第一目标水平小于容器的峰值高度;(b)二,填充水平估算器21适于在引导出料槽在第一模式下填充之后估算位于第一目标水平之下的单元308的数量;以及(c)三,如果低于位于第一目标水平之下的单元308的数目低于一阈值数,那么对准模块24适于仅通过出料槽控制系统16或者通过出料槽控制系统16与相对车辆对准系统的组合引导出料槽,以在第二模式下将容器85填充至大于第一目标水平的第二目标水平。
系统11帮助将农业物料从传送车辆(例如,收割车辆)转移到接收车辆。系统11包括接收车辆,所述接收车辆具有用于推进接收车辆的推进部分和用于贮存农业物料的贮存部分93。诸如第一成像装置10的立体成像装置面朝着接收车辆的贮存部分93。如图1中所示,第一成像装置10和可选择的第二成像装置12被安装在传送车辆上,与图4A一致。
在一个实施例中,由虚线指示的可选择的立柱(mast)控制器313被连接到车辆数据总线31、131、执行数据总线、或图像处理模块18,以控制可选择的可调节立柱315,以用于安装和可调节地定位第一成像装置10、第二成像装置12、或二者。立柱控制器313和其关联的可调节立柱315适于改变第一成像装置10、第二成像装置12或其二者(在装置10、12被安装在可调节立柱315上的情况下)的定向或地面以上的高度,其中所述定向可以被表述为下述任意项目:倾斜角、平移角(pan angle,或扫角)、下倾角、俯角、或旋转角。可调节立柱315可以与一个或多个伺服电机、线性电机或其他装置相关联,以用于控制安装在可调节立柱315上的成像装置10、12的移动、高度和角度。例如,操作者可以经由用户界面控制或调节一个或多个成像装置10、12的高度或定向。在替代实施例中,可选的立柱控制器313和可调节立柱315可由手动可调节式立柱替代,而不是远程可控可调节立柱315。
一个或多个成像装置10,12被布置成用于收集图像数据。容器识别模块20识别收集到的图像数据中的贮存部分93的容器周边。贮存部分93具有从容器周边向内的开口,用于接收农业物料。出料槽识别模块22被配置成用于识别收集到的图像数据中的收割车辆的出料槽(例如,图4A的89或图4B中的189)。对准模块24适于确定出料槽(89或)与容器周边(图4A的81)的相对位置,并且适于产生命令数据至传送车辆(91,191)的车辆电子器件或接收车辆79的推进部分75,以共同对准的方式操控贮存部分93,使得出料槽89被对准于容器周边81的目标填充区域83内。驾驶控制器32与接收车辆的推进部分的驾驶系统30相关联,以根据协作对准来驾驶接收车辆。
在一种配置中,用户界面44设置成用于输入容器基准数据或与接收车辆有关的尺寸参数。例如,容器基准数据或尺寸参数包括在拖车挂钩或枢转点(其使推进装置75与贮存部分93互连)与接收车辆79的贮存部分93的前轮旋转轴线之间的距离。
虽然第一成像装置10和第二成像装置12可以包括立体成像装置或单目成像装置,并且这些装置组合以提供立体视觉图像数据,但是在替代的实施例中,第一成像装置10和可选的第二成像装置12可由如下装置中的任一个替代:测距装置、激光扫描仪、激光测距仪、激光雷达(光探测和测距系统)、雷达传感器(雷达探测和测距)、使用电磁信号的传播时间以确定到物体的距离的测距仪,或其他感测装置。
图1的系统11十分适合用在作为传送车辆的联合收割机或收割机上。图1的系统11可与在接收车辆(例如,如图4A中所示)上的图3的车辆电子器件的第二系统211通信并协作,以在从传送车辆卸载或转移材料期间协调传送车辆和接收车辆的相对对准。图1至图3中类似的附图标记指示类似的元件。
图2的车辆电子器件系统111与图1的系统11相似;不同之处在于:在系统111中,图1的车辆数据总线31被置换为车辆数据总线131;所述第二成像装置12如图所示被删除;以及通过与车辆数据总线131进行通信的相应的可选的车辆控制器(50,54)可以控制光源52和出料槽控制系统116。在图1和图2中,类似的附图标记表示类似的元件。图4B和图4C提供了立体或其他视觉系统的视图的示意性示例,诸如安装在传送车辆(例如,饲料收割机)上并且面对接收车辆的图2的系统111。
在一个实施例中,车辆数据总线131包括主数据总线60、副数据总线58和网关29。此外,可选的车辆控制器(50,54)被耦合到主数据总线60以用于光源52和出料槽189。车辆控制器50控制光源52;出料槽控制器54能够控制出料槽控制系统116,以用于移动或调节出料槽189或其出料槽端部187的定向或角度。出料槽控制系统116可以包括用于移动或调节出料槽189的致动器;以及用于测量出料槽189或其出料槽端部187的出料槽角度、定向、或位置的一个或多个传感器。例如,出料槽控制系统116或其致动器可以包括伺服电机、电动马达、或电动液压机构,以用于移动或调节出料槽89。
图2的系统111适用于自推进式饲料收割机,可选的车辆控制器54、出料槽控制系统116或以上两者均可以在多个维度(例如,在二个维度或三个维度)控制或调节出料槽189或其出料槽端部187。例如,车辆控制器54或出料槽控制系统116可以控制如下的角度中的一个或多个:(1)出料槽189或出料槽端部187在大致水平平面中的旋转角;(2)出料槽89或出料槽端部187相对于竖直平面的倾斜角;以及(3)出料槽端部187处或附近的任意偏转器的偏转角,其中旋转角、倾斜角和偏转角与不同的轴线(例如,相互正交的轴线)相关联。对于饲料收割机而言,出料槽189(例如,卸料螺旋臂)一般不缩回,并且在收割期间,来自出料槽189的农业物料流一般是连续的。
在一个实施例中,出料槽控制系统116可以包括:(1)旋转角度传感器,该旋转角度传感器用于检测出料槽189相对于一个或更多旋转轴线的出料槽旋转角度或其他出料槽角度,和(2)致动器(例如,出料槽致动器或调节器),所述致动器用于移动出料槽89以改变出料槽旋转角度或其他出料槽角度,并由此改变出料槽189或其出料槽端部187相对于接收车辆79或其贮存容器85的出料槽位置,或者改变一个或多个单元308的目标填充区域。出料槽控制系统116的致动器可包括用于移动出料槽189或出料槽端部187的马达、线性马达、电动液压设备、棘轮或缆索致动的机械设备、或其他设备。出料槽角度或出料槽旋转角度可包括简单角、复合角或多维角,这些角是参照如下的轴线中的任何一个测量的:平行于传送车辆移动方向的基准轴线,大致竖直的轴线、大致水平的轴线、或与大致竖直的轴线和大致水平的轴线中的至少一个大致正交的轴线。
在一种配置中,(收割机)的出料槽控制系统116在大致水平的平面中控制出料槽189的旋转角或者控制其绕大致竖直的轴线的旋转角。在其他配置构造中,出料槽控制系统116或出料槽控制器可以控制如下的角度中的一个或多个:(1)出料槽189或出料槽端部187在大致水平平面中的旋转角;(2)出料槽89或出料槽端部187相对于竖直平面的倾斜角;以及(3)出料槽端部187上或附近的任何偏转器的偏转角(例如,卸料构件角度),其中旋转角、倾斜角和偏转角与不同的轴线(例如,相互正交的轴线)相关。
如果利用填充水平估算器21探测到利用(例如来自传送操作的)农业物料将接收车辆的容器85填满(或者即将接近第一目标水平310、第二目标水平312或另一填充状态(例如,309)),则填充水平估算器21基于探测到的目标水平和容器85的填充操作的当前操作模式(第一模式或第二模式)向对准模块24提供数据消息或控制消息。如果填充水平估算器21确定容器85或其一组单元308在第一模式中已经达到或满足第一目标水平310,则填充水平估算器21向对准模块24提供数据消息或控制消息,从而对准模块24能够从第一模式转换到第二模式,并且逆着转填充方向以达到第二目标水平312。然而,如果填充水平估算器21确定容器在第二模式中已经达到或满足第二目标水平312,那么填充水平估算器21向对准模块24提供数据消息或控制消息,使得对准模块能够停止填充容器或贮存部分,并且可选地经由它们的相应的用户界面(例如,车辆驾驶舱或座舱中的显示器)向收割车辆和接收车辆的操作员发出警报。
在替代实施例中,填充水平估算器21由接收车辆79上的用于探测容器85中的农业物料的质量、重量或容量的一个或多个传感器(例如,质量传感器或光学传感器)补充或增益;传送车辆91的成像系统18或接收车辆的传感器经由无线通信装置(48、148)可以在用户界面44上通知(传送车辆91的)操作员关于容器85的填满状态、填充状态或填满条件。
在一种配置中,主数据总线60可以包括控制器区域网络(CAN)数据总线。类似地,副数据总线58可包括控制器区域网络(CAN)执行数据总线。在一个可替代的实施例中,主数据总线60、副数据总线58或二者都可以包括ISO(国际标准化组织)数据总线或ISOBUS、以太网或其他数据协议或通信标准。
在一个实施例中,网关29支持副数据总线58与主数据总线60之间的安全的或受控制的通信。网关29包括防火墙或其他安全设备,这些安全设备可以限制或阻止副数据总线58上的网络元件或设备与主数据总线60或车辆数据总线31上的网络元件或设备通信(例如,未授权的通信),除非副数据总线58上的网络元件或设备遵循特定安全协议、“握手(handshake)”信号交换方式、密码和密匙、或其他安全措施。进一步地,在一个实施例中,如果适当的加密密钥被输入或者如果其他安全措施被满足,则网关29可以对至主数据总线60的通信加密,并对来自主数据总线60的通信解密。网关29可以允许副数据总线58上的网络设备通过开放标准或第三方硬件和软件供应商通信,但主数据总线60上的网络设备仅由制造商提供。
图2中,第一定位接收器42、用户界面44、用户界面处理模块26、和网关29被连接到车辆数据总线或副数据总线58。车辆控制器(50、54)被连接到车辆数据总线131或主数据总线60。因而,可选的车辆控制器50被直接地或间接地连接到传送车辆上的可选择光源52。车辆控制器54可选地由虚线所示。控制系统116被直接连接到主数据总线60或车辆数据总线131,或者经由车辆控制器54被连接到主数据总线60或车辆数据总线131。虽然图2的系统十分适于使用或安装在自推进式饲料收割机上,但是图2的系统还可以应用到联合收割机、收割机或其他重型设备。
在替代实施例中,图2的系统111可以添加第二成像装置12,该第二成像装置12被连接到图像处理模块18并且被安装在收割机的出料槽或主体上(具有或不具有安装立柱),从而在补充视野中提供额外的图像数据,以提供关于贮存部分或容器(例如,长或大容器)的可能落到第一成像装置10的视野之外的补充视图(例如,容器周边81内的农业物料和单元的前后视图或整个表面区域)。
图1的系统11与图2的系统111应用于传送车辆,而图3的系统应用于接收车辆(例如图4A或图4B中的79)。图1至图3中类似的附图标记指代类似的元件。如前文指出的,传送车辆(例如,91或191)可以包括收集或收割物料以转移到接收车辆的联合收割机、收割机、自推进式收割机、车辆或重型设备。在一个实施例中,接收车辆可以包括推进部分(例如,图4A或图4B中的75)和贮存部分(例如,图4A中的93),所述贮存部分用于贮存从传送车辆转移来的材料。接收车辆可以包括拖拉机和谷物拖车或货车的组合,其中拖拉机是推进部分75的示例性的例子,并且其中谷物拖车是贮存部分93的示例性的例子。
图3的车辆电子期间的系统211与图2的系统类似,区别在于图3删除了图2中的第一成像装置10、第二成像装置12、图像处理模块18、用户界面处理模块26、车辆控制器(50、54)、光源52和出料槽控制系统116。图3的系统211包括第二无线通信装置148,以用于例如与图1或图2的第一通信装置48通信。无线装置(48、148)可以交换或交流位置数据、相对位置数据、单元级别的或总的填充状态水平的填充状态数据、命令数据或控制数据,以用于控制、调节或协调车辆的位置和定向;更具体地,出料槽89或出料槽端部87在容器85的开口83之上的位置和定向。第二无线通信装置148被耦合到车辆数据总线131。在图3中,用于接收车辆(不具有立体视觉)的系统211可以用于与图1或图2的传送车辆的系统(11或111)组合。
图4A描绘了传送车辆91和接收车辆79的平面图。图4A可以被称为车辆管理系统311。如图4A中所示,用于说明性的目的,所示的传送车辆91为带有收割割台185的联合收割机,而所示的接收车辆79为拖拉机和谷物拖车。更通常地,接收车辆79包括推进单元75和贮存单元93(例如,被牵引的贮存单元)的组合。传送车辆91和接收车辆79在对准或协调的状态下一般在行进方向186的方向上移动以完成农业物料从传送车辆91到接收车辆79的转移,尽管车辆(79、91)的速度和行驶方向在不同的时间可能不同以调节车辆(79、91)之间的相对位置或者出料槽89相对于贮存部分93或容器85的相对位置。
在图4A中,第一成像装置10具有第一视场77,可选的第二成像装置12具有第二视场177,其中,两个视场(77、177)可以观察到容器85的内部或容器85中的农业物料(例如,从比容器85的顶部更高的海拔或高度观察)。容器85中的农业物料占据一个或多个单元308或者单元柱(cellular columns),其中,这些单元或单元柱的高度由图像处理模块18或填充水平估算器21测量。每个单元308可以具有与其他单元308大致相等的总容量(例如,或者某些相同的尺寸,诸如等于或不等于单元高度的相同的单元长度和单元宽度),容器85的空间可以被细分为几乎任何数量的单元,这些单元能够在一个或多个成像装置(10、12)和图像处理模块18的分辨度内被跟踪到。
图4B示出了传送车辆191和接收车辆79的平面图。图4B可以被称为车辆管理系统411。如图4B中所示,用于说明性的目的,所示的传送车辆191为带有收割割台285的收割机,诸如自推进式饲料收割机,而所示的接收车辆79为拖拉机和谷物拖车。在图4A、4B和4C中的类似附图标记表示类似特征的元件。
在一个实施例中,图4A的联合收割机使用位于出料槽89上的第一成像装置10和位于传送车辆91上的第二成像装置12,而图4B的传送车辆191使用出料槽189上的第一成像装置10。在图4B中,第一成像装置10具有第一视场77,该第一视场77向下看到容器的内部以有利于评估或估算加载在容器85中的农业物料的水平或高度,或者与容器85的相应单元308相关的农业物料的水平。
图4C示出了沿图4B的参考线4C-4C观察到的传送车辆191和接收车辆79的后视图。图4C提供了出料槽控制系统116的示意性实施例。例如,在图4C中,出料槽控制系统116包括第一出料槽致动器300,该致动器300有助于出料槽189绕竖直轴线412转动,用于提供出料槽189或出料槽端部187在大致水平平面中的调节;出料槽控制系统116包括第二出料槽致动器302,用于调节出料槽189或出料槽端部187相对于竖直平面的倾斜角;出料槽控制系统116包括第三出料槽致动器304,用于调节位于出料槽189的端部处的偏转构件或偏转器306的偏转角。旋转角、倾斜角和偏转角与不同的轴线(例如,相互正交的轴线)相关联。
如前所述,容器85中的农业物料占据一个或多个单元308或者单元空间,其中这些单元或单元空间的高度通过图像处理模块18或填充水平估算器21测量到。图4C示出了第一目标水平310和第二目标水平312。在一个实施例中,第一目标水平310是农业物料(例如,在单元或单元组中的)靠近或低于容器85的顶部或顶部容器边缘181(即,位于大约100%水平)的高度,其中第二目标水平等于或高于容器85的顶部或顶部容器边缘181。
在图4A至图4C中,包含的出料槽(89、189)也可被称为卸料螺旋推运器(unloadingauger)。出料槽端部(87、187)可以被称为护罩(boot),该护罩可以是位于出料槽的尖端的硬质橡胶体,以引导被卸载的材料(例如,向下)。总体而言,在图4A至图4C中,根据填充顺序或用于将物料从传送车辆卸载到接收车辆的计划,出料槽(89、189)或出料槽端部(87、187)通常被对准在从(接收车辆的)贮存容器85的一个或多个目标单元308中选出的组或目标填充区域上方或之上。类似地,无论车辆如一般情况那样是在收割期间一起向前移动(例如,具有协作的或追踪式车辆行驶方向)还是静止,传送车辆和接收车辆都被对准在如图所示的位置中。
与图1至图3类似,在图5和图6中,每个方块或模块可以代表软件模块、电子模块、或二者。软件模块可以包含软件指令、子程序、面向对象的代码、或其他软件内容。将方块或模块相互连接起来的箭头示出了方块之间的数据或信息的流动。箭头可以代表物理通信路径或虚拟通信路径,或二者。物理通信路径意味着用于发送、接收或传输数据的传输线路或一个或更多的数据总线。虚拟通信路径意味着模块之间的数据、软件或数据信息的通信。
图5是用于处理图像数据(例如,原始立体摄像图像)以在图像数据中识别出接收车辆的容器的边界或边缘的方法或步骤的示例方块图。图5是比图1更详细示出了图像处理模块18和容器识别模块20的方块图。图1、图5和图6中类似的附图标记指示类似的元件。如图5所示,第一成像装置10、第二成像装置12、或其二者将原始立体摄像图像(或原始图像数据)输入至图像矫正模块101。接下来,图像矫正模块101与立体对应(stereocorrespondence)模块103和边缘探测器105通信。边缘探测器105提供输出至线性霍夫变换器107。立体对应模块103和线性霍夫(Hough)变换器107的输出被提供至容器定位器111。容器定位器111可以访问或接收来自数据管理器109的贮存的(先验的)挂钩和拖车测量值、容器尺寸、容器空间或其他接收车辆数据。在一个实施例中,容器定位器111可以接收或访问来自角度估算器113(例如,卡尔曼滤波器)的榫舌角度(图4A中的97)的估算值,以及贮存的挂钩和拖车测量值。
在一实施例中,图像矫正模块101向收集到的图像数据或原始立体图像提供图像处理过程,以减少或除去径向透镜失真,以及提供立体对应所需的图像对准。径向透镜失真与第一成像装置10、第二成像装置12、或二者的径向镜头相关联。图像矫正模块101的输入是原始立体图像数据,而图像矫正模块101的输出是矫正后的立体图像数据。
在一个说明性的实施例中,图像矫正模块101消除或减少图像数据的相同场景的一对立体图像之间任何可能的垂直偏移或差异。进一步地,图像矫正模块可以将水平分量(或立体图像的像素的水平线)对准为平行于第一和第二成像装置(10,12)内的每个成像装置(例如,左和右的成像装置)的扫描线或公共基准轴线。例如,图像矫正模块可以使用图像处理(例如,统计图像处理)和用于图像处理装置(11、12)的校准信息,以实现矫正后的立体图像的右和左侧图像。矫正后的图像支持用于随后的(例如由立体对应模块103执行的)图像处理过程的相同场景的左侧图像和右侧图像中的图像内的相应的像素或物体的有效的处理和容易的识别。如用在本文中的,右侧图像指第一图像,右图或上部图像,而左侧图像指第二图像、左图或下部图像。如用在本文中的,右侧图像指第一图像,右图或上部图像,而左侧图像指第二图像、左图或下部图像。
在一种构造中,立体对应模块103向收集到的立体图像数据(例如由图像矫正模块101输出的矫正后的立体图像数据)应用立体匹配算法或差异计算器。立体匹配算法或差异计算器可以包括绝对差之和算法、平方差之和算法、一致性算法、或其他算法,以确定右图和左图中的(例如,沿着图像的水平轴线或平行于水平轴的、或者沿着图像的竖直轴线或平行于竖直轴线的,或沿着其他基准轴线的)每组对应的像素的区别或差异。
在说明性的绝对差之和程序中,右侧图像和左侧图像、图像数据的块或图像数据中的行可以被变换成与右图和左图中对应的像素对准。立体匹配算法或差异计算器确定图像数据的左侧图像和右图中的对应像素之间的差异值。例如,为了估算所述差异值,第一对象像素(subject pixel)的每个第一像素强度值和该第一像素周围的(例如,像素块或矩阵中的)第一周围像素强度值的第一和被用于与第二对象像素的每个对应的第二像素强度值和该第二像素周围的(例如,像素块或矩阵中的)第二周围像素强度值的第二和作比较。所述差异值可用于形成对应的右侧图像和左侧图像数据的差异图或图像。
图像处理模块18估算从第一成像装置10、第二成像装置12或二者到位于容器周边81、容器边缘181、出料槽98、出料槽端部(87、187)上或位于通过边缘探测器105、线性霍夫变换器107或二者识别出的任何其他线性边缘、曲线、椭圆、圆或物体上的像素或点的距离。例如,图像处理模块18可以使用差异图或图像,以估算从第一成像装置10、第二成像装置12或二者到位于容器周边81、容器边缘181、容器开口83、任意前述项附近的或其他位置上的像素或点的距离。
在一个实施例中,容器识别模块20包括:(1)边缘探测器105,用于测量图像数据中容器周边81上的一个或更多边缘181或点的强度或可靠性;(2)线性霍夫变换器107,用于识别图像数据中候选的线段相对于一个或更多成像装置(10,12)的光轴、基准轴线上基准点的角度和偏移量;(3)容器定位器111,其适于使用空间的和角度的约束以消除那些不能从逻辑上形成或不可能形成容器周边81的识别出的线段的一部分、或容器周边81上的点的候选的线段;和(4)容器定位器111,将未被消除的识别出的线段或识别出的点变换成相对于接收车辆和收割车辆的基准点或基准框架的二维或三维坐标。
边缘探测器105可以将边缘检测算法应用到来自图像矫正模块101的矫正后的图像数据。任意数目的适当的边缘检测算法可以被边缘探测器105使用。边缘检测指的是识别和定位图像或收集到的图像数据中的像素之间的不连续性的过程。例如,不连续性可以表示限定图像中的物体的边界的像素强度或像素颜色中的材料变化。边缘检测的梯度技术可以通过下面的方式实现:过滤图像数据以返回第一区域和第二区域中的不同的像素值,其中第一区域具有比第二区域更大的不连续性或梯度。例如,梯度技术通过估算图像数据的像素强度的一阶导数的最大值和最小值检测目标的边缘。拉普拉斯算子技术通过搜索像素强度图像的二阶导数中的零交叉(zero crossings)检测图像中的目标边缘。进一步地,合适的边缘检测算法的例子包括但是不限于Roberts算法、Sobel算法和Canny算法,所述算法对于本领域普通技术人员而言是已知的。边缘探测器105可以提供指示场内的边缘181的强度或可靠性的数值输出、信号输出、或符号。例如,边缘探测器可以将在一定范围或量程内的数字或边缘强度指示符或相对强度或可靠性提供至线性霍夫变换器107。
线性霍夫变换器107接收涉及接收车辆的边缘数据(例如,边缘强度指示符),并识别(例如,容器85、出料槽(89、189)、出料槽端部(87、187)和开口83的)图像数据中的强线段(strong line segment)、的估算的角度和偏移量。估算的角度与相对于与第一成像装置10、第二成像装置12或二者的镜头相交的线性轴线所成的角或复合角(例如,多维角)相关联。线性霍夫变换器107包括特征提取器,用于从图像数据中识别具有特定形状的物体的线性段。例如,线性霍夫变换器107将图像数据中物体的线方程参数或椭圆方程参数从由边缘检测器输出的边缘数据中识别出来,或者线性霍夫变换器107将边缘数据分类为线段、椭圆、或圆。因此,能够检测具有大致线性、矩形、椭圆或圆形特征的容器或出料槽。
在一个实施例中,数据管理器109通过用户界面44支持容器基准数据的输入或选择。数据管理器109通过图像处理模块18支持容器基准数据(诸如测量货车尺寸)的输入、检索和存储,以向容器定位器111上的可能是货车开口83的边缘181的线段或数据点施加空间约束条件。
在一个实施例中,角度估算器113可以包括卡尔曼滤波器或者扩展式卡尔曼滤波器。角度估算器113估算接收车辆79的贮存部分93(例如,货车)相对于接收车辆79的推进部分75(例如,拖拉机)的角度(例如,图4A中的97)。角度估算器113(卡尔曼滤波器)向容器定位器111上的可能是容器开口83的边缘181的线、或数据点施加角约束条件。在配置过程中,角度估算器113被耦合到定位器111(例如,容器定位器)。角度估算器滤波器113输出、或能够提供接收到的贮存部分93相对于车辆推进部分75的估算的角度。
定位器111适于接收车辆的容器周边81或贮存部分93的尺寸的测量值,以便于有资格作为容器周边81的识别线段的候选线段的确认。在一个实施例中,定位器111适于接收贮存部分93相对于车辆推进部分75的估算角度,以便于有资格作为容器周边81的线段的候选线段的确认。定位器111使用空间和角度约束条件以消除图像数据中的不可能是或逻辑上不可能是容器开口83或容器边缘181的一部分的候选线,然后选择优选的线(或容器周边81上的数据点)作为最可能的候选线,用于验证容器开口83或容器边缘181。定位器111将这些优选的线特征化为或者将它们转化成相对于车辆或另一基准框架的三维坐标,以表示容器85的容器周边。
图6是方法或步骤的示例方块图,该方法或步骤用于处理图像数据以在图像数据中识别出出料槽或出料槽端部,从而估算出料槽端部相对于接收车辆或容器的位置。图6是方块图,其比图1更详细地示出了图像处理模块18和出料槽识别模块22。图1、图5和图6、中类似的附图标记指代类似的元件。在图6中,图像矫正模块101与立体对应模块103以及出料槽分类器121通信。接下来,出料槽分类器121提供输出至出料槽定位器125。出料槽定位器125访问或接收来自出料槽位置估算器123的出料槽位置(或相对于传送车辆的行进方向或车辆基准框架的出料槽角度98)、来自立体对应模块103的立体对应数据、和来自出料槽分类器121的输出数据。
在一个实施例中,出料槽识别模块22包括出料槽分类器121,所述出料槽分类器121被配置成用于基于矫正后的图像数据或原始图像数据的图像数据(或像素)的反射率、强度、颜色或纹理特征中的至少一项去识别图像数据中的候选像素,其中所述候选像素代表出料槽(89、189)或出料槽端部(87、187)的一部分。出料槽定位器125适于基于出料槽(89、189)的一部分的被分类、被识别的候选像素估算出料槽(89、189)或出料槽端部(87、187)相对于成像装置(10、12)的相对位置。出料槽定位器125能够基于前述测量值接收相对于成像装置的安装位置或一个或多个成像装置的光轴或基准轴线的估算的联合收割机出料槽位置或出料槽角度(98),以在出料槽(89、189)可能被定位的位置上提供约束数据。
出料槽分类器121应用或包括关于算法的软件指令,所述算法基于经处理的或原始图像数据中的预期颜色和纹理特征识别可能是出料槽(89、189)或出料槽端部(87、187)的一部分的候选像素。例如,在一种构造中,可以用比出料槽(89、189)或传送车辆的其余部分具有更强光学或红外反射率、强度、或亮度的涂层或图案描绘、涂覆、标号或标记出料槽端部(87、187)。出料槽端部(87、187)的更强的亮度、强度或反射率(或与背景像素相对的图像数据的有关的出料槽像素)可以通过相对于(成像装置(10,12)的视场中的)传送车辆的出料槽(89、189)或其他部分剩余部分用白色、黄色、铬黄色或亮色彩或阴影描绘或涂覆所述出料槽端部(87、187)而获得。
在一个实施例中,出料槽位置估算器123包括卡尔曼滤波器或者扩展式卡尔曼滤波器,该滤波器接收之前测量值和容器基准数据的输入,并输出出料槽位置、出料槽角度或其相关误差的估算值。出料槽位置估算器123相对于以下一项或多项提供联合收割机出料槽位置、或出料槽角度、或其误差的估算值:(1)传送车辆上出料槽的安装位置或枢转点;或(2)第一成像装置10、第二成像装置12或其二者的光轴或其他基准轴线或点;或(3)与传送车辆的向前行进方向或行驶方向有关的轴线。卡尔曼滤波器输出出料槽(89、189)或出料槽端部(87、187)可能被定位的位置上的约束条件、估算的出料槽位置、或出料槽位置区域、或估算的出料槽位置区域。在一个实施例中,出料槽位置估算器123或卡尔曼滤波器被连接到出料槽定位器125。
出料槽定位器125获得被分类为属于联合收割机螺旋出料槽的像素,并且使用差异图像(来自于立体对应数据)去估算出料槽与第一成像装置10、第二成像装置12、或第一和第二成像装置二者、的相对位置。
图7是用于管理从车辆卸载农业物料或在传送车辆(例如,91或191)和接收车辆(例如,79)之间管理农业物料的方法的流程图。图7的方法始于步骤S102,并且可以使用本文之前所述的系统(11、111、211、311或411)的如下实施例中的一个或多个。
在步骤S102中,接收车辆79推进用于贮存农业物料的贮存部分93或容器85。例如,接收车辆79推进和引导贮存部分93或容器85以追踪传送车辆(91、191)的速度和行驶方向,或者追踪传送车辆(91、191)的速度、加速度和行驶方向,以维持目标空间间隔或两个车辆(79和91或191)之间的协作对准,从而用于从传送车辆上卸载农业物料,或者将农业物料从传送车辆转移到贮存部分93或容器85。
在步骤S104中,第一成像装置10、第二成像装置12或二者收集立体图像数据或图形数据。例如,第一成像装置10可以被安装在传送车辆91上且面向接收车辆79,或者向下面向容器85内部,以用于收集图像数据。类似地,第一成像装置10可以被安装在传送车辆191上或其出料槽189上,从而面向下以提供包括容器周边81或容器85中的一组单元308(例如,所有的单元308)在内的视场。
在步骤S106中,图像处理模块18或容器识别模块20识别收集到的图像数据中贮存部分93的容器周边81或单元308,其中贮存部分93具有从容器周边81向内的开口83,用于农业物料的接收。步骤S106可通过各种技术实现,这些技术可以单独地或累加地应用。在第一技术中,图像处理模块18或容器识别模块20可以采用以下过程或子步骤:(1)测量图像数据(原始图像数据和矫正后的图像数据)中一个或多个边缘181的强度;(2)识别图像数据中候选线段相对于索引到一个或更多成像装置(10,12)的光轴、基准轴线(例如,传送车辆的移动方向)、或基准点的角度和偏移量;和(3)使用空间的和角度的约束条件以取消那些在逻辑上不可能或不可能形成容器周边的识别出的线段的一部分的识别的候选线段,其中定位器111将识别的线段转换成与接收车辆和/或收割车辆的基准点或基准框架相关的三维坐标。
在第二技术中,图像处理模块18或容器识别模块20可以接收容器基准数据、或车辆的容器周边81或贮存部分93的尺寸的测量值,以便于有资格作为容器周边81的识别线段的候选线段、或候选数据点的识别。
在第三技术中,图像处理模块18或容器可以接收贮存部分93相对于车辆推进部分75的估算角度97,以便于识别有资格作为容器周边81的识别线段的候选线段。
在第四技术中,图像处理模块18或容器85提供贮存部分93相对于车辆推进部分75的接收的估算角度97。
在步骤S108中,图像处理模块18或出料槽识别模块22识别收集到的图像数据中的传送车辆(例如,收割车辆)的出料槽(89、189),或出料槽端部(87、187)。图像处理模块18或出料槽识别模块22可以使用各种技术,这些技术可以单独地或累加地应用。在第一技术中,图像处理模块18或出料槽识别模块22基于图像数据的预期的颜色和预期的纹理特征识别图像数据(例如,矫正后的或原始的图像数据)中的候选像素,其中所述候选像素代表出料槽89(例如,联合收割机螺旋出料槽)的一部分或出料槽端部87。
在第二技术中,图像处理模块18或出料槽识别模块22基于出料槽89的一部分的经分类、识别的候选像素,估算出料槽89或出料槽端部87相对于成像装置的相对位置或相对角度。
在第三技术中,图像处理模块18或出料槽识别模块22接收来自出料槽控制系统(16、16)或其传感器的基于前述测量值估算出的相对于成像装置(10,12)的安装位置、光轴、基准轴线、或基准点的联合收割机出料槽位置或出料槽角度,以在出料槽56可能定位的位置上施加约束条件。
在第四技术中,图像处理模块18将估算的联合收割机出料槽位置、或估算的出料槽角度提供至出料槽定位器125。
在步骤S110中,图像处理模块18或对准模块24确定出料槽(89、189)或出料槽端部(87、187)和容器85(例如,容器周边81)的相对位置,从而根据填充顺序(例如,单元加载顺序)或填充计划指令将出料槽对齐在容器85目标填充区域(例如,一个或多个目标单元308)中。步骤S110可通过各种技术实现,这些技术可以单独地或累加地应用。
在第一技术中,对准模块24适于通过图像数据的处理确定出料槽(89、189)或出料槽端部(87、187)与容器85中的目标填充区域的目标单元之间的相对位置,或者使出料槽端部(87、187)根据填充顺序或填充计划指令对准在单元的目标填充区域内,在填充顺序或填充计划中:(a)一,对准模块24适于引导出料槽(89、189)以在第一模式下利用物料将容器85填充至第一目标水平310,该第一目标水平小于容器的峰值高度;(b)二,填充水平估算器21适于在引导出料槽(89、189)在第一模式下填充之后估算位于第一目标水平之下的单元308的数量;以及(c)三,如果低于(或不多于)位于第一目标水平之下的单元308的数量低于阈值数量(例如,第一阈值或临界阈值),那么对准模块24适于引导出料槽(89、189),从而在第二模式下将容器填充至大于第一目标水平的第二目标水平,其中第二模式通常位于与第一模式的相关出料槽容器移动方向相反的方向上。
在第二技术下,对准模块24通过控制如下部件中的一个或多个或与如下部件中的一个或多个通信而将出料槽(89、189)或出料槽端部(87、187)的相对位置引导至容器内的目标填充区域中:(1)用于控制一个或多个致动器(例如,300、302、304)的出料槽控制系统(16、116);(2)传送车辆(91、191)的一个或多个控制器(32、36、40),以调节传送车辆91和接收车辆79之间的相对行驶方向或相对位置;或(3)接收车辆79的一个或多个控制器,以调节传送车辆91和接收车辆79之间的相对行驶方向或相对位置。
在第三技术下,对准模块24根据如图8所述的步骤或程序而引导容器的填充,在下文中将说明。
步骤S112是可选的,如虚线所示。在步骤S112中,根据传送车辆91(例如,收割车辆)和接收车辆79之间的与出料槽(89、189)和容器85的相对位置一致的协作对准,驾驶系统30或驾驶控制器32驾驶接收车辆79、传送车辆91或两者。
步骤S112可通过各种技术实现,这些技术可以单独地或累加地应用。在步骤S112中,在第一种配置中,车辆控制器46或驾驶控制器32根据与填充顺序或单元加载顺序一致的协作对准驾驶接收车辆。在第二种配置中,车辆控制器或驾驶控制器32可以根据所述协作对准驾驶传送车辆。在第三种配置中,传送车辆和接收车辆二者的车辆控制器46或驾驶控制器32根据协作对准驾驶传送车辆和接收车辆二者。
在第四种配置中,系统(11、111、211和311)能够周期性地、规律地或连续地监视出料槽端部(87、187)和容器周边81(容器85的目标填充区域)之间的协作对准(例如相对位置)。此外,系统能够经由无线通信装置(48、148)以及经由车辆数据总线(例如,主数据总线60或CAN总线(ISO Class 3接口))向接收车辆发送命令,以通过推进控制器40调节接收车辆的速率、速度或加速度,从而维持恒定的相对位置或协作对准。
图8示出了有利于将农业物料从传送车辆(91或191)卸载到接收车辆79的方法。例如,图8的方法提供了执行图7中的步骤S110的示例性的例子。在图7和图8中类似的附图标记表示类似的步骤或程序。
在步骤S802中,第一成像装置10(例如,立体成像装置)收集图像数据,其中第一成像装置10面向接收车辆79的容器85。在替代实施例中,第一成像装置10、第二成像装置12或两者收集图像数据,其中成像装置(10、12)面向接收车辆79的容器。
在步骤S804中,图像处理模块18或其数据处理器94建立与容器85的前端316、后端318或同时与前端316、后端318两者相关的死区空间(deadband volume)(或死区容积)(311、313或两者)。此外,纵向轴线(504、506或507)在容器85的前端316和后端318之前延伸,其中容器85被分成不同的、单独的多个空间或单元308。实际上,在步骤S804中,图像处理模块18或数据处理器94首先在收集的图像数据中识别出容器周边81,然后相对于容器周边确定死区空间(311、313或两者)和纵向轴线(504、506或507)。如图所示,纵向轴线504将容器85或容器周边81等分为两个基本相等的空间,或者在纵向轴线504的横向(或侧向)每一侧具有大约相等数量的单元308。然而,如本公开的后文中将要说明的,纵向轴线可以横向地偏移,从而补偿地面中的横向坡度、容器85在大风天气下的填充或之不均匀填充。
在步骤S806中,出料槽识别模块22、图像处理模块18或其数据处理器94在收集的图像数据中识别出传送车辆(91或191)(诸如饲料收割机)的出料槽(89、189)或出料槽端部(87、187)。在替代实施例中,出料槽识别模块22、图像处理模块18或其数据处理器94基于如下一项或多项在收集到的图像数据中识别出料槽(89、189)或出料槽端部(87、187):(1)图像处理(如图5和6所示);(2)出料槽(89、189)或出料槽端部(87、187)上的像素与背景像素中的颜色区分;(3)出料槽(89、189)或出料槽端部(87、187)的线性边缘探测以与背景像素区别开;或者(4)与出料槽(89、189)、出料槽端部(87、187)或出料槽控制系统116相关联的一个或多个传感器中的角度或位置传感器,其中,这些传感器可以包括磁场传感器(其中一个或多个相关的磁体被固定到出料槽(89、189)或出料槽端部(87、187))或电阻式传感器,这些传感器探测料槽(89、189)或出料槽端部(87、187)相对于传送车辆的位置或角度位置或复合角或多维角。
在步骤S808中,相对运动模块96(例如,相对速度探测器)执行如下一项或多项检测:(1)在采样间隔或时间周期期间检测接收车辆79和传送车辆(91或191)的相对运动或相对速度;(2)在采样间隔或时间周期期间检测出料槽(89、189)(例如,或者出料槽端部87或187)与接收车辆79的容器85之间的相对运动或相对速度;(3)在采样间隔对时间期间检测接收车辆79和传送车辆(91或191)的相对位置(例如,相对位置是基于一个或多个基准点的,这些基准点与限定传送车辆和接收车辆的点(图像数据中的具有三维坐标的像素)的云集或群相关);(4)在采样间隔对时间期间检测出料槽(89、189)(例如,或者出料槽端部87或187)与接收车辆79的容器85之间的相对位置;(5)在采样间隔或时间周期期间检测接收车辆79和传送车辆(91或191)的相对加速度;(6)在采样间隔或时间周期期间检测出料槽(89、189)(例如,或者出料槽端部87或187)与接收车辆79的容器85之间的相对加速度。
例如,相对运动模块96(例如,速度探测器)、数据处理器94或车辆控制器(例如,32、36、40、46、54):(1)接收来自位于传送车辆(91或191)上的第一定位接收器42的第一速度数据,和来自位于接收车辆上的第二定位接收器142的第二速度数据;以及(2)在一采样间隔或时间周期内确定第一速度数据和第二速度数据之间的差值,从而估算传送车辆(例如,收割车辆91或191)和接收车辆79之间的相对速度。实际上,第一定位接收器42可以在一个或多个时间间隔中仅提供第一速度数据,或者一并提供传送车辆(91或191)的第一位置数据和第一加速度数据,而第二定位接收器142可以在相应的时间间隔(例如,卫星导航接收器的相同时期)中仅提供第二速度数据,或一并提供接收车辆的第二位置数据和第二加速度数据。
在替代实施例中,相对运动模块96、数据处理器94或车辆控制器(例如,32、36、40、46、54):(1)接收来自第一速度传感器(例如,地速雷达传感器,或车轮里程表和计时器)或第一加速计的第一速度数据,(2)确定第一速度数据和第二速度数据之间的不同,或者(3)确定第一加速度数据和第二加速度数据之间的不同。
在步骤S810中,对准模块(单独地或与相对运动模块96一起)或数据处理器94基于探测到的相对速度确定出料槽(89、189)(例如,或者出料槽端部87或187)和容器85中的单元308的相对位置,使得出料槽或出料槽端部与纵向轴线对准或者从纵向轴线横向偏移一定偏移量,并且基于所述速度调节死区空间(311、313或两者)的纵向尺寸。例如,数据处理器94控制出料槽或出料槽端部以补偿接收车辆或容器下方的地面坡度(例如,侧向坡度或一个或多个维度中的坡度,诸如容器85的侧偏、俯仰和偏航角)、风矢量(例如,风速和方向)和容器的之前的任何不均匀的填充(例如,通过填充水平估算器21探测不同单元308的填充水平)。
步骤S810可通过各种技术实现,这些技术可以单独地或累加地应用。
在第一技术下,对准模块24或数据处理器94基于在X方向上相对于X轴线512的相对速度或相对运动调节(或适于调节)死区空间(311、313或两者)的纵向尺寸,其中X方向或X轴线512与纵向轴线504同延(coextensive)或基本平行,并且Y方向或Y轴线510基本上分别垂直于X方向或X轴线512。例如,对准模块24或数据处理器94根据图15的图表或查询表或者等效的数学函数、基于X方向上的相对速度或相对运动而调节(或适于调节)死区空间(311、313或两者)的纵向尺寸。在该文件中,纵向尺寸能够与纵向轴线504对准或同延,或者与任何死区空间(311、312、313)相对于容器85的前端316或后端318的深度对准或同延。
在第二技术下,对准模块24或数据处理器94在采样间隔期间响应于X方向(例如,沿X轴线512)上的相对速度(或相对运动)的增大而增大(或适于增大)死区空间(311、313或两者)的纵向尺寸,并且在采样间隔期间响应于X方向(例如,沿X轴线512)上的相对速度(或相对运动)的减小而减小(或适于减小)死区空间(311、313或两者)的纵向尺寸。例如,死区空间的纵向尺寸可以被动态地调节,并且可以与每个采样周期一样频繁地改变。
在第三技术下,对准模块24或数据处理器94基于在Y方向(例如,沿着Y轴线510)上的相对速度(或相对运动)调节(或适于调节)横向偏移量508,其中X方向(例如,沿着X轴线512)与纵向轴线504同延或基本平行,并且Y方向基本上垂直于X方向。例如,对准模块24或数据处理器94根据图15的图表或查询表或者等效数学函数、基于在Y方向(例如,沿着Y轴线510)上的相对速度(或相对运动)调节(或适于调节)横向偏移量508,其中X方向(例如,沿着X轴线512)与纵向轴线504同延或基本平行,并且Y方向基本上垂直于X方向。
在第四技术下,对准模块24或数据处理器94,作为第一调节,响应于在Y方向(例如,沿着Y轴线510)上的相对速度的增大而增大(或适于增大)横向偏移量508,并且,作为第二调节,基于在Y方向上的相对速度的减小而减小横向偏移量508。
在第五技术下,对准模块24或数据处理器94响应于在Y方向上的相对速度(或相对运动)的增大而增大(或适于增大)横向偏移量508,并且响应于X方向的相对速度(或相对运动)的增大而增大(或适于增大)死区空间(311、313或两者)的纵向尺寸。
在第六技术下,对准模块24或数据处理器94根据第一模式沿具有横向偏移量(508、509)的纵向轴线(504、506、507)引导出料槽(89、189)或出料槽端部(87、187),其中第一模式包括出料槽端部(87、187)相对于容器85在前-至-后方向上的相对移动,其中“前”是传送车辆(91或191)的向前行进的方向。在一个实施例中,第一模式包括出料槽(89、189)或出料槽端部(87、187)相对于容器85在后-至-前方向上的相对移动,其中“前”面向传送车辆(91或191)的向前行进的方向。如果在出料槽运动位于后-至-前方向的情况下执行第一模式,那么出料槽(89、189)或出料槽端部(87、187)的初始位置与出料槽处的农业物料流能够达到的范围内的最后面的一个空单元308(例如,沿着具有任何横向偏移量的纵向轴线)对齐,并且可以排除位于容器85的后端318处的不能容易地填充至全目标高度的死区区域或死区单元308。然而,如果在出料槽运动位于前-至-后方向的情况下执行第一模式,那么出料槽(89、189)或出料槽端部(87、187)的初始位置与出料槽处的农业物料流能够达到的范围内的最前面的一个空单元308(例如,沿着具有任何横向偏移量508的纵向轴线(504、506))对齐,并且可以排除位于容器85的前端316处的不能容易地填充至全目标高度的死区区域(311、313)或死区单元308。
在第七技术下,对准模块24或数据处理器94根据第二模式沿具有横向偏移量(508、509)的纵向轴线(504、506、507)引导(或适于引导)出料槽端部(87、187),其中第二模式包括出料槽端部相对于容器85在与第一模式(例如,前-至-后方向上)的方向相反的方向或第二模式的方向上的相对移动,其中“前”是传送车辆(91或191)的向前行进的方向。例如,第一模式或第二模式是方向模式,其中出料槽(89、189)相对于容器85的相对位置移动以获得单元308中的物料的目标填充水平。第二模式是出料槽(89、189)相对于容器85的相对移动在与第一模式相反的方向上的模式。如果在出料槽运动位于前-至-后方向的情况下执行第二模式,那么出料槽(89、189)或出料槽端部(87、187)的初始位置与农业物料的出料槽流或流动能够达到的范围内的最前面的一个空单元308(例如,沿着具有任何横向偏移量的纵向轴线)对齐,并且可以排除位于容器85的前端316处的不能容易地填充至全目标高度的死区区域或死区单元308。
在第八技术下,对准模块24或数据处理器94动态地调节(或者适于针对每个取样周期动态地调节)纵向尺寸,该纵向尺寸包括不随时间变化的固定的死区分量(例如,图4中的311)和动态的死区分量(例如图4的312),该动态的死区分量基于相对速度(或X方向512上的相对运动)的大小而被动态地调节。
在第九技术下,对准模块24或数据处理器94调节横向偏移量,其中横向偏移量包括基于地面的坡度(例如,横向坡度或容器的偏航、倾斜和/或侧翻)或风矢量(例如,风速和方向或沿Y轴线51的横向风速)的第一横向偏移分量508,和基于Y方向上的相对速度的大小的第二横向偏移分量509(例如,在各个取样周期中是动态地可变的)。
在第十技术下,对准模块24或数据处理器94被设置成以比第二横向偏移分量509慢的速率更新第一横向偏移分量508。
在第十一技术下,对准模块24或出料槽控制模块21能够在第一模式或第二模式下引导出料槽或出料槽端部,以调节一个或多个出料槽致动器,以在大致水平或平行于收割车辆主体的平面中控制出料槽(89、189)或出料槽端部(87、187)的方向,控制出料槽(89、189)或出料槽端部(87、187)的在大致水平的平面之上的高度或方位角,和/或控制出料槽端部(87、187)处的偏转构件或偏转器306的角度。
在第十二技术下,对准模块24或数据处理器94控制传送车辆(91、191)(例如,收割车辆)的速度和行驶方向(例如,偏航角)以实现传送车辆(91、191)和与接收车辆79相关联的容器85之间的目标相对速度和行驶方向,该目标相对速度和行驶方向与使出料槽(89、189)与容器85或容器85中的目标填充区域对齐相一致,以实现第一目标水平、第二目标水平、或两者。
图9示出了执行步骤S200的示例性示例。接收车辆79和其容器85一般地随着传送车辆(91、191)一起在向前行进方向186上移动,同时出料槽(89、189)或出料槽端部(87、187)的相对位置在第一模式中移动。如图所示,第一模式是方向模式,其中出料槽(89、189)相对于容器在前-至-后方向(与行进方向186相反)上相对移动,从而在容器85的单元308中达到用于农业物料305的第一目标水平310。在一个实施例中,在容器85的前部和后部处的死区区域311或死区单元被从农业物料305是否满足或达到第一目标水平310的估算中排除。如图9所示,出料槽(89、189)或出料槽端部(87、187)部分地位于填满的单元上方或者被作为目标填充区域的下一个空单元上方,或者不处于与下一个空单元间隔开的抖动模式(dithering mode)中。
图10示出了作为具有大致相等容量的三维柱或块的单元308,这些单元308是容器85的内部空间的子划分(或子区,subdivisions)。接收车辆79和其容器85一般地和传送车辆一起在向前行进方向186上移动,同时出料槽(89、189)的相对位置或出料槽(89、189)在第一模式中移动。如图所示,第一模式是方向模式,其中出料槽(89、189)相对于容器在后-至-前方向(与行进方向相同)上相对移动,以实现第一目标水平310。
图11示出了根据图8的方法或该方法的变形用物料填充容器85的平面图。虽然容器85一般地是矩形的并且具有如图所示的壁,但是容器在替代实施例中可以具有其他几何形状(例如,多边形或椭圆形)。死区空间(311、313或两者)与容器85的前端316、后端318或两者相关联。如图11所示,前死区空间311与容器的前端316相关联,后死区空间313与容器85的后端318相关联。纵向轴线504、在容器85的前端316和后端318之前延伸,容器85被分成不同的、独立的空间或单元308。一目标点502截断或位于纵向轴线504上。目标点502表示如下的一项或多项:(1)出料槽端部(87、187)的位置,或(2)从出料槽端部(87、187)排出的物料在容器85中着陆或将要着陆的位置(例如,由容器85的一个单元或多个单元308或这些单元中的物料限定)。
图12示出了根据图8的方法或该方法的变形用物料填充容器85的平面图。图12与图11类似,除了图12还示出了X轴线512,Y轴线510,纵向轴线504的横向偏移量508以及偏移的纵向轴线506。在图11和图12中类似的附图标记表示类似的元件。
X轴线512基本上垂直于Y轴线510。X方向与X轴线512同延或基本平行。Y方向与Y轴线510同延或基本平行。Y方向基本上上垂直于X方向,其中对准模块24适于基于传送车辆和接收车辆在X方向上的相对速度或相对运动(或者出料槽端部和容器在X方向上的相对速度或相对移动)而调节死区空间(例如,前死区空间311、后死区空间313、或两者)的纵向尺寸。
偏移的纵向轴线506具有对应于纵向轴线504的横向偏移量508。偏移的纵向轴线506基本上平行于纵向轴线504。如图所示,目标点502截断或位于偏移的纵向轴线506上。在一个实施例中,横向偏移量508或偏移的纵向轴线506对风矢量(例如,风速和方向或横向风速)、接收车辆或容器所操作于的地形的斜坡(例如,多个尺寸中的横向斜坡或斜坡)、容器85的偏航、倾斜或侧翻、或容器的之前的(例如,由填充水平估算器21探测到的)不均匀的填充进行补偿。
图13示出了根据图8的方法或该方法的变形用物料填充容器85的平面图。图13与图12类似,除了图13还示出了横向偏移量的分量(508、509)。在图12和图13中类似的附图标记表示类似的元件。
如图13所示,横向偏移量包括:(1)第一横向偏移量分量508,该横向偏移量分量508基于:地面的坡度、容器的偏航、倾斜和侧翻、风矢量(例如,风速和方向)、横向风速和容器填充的均匀度或不均匀度,横向偏移量还包括第二横向偏移量分量,该第二横向偏移量分量基于Y方向上的相对速度的大小。在一个实施例中,对准模块24或数据处理器94被设置成以比第二横向偏移分量509慢的速率更新第一横向偏移分量508。例如,第一横向偏移分量508可以是基本上静态的或者具有比第二偏移分量慢的更新速度,第二偏移分量以比较慢的更新速率快的较快更新速率动态地更新。
图14示出了根据图8的方法或该方法的变形用物料填充容器85的平面图。图14与图11类似,除了图14还包括补充的死区。在图11和图14中类似的附图标记表示类似的元件。
纵向尺寸包括不随时间变化的固定的死区分量311和动态的死区分量312,该动态的死区分量基于在X方向上的相对速度的大小而被动态地调节。如图14所示,目标点502被定位成从固定的死区311和动态的死区312朝向容器52的内部。包括固定的死区311和动态的死区312的总死区的纵向尺寸或总纵向尺寸被调节为防止溢出到总死区内或填充总死区。在一个实施例中,固定的死区311、动态的死区312或两者基于X方向上或沿X轴线512的相对速度(例如,接收车辆和传送车辆之间的,或者出料槽端部和容器之间的)的大小而被动态地增大。
该系统和方法是非常适于通过定位接收器和无线通信装置控制传送车辆和接收车辆的速度和转向。另外,该系统和方法有利于探测接收车辆的容器正在被如何地填充以调节相对的横向对准,以及出料槽89或出料槽端部87与容器周边81之间的前/后对准,以实现容器85或贮存部分93内部的农业物料的均匀填充或均匀分布的高度水平。农业物料在容器中的均匀填充能够实现,从而使由于例如车辆的操作员的疲劳、经验缺乏或技术欠缺所引起的某些误差最小化。
图15是根据本公开的死区调节的纵向尺寸与相对速度之间关系、或横向偏移与相对速度之间关系的图表或查询表。数据处理器94可以根据与图15类似的图表或查询表或等效数学函数(例如,二次方程或分段函数)执行本文中的横向调节、纵向尺寸调节或死区调节中的任一项。
图15的竖直轴线表示纵向轴线(504、506)在Y轴线510的Y方向上的横向偏移,水平轴线表示接收车辆和传送车辆之间的或者容器和出料槽端部之间的相对速度或相对运动。图15的竖直轴线单独地或与上述的对准轴线组合表示(一个或多个死区)在X轴线512的X方向上的纵向尺寸,水平轴线表示接收车辆和传送车辆之间的或者容器和出料槽端部之间的相对速度或相对运动。
图15的图表或查询表被用于说明性的目的,并且它是示出偏移或死区计算的无单位值的示例图。图表、查询表和等效数学函数的其他配置或组合均落入本公开的所附权利要求的范围内。一旦确定或估算出相对速度或相对运动,数据处理器94就可以使用图15的图表或表格来确定死区和偏移量。如图所示,尽管拐点或阈值可以设置为任何其他合理的值,但是图表或表格在相对速度为正2或负2处具有拐点或阈值,其中数据处理器94不对低于阈值的相对速度或相对运动(变化)的纵向尺寸或横向偏移做出调节。在某些实施例中,阈值或拐点可以在具有或没有滞后的情况下使用,以避免在相邻采样间隔期间在不同纵向尺寸和横向偏移量之间的过度切换。
在实践中,数据处理器94可以执行图表或表以在设定点之间进行内插,以在接收车辆和传送车辆之间或者出料槽端部和容器之间的各种相对速度或相对运动估计值之间给出平滑过渡。例如,如果相对速度超过图15中的最大表数据点,那么使用最接近的数据点。
已经描述了优选实施例,显然不脱离如所附权利要求中限定的本发明的范围,可以进行各种修改。

Claims (24)

1.一种用于便利农业物料从收割车辆向接收车辆转移的系统,所述系统包括:
接收车辆,所述接收车辆包括用于推进该接收车辆的推进部分和用于贮存农业物料的容器;
立体成像装置,所述立体成像装置面向所述接收车辆的容器并且收集图像数据;
与容器的前端或后端相关联的死区空间,一纵向轴线在所述容器的前端和后端之间延伸,所述容器被划分成不同的、独立的多个空间或单元;
出料槽识别模块,所述出料槽识别模块用于在收集到的图像数据中识别收割车辆的出料槽;
相对运动探测器,所述相对运动探测器用于探测接收车辆与收割车辆之间的相对运动,或用于探测所述出料槽与接收车辆的容器之间的相对运动;以及
对准模块,所述对准模块用于确定所述出料槽与所述容器中的单元的相对位置,从而基于探测到的相对运动使所述出料槽与所述纵向轴线对齐或相对于所述纵向轴线具有一横向偏移量,其中所述死区空间的纵向尺寸基于探测到的相对运动而被动态地调节。
2.根据权利要求1所述的系统,其中,所述相对运动包括接收车辆与收割车辆之间的相对速度和相对加速度或者出料槽的端部与接收车辆的容器之间的相对速度和相对加速度。
3.根据权利要求1所述的系统,其中,所述相对运动包括接收车辆与收割车辆之间的相对速度或者出料槽的端部与接收车辆的容器之间的相对速度。
4.根据权利要求3所述的系统,其中,所述纵向轴线与X方向同延或基本平行,Y方向基本上垂直于X方向,并且对准模块适于基于X方向上的相对速度调节死区空间的纵向尺寸。
5.根据权利要求4所述的系统,其中,所述对准模块适于响应X方向上的相对速度的增大而增大死区空间的纵向尺寸,并且对准模块适于响应X方向上的相对速度的减小而减小死区空间的纵向尺寸。
6.根据权利要求1所述的系统,其中,所述纵向轴线与X方向同延或基本平行,Y方向基本上垂直于X方向,其中对准模块适于基于Y方向上的相对速度调节所述横向偏移量。
7.根据权利要求6所述的系统,其中,所述对准模块适于响应Y方向上的相对速度的增大而增大所述横向偏移量,并且基于Y方向上的相对速度的减小而减小所述横向偏移量。
8.根据权利要求6所述的系统,其中,所述横向偏移量响应于Y方向上的相对速度的增大而增大,并且死区空间的尺寸响应于X方向的相对速度的增大而增大。
9.根据权利要求1所述的系统,其中,所述对准模块被设置为根据一第一模式在具有所述横向偏移量的情况下沿所述纵向轴线引导出料槽的端部,其中所述第一模式包括出料槽的端部相对于容器在前-至-后方向上的相对移动,其中“前”指的是收割车辆向前行进的方向。
10.根据权利要求1所述的系统,其中,所述对准模块被设置为根据一第二模式在具有所述横向偏移量的情况下沿所述纵向轴线引导出料槽的端部,其中所述第二模式包括出料槽的端部相对于容器在后-至-前方向或第二模式的方向上的相对移动,其中“前”指的是收割车辆向前行进的方向。
11.根据权利要求1所述的系统,其中,所述纵向尺寸包括固定的死区分量和动态的死区分量,所述固定的死区分量不随时间变化,所述动态的死区分量基于X方向上的相对速度的量而被动态地调节。
12.根据权利要求1所述的系统,其中,所述横向偏移量包括基于地面的坡度或基于横向风速的第一横向偏移分量和基于Y方向上的相对运动的量的第二横向偏移分量。
13.根据权利要求1所述的系统,其中,所述对准模块或数据处理器被设置成以比第二横向偏移分量的更新速率慢的速率更新第一横向偏移分量。
14.一种用于便利农业物料从收割车辆向接收车辆转移的方法,所述方法包括以下步骤:
通过面向接收车辆的容器的立体成像装置收集图像数据;
通过数据处理器建立与容器的前端或后端相关联的死区空间,其中一纵向轴线在所述容器的前端和后端之间延伸,并且所述容器被划分成不同的、独立的多个空间或单元;
通过出料槽识别模块在收集到的图像数据中识别收割车辆的出料槽;
通过相对运动探测器探测接收车辆与收割车辆之间的相对速度或探测出料槽与接收车辆的容器之间的相对速度;以及
通过对准模块确定出料槽与容器中的单元的相对位置,从而基于探测到的相对运动使出料槽与所述纵向轴线对齐或相对于所述纵向轴线具有一横向偏移量,其中所述死区空间的纵向尺寸基于所述相对速度而被动态地调节。
15.根据权利要求14所述的方法,还包括下述步骤:
基于X方向上的相对速度调节死区空间的纵向尺寸,其中所述纵向轴线与X方向同延或基本平行,Y方向基本上垂直于X方向。
16.根据权利要求15所述的方法,基于X方向上的相对速度调节死区空间的纵向尺寸的步骤还包括:响应于X方向上的相对速度的增大而增大死区空间的纵向尺寸,并且基于X方向上的相对速度的减小而减小死区空间的纵向尺寸。
17.根据权利要求14所述的方法,还包括下述步骤:
基于Y方向上的相对速度调节所述横向偏移量,其中所述纵向轴线与X方向同延或基本平行,Y方向基本上垂直于X方向。
18.根据权利要求17所述的方法,其中基于Y方向上的相对速度调节所述横向偏移量的步骤包括:响应于Y方向上的相对速度的增大而增大所述横向偏移量,并且基于Y方向上的相对速度的减小而减小所述横向偏移量。
19.根据权利要求17所述的方法,其中基于Y方向上的相对速度调节所述横向偏移量的步骤包括:响应于Y方向上的相对速度的增大而增大横向偏移量,并且响应于X方向上的相对速度的增大而增大死区空间的纵向尺寸。
20.根据权利要求14所述的方法,还包括:
根据第一模式在具有所述横向偏移量的情况下沿所述纵向轴线引导出料槽的端部,其中所述第一模式包括出料槽的端部相对于容器在前-至-后方向上的相对移动,其中“前”指的是收割车辆向前行进的方向。
21.根据权利要求14所述的方法,还包括:
根据第二模式在具有横向偏移量的情况下沿所述纵向轴线引导出料槽的端部,其中所述第二模式包括出料槽的端部相对于容器在后-至-前方向或第二模式的方向上的相对移动,其中“前”指的是收割车辆向前行进的方向。
22.根据权利要求14所述的方法,还包括:
动态地调节所述纵向尺寸,其中所述纵向尺寸包括固定的死区分量和动态的死区分量,所述固定的死区分量不随时间变化,所述动态的死区分量基于X方向上的相对速度的量而被动态地调节。
23.根据权利要求14所述的方法,其中所述横向偏移量包括基于地面的坡度或基于横向风速的第一横向偏移分量和基于Y方向上的相对运动的量的第二横向偏移分量。
24.根据权利要求14所述的方法,其中,所述对准模块或数据处理器被设置成以比第二横向偏移分量的更新速率慢的速率更新第一横向偏移分量。
CN201611088824.4A 2016-10-28 2016-11-30 用于管理从车辆卸载农业物料的方法和立体视觉系统 Active CN108021106B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/337,577 2016-10-28
US15/337,577 US10015928B2 (en) 2015-08-10 2016-10-28 Method and stereo vision system for managing the unloading of an agricultural material from a vehicle

Publications (2)

Publication Number Publication Date
CN108021106A CN108021106A (zh) 2018-05-11
CN108021106B true CN108021106B (zh) 2022-06-03

Family

ID=57394381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611088824.4A Active CN108021106B (zh) 2016-10-28 2016-11-30 用于管理从车辆卸载农业物料的方法和立体视觉系统

Country Status (3)

Country Link
EP (1) EP3315005B1 (zh)
CN (1) CN108021106B (zh)
BR (1) BR102016027866B1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201806796D0 (en) * 2018-04-26 2018-06-13 Agco Int Gmbh Auger cover
US11178818B2 (en) 2018-10-26 2021-11-23 Deere & Company Harvesting machine control system with fill level processing based on yield data
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11240961B2 (en) 2018-10-26 2022-02-08 Deere & Company Controlling a harvesting machine based on a geo-spatial representation indicating where the harvesting machine is likely to reach capacity
US11079725B2 (en) 2019-04-10 2021-08-03 Deere & Company Machine control using real-time model
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11467605B2 (en) 2019-04-10 2022-10-11 Deere & Company Zonal machine control
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
CN113165853B (zh) * 2018-11-14 2024-03-01 Abb瑞士股份有限公司 将集装箱装载在着落目标上的系统和方法
US11778945B2 (en) 2019-04-10 2023-10-10 Deere & Company Machine control using real-time model
US11234366B2 (en) 2019-04-10 2022-02-01 Deere & Company Image selection for machine control
CN110637602A (zh) * 2019-10-15 2020-01-03 山东农业工程学院 一种全自动跟随收割机、收粮系统及工作方法
US11477940B2 (en) 2020-03-26 2022-10-25 Deere & Company Mobile work machine control based on zone parameter modification
US11390263B2 (en) 2020-05-04 2022-07-19 Deere & Company Forage harvester with automatic detection of receiving vehicle
GB202011027D0 (en) 2020-07-17 2020-09-02 Agco Int Gmbh System and method of assisted or automated grain unload synchronization
US11864483B2 (en) 2020-10-09 2024-01-09 Deere & Company Predictive map generation and control system
US11895948B2 (en) 2020-10-09 2024-02-13 Deere & Company Predictive map generation and control based on soil properties
US11825768B2 (en) 2020-10-09 2023-11-28 Deere & Company Machine control using a predictive map
US11844311B2 (en) 2020-10-09 2023-12-19 Deere & Company Machine control using a predictive map
US11874669B2 (en) 2020-10-09 2024-01-16 Deere & Company Map generation and control system
US11983009B2 (en) 2020-10-09 2024-05-14 Deere & Company Map generation and control system
US11849672B2 (en) 2020-10-09 2023-12-26 Deere & Company Machine control using a predictive map
US11675354B2 (en) 2020-10-09 2023-06-13 Deere & Company Machine control using a predictive map
US11474523B2 (en) 2020-10-09 2022-10-18 Deere & Company Machine control using a predictive speed map
US11871697B2 (en) 2020-10-09 2024-01-16 Deere & Company Crop moisture map generation and control system
US11592822B2 (en) 2020-10-09 2023-02-28 Deere & Company Machine control using a predictive map
US11635765B2 (en) 2020-10-09 2023-04-25 Deere & Company Crop state map generation and control system
US11946747B2 (en) 2020-10-09 2024-04-02 Deere & Company Crop constituent map generation and control system
US11845449B2 (en) 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11927459B2 (en) 2020-10-09 2024-03-12 Deere & Company Machine control using a predictive map
US11650587B2 (en) 2020-10-09 2023-05-16 Deere & Company Predictive power map generation and control system
US11711995B2 (en) 2020-10-09 2023-08-01 Deere & Company Machine control using a predictive map
US11727680B2 (en) 2020-10-09 2023-08-15 Deere & Company Predictive map generation based on seeding characteristics and control
US11849671B2 (en) 2020-10-09 2023-12-26 Deere & Company Crop state map generation and control system
US11889788B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive biomass map generation and control
US11889787B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2020174A1 (en) * 2007-08-03 2009-02-04 AGROCOM GmbH & Co. Agrarsystem KG Agricultural working machine
EP2266383A1 (de) * 2009-06-26 2010-12-29 Deere & Company Steueranordnung zur Kontrolle des Überladens landwirtschaftlichen Ernteguts von einer Erntemaschine auf ein einen Ladebehälter umfassendes Transportfahrzeug
US8649940B2 (en) * 2012-02-10 2014-02-11 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
CN104220351A (zh) * 2012-02-10 2014-12-17 迪尔公司 用于便于从车辆上卸载农业物料的方法和立体视觉系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19647522A1 (de) 1996-11-16 1998-05-20 Claas Ohg Vorrichtung zur Überwachung der Überladung von Gütern von einer Arbeitsmaschine auf ein Transportfahrzeug
DE102007016670A1 (de) 2007-04-04 2008-10-09 Claas Selbstfahrende Erntemaschinen Gmbh Selbstfahrende landwirtschaftliche Erntemaschine mit steuerbarer Überladeeinrichtung
DE102008002006A1 (de) * 2008-05-27 2009-12-03 Deere & Company, Moline Steueranordnung zur Kontrolle des Überladens landwirtschaftlichen Ernteguts von einer Erntemaschine auf ein Transportfahrzeug
DE102011002071A1 (de) * 2011-04-15 2012-10-18 Claas Selbstfahrende Erntemaschinen Gmbh System und Verfahren zur Steuerung der Erntegutüberladung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2020174A1 (en) * 2007-08-03 2009-02-04 AGROCOM GmbH & Co. Agrarsystem KG Agricultural working machine
EP2266383A1 (de) * 2009-06-26 2010-12-29 Deere & Company Steueranordnung zur Kontrolle des Überladens landwirtschaftlichen Ernteguts von einer Erntemaschine auf ein einen Ladebehälter umfassendes Transportfahrzeug
US8649940B2 (en) * 2012-02-10 2014-02-11 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
CN104220351A (zh) * 2012-02-10 2014-12-17 迪尔公司 用于便于从车辆上卸载农业物料的方法和立体视觉系统

Also Published As

Publication number Publication date
EP3315005A1 (en) 2018-05-02
CN108021106A (zh) 2018-05-11
BR102016027866B1 (pt) 2022-03-22
BR102016027866A2 (pt) 2020-01-28
EP3315005B1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
CN108021106B (zh) 用于管理从车辆卸载农业物料的方法和立体视觉系统
US10015928B2 (en) Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
US9642305B2 (en) Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
US11252869B2 (en) Imaging system for facilitating the unloading of agricultural material from a vehicle
US8649940B2 (en) Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
AU2017202408B2 (en) System and method of material handling using one or more imaging devices on the transferring vehicle and on the receiving vehicle to control the material distribution into the storage portion of the receiving vehicle
US9326444B2 (en) Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
GB2517049B (en) Artificial intelligence for detecting and filling void areas of agricultural commodity containers
US9392746B2 (en) Artificial intelligence for detecting and filling void areas of agricultural commodity containers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant