CN104220351A - 用于便于从车辆上卸载农业物料的方法和立体视觉系统 - Google Patents

用于便于从车辆上卸载农业物料的方法和立体视觉系统 Download PDF

Info

Publication number
CN104220351A
CN104220351A CN201380019335.1A CN201380019335A CN104220351A CN 104220351 A CN104220351 A CN 104220351A CN 201380019335 A CN201380019335 A CN 201380019335A CN 104220351 A CN104220351 A CN 104220351A
Authority
CN
China
Prior art keywords
vehicle
discharging trough
data
storage part
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380019335.1A
Other languages
English (en)
Other versions
CN104220351B (zh
Inventor
扎克利·T·邦法斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN104220351A publication Critical patent/CN104220351A/zh
Application granted granted Critical
Publication of CN104220351B publication Critical patent/CN104220351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D75/00Accessories for harvesters or mowers
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D43/00Mowers combined with apparatus performing additional operations while mowing
    • A01D43/06Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material
    • A01D43/07Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material in or into a trailer
    • A01D43/073Mowers combined with apparatus performing additional operations while mowing with means for collecting, gathering or loading mown material in or into a trailer with controllable discharge spout
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D43/00Mowers combined with apparatus performing additional operations while mowing
    • A01D43/08Mowers combined with apparatus performing additional operations while mowing with means for cutting up the mown crop, e.g. forage harvesters
    • A01D43/086Mowers combined with apparatus performing additional operations while mowing with means for cutting up the mown crop, e.g. forage harvesters and means for collecting, gathering or loading mown material
    • A01D43/087Mowers combined with apparatus performing additional operations while mowing with means for cutting up the mown crop, e.g. forage harvesters and means for collecting, gathering or loading mown material with controllable discharge spout

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Catching Or Destruction (AREA)

Abstract

一种出料槽,能够操作地连接到传送物料,用于将农业物料传送到接收车辆。成像装置(10)面向接收车辆的贮存部分,并收集图像数据。容器模块(20)适于确定贮存部分的容器位置,或者其容器周边。出料槽模块(22)适于在所收集的图像数据中识别传送车辆的出料槽,或确定出料槽位置。对准模块(24)适于基于所收集的图像数据确定出料槽的相对位置和容器位置,并生成命令数据或用户界面数据,以便于以相对的协作对准的方式布置出料槽和贮存容器,用于从传送车辆传送物料到接收车辆。

Description

用于便于从车辆上卸载农业物料的方法和立体视觉系统
技术领域
本发明涉及一种用于便于从车辆上卸载或者传送农业物料的方法和立体视觉系统。
背景技术
某些现有技术系统可能试图使用全球定位系统(GPS)接收器以在两辆车辆之间卸载或传送农业物料期间,维持两辆车辆之间的适当的间距。然而,因为GPS接收器的估算位置的误差或不连续性,这种现有技术系统很容易产生适当间距的偏差。例如,由于电磁干扰、接收到的卫星信号的多径传播、卫星信号的间断的接收或卫星信号的低接收的信号强度等原因,一个或更多个GPS接收器可能会错误地估算它的位置。如果车辆在诸如农田之类的户外工作区域使用相机或者其他成像装置,成像装置可能要经受暂时的阳光、阴影、灰尘、反射光或可能暂时中断成像装置的正确操作的其它的照明条件;因此,有可能在估算的范围对由成像装置观察的物体产生错误。因此,需要一种用于管理从车辆卸载农业物料的改进的系统,以补偿或解决车辆估算位置或对准方面的误差。
发明内容
本发明的系统和方法便于农业物料从传送车辆(例如,收割车辆)向接收车辆(例如,谷物拖车)的传送。该系统和方法包括接收车辆,所述接收车辆具有用于推进接收车辆的推进部分和用于贮存农业物料的贮存部分。出料槽能够操作地连接到传送物料,用于传送农业物料到接收车辆。成像装置朝向接收车辆的贮存部分且收集图像数据。容器模块适于确定贮存部分的容器位置,或其容器周边(例如,通过推进部分和贮存部分之间的拖车榫舌角度,推进部的方向,和推进部分的位置;或者通过收集到的图像数据)。出料槽模块适于在所收集的图像数据中识别传送车辆的出料槽,或者确定出料槽位置。对准模块适于基于所收集的图像数据确定出料槽的相对位置和容器位置,和产生命令数据(例如,用于操纵推进部分)或用户界面数据,以便于以相对的协作对准的方式布置出料槽和贮存部分,用于将物理从传送车辆传送到接收车辆(例如,使得出料槽对被对准在贮存部分的在容器周边内侧的目标区域或者中心区域内)。
附图说明
图1是用于便于从传送车辆(例如,联合收割机)卸载或传送农业物料的传送车辆的机器视觉强化引导系统的一个实施例的框图。
图2是用于便于从传送车辆(例如,自推进式饲料收割机)卸载或传送农业物料的传送车辆的机器视觉强化引导系统的另一个实施例的框图。
图3A是用于便于从传送车辆(例如,谷物拖车和拖拉机)卸载或传送农业物料的传送车辆的机器视觉强化引导系统的实施例的框图。
图3B是用于接收车辆的电子的或引导系统的实施例的框图,所述接收车辆用于与图1或图2的机器视觉强化引导系统协作。
图4A描绘了被安装在传送车辆上并且面朝接收车辆的成像装置的平面图。
图4B图示了沿图4A中的参考线4B-4B观察的水平平面中的视图。
图5A图示了被安装在接收车辆上并且面对着接收车辆的贮存部分的成像装置(例如,立体视觉系统)的平面图。
图5B图示了沿图5A中的参考线5B-5B观察的水平平面中的视图。
图5C图示了容器或贮存部分内部的物料的各种可能的示意性的分布的二维呈现,其与沿图5B中的参考线5D-5D的剖视图一致。
图5D是传送车辆和接收车辆的平面图,其中传送车辆被对准在由可能的偏移位置构成的矩阵中。
图6A图示了容器模块或图像处理模块的一个实施例的框图。
图6B图示了容器模块或图像处理模块的一个实施例的框图。
图7A是出料槽模块或图像处理模块的一部分的一个实施例的框图。
图7B是出料槽模块或图像处理模块的另一个实施例的框图。
图7C是出料槽模块或图像处理模块的还另一个实施例的框图。
图7D是出料槽模块或图像处理模块的另一个实施例的框图。
图8至图13是用于操作便于从车辆(例如,联合收割机)卸载或传送农业物料的机器视觉强化引导系统的各种方法的流程图。
具体实施方式
根据一个实施例,图1显示用于传送车辆的机器视觉强化引导系统11,用于管理农业物料(例如,谷粒)从传送车辆(例如,联合收割机)向接收车辆(例如,谷物拖车或货车)的卸载。传送车辆可以具有出料槽,用于朝接收车辆的贮存部分引导农业物料。例如,立体成像系统强化卫星导航接收器或定位接收器(42,142),用于引导一个或更多车辆。在一个实施例中,系统11包括耦合到图像处理模块18的第一成像装置10和可选的第二成像装置12。第一成像装置10可以安装在传送车辆上。第一成像装置10可以包括主立体成像机,第二成像装置12可以包括副立体成像机。在一种构造中,第二成像装置12或副立体成像机是可选的,并且在来自第一成像装置10的图像数据失效、出现故障、以及无法获得的情况下提供冗余到第一成像装置10。
第一成像装置10和第二成像装置12可以提供数字数据格式的输出作为立体视频图像数据,或具有规则的或周期性间隔或其他采样间隔的一系列立体的静止帧图像。每个立体图像(例如,第一图像数据或第二图像数据)包括具有相同背景或相同背景的一部分的两个成分图像。例如,第一成像装置10具有接收车辆的贮存部分的第一视场,其中第一视场与第二成像装置12的第二视场(如果存在)至少部分地重叠。在一个实施例中,第一成像装置10、第二成像装置12、或二者可以包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)阵列、或用于检测或收集图像数据的其他适当的设备。
在一种构造中,光学传感器(110,112)包括曝光表(light meter)、光敏传感器、光敏电阻器、光敏器件、或硫化镉电池。第一光学传感器110可以与第一成像装置10关联;第二光学传感器可以与第二成像装置12相关联。第一光学传感器110和第二光学传感器112中的每一个都可以被连接到图像处理模块18。光学传感器(110,112)提供其各自的成像装置(10,12)的视场中的环境光的读数或强度指不。
图像处理模块18可以直接地或间接地连接到车辆(例如,传送车辆)上可选的用于向贮存容器(例如,图5A中的85)和/或出料槽(例如,图5A中的89)提供照明的光源14。例如,图像处理模块18可以控制驱动器、继电器或开关,所述驱动器、继电器或开关接下来控制在传送车辆上的可选的光源14的开或关。由于光源14是可选择的并且在某些替换实施例中可以被移除,因此可选择的光源14以虚线示出。如果光学传感器(110,112)或曝光表指示环境光强度低于一特定的最小阈值,则图像处理模块18可以激活车辆上的光源14,以用于贮存容器(例如图5A中的85)、出料槽89或二者的照明。在一种构造中,光学传感器(110,112)面向与成像装置(10,12)的镜头或光圈相同的方向。
在一个实施例中,螺旋推运器(auger)旋转系统16可以包括:(1)旋转角度传感器116,该旋转角度传感器116用于检测出料槽89相对于一个或更多旋转轴的出料槽旋转角度(图5A中的α和图5B中的β),和(2)致动器210,所述致动器210用于移动出料槽89以改变出料槽旋转角度;因此,改变相对于接收车辆79或其贮存容器85的出料槽位置。致动器210可包括马达、线性马达、电动液压设备、棘轮或缆索致动的机械设备、或用于移动出料槽89或出料槽端部87的其他设备。出料槽旋转角度可包括简单角、复合角或多维角,这些角是参照平行于传送车辆移动方向的参考轴线测量的。在一种构造中,一个或更多个以下设备通过传输线或副数据总线与车辆控制器46通信:旋转传感器116、旋转致动器210、螺旋推运器旋转系统16、或螺旋推运器驱动器47。
如果致动器210包括电动液压设备,与其他可能性相比,在使出料槽旋转(或改变出料槽旋转角度)的电动液压设备的液压缸中使用比例控制阀便于对出料槽角度(例如,α)进行更精细的调整。因此,电动液压设备的比例控制阀支持或者致动器210支持贮存部分93或容器85中未卸载的农业物料的平坦的轮廓或分布。许多可购买到的联合收割机典型地配有非比例控制阀,用于控制出料槽角度或出料槽89的移动;例如如图5C所示,具有非比例控制阀的电动液压装置能够以无效率的农业物料的多峰或驼峰式分布(例如,508)填充贮存容器,这种分布具有局部的高的区域和局部的低的区域。
车辆控制器46可以连接到车辆数据总线60以提供数据信息,该数据信息指示何时用于从传送车辆卸载农业物料的螺旋推运器驱动器47是处于活动状态以及何时处于非活动状态。螺旋推运器驱动装置47可以包括螺旋推运器、用于驱动所述螺旋推运器的电动马达、和用于检测所述螺旋推运器或其相关联的轴的旋转或转速的旋转传感器。在一个实施例中,所述螺旋推运器(未示出)与用于贮存农业物料的传送车辆(例如,联合收割机)的容器(例如,谷粒箱)相关联。如果车辆控制器46(例如螺旋推运器控制器)指示传送车辆的螺旋推运器正在旋转或处于活动状态,则图像处理模块18激活出料槽模块22和容器模块20。因此,螺旋推运器旋转系统16、或其相关联的车辆控制器46,可以通过在传送车辆正在收割而非卸载农业物料到接收车辆的过程中将容器模块20和出料槽模块22置于非激活状态(或待命模式)而节约数据处理资源或能量消耗。
在图1中,图像处理模块18或任何其他控制器可包括控制器、微型计算机、微处理器、微控制器、专用集成电路、可编过程逻辑阵列、逻辑设备、运算逻辑单元、数字信号处理器、或其他数据处理器以及用于支撑这些装置的电子硬件和软件。在一个实施例中,图像处理模块18包括容器模块20、出料槽模块22、对准模块24、物料轮廓模块27、和仲裁器25。每个模块可以包括软件模块、电子模块或者两者,其中软件模块包括用于执行在本文中描述的功能的软件指令。
图像处理模块18可以与数据存储设备19相关联。例如,数据存储设备19可以包括电子存储器、非易失性随机存储器、磁盘驱动器、光盘驱动器、磁存储器装置或光学存贮装置。如果容器模块20、出料槽模块22和对准模块24、物料轮廓模块27和仲裁器25是软件模块,那么它们可以被贮存在数据存储设备19中。
容器模块20识别收集到的图像数据中的或真实世界中的一套二维或三维的点(例如,笛卡尔坐标系或极坐标系中的),这些点限定了容器位置或贮存部分(例如,图5A中的85)的至少一部分的容器周边(例如,图5A中的81)。该套二维或三维的点通过第一成像装置10、第二成像装置12或二者收集到的图像中的像素位置相对应。容器模块20可以使用或检索容器参考数据。
容器参考数据包括以下的一项或更多项:
容器85、容器周边81、容器边缘181的参考尺寸(例如,长、宽、高)、体积、基准形状、图纸、型号、布局、和构造;接收车辆的整个贮存部分93的参考尺寸、参考形状、图纸、型号、布局、和构造;接收车辆的贮存部分93的贮存部分轴距、贮存部分旋转半径、贮存部分钩挂装置(hitch)构造;和钩挂装置枢转点与贮存部分轴距之间的距离。容器参考数据可以被贮存在数据存储设备19(例如,非易失性电子存储器)中并且从该设备19中找回。例如,容器参考数据可以通过传送车辆系统11的数据存储设备19中的相应的接收车辆识别符贮存、找回或索引。对于每个接收车辆识别符来说,可以具有相对应的贮存在数据存储设备19中的唯一的容器参考数据。
在一个实施例中,传送车辆从接收车辆接收数据信息,其中接收车辆中的车辆识别符是规律的(例如,周期性地被传输)。在另一个实施例中,传送车辆查询接收车辆的车辆识别器或通过无线通信装置在传送车辆和接收车辆之间建立通信信道,以为通过无线通信装置(48,148)卸载做准备。在另一个实施例中,当接收车辆进入传送车辆的一定径向距离之内时,接收车辆将它的车辆识别符发送到传送车辆。在又一个实施例中,仅由一种已知构造的接收车辆与相对应的传送车辆一起使用,并且容器参考数据被贮存或存放在数据存储设备19中。在后面的实施例中,传送车辆被至少临时性地编程,专用于具有相同容器的接收车辆,所述容器的尺寸、容量、比例和形状都是相同的。
在一种构造中,容器模块18按照下述方式识别控制器的位置。如果在被收集的图像数据中的一组像素的线性对准与由容器参考数据规定的容器(图5A中的85)的周边(图5A中的81)的一个或更多个边缘181相一致,则容器的位置已经被识别。除了其他可能性,可以通过划分(除以二)容器相对的侧面之间的距离(例如,最短距离或表面法线距离),或通过识别与容器的角交切的对角线的交叉的位置,识别容器85的容器开口83的目标区域、中心区域或中心区域。在一种构造中,中心地带可以被规定为容器中的一个(例如,圆形、椭圆或矩形的)开口,所述开口的表面面积大于或等于出料槽端部的横截面面积至少二倍,当然,其他表面面积也落入权利要求的范围之内。在一种配置中,出料槽模块22识别以下的一项或多项:(1)出料槽89(图5A中)的至少一部分上的出料槽像素,(2)与出料槽89(图5A中)的出料槽端部87相关联的出料槽端部像素,(3)与在出料槽89(图5A中)上或者用于出料槽89的出料槽位置相关联的出料槽像素。出料槽模块22可以使用颜色识别、强度识别、或纹理识别,以将背景像素从一个或多个选出的出料槽中识别出来,所述选出的出料槽像素具有用于识别目的的用在出料槽89或出料槽89的出料槽端部87上的相关联的出料槽像素图案或特性图案(例如,颜色或颜色图案(例如,红绿蓝(RGB)像素值、像素强度图案、纹理图案、光度、亮度、色调、或反射率)。
对准模块24、主/从控制器59、或其二者以规则的间隔估算或确定移动命令,以保持出料槽(56或89)在容器85的中心区域、中心区域或目标区域上方的对准,用于卸载农业物料。对准模块24、主/从控制器59、或其二者,可以将与传送车辆的速率、速度或方向有关的命令或要求发送到传送车辆,以维持传送车辆相对于接收车辆的位置的对准。例如,对准模块24可向主/从控制器59发送请求,以获得车辆之间的空间偏移量的变化。作为响应,主/从控制器59或坐标模块57发送操纵命令或导向命令至驾驶控制器32,将制动或减速命令发送到制动系统34,并且将推进、加速或转矩命令发送到推进控制器40,以实现目标空间偏移量或空间偏移量的变化。进一步,类似的命令数据可以通过无线通信装置(48,148)发送到接收车辆,用于观察目的或用于通过图3A的系统311的所述接收车辆的驾驶系统控制器32、所述接收车辆的制动控制器36、和所述接收车辆的推进控制器40执行接收车辆控制的目的。
在另一种构造中,对准模块24或图像处理模块18可以在接收车辆的容器85的装载过程中规律地或周期性地移动、调整或旋转目标区域或中心区域,以促进平均的填充、在整个容器85中的农业物料的均匀的高度、或均匀的分布,其中图像处理模块18识别来自物料轮廓模块27的图像数据中的农业物料的填充状态,或通过无线通信装置(48、148)接收来自图3A或图3B中的分布式填充状态传感器149(与容器85相关联)的填充状态数据。
成像模块18可以包括物料轮廓模块27或填充水平传感器,用于检测容器85中或贮存部分93中的农业物料的填充水平或体积分布的一维、二维或三维表征。例如,图5C示出了容器85的填充状态、或容器85中的农业物料分布的各种示意性的二维表征,其中图5C将在下文中详细地描述。
在一种构造中,坐标模块57或驾驶控制器32调整传送车辆与接收车辆的相对的(偏移,例如在图4A中图示的偏移分量)位置。例如,与传送车辆的驾驶系统30相关联的驾驶控制器32可以基于来自第一定位接收器42和第二定位接收器142的位置数据和运动数据依照协作对准(cooperative alignment)的方式驾驶传送车辆(例如,该协作对准适合于将物料从传送车辆有效地传送到接收车辆,同时二者均大致向前运动)。无论有或是没有来自所述一个或更多个定位接收器(42,142)的这种位置和运动数据,对准模块24、坐标模块57和螺旋推运器旋转系统116都可以控制出料槽89或出料槽端部87与容器周边81之间的相对位置,以实现平均填充到期望的填充水平。例如,致动器210或螺旋推运器旋转系统16,单独使用或与其车辆控制器46结合使用,可以调整出料槽89相对于与传送车辆91相关的参考轴线或参考坐标系、或相对于与传送车辆91的行进方向相关的大致垂直的平面的出料槽角度(例如,第一出料槽角度(α)或旋转角度,第二出料槽角度(β)或倾斜角度,或复合角度(α和β)),其中,出料槽89与车辆汇合并且相对于车辆旋转。
出料槽端部87可以通过在容器周边81内以及在容器85的容器周边81的一定公差间隙之内改变其出料槽角度或出料槽位置而进行调整,以用于卸载农业物料。出料槽端部87可以通过各种技术进行调整,所述技术可以替代性或合并地应用。在第一技术下,对准模块24通过改变出料槽的出料槽角度(例如,第一出料槽角度(α)或旋转角度、第二出料槽角度(β)或倾斜角度、或二者)调整出料槽端部87,以用于卸载农业物料。旋转致动器(21或260),或旋转致动器260和倾斜致动器262可以相对于传送车辆调整旋转角度、倾斜角度、或其二者,以基于采样周期期间收集到的图像数据将出料槽89或出料槽端部87以协作对准的方式设置。
在第二技术下,对准模块24要求(或命令)坐标模块57调整前/后偏移量调整量(Φ或)、侧向调整量(Δ)、或二者,其中坐标模块57通过移动传送车辆、接收车辆或二者控制或设计传送车辆和接收车辆之间的相对的前/后偏移量和侧向偏移量。在第三技术下,对准模块24主要通过改变出料槽的出料槽角度调整出料槽端部87以用于卸载农业物料,坐标模块57次要地并且规律地(例如,周期性地)分别通过前/后偏移量调整量(Φ或)、侧向(Δ)移动前/后偏移量和侧向偏移量,以实现农业物料对容器的均匀的填充状态或平面装载。因此,通过改变前/后偏移量或侧向偏移量而改变传送车辆和接收车辆之间的空间关系以实现目标对准或农业物料对容器85或贮存部分93的填装的期望的均匀的分布,同时通过采用出料槽角度校准以用于容器内的农业物料的分布(例如,矩阵中的每个位置)的微调,出料槽端部87可以有被规律地调整(例如,在由预设的偏移位置的一个或更多个行或列构成的矩阵中),以用于卸载农业物料。
在图像处理模块18中,仲裁器25包括图像数据评估器(evaluator)。例如,仲裁器25可以包括评估器、判断模块、布尔逻辑电路、电子模块、软件模块、或软件指令,用于确定:(1)是否使用(如,来自第一成像装置10的)第一图像数据、第二图像数据、或二者,和/或(2)是否使用图像处理模块18(或它的输出数据)用于出料槽和容器外周的相对位置的对准(或车辆之间的空间偏移量的对准)。在一个实施例中,仲裁器基于在一个或多个采样周期期间对一个或更多个度量、因素或标准的评估,确定是否使用第一图像数据、第二图像数据、和图像处理模块18的输出数据:像素数据强度中的物料变化;环境光条件下的物料变化;图像校正质量;差异图像质量;立体对应数据质量;一个或多个图像目标(例如,出料槽、出料槽端部、容器边缘、贮存部分)的边缘的识别或图像数据质量的可靠性、范围或程度;图像中一个或多个目标的坐标评估(例如,三维坐标)的可靠性。仲裁器25可以将一个或多个质量指示符(indicator)(例如,第三指示符信息)发送至模式控制器225(例如,通过数据总线、逻辑数据通路、物理数据通路、或虚拟数据通路)。
可选的模式控制器225连接到数据总线(例如,60)。模式控制器225被以虚线示出以指示它是可选的。模式控制器225可以包括感知质量评估器、判断模块、布尔逻辑电路、电子模块、软件模块、或软件指令,用于确定是否在以下模式中操作机器视觉强化引导系统(例如,11、111、或311):(1)操作员引导的手动模式,其中在将农业物料从传送车辆传送到驾驶车辆的过程中,一个或更多操作员驾驶接收车辆、传送车辆或二者;(2)自动模式,其中在将农业物料从传送车辆传送到接收车辆的过程中,接收车辆、传送车辆或二者被自动地驾驶和对准;或(3)半自动模式或部分自动模式,其中一个或更多操作员监督并且能够超驰传送车辆和接收车辆的自动驾驶和对准。例如,基于与传送车辆相关联的第一定位接收器42的第一操作状态、与接收车辆相关联的第二定位接收器142的第二操作状态、以及(例如,在传送车辆或接收车辆上的)第一成像装置10或图像处理模块18的第三操作状态,模式控制器225可以确定是否使用出料槽的自动控制模式或出料槽的操作员引导的手动控制模式。
在一种构造中,自动控制模式包括一种操作模式,在该操作模式中,图像处理模块18处理收集到的像数据以便于确定出料槽89(例如,出料槽端部87)与贮存部分93(或它的容器周边或贮存部分93的中心区域)的相对位置。进一步,在自动控制模式中,图像处理模块18可以产生命令数据以将贮存部分93(或它的容器周边或中心区域)和出料槽89(例如,出料槽端部87)设置成使出料槽对准,以用于农业物料向贮存部分93的传送。命令数据可以包括以下的一项或多项:用于接收车辆的驾驶命令数据、用于传送车辆的驾驶命令数据、或用于旋转或操纵出料槽的任意致动器(例如用于旋转、倾斜或偏转的致动器)的致动器命令数据。
在一个实施例中,模式控制器225包括感知质量评估器,所述感知质量评估器评估一个或更多个定位接收器(42,142)、成像装置(10,12)、测距仪、测距传感器(440)、位置推算传感器、惯性传感器(442)、导航传感器、或其他感知传感器的功能、诊断、性能、检测或质量。在一个说明性例子中,如果第一定位接收器42在采样周期期间提供了满足或超过精度因子阈值或其他导航卫星可靠性测量值的可靠的位置数据,则第一操作状态是可接受的;如果第二定位接收器142在采样周期期间提供了满足或超过精度阈值或其他导航卫星可靠性测量值(例如,总的当量用户测距误差)的可靠的位置数据,则第二操作状态是可接受的。进一步地,如果第一成像装置10提供了其中容器模块20或出料槽模块22(例如,或容器模块20或出料槽模块22中相应的边缘检测模块)能够满足以下任一项的可靠的图像数据,则第三操作的状态是可接受的:(1)在采样时间周期期间,能够可靠地识别或解析收集到的图像数据中的出料槽89、出料槽端部87、容器周边81或其一部分、或贮存部分93的一个或多个边缘;(2)以时间百分比为基础(例如,至少99.99%的时间),可靠地识别图像数据中的一个或更多参考物体(例如,出料槽或接收车辆上的参考图案或参考图像)或物体;(3)在采样周期期间可靠地确定(例如,通过立体对应或差异处理)在一个或多个目标上的物料部分(例如,由参考点构成的组或集群)的坐标(例如,三维坐标):出料槽89、出料槽端部87、贮存部分、容器周边或其一部分;或(4)可靠地识别(例如,通过边缘探测器105或其他处理)出料槽端部87的一个或多个边缘以及贮存部分的容器周边81的一个或多个边缘。
在图1和图2的构造中,系统(11或111)可以使用分别通过旋转传感器116或266检测到的(出料槽89的)被检测的旋转角度以及出料槽89的已知长度,以估算出料槽位置或出料槽端部87的(例如,三维)坐标。然而,在旋转角度或旋转传感器(116或266)不存在、不工作、或不与图像处理模块18通信的情况下,出料槽模块(22或122)可以针对以下任意项使用图像处理:(1)估算相对于传送车辆的出料槽角度或出料槽的旋转角度,(2)估算出料槽89的出料槽位置(例如,三维坐标),和(3)估算出料槽端部87的出料槽位置(例如,三维坐标)。
精度因子提供了使用诸如全球定位系统(GPS)或全球导航卫星系统(GLONASS)之类的卫星导航系统的定位接收器(例如,42、142)的性能的品质因数。相对于时钟误差、电离层误差、多路径反射误差、和其他误差来说,精度因子捕获定位接收器(42,142)与由定位接收器接收到的卫星信号之间空间几何形状和分离的随时间变化的影响。每个卫星的伪距估算的精度可能影响定位接收器(42,142)的三维位置估算和时间估算的准确度。如果对于指定的定位接收器而言在一段特定的时间内可接收的导航卫星在轨道中的空间距离太近,则位置估算的准确度可能受到不利影响并且精度因子值可能高于正常的或可接受的值。
在一个实施例中,第一定位接收器42提供第一指示符信息,该第一指示符信息指示第一定位接收器42满足或超过精度因子阈值;第二定位接收器142提供第二指示符信息,指示第二定位接收器142超过精度因子阈值;和图像处理模块18提供第三指示符信息,指示图像处理模块18能够在采样周期期间可靠地识别出料槽端部87的一个或多个边缘以及贮存部分93的容器周边81的一个或多个边缘。
如果模式控制器225与图像处理模块18分离,则图像处理模块18、其硬件或软件的功能方面的任何失效或中断通常是与模式控制器225的功能方面的任何失效或中断是独立的并区分的,这增加了系统(例如,11或111)的冗余测量和可靠性。虽然所示的模式控制器225是与图像处理模块18分离的并位于图像处理模块18的外部,但在可替代的实施例中,模式控制器225也可以被合并到图像处理模块18中,这样可以降低系统(例如,11或111)的成本。
主/从控制器59被连接到数据总线(例如,60)。在一个实施例中,主/从控制器59包括自动引导模块55和坐标模块57。自动引导模块55或主/从控制器59可以根据来自第一定位接收器42和路径规划或期望的车辆路径的(例如,贮存在数据存储器19中的)位置数据控制传送车辆。自动引导模块55或主/从控制器59发送命令数据到驾驶控制器32、制动控制器36和推进控制器40,以控制传送车辆的路径,以通过用户界面44或驾驶系统30自动地跟踪路径规划或手动地追踪操作员的驾驶过程。
坐标模块57可以在卸载或在车辆之间传送农业物料的过程中,便于传送车辆(例如,图4A中的91)与接收车辆(例如,图4A中的79)之间的运动的对准(例如,运动路径设计)。例如,坐标模块57可以在卸载农业物料的过程中,便于维持车辆之间的均匀的侧向偏移量(图4A中的Δ)和均匀的前/后偏移量(图4A中的Φ或),接受任何调整以实现容器85内物料的均匀分布。总的来说,均匀的侧向偏移量和均匀的前/后偏移量可以被称为均匀的空间偏移量。在某些实施例中,侧向偏移量和前/后偏移量的维持、或侧向偏移量和前/后偏移量中任何改变的协调(例如,依据用于均匀装载类似于图5D中示出的相应的具体容器或贮存部分的预建立位置(x,y点)的二维矩阵),对于由对准模块24执行的出料槽89或出料槽端部87的出料槽角度调整而言是必要的或是期望的先决条件。
在领导(leader)模式中的一个实施例中,传送车辆由自动引导模块55或驾驶控制器32根据路径规划驾驶,或由操作员驾驶。当传送车辆处于领导模式时,主/从控制器59或坐标模块57在跟随模式中通过从/主控制器159控制接收车辆。如果传送车辆在自动模式或自动驾驶模式中运行,则主/从控制器59本地地提供命令数据至传送车辆的驾驶控制器32、制动控制器36、和推进发动机控制器40。这种命令数据可以规范化(或换算)、附加时间戳、并通过无线通信装置(48,148)发送到接收车辆,以供从/主控制器159处理。可选择地,传送车辆的速度、加速度、和方向数据通过无线通信装置(48,148)传送到接收车辆,以使接收车辆能够(例如,以最小的时间延迟)跟随传送车辆的路径。在自动模式和领导-跟随模式中,在将农业物料从传送车辆传送到接收车辆的过程中,接收车辆、传送车辆或二者被自动地驾驶并对准。
图像处理模块18将图像数据提供到用户界面处理模块26,所述户界面处理模块26将状态信息数据和性能信息数据直接地或间接地提供到用户界面44。如图1所示,图像处理模块18与车辆数据总线60(例如,控制器区域网(CAN)数据总线)通信。
在一个实施例中,定位接收器42、第一无线通信装置48、车辆控制器46、驾驶控制器32、制动控制器36、和推进控制器40能够通过车辆数据总线60通信。依次地,驾驶控制器32被连接到传送车辆的驾驶系统30;制动控制器36被连接到传送车辆的制动系统34;并且推进控制器40被连接到传送车辆的推进系统38。
在图1中,驾驶系统30可包括电力驱动的驾驶系统、电动液压的驾驶系统、齿轮驱动的驾驶系统、齿条和齿轮驾驶系统、或能够改变车辆或车辆的一个或多个车轮的方向的其他驾驶系统。制动系统34可包括再生制动系统、电动液压制动系统、机械制动系统、或能够通过液压、机械、摩擦、或电力等方式使车辆停止的其他制动系统。推进系统38可以包括以下的一种或多种:(1)电动马达和电子控制器的结合,(2)内燃机,所述内燃机被电子燃料喷射系统或能够通过电信号控制的其他燃料计量装置控制,或(3)混合动力车辆,其中内燃机驱动发电机,发电机连接到一个或多个电动马达。
系统11便于将农业物料从传送车辆(例如,收割车辆)传送到接收车辆。系统11包括接收车辆,所述接收车辆具有用于推进接收车辆的推进部分和用于贮存农业物料的贮存部分93。诸如第一成像装置10的立体成像装置面朝着接收车辆的贮存部分93。如图1中所示,第一成像装置10和可选择的第二成像装置12被安装在传送车辆上,与图4A一致。然而,在可替代的实施例中,如图5A中所示,第一成像装置10、可选择的第二成像装置12或两者可以安装在接收车辆或接收车辆的推进部分75上,或布置在其他可能的构造中。
一个或多个成像装置(10,12)被布置成用于收集图像数据。容器模块20识别收集到的图像数据中的贮存部分93的容器周边81。贮存部分93具有从容器周边向内的开口,用于接收农业物料。出料槽模块22被配置成用于识别收集到的图像数据中的收割车辆的出料槽(例如,图4A的89)。对准模块24适于确定出料槽89与容器周边(图4A的81)的相对位置,并且适于产生命令数据至传送车辆或接收车辆79的推进部分75,以协作对准的方式操控贮存部分93,使得出料槽89被对准于容器周边81的中心区域83内。驾驶控制器32与推进部分的驾驶系统30相关联,以根据协作对准来驾驶接收车辆。
在一个实施例中,由虚线指示的可选择的立柱(mast)控制器674被连接到车辆数据总线60、执行数据总线、或图像处理模块18,以控制可选择的可调整的立柱573,以用于安装和可调整地定位第一成像装置10、第二成像装置12、或二者。立柱控制器674适于改变第一成像装置10、第二成像装置12或其二者的方位(如,计算出的角方位)或位于地面上方的高度,其中所述方位可以别表述为下述任意项目:倾斜角、摇摄角(pan angle,或扫角)、下倾角、俯角、或旋转角。
在一种构造中,用户界面44设置成用于输入容器参考数据或与接收车辆有关的尺寸参数。例如,容器参考数据或尺寸参数包括在拖车挂钩或枢转点(其使互联推进装置75与贮存部分93互连)与接收车辆79的贮存部分93的前轮旋转轴线之间的距离。
在一个可替代的实施例中,在图1中,第一成像装置10包括单目成像装置,并且第二成像装置12包括分别地提供第一单目图像数据和第二单目图像数据的单目成像装置。图像处理模块18或系统(例如,11、111或311)可以根据第一成像装置10和第二成像装置12的相对位置和对准,由第一单目图像数据(例如,右侧图像数据)和第二单目图像数据(例如,左侧图像数据)建立立体图像。图像处理模块18确定:(1)将第一成像装置10和第二成像装置12二者的镜头均二等分的视轴上的至少两个点,和(2)在第一成像装置10和第二成像装置12之间的线性空间分离,其中第一成像装置10的第一视场77(在图4A中)和第二成像装置12的第二视场177至少局部重叠,以在收集到的图像数据中捕获出料槽89、出料槽端部87和容器周边81。
在可替代的实施例中,图1进一步包括可选择的可测距传感器440(如里程表)、和可选择的惯性传感器442,如图1中虚线所示。测距传感器440可包括磁旋转传感器、齿轮驱动传感器、或非接触传感器,以用于测量传送车辆的一个或多个车轮的旋转,以估算传送车辆在测量时间周期内移动的距离、或传送车辆的地速。可测距传感器440可以连接到车辆数据总线60或执行数据总线。惯性的传感器442可以包括连接到车辆数据总线60或执行数据总线的一个或多个加速度计、陀螺仪或其他惯性装置。可选择的可测距传感器440和可选择的惯性传感器442可以增加或补充由第一定位接收器42提供的位置数据或运动数据。
图1的系统11十分适合用在作为传送车辆的联合收割机或收割机上。图1的系统11可与在接收车辆(例如,如图4A中所示)上的第二系统(311)通信并协作,以在从传送车辆卸载或传送物料期间协调传送车辆和接收车辆的相对对准。图1和图2中类似的类似的附图标记指示类似的元件。
图2的视觉强化引导系统111与图1的系统11相似;但不同之处在于图2的系统111进一步包括执行数据总线58、网关29、和连接到车辆数据总线60的用于可选择的光源14和出料槽56(图2中)的车辆控制器50。车辆控制器50控制光源52;出料槽控制器54通过以下一个或更多部件控制出料槽89:旋转致动器260、倾斜致动器262、或偏转器致动器264。旋转致动器260可使出料槽绕大致垂直于地面的第一轴线旋转;倾斜致动器262可使出料槽沿大致平行于地面或基本垂直于第一轴线的第二轴线以向上或向下的角度倾斜或旋转。偏转器致动器264可以激活处于出料槽89的出料槽端部87处或附近的偏转器,以避免例如被收割的物料越过(overshooting)或未到达接收车辆的容器或贮存区域。在一个实施例中,旋转致动器260、倾斜致动器262、和偏转器致动器264中的每一个都可以包括伺服电机、电动马达、或电动液压机构,以用于移动或调整出料槽(图5A中的89或者图2中的56)或其出料槽端部87的对准或出料槽角度。
在一种构造中,出料槽控制器54基于操作员输入或图像处理模块18控制出料槽89、基于来自以下传感器的一个或多个传感器的传感器数据:旋转传感器266、倾斜传感器268、和偏转器传感器270。旋转传感器260测量绕大致垂直于地面的第一轴线的出料槽的第一旋转角度;倾斜传感器268测量沿大致平行于地面或基本垂直于第一轴线的第二轴线的向上或向下的出料槽的第二旋转角度、或倾斜角度。偏转器传感器264可以在出料槽(89或者56)的出料槽端部87处或附近测量偏转器角度或偏转器的激活状态或非激活状态,以避免例如被收割的物料越过接收车辆的容器或贮存区域。在一个实施例中,旋转传感器266和倾斜传感器268中的每一个都可以包括磁场传感器、霍耳效应传感器、磁致伸缩传感器、磁阻传感器、可变电阻器、或其他适当的传感器,以用于测量出料槽89与传送车辆之间、相对于第一轴线、第二轴线、或其他轴线旋转的角度。在一种构造中,偏转器传感器270可以包括接触传感器或接触开关,以提供状态信息或状态信号,所述信息或信号指示偏转器相对于出料槽端部87是否被伸出或缩回。
在一种构造中,执行数据总线58可包括控制器区域网络(CAN)执行数据总线。类似地,车辆数据总线60可以包括控制器区域网络(CAN)数据总线。在一个可替代的实施例中,执行数据总线58、车辆数据总线60或二者都可以包括ISO(国际标准化组织)数据总线或ISOBUS、以太网或其他数据协议或通信标准。
网关29支持执行数据总线58与车辆数据总线60之间的安全的或受控制的通信。网关29包括防火墙(例如,硬件或软件)、通信路由器、或其他安全设备,这些安全设备可以限制或阻止执行数据总线58上的网络元件或设备与车辆数据总线60或车辆数据总线60上的网络元件或设备通信(例如,未授权的通信),除非执行数据总线58上的网络元件或设备遵循特定安全协议、“握手”信号交换方式、密码和密匙、或其他安全措施。进一步地,在一个实施例中,如果适当的加密密钥被输入或者如果其他安全措施被满足,则网关29可以对至车辆数据总线60的通信加密,并对来自车辆数据总线60的通信解密。网关29可以允许执行数据总线58上的网络设备通过开放标准或第三方硬件和软件供应商通信,但车辆数据总线60上的网络设备仅由传送车辆(例如,自行饲料收割机)的制造商或被该制造商授权其他厂家提供。
图2中,第一定位接收器42、用户界面44、用户界面处理模块26、和网关29被连接到执行数据总线58,尽管在其他的实施例中这些元件或网络设备可以被连接到车辆数据总线60。车辆控制器50和出料槽控制器54被连接到车辆数据总线60。因而,车辆控制器50和出料槽控制器54被直接地或间接地连接到传送车辆(例如,自推进式饲料收割机)上的可选择光源52以及传送车辆的出料槽89。虽然图2的系统十分适于使用或安装在自推进式饲料收割机上,但是图2的系统还可以应用到联合收割机、收割机或其他重型设备。
图1的系统11与图2的系统111应用于传送车辆,而图3A和图3B的系统应用于接收车辆。图1、图2、图3A、和图3B中类似的附图标记指代类似的元件。如前文指出的,传送车辆可以包括收集或收割物料以传送到接收车辆的联合收割机、收割机、自推进式收割机、车辆或重型设备。在一个实施例中,接收车辆可以包括推进部分(例如,图4A中的75)和贮存部分(例如,图4A中的93),所述贮存部分用于贮存从传送车辆传送来的物料。接收车辆可以包括拖拉机和谷物拖车或货车的组合,其中拖拉机是推进部分75的示例性的例子,并且其中谷物拖车是贮存部分93的示例性的例子。这里,图3A的系统311被呈现为图像处理系统18,该图像处理系统可选择地位于接收车辆上,而不是如图1和图2中所示的位于传递车辆上。相反,图3B被配置成与图1或图2的系统(11或111)协作,这一配置将在下文中详细描述。
图3A的系统包括第一成像装置10、图像处理模块18、用户界面处理模块26、网关29、第二定位接收器142、第二无线通信装置148、从/主控制器159、以及在图3中描绘的其他装置。在一个实施例中,第一成像装置10被安装在接收车辆的推进部分75(例如,拖拉机)上,向后面朝贮存部分93(例如,运货车)或容器85(例如,如图5A所示)。例如,(接收车辆的)第二无线通信装置148适于与图1或图2中的(传送车辆的)第一通信装置48传输数据。第二定位接收器142提供位置数据、地点数据、高度、速度、或加速度数据。
在一个实施例中,在图3A中,图像处理模块18估算传送车辆和接收车辆的相对位置、以及出料槽端部87(或出料槽位置)相对于贮存部分93(或容器位置)的相对方位,以通过一个或多个控制器(32、36、40)引导或控制接收车辆的驾驶系统30、制动系统34、和推进系统38,以将传送车辆和接收车辆放置在目标传送位置,以将物料从出料槽端部87传送到贮存部分93。例如,目标传送位置或协作对准可以涉及出料槽位置和容器位置(如,在一个或多个采样时间周期内的)的对准或对齐。同时,传送车辆可以被其操作员或第一定位接收器42控制(驾驶、速度、和加速度)。例如,系统311或图像处理系统18识别出料槽端部87、或出料槽的护罩或物料离开出料槽89的末端,并且(通过立体通信、差异或其他图像处理)计算出料槽端部87与贮存部分93、贮存部分93的容器外周、贮存部分93的中心区域的相对位置。
在图3A中,与接收车辆的驾驶系统30相关联的驾驶控制器32能够基于来自第一定位接收器42和第二定位接收器142的位置数据和运动数据、根据协作对准(例如,适合物料从传送物料到接收车辆的高效传送)驾驶接收车辆的推进部分。无论有或没有来自一个或多个定位接收器(42,142)的这种位置和运动数据,图像处理模块18都能够使用图像数据通过驾驶接收车辆的推进部分使出料槽89或出料槽端部87与接收车辆的贮存部分93或容器周边81对准,以维持用于卸载或在车辆之间传送物料的协作对准。
图3B提供一种构造,其中传送车辆和接收车辆在引导-跟随模式下工作,其中传送车辆处于引导模式,而接收车辆处于跟随模式,使得接收车辆以目标空间偏移量跟踪或跟随引导车辆的方向和速度(以及可选择的,加速度)。在图3B中,图像处理模块18仅在传送车辆上是激活的,并且在接收车辆上是未激活或不存在的。在传送车辆上,图像处理模块18和第一定位接收器42分别提供图像引导数据(如果可获得或者如果可靠)和第一运动数据(例如,位置、方向、速度和加速度),所述数据被传送车辆和接收车辆二者使用以用于引导。
在一种构造中,图像引导数据、第一运动数据、或二者被传送车辆上的第一无线通信装置48发送到接收车辆上的第二无线通信装置148。在接收车辆上,从/主控制器159从传送车辆上的第一定位接收器42接收第一运动数据(和第一位置数据),和从接收车辆上的第二定位接收器142接收第二运动数据(和第二位置数据)。从/主控制器159产生误差或控制数据,用于控制接收车辆的驾驶系统30、制动系统34、和推进系统38,其中误差或控制数据是基于第一运动数据和第二运动数据(以及第一位置数据和第二位置数据)之间的差异。
在另一种构造中,传送车辆上的主/从控制器59可以发送控制信号或控制数据信息到接收车辆上的从/主控制器159,以控制接收车辆的驾驶系统30、制动系统34、或推进系统38,以优化出料槽端部87与容器的贮存部分93的相对位置、车辆之间的目标空间间距,或以避免车辆之间即将发生的碰撞。在接收车辆上,从/主控制器159可以在主控制器59的控制下,在从属模式或跟随模式中操作。从/主控制器159中的自动引导模块155和坐标模块157根据位置数据和路径规划、或根据从主/从控制器59至传送车辆的其他引导数据或命令数据提供接收车辆的引导。
第二无线通信装置148连接到车辆数据总线60。在图3A或图3B中,用于接收车辆的系统(311或411)可与图1或图2的传送车辆的系统(11或111)相互协作。无线装置(48,148)可以交换或传输位置数据、相对位置数据、命令数据、或控制数据,以用于车辆的位置和对准的控制、调整或协调;更具体地,出料槽89或出料槽端部87在容器85的开口83上方的位置和对准。在无线通信装置(48,148)之间传输的数据可以包括以下任何数据:(1)来自任一定位接收器(42或142)的位置数据或地点数据;(2)来自传送车辆或接收车辆上的图像处理模块18的命令或引导数据;(3)来自主/从控制器59或坐标模块47的命令或引导数据;(4)来自从/主控制器159或坐标模块157的命令或引导数据;或(5)来自对准模块24的对准数据(例如,成像装置的相对位置、车辆上参考点的相对位置、以及出料槽与容器边缘之间的相对对准)。例如,图像处理模块18或对准模块24可以使用第一定位接收器42的第一位置数据和第二定位接收器142的第二位置数据,用于确定两个车辆之间的相对位置或空间偏移量(或第一成像装置10和第二成像装置12的相对位置),以及用于确定出料槽和容器周边之间的相对对准。
图3A的系统31可以支持运输和接收车辆上的电子系统(例如,对11和311,111和311,11和411,以及111和411)的不同的构造或组合。在第一构造中,接收车辆上的成像装置10可以用于代替传送车辆上的一个或更多成像装置(10,12),或与传送车辆上的一个或更多成像装置(10,12)一起使用。在第二构造中,图3A的系统31可以通过将收集到的图像处理数据从第二无线通信装置148传输到第一无线通信装置48,将收集到的图像处理数据从接收车辆提供至传送车辆。这里,在第二构造中,从接收车辆收集的图像处理数据可以被称为补充数据、补充图像数据、或额外的图像数据。额外的图像数据可以提供额外的透视或观察点,这一额外的透视或观察点能够对由传送车辆收集到的图像数据进行补充。例如,当由传送车辆收集的图像数据受湿气(例如,其镜头上的湿气)、灰尘、差的环境照明、眩光或反光影响的情况下,这些情形都不会类似地损害或影响所述额外的图像数据,因此额外的图像数据可以提供更精确的或补充的图像数据。
可选择的可测距传感器440可以连接到车辆数据总线60或执行数据总线58。惯性传感器442可以包括连接到车辆数据总线60或执行数据总线60的一个或多个加速度计、陀螺仪或其他惯性装置。
例如,分布式填充状态传感器149(例如,在图3A和图3B中)可以包括,例如,分布在容器85内或周围的不同高度水平处的光学高度水平传感器(未示出)、用于在容器85的不同的容积内或不同的底面区域上(例如,假设的可垂直移动的底板)测量农业物料的质量的分布的压电质量传感器、或用于在容器85的不同的容积内或不同的底面区域上测量农业物料的质量的分布的压阻质量传感器。
图4A描绘了传送车辆91和接收车辆79的平面图。如图4A中所示,用于说明性的目的,所示的传送车辆91为带有收割割台185的联合收割机,然而所示的接收车辆79为拖拉机和谷物拖车。更通常地,接收车辆79包括推进单元75和贮存单元93的组合(例如,被牵引的贮存单元)。
图4A示出了传送车辆(例如,联合收割机)上的第一成像装置10和传送车辆91的出料槽89上的可选择的第二成像装置12。出料槽89也可被称为卸载螺旋推运器(unloading auger)。出料槽端部87可以被称为护罩(boot)。第一成像装置10具有由虚线指示的第一视场77。视场(77,177)的边界仅是说明性的,并且在实际情况中将会有变化。第二成像装置12具有由虚线指示的第二视场177。在图4A中,出料槽89、或出料槽端部87通常对准在(接收车辆的)贮存容器85的中心区域83、中心区域或目标区域上方,用于将物料从传送车辆卸载到接收车辆79。目标区域可以与出料槽位置和容器位置被对准或对齐的协作对准一致。类似地,无论是在通常情况下的收割过程中车辆是否一起向前移动(例如,具有协调或跟随的车辆方向),还是车辆都是静止的,传送车辆91和接收车辆79都如图所示的对准在适当的位置。在卸载过程中,主/从控制器59和从/主控制器159帮助维持车辆(91,79)之间的大致均衡的空间偏移量(例如,通常静态偏移量仅在目标公差范围内变化),接受所述偏移量的任何进一步的调整,以用于容器85的均匀填充。主/从控制器59和从/主控制器159支持均匀的前/后偏移量(Φ或)和侧向偏移量(Δ)的维护。
在图4A中描绘的一个实施例中,第二成像装置12可以安装在出料槽89上。传送车辆91可以配有出料槽角度传感器或旋转传感器116(例如,旋转位置传感器),以测量出料槽的旋转角。
在用于安装在出料槽的成像装置(例如,如图4A中所示出料槽上的第二成像装置12)的代替实施例中,出料槽89的旋转角可以用以便于来自第一成像装置10和第二成像装置12的图像数据的融合,或在第一成像装置10和第二成像装置12针对相同的场景或目标单独地提供单目图像数据的情况下用于建造立体图像数据。
在本文中公开的视场(77,177)重叠的成像装置(10,12)的任一种布置中,来自第一成像装置10和第二成像装置12的图像数据的数据融合能使图像处理模块18创建贮存部分85内部的物料分布水平的虚拟轮廓,即使农业物料的整个表面对于两个成像装置(10,12)之一是不可见的。即使在某些构造中,第二成像装置12未安装在出料槽89上,出料槽角度传感器116也可以便于在任何收集到的图像数据中将出料槽端部87用作参考点(例如,用于来自不同成像装置的图像数据的融合、虚拟拼合、或对准)。贮存部分93中的农业物料的整个表面的虚拟轮廓能使系统(11、111、311)或成像模块18智能地执行用于接收车辆的贮存部分93的填充策略。
在图4B中,第一成像装置10和第二成像装置12安装在传送车辆91上,其中第一成像装置10安装在第一支撑件573上(例如,具有倾斜或摇头调整装置的单杆),以提供第一向下视场677或向下倾斜的视场。如图4B中所示,关于垂直轴线测量下倾角度(ε)。在成像装置10上或者在成像装置10中或者与立柱-成像装置安装硬件相关的倾斜传感器可以测量下倾角度或者偏角,用于报告到立柱控制器674。例如,倾斜传感器个或者多个加速计,如商业上可获得的用于便携式消费者电子设备的那些加速计。
如果第一成像装置10被抬高或安装在传送车辆91上,相对于贮存部分93足够高,则第一成像装置10将具有足以观察和记录在农业物料填充贮存部分85过程中的农业物料(例如,谷物)的表面(或容器内的高度(z)与相应的x,y坐标的关系)的进入贮存部分93或容器85的观察能力或向下的视场677。第一成像装置10可以安装在传送车辆91的顶部,面对或直接朝向远离具有用于卸载农业物料的出料槽89的传送车辆的侧面看去。
在卸载农业物料期间,如果第一成像装置10比第二成像装置12更加远离贮存部分93或容器85,则第一成像装置10可以具有关于贮存部分93(例如,谷物拖车)的合适的视野,以使贮存部分93与传送车辆91的相对位置的追踪变得更容易。
在一个说明性的构造中,与向下的视场(677)一致地,垂直于第一成像装置10、第二成像装置12、或二者的各自的镜头的光轴从大致水平的平面向下倾斜一下倾角度(ε)(例如,如在图4B中显示从垂直轴线向下约60°到85°或者从水平轴线或者水平平面向下约10°到25°)。如果成像装置(10,12)的视场或光轴从大致水平的平面向下倾斜,则具有如下几个优点。
第一,成像装置(10,12)的视场中能看到的天空背景更少,这样所收集到的图像数据倾向于具有更均匀的图像强度轮廓。例如,光轴或多个光轴的倾斜构造(这些光轴垂直于成像装置(10,12)的镜头)非常适合于减轻由明亮的日光或中间的云盖导致的可能的动态量程(dynamic range)的间题。在一个实施例中,以下倾角度安装成像装置(例如,10)以避免收集的图像数据在暂时暴露到超过用于收集的图像数据中的像素的物料部分的阈值亮度水平的阳光、反射光或者光源的时间周期期间的冲失、讹误、或被干扰。
第二,贮存部分93的底部部分在图像数据中变得更明显,使得能够记录与贮存部分93的一个或多个车轮有关的图像数据。车轮是贮存部分93上的特征,其可以通过图像处理技术有力地跟踪。第三,使立体成像机向下倾斜可以减轻灰尘和其他碎片在成像装置(10,12)的透镜或外窗上的聚积。
图5A描绘了传送车辆和接收车辆的平面图。类似的附图标记指示图5A和图4中类似的元件。图5A示出了位于推进装置75(例如,拖拉机)或接收车辆79的后部上的第一成像装置10。第一成像装置10有由虚线表示的第一视场277。在图5A中,出料槽89、或出料槽端部87大致对准于贮存装置93或容器的85的中心区域83、中心区域或目标区域上方,用于将物料从传送车辆91卸载到接收车辆79。类似地,传送车辆91和接收车辆79以如图所示的方式对准于适当的位置,并且平稳地就好像车辆(79,91)以协作的方向或大致平行的方向前进并且相对于彼此没有相对速度或仅具有最小相对速度那样。
在图5A的代替的实施例中,可选择的第二成像装置12可以安装在车辆上以有第二视场,所述第二视场可以与第一视场277稍微地偏距、重叠、或对准,以便在第一成像装置10失效、故障、不可访间、不可靠或所提供的图像数据质量差时以提供冗余。例如,在第一成像装置10被灰尘、雾、盐、或空气传播的污染物遮挡的情况下,或在第一成像装置10暴露于不充分的环境光条件或暴露于过度的来自日光的强光或反射光的情况下,第一成像装置10可能会不可靠地工作。在图5A中,图像处理模块18能够估算从第一成像装置10、第二成像装置12、或二者至图像中目标(诸如出料槽89、出料槽端部87、容器周边81、容器85内的农业物料的高度水平及轮廓(例如,容器85内的各个位置或坐标处的高度水平及轮廓))的距离或范围。
图5B描绘了沿着图5A中的参考线5B-5B沿水平面观察的视图。在一个实施例中,第一成像装置10安装在接收车辆79上的第一支撑件571上(例如,具有倾斜或摆头调整装置的单杆),以提供第一向下视场577或第一下倾视场。
在一个可替换的实施例中,第一支撑件571包括可调整立柱或望远镜立柱,所述立柱通过立柱控制器(674)控制,以远程地调整高度、倾斜角、下倾角、旋转角、偏角、或摇摄角,以提供可靠的图像数据以供图像处理模块18处理。可以关于垂直于垂直轴线的水平轴线或者水平面测量下倾角度或者偏角。在立柱的顶或者顶部处或者附近,可移动或者可调整支架、可移动或者可调整安装架、或者其它可移动安装结构,将成像装置10固定到第二支撑或者立柱。
如果第一成像装置10被提高或安装在接收车辆79上,并相对于贮存部分93足够高,那么第一成像装置10将具有足以观察和记录在农业物料填充贮存部分85过程中的农业物料(例如,谷物)的表面(或容器内的高度(z)与相应的x,y坐标的关系)的进入贮存部分93或容器85的观察能力或第一向下的视场577。第一成像装置10可以安装在接收车辆79(或它的推进单元75)的顶部或驾驶室上,面对或直接朝向远离具有用于卸载农业物料的出料槽89的传送车辆的侧面。
在一个说明性的构造中,与向下的视场577一致地,垂直于第一成像装置10的各自的镜头的光轴从大致水平平面向下倾斜一下倾角度(例如,从水平平面或者水平轴线向下约10°到25°)。如果成像装置10的视场或光轴从大致水平面向下倾斜,则具有如下几个优点。第一,成像装置10的视场中能看到的天空背景更少,这样所收集到的图像数据倾向于具有更均匀的图像强度轮廓。例如,光轴的倾斜构造(这些光轴垂直于成像装置10的镜头)非常适合于减轻由明亮的日光或中间的云盖导致的可能的动态量程的间题。第二,贮存部分93的底部部分在图像数据中变得更明显,使得能够记录与贮存部分93的一个或多个车轮有关的图像数据。车轮是贮存部分93上的特征,其可以通过图像处理技术有力地跟踪。第三,使立体成像机向下倾斜可以减轻灰尘和其他碎片在成像装置10的透镜或外窗上的聚积。
图5C描绘了容器85中的物料的各种可能的示例性分布的二维呈现,与图5A中沿参考线5C-5C观察的视图一致。在一种构造中,y轴与容器的纵轴或移动方向是一致的,z轴与容器中物料的高度是一致的,并且x轴垂直于容器移动的方向,其中x,y和z轴大致彼此正交。
在图5C的图表中,竖直轴是容器85中物料的平均高度()500;水平轴表示容器85的纵轴(y)502。最大容量505或容器容量由在竖直轴上的虚线指示。容器85的前部51定位在原点,容器85的后部514定位在竖直轴上。
图5C示出了容器85内的物料的三种示例性分布。第一种分布是双峰轮廓508,其中在容器85内的物料的分布中具有两个主峰。双峰轮廓508由点线示出。在出料槽角度校准装置由具有非比例阀的电动液压系统控制的情况下,可能出现双峰轮廓508。
第二种分布是前偏斜形态轮廓510,其中只具有朝向容器85前方的物料的单个峰。前偏斜形态轮廓510由交替的长线和短线示出。在容器85的容积或长度(y)大于最小阈值的情况下以及在出料槽端部87与容器85之间的相对对准在物料卸载的大部分时间内保持大致静止的情况下,可能出现第二种分布。
第三种分布是目标轮廓508,其可以通过遵循如本文中所公开的适当的填充策略实现。例如,在卸载过程中,出料槽角度可以被调整以促进容器85中的农业物料的均匀分布。进一步地,车辆(79,91)之间的侧向偏移量(Δ)或前/后偏移量(Φ或()可以根据相对卸载位置的矩阵(例如,传送车辆的等距点位置相对于接收车辆等间隔位置点的x,y坐标矩阵)进行调整,特别适用于较长或较宽以至于从车辆之间(79,91)单个相对的卸载点不能实现均匀填充的容器。
图5D是传送车辆91和接收车辆79的平面图,其中传送车辆91对准于由运输车辆与接收车辆79之间的可能的偏离位置(502,504)构成的矩阵500中。每个偏距位置(502,504)可以由车辆(79,91)之间的唯一的侧向偏移量(Δ)和唯一的前/后偏移量(Φ或()的组合来限定。如图所示,矩阵500是由可能的偏移位置(502,504)构成的二维2×3(2列X3行)矩阵。虽然示出了六个可能的矩阵位置(502,504),但在可替代的实施例中,矩阵500可具有两个或两个以上的可能的偏移位置数。本文中,传送车辆91占据在矩阵500的第二行处的第一列中的当前的偏移位置504,其他可能的偏移位置502未被传送车辆91占据。当由系统(11、111、311)中的任意一个引导时,传送车辆91或接收车辆79的图像处理模块18或主/从控制器59可以移动到矩阵500内的任何未被占据的或其他可能的偏移位置502,以促进或便于接收车辆79的容器85或贮存部分中的农业物料的均匀分布。传送车辆91和接收车辆79之间的空间偏移可以根据矩阵500或空间偏距的预设位置的其他矩阵加以调整,以促进接收车辆79的贮存部分中的农业物料的均匀分布,其中任何矩阵都与车辆(79,91)之间的唯一的、相对的侧向偏移量(Δ)和前/后偏移量(Φ或)相关联。
在图5D的一个实施例中,传送车辆91和接收车辆79二者可以按照大致同样的速度和方向(例如,在收割过程中的控制系统的公差或误差范围内)向前移动,其中接收车辆79的位置相对于在矩阵500中的由传送车辆91能够占据的每个位置(502,504)通常是固定或恒定的。
在一个可替换的实施例中,接收车辆79可以被表示为可以占据由可能的偏移位置构成的的二维矩阵(例如,具有三列和三行的3×3矩阵),而传送车辆91的位置相对于接收车辆79可以占据的矩阵的每个位置通常是固定或恒定的。在所述替换实施例中,在由系统(11、111、311)中的任一个引导时,接收车辆79的图像处理模块18或主/从/主控制器159可以移动到矩阵中未被占据的或其他可能的偏移位置,以促进或便于接收车辆79的容器85或贮存部分中的农业物料的均匀分布。
在图6A至图7D中,每个方块或模块可以代表软件模块、电子模块、或二者。软件模块可以包含软件指令、子过程、面向对象的代码、或其他软件内容。将图6A至图7D中的方块或模块相互连接起来的箭头示出了方块之间的数据或信息的流动。箭头可以代表物理通信路径或虚拟通信路径,或二者。物理通信路径意味着用于发送、接收或传输数据的传输线路或一个或更多的数据总线。虚拟通信路径意味着模块之间的数据、软件或数据信息的通信。
图6A是比图1更详细示出了图像处理模块18和容器模块20的框图。图1、图6A、图7A、图7B和图7C中类似的附图标记指示类似的元件。如图6A所示,第一成像装置10、第二成像装置12、或其二者将原始立体成像图像(或原始图像数据)输入至图像校正模块101。接下来,图像校正模块101与立体对应(stereo correspondence)模块103和边缘探测器105通信。边缘探测器105提供输出至线性霍夫变换器107。立体对应模块103和线性霍夫(Hough)变换器107的输出被提供至容器定位器11。容器定位器11可以访间或接收来自数据管理器109的贮存的(先验的)挂钩和容器测量值、容器尺寸、容器容积或其他接收车辆数据。在一个实施例中,容器定位器111可以接收或访间来自角度估算器11的榫舌角度(接收车辆79的推进部分75与贮存部分93之间)的估算值以及贮存的挂钩容器测量值。
虽然图像校正模块101被示出为容器模块20的一部分,但在可替换的实施例中,图像校正模块101或图像校正器也可以被合并到第一成像装置10、第二成像装置12、或二者中。在另一实施例中,(图像处理模块18或成像装置(10,12)中的)图像校正模块101向收集到的图像数据或原始立体图像提供图像处理过程,以减少或除去径向透镜变形,和立体对应所需的图像对准。径向透镜变形与第一成像装置10、第二成像装置12、或二者的径向镜头相关联。图像校正模块101的输入是原始立体图像数据,而图像校正模块101的输出是校正后的立体图像数据。
在一个说明性的实施例中,图像校正模块101消除或减少图像数据的相同场景的一对立体图像之间任何可能的垂直偏移或差异。进一步地,图像校正模块可以将水平分量(或立体图像的像素的水平线)对准为平行于第一和第二成像装置(10,12)内的每个成像装置(例如,左和右的成像装置)的扫描线或公共参考轴线。例如,图像校正模块可以将像素从原始坐标重新映射至用于右侧图像、左侧图像或二者的修改后的坐标系,以实现立体图像的图像或校正后右和左侧图像的记录(registration)。校正后的图像支持随后的(例如由立体对应模块103执行的)图像处理过程的相同场景的左侧图像和右侧图像中的图像内的相应的像素或物体的有效的处理和容易的识别。
在一种构造中,立体对应模块103向收集到的立体图像数据(例如由图像校正模块101输出的校正后的立体图像数据)应用立体匹配算法或差异计算器。立体匹配算法或差异计算器可以包括绝对差之和算法、平方差之和算法、一致性算法、或其他算法,以确定右图和左图中的(例如,沿着图像的水平轴线或平行于水平轴的)每组对应的像素的区别或差异。
在说明性的绝对差之和过程中,右侧图像和左侧图像(或图像数据的块或图像数据中的行)可以被变换成与右图和左图中对应的像素对准。立体匹配算法或差异计算器确定图像数据的左侧图像和右图中的对应像素之间的差异值。例如,为估算所述差异值,第一对象像素(subject pixel)的每个第一像素强度值和该第一像素周围的(例如,像素块或矩阵中的)第一周围像素强度值的第一和被用于与第二对象像素的每个对应的第二像素强度值和该第二像素周围的(例如,像素块或矩阵中的)第二周围像素强度值的第二和作比较。所述差异值可用于形成对应的右侧图像和左侧图像数据的差异图或图像。
图像处理模块18、或容器定位器111,估算从第一成像装置10、第二成像装置12或二者到位于容器周边81、容器边缘181、出料槽89、出料槽端部87或通过边缘探测器105、线性霍夫变换器107或二者识别出的任何其他线性边缘、曲线、椭圆、圆或物体上的像素或点的距离或范围。例如,图像处理模块18可以使用差异图或图像,以估算从第一成像装置10、第二成像装置12或二者到位于容器周边81、容器边缘181、容器开口83、任意前述项附近的或其他位置上的像素或点的距离或范围。
例如,虽然立体对应模块103被描绘为容器模块20的一部分,但在替换实施例中,立体对应模块103可以包括位于图像处理系统18或差异模块中的单独的模块。
在一个实施例中,容器模块20包括:(1)边缘探测器105,用于测量图像数据中容器周边81上的一个或更多边缘181或点的强度或可靠性;(2)线性霍夫变换器107,用于识别图像数据中候选的线段相对于一个或更多成像装置(10,12)的光轴、参考轴线上参考点的角度和偏移量;(3)容器定位器111,其适于使用空间的和角度的约束以消除那些不能从逻辑上或不可能形成容器周边81的识别出的线段的一部分、或容器周边81上的点的候选的线段;和(4)容器定位器111,将未被消除的识别出的线段或识别出的点变换成相对于接收车辆和收割车辆的参考点或参考系的二维或三维坐标。
边缘探测器105可以将边缘检测算法应用到来自图像校正模块101的校正后的图像数据。任意数目的适当的边缘检测算法可以被边缘探测器105使用。边缘检测指的是识别和定位图像或收集到的图像数据中的像素之间的不连续性的过程。例如,不连续性可以表示限定了图像中的物体的边界的像素强度或像素颜色中的物料变化。边缘检测的梯度技术可以通过下面的方式实现:过滤图像数据以返回第一区域和第二区域中的不同的像素值,其中第一区域具有比第二区域更大的不连续性或梯度。例如,梯度技术通过估算图像数据的像素强度的一阶导数的最大值和最小值检测目标的边缘。拉普拉斯算子技术通过搜索像素强度图像的二阶导数中的零交叉(zero crossings)检测图像中的目标边缘。进一步地,合适的边缘检测算法的例子包括但是不限于,Roberts、Sobel、和Canny,所述算法对于本领域普通技术人员而言是已知的。边缘探测器105可以提供指示场内的边缘181的强度或可靠性的数值输出、信号输出、或符号。例如,边缘探测器可以将在一定范围或量程内的数字或边缘强度指示符或相对强度或可靠性提供至线性霍夫变换器107。
线性霍夫变换器107接收涉及接收车辆的边缘数据(例如,边缘强度指示符),并识别(例如,容器85、出料槽89、出料槽端部87和开口83的)图像数据中的强线段(strong line segment)、弯曲的线段或大致线性的边缘的估算的角度和偏移量。估算的角度与相对于与第一成像装置10、第二成像装置12或二者的镜头相交的线性轴线所成的角或复合角(例如,多维角)相关联。线性霍夫变换器107包括特征提取器,用于从图像数据中识别具有特定形状的物体的线性段。例如,线性霍夫变换器107将图像数据中物体的线方程参数或椭圆方程参数从由边缘检测器105输出的边缘数据中识别出来,或者线性霍夫变换器107将边缘数据分类为线段、椭圆、或圆。因此,能够检测具有大致线性、矩形、椭圆或圆形特征的容器或出料槽。
在一个实施例中,数据管理器109通过用户界面44支持容器参考数据的输入或选择。数据管理器109通过图像处理模块18支持容器参考数据(诸如测量货车尺寸)的输入、检索和贮存,以在货车开口83的潜在边缘181的线段或数据点上向容器定位器111施加空间约束条件。
在一个实施例中,角度估算器113估算接收车辆79的贮存部分93(例如,货车)与接收车辆79的推进部分75(例如,拖拉机)的行进方向的轴线之间的角度。角度估算器113向容器定位器111上的可能是容器开口83的边缘181的线、或数据点施加角约束条件。在构造过程中,角度估算器113被耦合到定位器111(例如,容器定位器或卡尔曼(Kalman)滤波器)。角度估算器滤波器113输出、或能够提供接收到的贮存部分93相对于车辆推进部分75的行进方向的轴线的估算的角度。
定位器111适于接收车辆的容器周边81或贮存部分93的尺寸的测量值,以便于有资格作为容器周边81的识别线段的候选线段的确认。在一个实施例中,定位器111适于接收贮存部分93相对于车辆推进部分75的估算角度,以便于有资格作为容器周边81的线段的候选线段的确认。定位器111使用空间和角度约束条件以消除图像数据中的不可能是或逻辑上不可能是容器开口83或容器边缘181的一部分的候选线,然后选择优选的线(或容器周边81上的数据点)作为最可能的候选线,用于验证容器开口83(其中的物料)或容器边缘181。定位器111将这些优选的线特征化为或者将它们转化成相对于车辆或另一参考系的三维坐标,以表示容器85的容器周边。
图6A示出能够位于成像装置10中的图像校正模块101或图像校正器。图像校正模块101提供校正的立体图像到容器模块20,用于处理。如图所示,容器模块10可以从接收车辆上的以下一个或多个来源接收输入数据:数据管理器(例如,容器安装模块)109、可测距传感器440、惯性传感器442、第二定位接收器142或角度传感器(未示出)。可以被连接到数据总线60的榫舌角度传感器提供指示在接收车辆的推进部分和贮存部分之间的枢转点处的拖车榫舌角度或铰接角的传感器数据。容器模块10使用输入数据来估算容器位置或其容器周边。如在本文中使用,容器位置可以包括容器、贮存部分或接收车辆上或用于容器、贮存部分或接收车辆的任何点、参考点或者三维坐标。
数据管理器109存储由用户通过用户界面44输入关于悬挂装置尺寸和拖车尺寸的输入数据或先验信息数据。容器模块20适于通过处理一个或多个以下的输入数据来确定容器位置:(a)指示接收车辆的推进部分和贮存部分之间的拖车榫舌角度的传感器数据;(b)推进部分的朝向;(c)推进部分的位置(例如,前端位置);(d)贮存部分的位置(例如,尾部位置),和(e)与贮存部分的一个或多个维度相关联的物理车辆数据,如拖车榫舌的枢转点和轴距之间的距离,以及(f)与贮存部分的相对于所述推进装置的移动相关联的运动模型数据。图像处理模块18可使用、检索或访间先前存储的数据,如与接收车辆相关的尺寸参数,尺寸参数包括贮存部分93的拖车牵引装置和前轮旋转轴线之间的距离。这样的尺寸参数可以通过例如连接到车辆数据总线60或图像处理模块18的用户界面44被输入。
图6C的容器模块120类似于图6B的容器模块20,除了图6C还包括连接在图像校正器101的输出端和容器识别模块111的输入端之间的立体对应模块103(例如,视差图像产生器)。图6B和图6C中相同的附图标记表示相同的元件。容器模块120可以代替图1至图3A的容器模块20。
容器识别模块111基于通过处理以下的输入数据中的一个或多个来识别容器位置或容器周边:(a)接收车辆的推进部分和贮存部分之间的拖车榫舌角度的传感器数据指示;(b)推进部分的朝向;(c)推进部分的位置(例如,前端位置);(d)贮存部分的位置(例如,尾部位置),和(e)与贮存部分的一个或多个维度相关联的物理车辆数据,如拖车榫舌的枢转点和轴距之间的距离,以及(f)与贮存部分的相对于所述推进装置的移动相关联的运动模型数据。下列传感器中一个或多个可以提供上述输入数据到容器识别模块:数据管理器(例如,容器安装模块)109、可测距传感器440、惯性传感器442、第二定位接收器142或角度传感器(未示出)。
图7A是框图,其比图1更详细地示出了图像处理模块18和出料槽模块22。图1、图6、图7A、图7B中类似的附图标记指代类似的元件。在图7A中,图像校正模块101与立体对应模块103以及出料槽分类器121通信。接下来,出料槽分类器121提供输出至出料槽定位器125。出料槽定位器125访间或接收来自角度传感器115或出料槽位置估算器123的出料槽位置(或相对于传送车辆的行进方向或车辆参考系的出料槽角度(α))、来自立体对应模块103的立体对应数据、和来自出料槽分类器121的输出数据。
虽然图像校正模块101被示出为出料槽模块22的一部分,但是在可替换的实施例中,图像校正模块101或图像校正器也可以被合并到第一成像装置10、第二成像装置12或其二者中。
例如,虽然立体对应模块103被描绘为出料槽模块22的一部分,但在可替换的实施例中,立体对应模块103也可以包括位于图像处理系统18或差异模块内的单独的模块。
在一个实施例中,出料槽模块22包括出料槽分类器121,所述出料槽分类器121被配置成用于基于校正后的图像数据或原始图像数据的图像数据(或像素)的反射率、强度、颜色或纹理特征中的至少一项去识别图像数据中的候选像素,其中所述候选像素代表出料槽89或出料槽端部87的一部分。
在一种构造中,出料槽定位器125适于基于出料槽89的一部分的被分类、被识别的候选像素或基于图像处理模块18的其他图像处理过程估算出料槽89与成像装置之间的相对位置。在另一种构造中,出料槽定位器125基于下述项估算出料槽89或出料槽端部87的相对位置:(1)(a)来自旋转传感器(216或266)的旋转角数据,或(1)(b)来自旋转角传感器(216或266)的旋转角或出料槽角度(α)与来自倾斜传感器268的倾角的组合,和(2)自出料槽89旋转所围绕的转动轴线起算的出料槽89的长度。出料槽定位器125能够基于前述测量值估算出料槽端部87相对于成像装置的安装位置或一个或多个成像装置的光轴或参考轴线的联合收割机出料槽位置或出料槽角度(α),以在出料槽89可能被定位的位置上提供约束数据。
出料槽分类器121应用或包括关于算法的软件指令,所述算法基于经处理的或原始图像数据中的预期颜色和纹理特征识别可能是出料槽89或出料槽端部87的一部分的候选像素。例如,在一种构造中,可以用比出料槽89或传送车辆的其余部分具有更强光学或红外反射率、强度、或亮度的涂层或图案描绘、涂覆、标号或标记出料槽端部87。出料槽端部87的更强的亮度、强度或反射率(或与背景像素相对的图像数据的有关的出料槽像素)可以通过相对于(成像装置(10,12)的视场中的)传送车辆的出料槽89或其他部分剩余部分用白色、黄色、铬黄色或亮色彩或阴影描绘或涂覆所述出料槽端部87而获得。
在一个实施例中,出料槽位置估算器123接收之前测量值和容器参考数据的输入,并输出出料槽位置、出料槽角度或其相关误差的估算值。出料槽位置估算器123相对于以下一项或多项提供联合收割机出料槽位置、或出料槽角度、或其误差的估算值:(1)传送车辆上出料槽的安装位置或枢转点;或(2)第一成像装置10、第二成像装置12或其二者的光轴或其他参考轴线或点;或(3)与传送车辆的行进方向或对准有关的轴线。在一个实施例中,出料槽位置估算器123被连接到出料槽定位器125。
在一个实施例中,出料槽定位器125包括卡尔曼滤波器。卡尔曼滤波器输出出料槽89或出料槽端部87可能被定位的位置上的约束条件、估算的出料槽位置、或出料槽位置区域、或估算的出料槽位置区域。出料槽定位器125获得被分类为属于联合收割机螺旋推运器出料槽89的像素,并且使用差异图像(来自于立体对应数据)去估算出料槽与第一成像装置10、第二成像装置12、或第一和第二成像装置二者、或与车辆有关的参考轴线或坐标系的相对位置。
图7B描绘了出料槽模块122的可替换的构造。除出料槽模块22结合有与图6的那些类似的一些构件或方块之外,出料槽模块122与图7A的出料槽模块22类似。类似的附图标记指示图1、图6、图7A、和图7B中类似的元件。在图3A中,图7B的出料槽模块122可以代替出料槽模块22,其中系统31被安装在接收车辆上,除非传送车辆具有用于出料槽的旋转传感器并且所述旋转传感器将出料槽旋转角发送到系统31用于处理。
在图7B中,可选择的边缘探测器105和可选择的线性霍夫变换器107以虚线示出。可选择的边缘探测器105被连接到线性霍夫变换器107。接着,线性霍夫变换器107被连接到出料槽定位器125。边缘探测器105和线性霍夫变换器107如上所述与图20的容器模块20一起工作,除此之外仅存在如下不同:处理后的图像数据涉及出料槽89和出料槽端部87的位置或坐标,而不是贮存容器93或其容器周边81的位置。
在一个实施例中,边缘探测器105(无论是单独使用或是与线性霍夫变换器107结合使用)检测出料槽89的边缘或出料槽端部87的边缘。例如,图像数据中出料槽89的边缘的检测和它的对应的坐标(例如,三维坐标)可以提供相对于传送车辆或传送车辆上的参考点的出料槽角度、出料槽的旋转角、或出料槽端部87的对准的指示。虽然来自与出料槽相关联的任何旋转传感器、倾斜传感器或偏转器传感器的传感器数据都可以用于将所收集到的图像数据中的用于图像处理的数据限制到感兴趣的特定区域或象限以更有效地处理这些图像数据,但是图7B的出料槽模块122可以提供出料槽角度、出料槽89的位置、或出料槽端部87的位置(例如,三维坐标)而无需任何来自于旋转传感器216或旋转传感器266的传感器数据。
图7C示出方框图,其显示用于出料槽模块222的逻辑数据流,出料槽模块222使用出料槽角度传感器检测出料槽相对于传送车辆的角度,用于估算出料槽端部相对于贮存部分的位置。在替代实施例中,出料槽模块222可以代替图1至图3A中的出料槽模块22。
在图7C中,旋转传感器(116或266)能够经由数据总线由传送车辆上的第一无线通信装置48发送角度传感器数据或出料槽旋转角度。第一无线通信装置48发送使用出料槽位置数据进行调制的电磁信号到第二无线通信装置148。出料槽位置输入数据包括以下一个或多个:角度传感器数据、出料槽旋转角度、已知的出料槽长度、出料槽倾斜角度和出料槽偏转器状态。出料槽识别模块221接收来自第二无线通信装置148的出料槽位置的输入数据和来自图像校正模块101的校正图象数据。
在图7C这里,旋转传感器116或266布置成检测传送车辆上的出料槽的旋转角度。出料槽模块(例如,22)或者系统(11,111,311或411)可以基于出料槽89的旋转角度和已知长度估算出料槽位置。出料槽的已知长度可能由于制造商和传送车辆的型号而不同。出料槽的已知长度可以:由用户或操作者输入到用户界面44中或在用户界面44中选择、被编程到系统(11,111,311或411)中,和/或甚至通过在传送车辆上的无线电频率识别(RFID)标签的检测而被触发,所述标签由接收车辆上的RFID读取器读取。
在传送车辆上的第一无线通信装置48被布置用于发送出料槽位置输入数据或表示检测到的出料槽的旋转角度的传感器数据。在接收车辆上的第二无线通信装置148用于接收出料槽位置输入数据或表示检测到测的旋转角度的传感器数据。在一个实施例中,出料槽模块(例如,22)或出料槽识别模块221基于以下一个或多个来估算出料槽位置:(1)出料槽位置输入数据或传感器数据和(2)出料槽的已知长度。
图7D的出料槽模块322类似于图7C的出料槽模块222,除了图7D的出料槽模块322还包括立体对应模块103(例如,视差图像产生器)。图7C和图7D中相同附图标记表示相同元件。在替代实施例中,出料槽模块322可以替代图1至图3A的出料槽模块222。
在图7C的实施例中,出料槽模块(例如,22)或出料槽识别模块221基于以下一个或多个来估算出料槽位置:(1)出料槽位置输入数据或传感器数据;(2)出料槽的已知长度;和(3)通过图像数据处理模块18或出料槽模块22处理图像数据以补充或互补由上述项1和2中得到的出料槽位置。例如,图像处理模块18或出料槽模块22可以通过在一个或多个采样周期期间处理所收集的图像数据的视差图像来识别出料槽的出料槽端部。出料槽识别模块221可以结合选自图案识别检测器、颜色鉴别检测器以及边缘检测器组成的组中的各种检测器或图像处理器。如果颜色或视觉图案被放置在出料槽端部上或靠近出料槽端部以便于区分背景像素数据与出料槽数据,则图案识别检测器、颜色鉴别检测器或边缘检测器可以被编程或以定制方式训练以容易地、快速地和有效地识别出料槽端部或出料槽位置。图像处理模块18或出料槽模块22可以确定像素到第一成像装置10的距离来估算出料槽端部87的坐标或出料槽89的出料槽位置。
图8是便于从车辆上或在传送车辆91和接收车辆79之间传送或卸载农业物料的方法的流程图。图8的方法可以开始于步骤S900,并且可以使用这里先前所公开的以下一个或多个系统(11,111,311或411)的实施例。
在步骤S900中,如果传送车辆91具有贮存部分,传送车辆91(例如,收割机或联合收割机)将农业物料贮存在传送车辆91的贮存部分(例如,谷物仓)中。例如,当传送车辆91向前移动和收割在田地中的作物时,传送车辆可以将农业物料贮存在传送车91的贮存部分中。当传送车辆91的贮存部分或贮存容器(例如,粮箱)已满或接近满载时,接收车辆可以沿着移动传送车辆91的一侧移动,用于卸载农业物料(例如,与图4A中的图示一致或类似)。
在一个替代实施例中,如果传送车辆包括粮草收割机或不具有贮存部分,图8的方法可以开始于步骤S902而不是步骤S900。
在步骤S902中,第一成像装置10的面朝向接收车辆79(例如,谷物拖车)的贮存部分,并且收集图像数据(例如,立体图像数据或单眼图像数据)。例如,成像装置10可以被安装在传送车辆91上,面对接收车辆79和面对容器85。在一个实施例中,第一成像装置10具有接收车辆79的贮存部分的第一视场(图4A中的77)。
在代替的实施例中,第一成像装置10包括单眼成像装置,其提供场景或物体的第一图像部分或图像数据。
在步骤S906中,图像处理模块18或容器模块20通过处理收集到的图像数据、通过处理其它输入数据(例如,第一位置数据、第二位置数据、第一运动数据、第二运动数据)或者两者确定容器位置或贮存部分的容器周边。如本文中所使用,容器位置可以包括用于容器、贮存部分或接收车辆的任何点、参考点或三维坐标,或者容器、贮存部分或接收车辆上的任何点、参考点或三维坐标。步骤S106可以根据可以交替地或累积地施加的不同的技术进行。根据第一种技术,图像处理模块18或容器模块20可以采用下述方法或子步骤:(1)测量图像数据(原始的和校正的图象数据)中的一个或多个边缘181的强度;(2)识别在所述图像数据中的候选直线段关于光轴、参考轴(例如,传送车辆的行进方向)或被编址到一个或多个成像装置(10,12)的参考点的角度和偏移;和(3)利用空间和角度约束条件来消除在逻辑上不能形成或可能地形成容器周边的所识别的直线段的识别的候选直线段,其中定位器111将所识别的直线段变换成相对于接收车辆和/或收割车辆的参考点或参考系的三维坐标。
在第二种技术下,图像处理模块18或容器模块20可以接收容器参考数据,或车辆的容器周边81或贮存部分93的尺寸的测量,以便于在取样时间周期期间识别收集到的图像数据中的候选直线段或候选数据点,所述候选直线段或候选数据点有资格作为容器周边81的被识别的直线段或边缘。
在第三种技术中,图像处理模块18或容器模块20可以接收贮存部分93相对于车辆的推进部分75的估算角度97,以便于在取样时间周期期间识别收集到的图像数据中的候选直线段,该候选直线段有资格作为容器周边81的被识别的直线段或的能够识别的边缘。
在第四种技术中,图像处理模块18或容器模块20提供贮存部分93的相对于车辆的推进部分75的接收的估算角度97。
在第五种技术中,图像处理模块18在收集到的图像数据(例如,第一图像数据或图像数据)中识别贮存部分93的容器周边81,其中贮存部分93具有从容器周长81向内的开口83,用于接收农业物料。例如,图像处理模块18或容器模块20通过在所收集的图像数据中识别容器周边的一个或多个边缘来识别贮存部分93的容器周边81。
在第六种技术中,容器模块20或系统(11,111,311,411)适于基于通过处理以下的输入数据中一个或多个来确定容器位置:(a)接收表示车辆的推进部分和贮存部分之间的拖车榫舌角度的传感器数据;(b)推进部分的朝向;(c)推进部分的位置(例如,在两维或三维坐标中的前端位置);(d)贮存部分的位置(例如,在两维或三维坐标中的尾部位置);(e)来自定位接收器(42,142)的第一位置数据、第二位置数据或两者,(f)来自定位接收器(42,142)的第一运动数据、第二运动数据或者两者,(g)与贮存部分的一个或多个维度相关联的物理车辆数据,如拖车榫舌的枢转点和轴距之间的距离,或(h)与贮存部分的相对于所述推进装置的移动相关联的运动模型数据(例如,车辆操纵模型或改进的自行车模型)。
在步骤S908中,图像处理模块18或出料槽模块22在所收集的图像数据中识别传送车辆(例如,收割车辆)的出料槽89(或出料槽端部87),以确定出料槽位置(例如,出料槽端部87)。出料槽位置可以包括在出料槽89或出料槽端部87上的或用于出料槽89或出料槽端部87的任何点、参考点或三维坐标。图像处理模块18或出料槽模块22可以使用可以交替地或累积地应用的各种技术。根据第一种技术,图像处理模块18或出料槽模块22经由至少一个检测器来识别出料槽的出料槽端部,所述至少一个检测器选自图案识别检测器、颜色鉴别检测器和边缘检测器组成的组,其中颜色或视觉图案被放置在出料槽端部上或出料槽端部附近,以便于区别出料槽数据与背景像素数据。
在第二种技术下,图像处理模块18或出料槽模块22基于图像数据的预期的颜色和预期的纹理特征来识别在图像数据(例如,校正或原始图像数据)中的候选像素,其中候选像素表示出料槽89的部分(例如,联合收割机螺旋推运器出料槽)或出料槽端部87。
根据第三种技术,图像处理模块18或出料槽模块22基于出料槽89的一部分的被分类的、识别的候选像素估算出料槽89或出料槽端部87到成像装置的相对位置或相对角度。图像处理模块18或立体对应模块103可以确定到第一、第二或第三技术的识别的候选像素的范围或坐标(例如,三维坐标)、在出料槽上的点或来自视差图像的出料槽上的点的构象。
在第四种技术下,图像处理模块18或出料槽模块22接收相对于安装位置、光轴、参考轴线或成像装置的参考点(10,12)的估算的联合收割机出料槽位置,或者出料槽角度。例如,估算的出料槽位置或出料槽角度可以基于先前的测量值,以提供与出料槽56可以定位的位置相关的约束数据。交替地,来自旋转传感器(116或266)的传感器数据可以被从传送车辆上的系统11或111经由第一无线通信设备48和第二无线通信装置148无线地发送到接收车辆。
根据第五技术,图像处理模块18或出料槽模块22提供所估算的联合收割机出料槽位置,或估算的出料槽角度,到出料槽定位器125,其中出料槽模块22或出料槽定位器125确定像素到第一成像装置的距离来估算出料槽的出料槽端部的坐标。
根据第六种技术,出料槽模块不使用出料槽角度传感器,该出料槽角度传感器用于检测出料槽相对于传送车辆的角度的出料槽角度传感器,用于估算出料槽端部相对于贮存部分的位置。
在步骤S912中,图像处理模块18或对准模块24确定出料槽89(例如,出料槽端部87)的相对位置和容器位置(或容器周边81),以产生用于推进部分的命令数据或用户界面数据,以便于以协作对准(或用于物料从传送车辆到接收车辆的传送的目标对准)的关系布置出料槽89(例如,出料槽端部87)和贮存部分。协作对准是指出料槽端部87和贮存部分的对准,其适合用于高效或有效地从传送车辆传送物料到接收车辆,其中出料槽89(例如,出料槽端部87)与贮存部分或其容器周边81的中间区域83或另一目标区对准。
根据用于执行步骤S912中的第一过程,图像处理模块18或对准模块24适于通过控制接收车辆或其贮存部分的位置来提供命令数据或用户界面数据以对准出料槽89、出料槽端部87或者容器位置内的出料槽位置。在可以与第一过程累积地或分开地应用的第二过程中,图像处理模块18或对准模块24适于通过控制接收车辆或其贮存部分的位置,提供命令数据或用户界面数据以对准出料槽89、出料槽端部87或容器周边内的出料槽位置。
在步骤S914中,在第一配置中,控制器(59或159)或操纵控制器32按照协作对准或命令数据操纵接收车辆(和/或调整车辆的相对地面速度)。在第二配置中,车辆控制器或操纵控制器32可以按照协作对准或命令数据来操纵传送车辆。在第三配置中,传送车辆91和接收车辆79两者的车辆控制器(59或159)或操纵控制器32按照协作对准或者适用于卸载物料或在车辆之间传送物料的目标空间偏移的保持来操纵两个车辆。在第四配置中,致动器210(例如,伺服马达、电动马达、线性马达及线性到旋转齿轮组件,或电-液压装置)响应于对准模块24或图像处理模块18(例如,智能卸载控制器)控制出料槽89或出料槽端部87相对于传送车辆的行进方向或另一个参考轴线的出料槽角度。
图9示出用于便于农业物料从传送车辆传送到接收车辆的方法的实施例。图9和此处任何其它附图中的相同的附图标记指示相同的步骤、过程或元件。图9的方法开始于步骤S950。
在步骤S950中,成像装置(10,12)收集图像数据和面向接收车辆79中的贮存部分93,其中贮存部分93能够贮存农业物料。例如,除其他事项以外,所收集的图像数据可以包括贮存部分93、容器周边81、出料槽89、出料槽端部87,接收车辆79的车轮、以及容器85的内部中的内容物或农业物料的场景或表示。
在步骤S952中,与传送车辆91相关联的第一定位接收器42确定第一位置数据。第一定位接收器42可以确定用于传送车辆91的方向数据、速度数据和加速度数据。第一位置数据通常参照安装在传送车辆91上或与传送车辆91相关联的第一定位接收器42的天线来确定。在替代实施例中,第一定位接收器42确定第一位置数据和第一运动数据(例如,速度、加速度、方向或偏航角、俯仰角、滚动角)。
在步骤S954中,第二定位接收器142确定第二位置数据。第二定位接收器142与接收车辆79或其贮存部分93相关联。第二定位接收器142可以确定用于接收车辆79的方向数据、速度数据和加速度数据。第二位置的数据通常参照安装在传送车辆91上或与传送车辆91相关联的第二定位接收器142的天线来确定。在一个替代实施例中,第二定位接收器142确定第二位置数据和第二运动数据(例如,速度、加速度、方向或偏航角、俯仰角、滚动角)。
在步骤S956中,容器模块20或图像处理模块18在收集到的图像数据中识别容器位置或贮存部分93的容器周边81。容器位置表示在贮存部分或接收车辆上或用于贮存部分或接收车辆的参考点或三维坐标。例如,容器位置可以包括定位在贮存部分以上的投影表面区域上的用于参考点或空间位置的三维坐标,其中参考点是用于从传送车辆接收物料的目标区域。虽然上述参考点可以被定义为在贮存容器的顶部处的开口区域的中心区域或几何平均数,在替代实施例中,参考点可以与任何目标区域对准,用于从传送车辆接收物料。例如,容器模块20如结合图6所讨论的那样操作。
在步骤S958中,出料槽模块22和图像处理模块18在收集到的图像数据中识别(如果可能的话)传送车辆91的出料槽或出料槽位置。如贯穿本文所使用,出料槽位置涉及出料槽端部的位置或传送车辆的出料槽上的或用于传送车辆的出料槽的一个或多个参考点或三维坐标。例如,出料槽位置可以包括位于出料槽端部87的开口处的投影表面上的参考点(例如中心点)或空间位置。如果出料槽端部87开口的是圆形的或椭圆形的,参考点例如可以位于该圆的中心处或者在椭圆的垂直定向长轴和短轴轴线的交点处。出料槽模块22例如如结合图7所讨论的进行操作。
在步骤S960中,对准模块24或图像处理模块18确定(如果可能的话)出料槽89(或出料槽端部87)和容器位置(或容器周边81)的相对位置。例如,对准模块24或图像处理模块18可以通过确定出料槽位置和容器位置之间的差(例如,通过矢量相加或三维坐标的减法)确定所述相对位置。
在步骤S963中,对准模块24或图像处理模块18基于所述相对位置生成用于接收车辆的命令数据或用户界面数据,以便于以协作对准或目标对准的方式布置出料槽和贮存容器。例如,命令数据被传输到以下一个或多个:接收车辆的操纵控制器32、制动控制器36和推进器40,以控制其方向、位置、速度或加速度,以便于以协作对准或目标对准的方式布置出料槽和贮存容器。代替地,如果不发送命令数据,用户界面数据在用户界面44上被提供、输出或显示给接收车辆的操作者,使得操作者可以手动地控制操纵系统30、制动系统34和推进系统38以控制其方向、位置、速度或加速度,以便于以协作对准或目标对准的方式布置出料槽和贮存容器。
协作对准可以指出料槽89或出料槽端部87被对准在容器周边81的目标区域或中心区域内,用于在车辆之间卸载或者传送物料。例如,目标区域在农业物料从传送车辆91的出料槽89传送到接收车辆79的贮存部分中的过程中可以是静止的或移动的,其中静止的目标区域可以与具有小于临界阈值的相应的最大宽度、最大长度或最大尺寸的特定贮存部分93相关联,并且其中移动的目标区域可以与具有大于或等于目标区域的最大宽度、最大长度或最大尺寸的特定贮存部分93相关联。例如,所述最大宽度、最大长度、最大尺寸和临界阈值可以作为容器数据被存储在图像处理系统18的数据贮存装置19中。图像处理模块18或对准模块24可以处理容器数据以产生用于调整或控制车辆之间的相对空间偏移量的命令数据。
在步骤S966中,主/从控制器59或坐标模块57基于定位接收器(42,142)的第一位置数据和第二位置数据确定车辆(79,91)之间的相对车辆位置或空间偏移。另外,主/从控制器59或坐标模块可以使用定位接收器(42,142)的第一运动数据和第二运动数据,以考虑速度或加速度随时间改变的变化,这种变化可能影响相对车辆位置(例如,在时间系列中或系统11,111,311或411的系列取样间隔中)。主/从控制器59或坐标模块57也可以考虑车辆的相对方向、传送车辆91的路径规划和接收车辆79的路径规划,以建立车辆的相对车辆位置或空间偏移。
在步骤S966中,控制器(59或159)或坐标模块57生成命令数据来操纵推进部分,并且引导贮存部分,以根据协作对准保持车辆之间的目标空间偏移,使得出料槽在目标区域内对准。
为执行步骤S966,成像处理模块18可以使用传送车辆上的第一定位接收器42的第一位置数据,和接收车辆上的第二定位接收器142的第二位置数据,以确定下述项中的一个或多个:(1)在接收车辆和传送车辆上的固定的参考点(例如,定位接收器(42,142)的天线)之间的相对空间间距,(2)出料槽位置和容器位置(例如,容器周边)之间的相对对准,(3)传送车辆和接收车辆上的参考之间的空间间距和角度,该空间间距和角度用于在出料槽89和容器周边81之间实现相对对准或目标空间偏移,以支持从出料槽可靠卸载或传送农业物料到接收车辆的容器85中。
在步骤S968中,操纵控制器32、对准模块24或主/从控制器59根据车辆(79,91)的协作对准和所确定的相对车辆位置或空间偏移(例如,在图4中的φ或;Δ)操纵接收车辆79的推进部分75。
图10是用于便于从车辆上或在传送车辆(91)和接收车辆(79)之间卸载农业物料的方法的流程图。图10的方法可以开始于步骤S900,并且可以使用这里先前公开的系统(11,111,311或411)的一个或多个以下实施例。
图10的方法类似于图8的方法,除了图10的方法增加了步骤S916和S918。在图8和图10中相同的附图标记表示相同的元件。
在步骤S916中,图像处理模块18或对准模块24确定出料槽89或出料槽端部87和容器位置(或容器周边81)的相对位置,并且生成命令数据,该命令数据用于系统11的螺旋推运器旋转系统16的致动器210或系统111的旋转致动器260、倾斜致动器262和偏转致动器264,以调整、操纵、转动或引导协作对准的出料槽角度或出料槽位置,使得出料槽89(或出料槽端部87)对准贮存部分其容器周边81的中心区域或另一目标区域。
在一个实施例中,系统(11,111,311,411)或对准模块24首先在两个车辆(例如,在步骤S912及S914中的传送车辆和接收车辆)之间建立相对位置或对准。其次,在步骤S916中,系统(11,111,311或411)或对准模块24通过螺旋推运器旋转系统16对出料槽进行的旋转(出料槽角度)来调整农业物料被卸载到接收车辆中的区域或面积。对于小的调整或填充贮存部分的特定区域或容积,对准模块24主要通过螺旋推运器旋转系统16对出料槽的旋转(出料槽角度)来调整贮存部分中的农业物料被卸载到接收车辆中的面积或区域。利用出料槽的旋转可以比重新对准传送和接收车辆之间的空间间隔(例如,通过操纵一个或两个车辆)更为有效,其中出料槽端部可以在出料槽端部与容器周边之间实现同一对准。
在一个配置中,用于出料槽的默认的出料槽角度或位置离传送车辆的行进方向或与出料槽的旋转轴线对齐的垂直平面大约90度。对于一些传送车辆,出料槽角度可以的范围是受限制的(例如,从垂直角加上或减去20度)。例如,如果传送车辆是联合收割机,可以只允许该联合收割机从垂直方向顺时针旋转大约20度或在离传送车辆的行进方向约70度到约90度的范围内。螺旋推运器的端部在它旋转时的轨迹是弧线。
在步骤S918中,在第一配置中,车辆控制器46或致动器216按照协作对准调整、操纵、引导或转动出料槽角度或出料槽位置。因为出料槽89的旋转角度的限制,在一个实施例中,对准模块使用车辆的出料槽角度调整和相对位置调整两者,以实现接收车辆79的贮存部分93的完整的、平均的和均匀的分布的装载。因此,步骤S912和S914可以被重复或由步骤S916或S918调用,虽然车辆的相对位置调整可以通过前后调整被最小化,车辆位置的横向调整可能是必要的,以补充对于长、宽或大的贮存部、容器或接收车辆的出料槽角度调整,以促进均匀的或平均的装载。因此,可以经常、周期性地或根据要求调整传送车辆和接收车辆之间的相对速度,以执行填充策略或均匀填充操作。
图11的方法类似于图9的方法,除了图11的方法还包括步骤S970。在图11和图9中,相同的标号表示相同的的步骤或过程。
步骤970可以在步骤S968之后、之中或之前执行。在步骤S970中,操纵控制器32、对准模块24或主/从控制器59操纵接收车辆79的推进部分75以在传送车辆和接收车辆(79,91)之间改变空间偏移量(例如,图4中的φ或,Δ),以促进农业物料均匀地分布在贮存部分93中。例如,根据空间偏移的预设位置的矩阵(例如,多维矩阵)改变空间偏移量,其中矩阵的每个点都与车辆(79,91)之间的唯一横向偏移(Δ)和向前/向后偏移量(Φ或φ)相关联。所述预设位置(或车辆的相对空间的偏移)可以彼此偏移均匀的空间增量或等距离量。该矩阵可以包括具有四个独特的相对车辆位置的2×2矩阵、具有六个独特的相对车辆位置的2×3矩阵或者具有九个独特的相对车辆位置的3×3矩阵,或用于传送车辆和接收车辆的相对位置的任何其他合适尺寸的矩阵。
图12的方法类似于图9的方法,除了图12的方法增加了步骤S971。在图12和图9中,相同的标号表示相同的图的步骤或过程。
在步骤S971中,对准模块24或控制装置(59或159)定期地或周期性地调整相对协作对准(例如,按照预先设定的相对的车辆的位置的矩阵),以促进农业物料均匀地分布在贮存部分93中。例如,物料轮廓模块27或图像处理模块18可以提供贮存部分93内的农业物料(例如,如图5C的说明性示例,在二维或三维空间中)的轮廓或分布(例如,高度或高度对比二维位置),并且对准模块24或控制器(59,159)可以在空间偏移范围(例如,关于车辆具有足够的安全性间隙,以避免碰撞)内改变、移动、调整或扫掠车辆相对位置或空间偏移量,以朝向容器85的空的或未满容积部分(例如,农业物料的较低高度区域)引导农业物料。
图13的方法类似于图9的方法,除了图13的方法还包括步骤S971和S972。在图9、图12和图13中,相同的标号表示相同的步骤或过程。
在步骤S972中,操纵控制器32、对准模块24或主/从控制器(59或159)通过在其范围内调整出料槽角度而操纵推进部分75来保持车辆(79,91)之间的空间偏移量(例如,横向偏移(Δ)和前/后偏移量(φ或)),除非贮存部分93的长度、宽度或尺寸超过贮存部分93的进行均匀填充的相应的最大长度、最大宽度或最大尺寸。如果所观察到的贮存部分93的长、宽或尺寸超过贮存在数据存储装置19中的相应的最大长度、最大宽度或最大尺寸,则物料轮廓模块27、图像处理模块20或者分布式填充状态传感器149监视在贮存部分93中的农业物料的轮廓以提供轮廓数据,用于改变、调整或旋转出料槽角度,以通过引导出料槽端部朝向贮存部分93的特定容积或区域来促进农业物料在贮存部分93中的均匀分布,所述特定容积或区域比贮存部分93的另一个容积或区域包含较少的农业物料。
对于图8至图13的方法,传送车辆91的主/从控制器59可以通过自动引导模块55按照引导模式下的路径规划促进传送车辆91的自动引导。在一种模式下,如果主/从控制器59被配置、编程和操作作为主/从控制器,则从/主/从/主控制器159被配置、编程和操纵作为从控制器。相反地,在其中主/从控制器59被配置、编程或操作作为从控制器的另一种模式中,则从/主/从/主/控制器159被配置、编程或操作作为主/从控制器。在任一情况下,主/从控制器经由无线通信装置(48,148)以无线方式将命令数据发送到从控制器,使得具有主/从控制器的一个车辆(传送或接收车辆)作为引导车辆运行,具有从控制器的另一个车辆作为跟随车辆运行。
主/从控制器59或自动引导模块55估算路径计划与如由第一定位接收器42测得的传送车辆91的实际路径和实际方向之间的误差。同时,接收车辆的从/主/从/主控制器159可以便于接收车辆79以跟随模式跟踪路径规划(例如:延迟相对稳定的时间偏移)。从/主/从/主控制器159或自动引导模块155估算路径计划与如由第二定位接收器142测得的传送车辆79的实际路径和实际方向之间的误差。引导车辆用于按照协作对准操纵接收车辆79的数据消息。
虽然成像装置(10,12)很容易受到短暂阳光、阴影、灰尘、反射光或可能在农业环境中暂时中断成像装置的正确操作的其它的照明条件;但在与本文中公开的系统和方法很适合于减少或消除与在环境光条件下物料变化相关联的不利影响。因此,在本文中公开的系统和方法甚至支持出料槽和计数器在环境光条件波动的情况下的精确引导和对准。
本发明的方法和系统通过借助于来自定位接收器的位置数据促进车辆的速率或速度匹配而非常适合用于增强从传送车辆(例如,联合收割机)到接收车辆(例如,牵引谷物拖车的拖拉机)的卸载的效率,其中,出料槽端部和容器周边的对准的微调是由来自一个或多个成像装置的图像数据支持的。在不存在本发明的方法和系统的情况下,接收车辆的操作员倾向于设定比用于收割的最优速度低的恒定速度,以避免将农业物料撒落到在地上并且错过接收车辆的容器。因此,与其他可能的方法和系统相比,本发明的方法和系统非常适于减少收获一块田地以及收集谷物的时间。
已经描述了优选的实施例,明显地,在不背离由附随的权利要求限定的本发明的范围的情况下,可以做出各种修改。

Claims (33)

1.一种用于便于将农业物料从传送车辆传送至接收车辆的系统,所述系统包括:
接收车辆,所述接收车辆包括用于推进接收车辆的推进部分和用于贮存农业物料的贮存部分;
出料槽,能够操作地连接到传送物料,用于传送农业物料到接收车辆;
朝向接收车辆的贮存部分的成像装置,该成像装置收集图像数据;
容器模块,用于确定容器周边或贮存部分的容器位置;
出料槽模块,用于在所收集的图像数据中识别传送车辆的出料槽;和
对准模块,用于基于所收集的图像数据确定出料槽的相对位置和容器位置,和用于产生用于接收车辆的命令数据或用户界面数据,以便于以相对的协作对准或目标对准的方式布置出料槽和贮存容器,用于将物料从传送车辆传送到接收车辆。
2.根据权利要求1所述的系统,还包括:
与传送车辆相关联的第一定位接收器,用于提供传送车辆上的第一位置数据;
与接收车辆相关联的第二定位接收器,用于提供接收车辆上的第二位置数据;
坐标模块,用于基于第一位置数据和第二位置数据确定车辆的相对位置或空间偏移量,以及用于产生命令数据来操纵推进部分和引导贮存部分,以保持车辆之间的目标空间偏移量与协作对准相一致,使得出料槽被对准在目标区域内;和
操纵控制器,与推进部分的操纵系统相关联,用于按照协作对准和空间偏移量操纵接收车辆。
3.根据权利要求1所述的系统,其中容器模块适于通过处理以下的输入数据中一个或多个来确定容器位置:(a)表示接收车辆的推进部分和贮存部分之间的拖车榫舌角度的传感器数据;(b)推进部分的方向;(c)推进部分的位置;(d)贮存部分的位置;和(e)与贮存部分的一个或多个维度相关联的物理车辆数据,如拖车榫舌的枢转点和轴距之间的距离;和(f)与贮存部分的相对于推进装置的移动相关联的运动模型数据。
4.根据权利要求1所述的系统,其中容器模块适于通过在所收集的图像数据中识别贮存部分的容器周边的一个或多个边缘来在所收集的图像数据中识别贮存部分的容器周边。
5.根据权利要求1所述的系统,其中通过控制接收车辆或其贮存部分的位置,出料槽被对准在贮存部分的在容器周边内侧的目标区域或中心区域内。
6.根据权利要求1所述的系统,其中对准模块在一定范围内调整传送车辆和接收车辆之间的相对协作对准或空间偏移量,以促进农业物料均匀地分布在贮存部分中。
7.根据权利要求1所述的系统,其中对准模块和坐标模块协作以改变传送车辆和接收车辆之间移动空间偏移量,以促进农业物料均匀地分布在贮存部分中。
8.根据权利要求7所述的系统,其中空间偏移量是根据空间偏移量的预设位置的矩阵而被改变的,其中该矩阵的每个点与传送车辆和接收车辆之间的唯一的横向偏移量和前/后偏移量关联。
9.根据权利要求1所述的系统,其中坐标模块通过在出料槽角度的范围内调整出料槽角度来保持传送车辆和接收车辆之间的空间偏移量,除非贮存部分的观察到的长度、宽度或其他尺寸超过用于均匀地填充贮存部分的相应的最大长度、最大宽度或最大尺寸。
10.根据权利要求1所述的系统,其中成像装置被安装在接收车辆的推进部分上。
11.根据权利要求1所述的系统,其中成像装置被安装在接收车辆的推进部分上的能够调整的立柱上,其中所述能够调整的立柱具有能够调整的高度和用于成像装置的相对于垂直轴线的能够调整的下倾角度或偏角。
12.根据权利要求11所述的系统,其中成像设备具有倾斜传感器,该倾斜传感器用于测量下倾角度或偏角的倾斜传感器,用于报告到立柱控制器。
13.根据权利要求1所述的系统,其中成像装置被安装成具有下倾角度,以在短暂地暴露到超过用于所收集的图像数据中的像素的物料部分的阈值亮度水平的阳光、反射光或光源的时间周期期间,避免所收集的图像数据的冲失、讹误或者被干扰。
14.根据权利要求1所述的系统,出料槽模块经由至少一个检测器识别出料槽的出料槽端部,所述至少一个检测器选自由图案识别检测器、颜色鉴别检测器和边缘检测器构成的组,其中,颜色或视觉图案被放置在出料槽端部上或靠近出料槽端部,以便于从背景像素数据中区分出料槽数据。
15.根据权利要求14所述的系统,其中出料槽模块确定像素到第一成像装置的距离,以估算出料槽的出料槽端部的坐标。
16.根据权利要求14所述的系统,其中出料槽模块不使用用于检测出料槽相对于传送车辆的角度的出料槽角度传感器去估算出料槽端部相对于贮存部分的位置。
17.一种用于便于将农业物料从传送车辆传送至接收车辆的方法,所述方法包括下述步骤:
通过面向接收车辆的贮存部分的成像装置收集图像数据,其中所述贮存部分能够贮存农业物料;
在所收集的图像数据中确定贮存部分的容器位置;
在所收集的图像数据中识别传送车辆的出料槽;
确定出料槽和容器位置的相对位置;和
生成命令数据或用户界面数据,以便于以相对的协作对准的方式布置出料槽和贮存容器,用于从传送车辆传送物料到接收车辆。
18.根据权利要求17所述的方法,还包括下述步骤:
通过与传送车辆相关联的第一定位接收器确定第一位置数据;
通过与传送车辆相关联的第二定位接收器确定第二位置数据;
基于第一位置数据和第二位置数据确定车辆的相对位置或空间偏移量;和
根据与协作对准和所确定的相对位置或者空间偏移量相一致的命令数据操纵接收车辆的推进部分。
19.根据权利要求17所述的方法,进一步包括下述步骤:
通过处理以下的输入数据中一个或多个来确定容器位置:(a)接收表示车辆的推进部分和贮存部分之间的拖车榫舌角度的传感器数据;(b)推进部分的方向;(c)推进部分的位置;(d)贮存部分的位置;和(e)与贮存部分的一个或多个维度相关联的物理车辆数据,如拖车榫舌的枢转点和轴距之间的距离;和(f)与贮存部分的相对于推进装置的移动相关联的运动模型数据。
20.根据权利要求17所述的方法,进一步包括下述步骤:
在所收集的图像数据中识别贮存部分的容器周边。
21.根据权利要求17所述的方法,还包括下述步骤:
通过控制接收车辆的操纵以调整传送车辆和接收车辆之间的相对空间偏移量,将出料槽对准在贮存部分的在容器周边内侧的目标区域或中心区域内。
22.根据权利要求21所述的方法,还包括下述步骤:
规律地或周期性地在一定范围内调整相对空间偏移量,以促进农业物料均匀地分布在贮存部分中。
23.根据权利要求17所述的方法,还包括下述步骤:
改变传送车辆和接收车辆之间的空间偏移量,以促进农业物料均匀地分布在贮存部分中。
24.根据权利要求23所述的方法,其中所述改变空间偏移量的步骤进一步包括根据空间偏移量的预设位置的矩阵改变空间偏移量,其中该矩阵的每个点都与传送车辆和接收车辆之间的唯一的横向偏移量和前/后偏移量相关联。
25.根据权利要求17所述的方法,还包括下述步骤:
通过在出料槽角度的范围内调整出料槽角度来保持传送车辆和接收车辆之间的空间偏移量,除非贮存部分的观察到的长度、宽度或其他尺寸超过用于均匀地填充贮存部分的相应的最大长度、最大宽度或最大尺寸
26.根据权利要求17所述的方法,还包括下述步骤:
以下倾角度向下倾斜成像,以在短暂地暴露到超过用于所收集的图像数据中的像素的物料部分的阈值亮度水平的阳光、反射光或光源的时间周期期间,避免所收集的图像数据的冲失、讹误或者被干扰。
27.根据权利要求17所述的方法,还包括下述步骤:
经由至少一个检测器识别出料槽的出料槽端部,所述至少一个检测器选自由图案识别检测器、颜色鉴别检测器和边缘检测器构成的组,其中,颜色或视觉图案被放置在出料槽端部上或靠近出料槽端部,以便于从背景像素数据中区分出料槽数据。
28.根据权利要求27所述的方法,还包括下述步骤:
确定像素到第一成像装置的距离,以估算出料槽的出料槽端部的坐标。
29.根据权利要求28所述的方法,其中出料槽模块不使用用于检测出料槽相对于传送车辆的角度的出料槽角度传感器去估算出料槽端部相对于贮存部分的位置
30.根据权利要求17所述的方法,其中传送车辆将出料槽角度或出料槽位置无线地发送至接收车辆。
31.一种用于便于将农业物料从传送车辆传送到接收车辆的系统,所述系统包括:
接收车辆,包括用于推进接收车辆的推进部分和用于贮存农业物料的贮存部分;
出料槽,能够操作地连接到传送物料,用于传送农业物料到接收车辆;
朝向接收车辆的贮存部分的成像装置,该成像装置收集图像数据;
容器模块,用于确定容器周边或贮存部分的容器位置;
出料槽模块,用于接收或确定出料槽的出料槽位置;和
对准模块,用于基于所收集的图像数据确定出料槽的相对位置和容器位置,和用于产生命令数据或用户界面数据,以便于以相对的协作对准的方式布置出料槽和贮存容器,用于将物料从传送车辆传送到接收车辆。
32.根据权利要求31所述的系统,还包括:
旋转传感器,用于感测传送车辆上的出料槽的旋转角度;
位于传送车辆上的第一无线通信设备,用于发送表示感测到的出料槽的旋转角度的传感器数据;
位于接收车辆上的第二无线通信设备,用于接收表示感测到的旋转角度的传感器数据;并且
所述出料槽模块基于传感器数据和出料槽的已知长度估算出料槽位置。
33.根据权利要求32所述的系统,其中出料槽模块基于传感器数据、出料槽的已知长度和所收集的图像数据来估算出料槽位置。
CN201380019335.1A 2012-02-10 2013-02-11 用于便于从车辆上卸载农业物料的方法和立体视觉系统 Active CN104220351B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261597380P 2012-02-10 2012-02-10
US61/597,380 2012-02-10
US13/763,288 US9861040B2 (en) 2012-02-10 2013-02-08 Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
US13/763,288 2013-02-08
PCT/US2013/025547 WO2013120062A1 (en) 2012-02-10 2013-02-11 Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle

Publications (2)

Publication Number Publication Date
CN104220351A true CN104220351A (zh) 2014-12-17
CN104220351B CN104220351B (zh) 2016-08-17

Family

ID=48948089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380019335.1A Active CN104220351B (zh) 2012-02-10 2013-02-11 用于便于从车辆上卸载农业物料的方法和立体视觉系统

Country Status (6)

Country Link
US (3) US9861040B2 (zh)
EP (1) EP2812267B1 (zh)
CN (1) CN104220351B (zh)
AU (1) AU2013216759B2 (zh)
BR (1) BR112014019768B1 (zh)
WO (1) WO2013120062A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915571A (zh) * 2015-06-26 2015-09-16 郑州北斗七星通讯科技有限公司 一种铲车与物料关联性装载行为的识别方法
CN105988473A (zh) * 2015-03-19 2016-10-05 库卡罗伯特有限公司 车辆联合体和用于构成并且运行车辆联合体的方法
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN108021106A (zh) * 2016-10-28 2018-05-11 迪尔公司 用于管理从车辆卸载农业物料的方法和立体视觉系统
CN109743973A (zh) * 2017-11-01 2019-05-14 迪尔公司 自动产品填充方法和控制系统
CN109840462A (zh) * 2017-11-29 2019-06-04 迪尔公司 工地监视系统和方法
CN111344238A (zh) * 2018-02-02 2020-06-26 株式会社Ihi 卸载装置
CN111792250A (zh) * 2019-04-05 2020-10-20 雷蒙德股份有限公司 传送机推车对齐系统和方法
CN111899326A (zh) * 2020-06-18 2020-11-06 苏州小优智能科技有限公司 一种基于gpu并行加速的三维重建方法
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法
CN112484730A (zh) * 2020-11-19 2021-03-12 苏州超集信息科技有限公司 基于slam实现室内物料寻址导航的方法及系统

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112013000935T5 (de) * 2012-02-10 2015-03-12 Darin E. Bartholomew System und Verfahren zum Materialtransport mit einem oder mehreren Bildgebungsgeräten am übergebenden Fahrzeug und am übernehmenden Fahrzeug zur Steuerung der Materialverteilung im Transportanhänger des übernehmenden Fahrzeugs
US9392746B2 (en) 2012-02-10 2016-07-19 Deere & Company Artificial intelligence for detecting and filling void areas of agricultural commodity containers
US9861040B2 (en) 2012-02-10 2018-01-09 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
AU2014201885B2 (en) * 2013-04-02 2018-03-01 Carnegie Mellon University Control arrangement and method for controlling a position of a transfer device of a harvesting machine
DE102014105643A1 (de) * 2013-04-22 2014-10-23 Carnegie Mellon University Verfahren zur Verbesserung der Robostheit eines automatisierten Endladesystems
FR3007240B1 (fr) * 2013-06-25 2015-06-12 Kuhn Sa Machine de recolte comportant un asservissement de la hauteur de relevage d'un outil de recolte
BE1021106B1 (nl) * 2013-09-03 2016-03-15 Cnh Industrial Belgium Nv Ontlaadtoestellen voor oogstmachines voor gebruik in de landbouw
US9188986B2 (en) 2013-10-01 2015-11-17 Jaybridge Robotics, Inc. Computer-implemented method and system for dynamically positioning a vehicle relative to another vehicle in motion for on-the-fly offloading operations
BE1021108B1 (nl) * 2013-10-28 2016-01-18 Cnh Industrial Belgium Nv Ontlaadsystemen
US9898670B2 (en) * 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
US9529364B2 (en) 2014-03-24 2016-12-27 Cnh Industrial America Llc System for coordinating agricultural vehicle control for loading a truck
JP6189779B2 (ja) * 2014-03-27 2017-08-30 株式会社クボタ 作業車協調システム
BE1022142B1 (nl) * 2014-05-15 2016-02-19 Cnh Industrial Belgium Nv Werkwijze voor oogsten m.b.v. onbemande werkvoertuigen voor de landbouw.
EP3220733B1 (en) * 2014-11-19 2018-12-12 AGCO Corporation Harvesting machine with an unloading conveyor swing control system
DE102015004330A1 (de) * 2015-04-09 2016-10-13 Eisenmann Se Lage- und Positionserkennung für eine Fördereinrichtung
US10834872B2 (en) 2015-07-02 2020-11-17 Cnh Industriall America Llc Unload spout inclination limit adjust system and method
US9642305B2 (en) * 2015-08-10 2017-05-09 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
US10015928B2 (en) 2015-08-10 2018-07-10 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
US10019790B2 (en) 2016-01-15 2018-07-10 Deere & Company Fill level indicator for an automated unloading system
US11047109B2 (en) * 2016-04-19 2021-06-29 Volvo Construction Equipment Ab Control unit for dumping of material
DE102016111570B4 (de) * 2016-06-23 2022-03-03 Vega Grieshaber Kg Verfahren zur Ermittlung einer Linearisierungskurve zur Ermittlung des Füllstands in einem Behälter aus einer Füllhöhe sowie Verwendung eines mobilen Endgeräts hierfür
US10673128B2 (en) * 2017-11-15 2020-06-02 Maverick Technologies, Inc. Mobile cellular transmission system
DE102018108494A1 (de) * 2018-04-10 2019-10-10 Claas Selbstfahrende Erntemaschinen Gmbh Landwirtschaftliche Arbeitsmaschine
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
WO2020037003A1 (en) * 2018-08-13 2020-02-20 Raven Industries, Inc. Comparative agricultural obstacle monitor and guidance system and method for same
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
US11467605B2 (en) 2019-04-10 2022-10-11 Deere & Company Zonal machine control
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11240961B2 (en) 2018-10-26 2022-02-08 Deere & Company Controlling a harvesting machine based on a geo-spatial representation indicating where the harvesting machine is likely to reach capacity
US11079725B2 (en) 2019-04-10 2021-08-03 Deere & Company Machine control using real-time model
US11178818B2 (en) 2018-10-26 2021-11-23 Deere & Company Harvesting machine control system with fill level processing based on yield data
US11778945B2 (en) 2019-04-10 2023-10-10 Deere & Company Machine control using real-time model
US11234366B2 (en) 2019-04-10 2022-02-01 Deere & Company Image selection for machine control
NL2023391B1 (nl) * 2019-06-26 2021-02-01 Lely Patent Nv Diervoerverwerkingssysteem
US11659788B2 (en) 2019-12-31 2023-05-30 Deere & Company Vehicle automated unloading
US11758844B2 (en) * 2020-03-19 2023-09-19 Deere & Company Forward-looking perception and machine control during crop harvesting operations
US11477940B2 (en) 2020-03-26 2022-10-25 Deere & Company Mobile work machine control based on zone parameter modification
US11684011B2 (en) 2020-04-29 2023-06-27 Deere & Company Automatic fill control based on visual identification of grain receiving vehicles
US11390263B2 (en) * 2020-05-04 2022-07-19 Deere & Company Forage harvester with automatic detection of receiving vehicle
US11675354B2 (en) 2020-10-09 2023-06-13 Deere & Company Machine control using a predictive map
US11946747B2 (en) 2020-10-09 2024-04-02 Deere & Company Crop constituent map generation and control system
US11635765B2 (en) 2020-10-09 2023-04-25 Deere & Company Crop state map generation and control system
US11474523B2 (en) 2020-10-09 2022-10-18 Deere & Company Machine control using a predictive speed map
US11871697B2 (en) 2020-10-09 2024-01-16 Deere & Company Crop moisture map generation and control system
US11895948B2 (en) 2020-10-09 2024-02-13 Deere & Company Predictive map generation and control based on soil properties
US11864483B2 (en) 2020-10-09 2024-01-09 Deere & Company Predictive map generation and control system
US11983009B2 (en) 2020-10-09 2024-05-14 Deere & Company Map generation and control system
US11825768B2 (en) 2020-10-09 2023-11-28 Deere & Company Machine control using a predictive map
US11849671B2 (en) 2020-10-09 2023-12-26 Deere & Company Crop state map generation and control system
US11849672B2 (en) 2020-10-09 2023-12-26 Deere & Company Machine control using a predictive map
US11650587B2 (en) 2020-10-09 2023-05-16 Deere & Company Predictive power map generation and control system
US11874669B2 (en) 2020-10-09 2024-01-16 Deere & Company Map generation and control system
US11927459B2 (en) 2020-10-09 2024-03-12 Deere & Company Machine control using a predictive map
US11711995B2 (en) 2020-10-09 2023-08-01 Deere & Company Machine control using a predictive map
US11727680B2 (en) 2020-10-09 2023-08-15 Deere & Company Predictive map generation based on seeding characteristics and control
US11844311B2 (en) 2020-10-09 2023-12-19 Deere & Company Machine control using a predictive map
US11592822B2 (en) 2020-10-09 2023-02-28 Deere & Company Machine control using a predictive map
US11845449B2 (en) 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11889788B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive biomass map generation and control
US11889787B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system
US11903344B2 (en) * 2021-11-16 2024-02-20 Cnh Industrial America Llc System and method for controlling unloading system position of an agricultural harvester

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5575316A (en) * 1994-02-08 1996-11-19 Claas Ohg Beschraenkt Haftende Offene Handelgesellschaft Device for automatic filling of containers
CN1400807A (zh) * 2001-07-26 2003-03-05 佳能株式会社 图象处理方法和设备,图象处理系统以及存储介质
CN2574358Y (zh) * 2002-10-22 2003-09-24 河北农哈哈机械有限公司 大田秸杆青贮收获机
US20030217539A1 (en) * 2002-03-16 2003-11-27 Harald Grossjohann Crop discharge spout arrangement of an agricultural harvesting machine
CN2860044Y (zh) * 2005-11-07 2007-01-24 张绍恒 一种改进的玉米收获机
US20090044505A1 (en) * 2007-08-03 2009-02-19 Jochen Huster Agricultural working machine
US20090222160A1 (en) * 2008-03-03 2009-09-03 Cnh America Llc Method and system for coordinated vehicle control with wireless communication
CN101977491A (zh) * 2008-03-20 2011-02-16 迪尔公司 用于可被转向成在田地上平行于第一农业机械而行驶的第二农业机械的转向的方法和装置
WO2011101458A1 (en) * 2010-02-21 2011-08-25 Cnh Belgium N.V. Method for directing an unloading apparatus of a harvesting machine to a container

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4042132A (en) * 1976-06-01 1977-08-16 Sperry Rand Corporation Spout control apparatus for agricultural machines
US4401403A (en) * 1981-07-13 1983-08-30 Deere & Company Spout control system
JPH02177815A (ja) 1988-12-28 1990-07-10 Iseki & Co Ltd コンバイン等の穀粒排出装置
DE4339441A1 (de) 1993-11-19 1995-05-24 Incatronic Phoenix Mestechnik Verfahren zur Messung des Füllgrads von mit Füllgut gefüllten Behältern
ZA952853B (en) 1994-04-18 1995-12-21 Caterpillar Inc Method and apparatus for real time monitoring and co-ordination of multiple geography altering machines on a work site
US5524424A (en) 1994-12-13 1996-06-11 Case Corporation Electronic area counter for a combine
US5621645A (en) * 1995-01-24 1997-04-15 Minnesota Mining And Manufacturing Company Automated lane definition for machine vision traffic detector
DE19514223B4 (de) 1995-04-15 2005-06-23 Claas Kgaa Mbh Verfahren zur Einsatzoptimierung von Landmaschinen
DE19531662A1 (de) 1995-08-29 1997-03-06 Claas Ohg Vorrichtung zum automatischen Befüllen von Ladebehältern
US5751576A (en) 1995-12-18 1998-05-12 Ag-Chem Equipment Co., Inc. Animated map display method for computer-controlled agricultural product application equipment
DE19647522A1 (de) * 1996-11-16 1998-05-20 Claas Ohg Vorrichtung zur Überwachung der Überladung von Gütern von einer Arbeitsmaschine auf ein Transportfahrzeug
US6216071B1 (en) 1998-12-16 2001-04-10 Caterpillar Inc. Apparatus and method for monitoring and coordinating the harvesting and transporting operations of an agricultural crop by multiple agricultural machines on a field
US6591145B1 (en) 2000-09-21 2003-07-08 Bechtel Bwxt Idaho, Llc Systems and methods for autonomously controlling agricultural machinery
US6682416B2 (en) * 2000-12-23 2004-01-27 Claas Selbstfahrende Erntemaschinen Gmbh Automatic adjustment of a transfer device on an agricultural harvesting machine
US6732024B2 (en) 2001-05-07 2004-05-04 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for vehicle control, navigation and positioning
US7151854B2 (en) * 2001-09-06 2006-12-19 Digimarc Corporation Pattern recognition of objects in image streams
US6943824B2 (en) * 2002-03-13 2005-09-13 Deere & Company Image processing spout control system
DE10224939B4 (de) 2002-05-31 2009-01-08 Deere & Company, Moline Triebachs-Anhänger
US6687616B1 (en) 2002-09-09 2004-02-03 Pioneer Hi-Bred International, Inc. Post-harvest non-containerized reporting system
US7128479B2 (en) * 2004-03-01 2006-10-31 Chapman/Leonard Studio Equipment Telescoping camera crane
DE102004052298A1 (de) 2004-10-06 2006-06-08 Claas Selbstfahrende Erntemaschinen Gmbh Überladeassistenzsystem
US7570783B2 (en) * 2005-07-01 2009-08-04 Deere & Company Method and system for vehicular guidance using a crop image
DE102007009666A1 (de) 2007-02-22 2008-08-28 Carl Zeiss Microimaging Gmbh Anordnung zum Befüllen eines Behälters mit Schüttgut
US7648413B2 (en) 2007-03-01 2010-01-19 Cnh America Llc Combine harvester power management control
DE102007016670A1 (de) 2007-04-04 2008-10-09 Claas Selbstfahrende Erntemaschinen Gmbh Selbstfahrende landwirtschaftliche Erntemaschine mit steuerbarer Überladeeinrichtung
KR20090018482A (ko) 2007-08-17 2009-02-20 삼성광주전자 주식회사 집진장치
US8060283B2 (en) 2007-10-15 2011-11-15 Deere & Company Method and system for controlling the loading of a container associated with a vehicle
DE102008002006A1 (de) 2008-05-27 2009-12-03 Deere & Company, Moline Steueranordnung zur Kontrolle des Überladens landwirtschaftlichen Ernteguts von einer Erntemaschine auf ein Transportfahrzeug
EP2138027B9 (en) 2008-06-25 2018-10-24 CLAAS E-Systems KGaA mbH & Co KG A transfering device and an agricultural vehicle
US8126620B2 (en) 2009-04-28 2012-02-28 Cnh America Llc Grain transfer control system and method
DE102009027245A1 (de) * 2009-06-26 2010-12-30 Deere & Company, Moline Steueranordnung zur Kontrolle des Überladens landwirtschaftlichen Ernteguts von einer Erntemaschine auf ein Transportfahrzeug
ATE533350T1 (de) 2009-09-07 2011-12-15 Claas Agrosystems Gmbh & Co Kg Steuerungssystem eines landwirtschaftlichen fahrzeugs mit einem güterträger, landwirtschaftliches fahrzeug und verfahren zur steuerung eines güterträgers des landwirtschaftlichen fahrzeugs
PL2311307T3 (pl) 2009-09-07 2012-09-28 Claas E Systems Gmbh Wskaźnik stopnia napełnienia, pojazd rolniczy zawierający taki wskaźnik oraz sposób kontroli napełniania obszaru docelowego
US8451139B2 (en) 2010-02-22 2013-05-28 Cnh America Llc System and method for coordinating harvester and transport vehicle unloading operations
US8380401B2 (en) * 2010-06-09 2013-02-19 Cnh America Llc Automatic grain transfer control system based on real time modeling of a fill level profile for regions of the receiving container
DE102011005400B4 (de) 2011-03-11 2015-05-28 Deere & Company Anordnung und Verfahren zur Abschätzung des Füllgrades beim Überladen landwirtschaftlichen Ernteguts von einer Erntemaschine auf ein Transportfahrzeug
DE102011002071A1 (de) 2011-04-15 2012-10-18 Claas Selbstfahrende Erntemaschinen Gmbh System und Verfahren zur Steuerung der Erntegutüberladung
US9545048B2 (en) 2011-08-15 2017-01-17 Deere & Company System for automated unloading of an agricultural material
US8868304B2 (en) 2012-02-10 2014-10-21 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
DE112013000935T5 (de) 2012-02-10 2015-03-12 Darin E. Bartholomew System und Verfahren zum Materialtransport mit einem oder mehreren Bildgebungsgeräten am übergebenden Fahrzeug und am übernehmenden Fahrzeug zur Steuerung der Materialverteilung im Transportanhänger des übernehmenden Fahrzeugs
US9861040B2 (en) 2012-02-10 2018-01-09 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
GB2517049B (en) 2013-07-28 2019-09-11 Deere & Co Artificial intelligence for detecting and filling void areas of agricultural commodity containers

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5575316A (en) * 1994-02-08 1996-11-19 Claas Ohg Beschraenkt Haftende Offene Handelgesellschaft Device for automatic filling of containers
CN1400807A (zh) * 2001-07-26 2003-03-05 佳能株式会社 图象处理方法和设备,图象处理系统以及存储介质
US20030217539A1 (en) * 2002-03-16 2003-11-27 Harald Grossjohann Crop discharge spout arrangement of an agricultural harvesting machine
CN2574358Y (zh) * 2002-10-22 2003-09-24 河北农哈哈机械有限公司 大田秸杆青贮收获机
CN2860044Y (zh) * 2005-11-07 2007-01-24 张绍恒 一种改进的玉米收获机
US20090044505A1 (en) * 2007-08-03 2009-02-19 Jochen Huster Agricultural working machine
US20090222160A1 (en) * 2008-03-03 2009-09-03 Cnh America Llc Method and system for coordinated vehicle control with wireless communication
CN101977491A (zh) * 2008-03-20 2011-02-16 迪尔公司 用于可被转向成在田地上平行于第一农业机械而行驶的第二农业机械的转向的方法和装置
WO2011101458A1 (en) * 2010-02-21 2011-08-25 Cnh Belgium N.V. Method for directing an unloading apparatus of a harvesting machine to a container

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988473B (zh) * 2015-03-19 2020-05-05 库卡罗伯特有限公司 车辆联合体和用于构成并且运行车辆联合体的方法
CN105988473A (zh) * 2015-03-19 2016-10-05 库卡罗伯特有限公司 车辆联合体和用于构成并且运行车辆联合体的方法
CN104915571B (zh) * 2015-06-26 2017-09-12 郑州北斗七星通讯科技有限公司 一种铲车与物料关联性装载行为的识别方法
CN104915571A (zh) * 2015-06-26 2015-09-16 郑州北斗七星通讯科技有限公司 一种铲车与物料关联性装载行为的识别方法
CN108021106A (zh) * 2016-10-28 2018-05-11 迪尔公司 用于管理从车辆卸载农业物料的方法和立体视觉系统
CN108021106B (zh) * 2016-10-28 2022-06-03 迪尔公司 用于管理从车辆卸载农业物料的方法和立体视觉系统
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN109743973B (zh) * 2017-11-01 2022-10-11 迪尔公司 自动产品填充方法和控制系统
CN109743973A (zh) * 2017-11-01 2019-05-14 迪尔公司 自动产品填充方法和控制系统
CN109840462B (zh) * 2017-11-29 2024-03-01 迪尔公司 工地监视系统和方法
CN109840462A (zh) * 2017-11-29 2019-06-04 迪尔公司 工地监视系统和方法
CN111344238B (zh) * 2018-02-02 2021-10-15 株式会社Ihi 卸载装置
CN111344238A (zh) * 2018-02-02 2020-06-26 株式会社Ihi 卸载装置
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法
CN112236715B (zh) * 2018-06-27 2023-04-04 三星电子株式会社 用于增强现实的装置和方法
CN111792250B (zh) * 2019-04-05 2023-07-07 雷蒙德股份有限公司 传送机推车对齐系统和方法
US11807459B2 (en) 2019-04-05 2023-11-07 The Raymond Corporation Conveyor cart alignment systems and methods
CN111792250A (zh) * 2019-04-05 2020-10-20 雷蒙德股份有限公司 传送机推车对齐系统和方法
CN111899326A (zh) * 2020-06-18 2020-11-06 苏州小优智能科技有限公司 一种基于gpu并行加速的三维重建方法
CN112484730A (zh) * 2020-11-19 2021-03-12 苏州超集信息科技有限公司 基于slam实现室内物料寻址导航的方法及系统
CN112484730B (zh) * 2020-11-19 2023-03-10 苏州超集信息科技有限公司 基于slam实现室内物料寻址导航的方法及系统

Also Published As

Publication number Publication date
AU2013216759A1 (en) 2014-08-28
US9861040B2 (en) 2018-01-09
BR112014019768B1 (pt) 2020-10-13
BR112014019768A8 (pt) 2017-07-11
US20180042179A1 (en) 2018-02-15
US20130213518A1 (en) 2013-08-22
CN104220351B (zh) 2016-08-17
US11252869B2 (en) 2022-02-22
EP2812267B1 (en) 2021-02-24
EP2812267A1 (en) 2014-12-17
EP2812267A4 (en) 2015-09-23
US10631462B2 (en) 2020-04-28
WO2013120062A1 (en) 2013-08-15
AU2013216759B2 (en) 2017-02-02
BR112014019768A2 (zh) 2017-06-20
US20200214210A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
US11252869B2 (en) Imaging system for facilitating the unloading of agricultural material from a vehicle
CN104106042B (zh) 用于便于从车辆卸载农业物料的方法和立体视觉系统
AU2017202408B2 (en) System and method of material handling using one or more imaging devices on the transferring vehicle and on the receiving vehicle to control the material distribution into the storage portion of the receiving vehicle
US9326444B2 (en) Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant