CN104066314B - 农业收割机及用于引导农业机器上的照相机系统的方法 - Google Patents

Abstract

本发明涉及一种农业收割机(51)，该农业收割机装备有可运动卸载装置(1、2)，以便将农作物材料输送至在收割机附近驱动的容器(4)，这样，从收割机看，容器有近侧上部边界(6)和远侧上部边界(8)，其中，3D照相机(15)提供于收割机上，用于捕获图像(19)，在该图像(19)中，至少能够看见近侧上部边界(6)，以便根据这些图像来引导卸载装置，其特征在于：照相机(15)可绕基本水平轴线(25、42)旋转地安装。本发明还涉及一种用于将可旋转照相机的旋转角度布置成使得近侧上部边界(6)总是保留在照相机的视野内的方法。另外，本发明涉及一种用于控制卸载装置的方法，这样，处理后的农作物材料在离近侧上部边界(6)预定距离处沉积在容器中。

Description

农业收割机及用于引导农业机器上的照相机系统的方法

技术领域

本发明涉及农业收割机，例如联合收割机或饲料收割机，该农业收割机装备有卸载装置(例如喷口)，用于将收割和处理后的农作物材料充装至与该收割机并排运行的容器中。更具体地说，本发明涉及一种用于根据图像数据来控制这种容器的充装的方法。

背景技术

在上述类型的饲料收割机中，根据照相机图像来控制喷口位置以及喷口的可枢轴转动端部部分(折片)的位置为本领域已知。专利文献WO-A-2011101458介绍了一种系统，其中，3D照相机布置在排出喷口上。照相机获取紧跟着机器驱动的容器的图像。这些图像确定至少两个竖直条。分析这些条提供了容器的前壁和/或后壁相对于照相机的位置。根据该信息，喷口控制成使得农作物材料卸载至容器中。当使用具有有限竖直观察角度类型的3D照相机时(但是其中在光灵敏性和分辨率方面，结果很有利)，有容器或者至少容器的近侧边界消失在照相机视野外的危险，因此不再保证正确充装。

发明内容

本发明通过使用在附加权利要求中所述的农业收割机和方法而提供了对于上述问题的解决方案。

因此，本发明首先涉及一种收割机，该收割机装备有可运动卸载装置，以便将农作物材料输送至在收割机附近驱动的容器，这样，从收割机看，容器有近侧上部边界和远侧上部边界，其中，3D照相机提供于收割机上，用于捕获图像，在该图像中，至少能够看见近侧边界，以便根据这些图像来引导卸载装置，照相机可绕基本水平轴线旋转地 安装。

卸载装置优选是排出喷口，该排出喷口可绕竖直轴线旋转，且该排出喷口在它的端部装备有可旋转部件，也称为折片，该可旋转部件用于将处理后的农作物材料流引导至容器中。喷口自身能够绕水平轴线旋转，因此能够控制折片自身的高度。照相机优选是布置在排出喷口的底部上。照相机的旋转轴线可以与排出喷口的水平旋转轴线平行或重合。

根据本发明的收割机还可以装备有光源，该光源也可旋转地安装在照相机附近，其中，光源和照相机设置成绕相同或不同的水平轴同时旋转。

在根据本发明的收割机上，卸载装置可以包括排出喷口，该排出喷口有在端部处的铰接折片，照相机和光源固定在排出喷口的底部，并设置成绕两个不同的、相互平行的轴枢轴转动，光源的旋转轴线位于照相机的旋转轴线和铰接折片之间。

光源或照相机的旋转能够由线性促动器来控制，且机械连接件提供于光源和照相机之间，因此光源的任何旋转也由照相机执行，或者反之亦然。

照相机和光源的旋转也可以由单独的促动器来控制，该促动器自身由相同的控制信号来控制。

本发明还涉及一种用于将收割机的可运动卸载装置引导向在收割机附近驱动的容器的方法，当从收割机看时，该容器包括近侧上部边界和远侧上部边界，该方法包括以下步骤：

—使用在收割机上的3D照相机来用于捕获图像，在该图像中至少能够看见近侧边界，且照相机产生图像数据，该图像数据包含关于在照相机和近侧边界之间的距离的信息；

—处理该图像数据，用于由此推导出关于在近侧边界和卸载装置之间的相对位置的数据；以及

—使用该相对位置数据来用于使得卸载装置相对于收割机自动地运动；

其特征在于：照相机安装成可绕基本水平的旋转轴线旋转，且照相机绕该轴线的角度位置控制成这样，在收割机和/或容器的运动过程中，使得近侧边界保持在照相机的观察图像的预定区域内。

近侧边界的位置可以根据至少两个竖直条来检测，该竖直条确定于由照相机观察的容器图像中。

根据该方法的一个实施例，预定区域是在两个平行线之间的条，这两个平行线位于照相机的观察图像的下半部分中，该方法包括以下步骤：

检测近侧边界，

当边界可见，但是如通过竖直条的分析所确定，边界的位置并不在线之间时，

·检测边界是位于条的上面还是下面，

·当边界位于条的上面时，向上转动照相机，一旦至少一个位置处于条中时，就保持照相机位置，

·当边界位于条下面时，向下转动照相机，一旦多个位置中的至少一个处于条中时，就保持照相机的位置；以及

当边界在图像中不可见时，使得照相机运动至预定的开始位置。

开始位置优选是这样的位置，在该位置中，照相机引导成使得观察的图像不会仅包含容器的远侧边界。

根据一个实施例，卸载装置包括喷口和在该喷口端部处的铰接折片，折片的位置根据检测的、从近侧边界至照相机的距离来控制，这样，折片持续引导向位于离近侧边界预定距离的点。

附图说明

图1是装备有旋转3D照相机和光源的收割机的充装喷口的视图。

图2表示了由照相机看见的容器的图像的实例，表示了在应用本发明的方法时容器边界必须保持在其中的界限。

图3A-3F表示了根据照相机图像来确定要检测的容器边界的方法。

图4表示了根据优选实施例的3D照相机和光源的布置方式。

图5A和5B更详细地表示了图4的布置方式。

图6A表示了要在离近侧边界距离P处充装容器所需的几何参数。

图6B表示了当喷口并不垂直于容器边界定向时的距离P’和它与P的关系。

具体实施方式

下面将参考附图介绍优选实施例。详细说明并不是限制本发明的范围，本发明的范围只由附加权利要求来确定。

图1是排出喷口1的示意图，该排出喷口1的基部以本领域已知的方式安装成用于绕竖直轴线旋转和绕在饲料收割机上的水平轴线枢轴转动。喷口安装件装备有用于改变喷口的角度位置的促动器，例如液压马达10，并有用于改变喷口端部高度的还一促动器，例如液压缸(未示出)。喷口还有在它的端部处的可枢轴转动折片2，该折片2装备有第三促动器，例如线性电促动器11。三个促动器由控制系统12来控制，该控制系统12设置成引导处理后的农作物材料流3进入容器4，通过人工控制器13或通过微处理器14来管理。容器有：近侧侧壁5，该近侧侧壁5最接近饲料收割机，并有上部边界6；以及相对的远侧侧壁7，该远侧侧壁7有上部边界8。农作物材料沉积在容器4中，并在其中形成堆9。3D照相机15和光源16安装在喷口上，并在表示为低于折片2的位置。照相机设置成产生作为一组像素的图像19，并对于在图中的各像素确定从照相机至图像中的物体的距离值。该距离可以根据经过时间(time-of-flight)的原理来确定。照相机的视野由边界线17和18来表示。

光源优选是近红外线(NIR)灯，该光源发射具有特定波长的调制光。相同波长的反射光由照相机捕获。在根据本发明的机器中，照相机15可绕水平轴线25旋转，或者换句话说，可绕与喷口1的中间面垂直的轴线旋转。当存在光源16时，它优选是也可绕水平轴线旋转。在图1的结构中，光源16是固定在照相机15的底部处的聚光灯，并 能够与照相机一起绕轴线25枢轴转动。根据优选实施例(该优选实施例将在下文中介绍)，照相机和光源实施为这样，将照相机和光源同时旋转，但是并不绕相同轴线。照相机的旋转通过促动器(图1中未示出)来实现，优选是电线性促动器，它由来自控制系统12的信号来控制。本发明还涉及用于控制照相机的旋转的方法，这样，容器的合适部分总是保留在图像中。该方法在下面结合在WO-A-2011/101458中所述的方法(用于检测边界6)来解释。不过，本发明也能够与其它检测方法结合使用。

为了能够应用WO-A-2011/101458的方法，照相机相对于容器4的位置为这样，在水平方向，照相机布置在容器的一侧(即，照相机的水平位置A并不位于容器的侧壁5和6的横向水平位置B和C之间)。在竖直方向，照相机优选是布置成高于容器的侧壁5和7的上部边界6和8。因此，在照相机获取的图像中，可以看见至少近侧侧壁5和(可能的)远侧侧壁7的前表面(即面对收割机的表面)以及这些侧壁的近侧上部边界6和(可能的)远侧上部边界7，如图2中的实例所示。(近侧侧壁5的)近侧上部边界6表示在图像的下部部分中，而(远侧侧壁7的)远侧上部边界8表示在图像的上部部分中。图2的图像在喷口将农作物材料传送至容器内时获取。这些排出的农作物材料可见为图像中的中心区域20。

根据WO-A-2011/101458中所述的发明方法，对在图2中的图像进行分析，以便确定至少近侧上部边界6和(当可见时)远侧上部边界8的位置。根据容器在饲料收割机的哪一侧运行，容器4的前部和后部边界可以显示在图像的左侧或右侧部分中。在如图2中所示的图像中，选择第一和第二竖直条21和22，所述条分别位于喷口的左侧和右侧，即在图像的中心区域20的左侧和右侧。根据优选实施例，在该中心区域20中选择第三竖直条23。选择的条各自包括多排像素的堆垛，各排对应于图像上的竖直位置，各像素有相应的距离值，该距离值由包含在图像(假定该图像由3D经过时间的照相机来获取)中的数据得出。对于各竖直位置的距离数据再进行过滤，以便除去可疑 值(例如物体太远或太近，或者反射光的幅值太小)，并产生用于该竖直位置的单个过滤距离值。根据优选实施例，过滤的距离值等于在条中的各垂直位置的平均距离值。

通过过滤值，获得三个距离曲线，如图3A至3C中所示，分别对应于在条21、23和22中的过滤距离。与左侧和右侧条21和22相对应的曲线表示了在多个区域中距离值的清楚跳跃或飞跃，在这些区域中表示近侧和远侧上部边界6和8。与中心条23相对应的曲线只表示了在近侧上部边界6的位置处的跳跃(假定在区域20中，远侧上部边界隐藏在排出的农作物的后面)。至少一个上部边界6或8的竖直位置由一个或两个跳跃的位置来获得，且喷口1和折片2相对于收割机的位置控制成将收割的农作物引导至容器中，即引导至高于近侧上部边界6和/或低于远侧上部边界8的位置。根据优选实施例，使用图3A至3C中的曲线的一阶和/或二阶导数，与它自身的测量距离组合，作为用于确定边界6和8的竖直位置的基础。如图3D至3F中所示，一阶导数表示了在边界6和8的位置处的尖锐峰值。这些峰值能够比图3A至3C中的距离曲线的跳跃更容易检测。同样，二阶导数表示了类似的峰值，因此也能够用作确定边界6和8的位置的基础。当一阶和/或二阶导数高于预定界限值时，能够支持已经找到边界。

下面结合上述图像处理系统来解释根据本发明的方法。本发明的方法利用这样的情况，即照相机15安装成具有旋转能力。两个水平线30和31在照相机的视野中，确定于图像的下部部分中，如图2所示。根据本发明的方法包括使得照相机旋转，以使得容器的近侧上部边界6(图像中的下部边界)的至少一部分总是在这两条线之间。该方法包括以下步骤：

—通过上述三个条21、22、23的分析来检测近侧边界6；

—当边界可见，但是如通过三个条的分析所确定，边界6的三个位置并不在线(条)30和31之间延伸时，

·检测边界6是位于条30/31的上面还是下面，

·当边界6位于条30/31上面时，向上旋转照相机，一旦三个位 置中的至少一个处于条30/31中，保持照相机位置，

·当边界6位于条30/31下面时，向下旋转照相机，一旦三个位置中的至少一个处于条30/31中，保持照相机位置；

—当边界在图像中不可见时，使得照相机运动至预定的开始位置。这可能在例如机器在田地边界上的已经收割的土地条(所谓的畦头未耕地)上运行时产生。

因此，确定是否三个位置中的至少一个在条30/31内。当照相机(和喷口)垂直于容器边界6时，三个位置通常在一直线上，该直线或多或少地平行于观察图像的下部边界延伸(如图2中所示)，换句话说，三个位置能够同时位于条30/31中。不过，当喷口并不垂直于容器的边界时(例如见图6B)，边界6观察为处于一定角度，且边界6的视图并不平行于图像的底部。在这种情况下，图像中的三个位置的最高或最低位置处于条30/31中就足以保证边界保持为由照相机“可见”。收割机和容器的相对位置和尺寸优选是使得边界6在图像中与水平方位的偏离并不非常大。

在收割机的整个操作过程中，上述步骤持续运行。当靠近容器运行时，它的顶部边界自动地保持在图像中，因此保证正确充装。当转弯或其它操纵时边界6离开图像时，照相机自动运动至开始位置，控制能够从该开始位置重新取得。该开始位置是这样的位置，其中，照相机旋转至它不可能只看见远侧边界8的位置。它优选是这样的位置，其中，照相机朝向容器的下侧，因此近侧边界6和远侧边界8都不在边框中。如上述确定的开始位置保证在搜索近侧边界6时，远侧边界8不会错误地被认为是近侧边界6。在(重新)开始该方法时，照相机从开始位置向上旋转，直到边界6进入图像。从该点开始，(再次)执行上述步骤。

如上所述，光源16优选是也可旋转地布置，且优选是这样的，它与照相机同时旋转。用于实现它的一种优选布置方式如图4和5A/5B中所示。由金属板制造的壳体40固定在喷口1的底部上。光源16和照相机15分别安装在金属板托架43和44上，该金属板托架43和44固定在轴41和42上，该轴41和42安装在壳体中的轴承上。这样，支承件43/44以及光源和照相机绕轴41和42的轴线旋转。在处于支承件43/44的顶部处的点之间的枢轴转动机械连接件45保证光源和照相机同时旋转。该旋转由线性促动器46来控制，该线性促动器46能够使得在光源的支承件43的顶部处的点相对于壳体的固定点47向前和向后运动。促动器46优选是电促动器，它装备成接收控制信号，以便使得照相机和光源旋转至合适位置，例如根据上述方法。

在照相机和光源之间的距离有助于照相机图像的质量，特别是在收割过程中大量灰尘存在于空气中的情况下。当使用的光源照明的区域近似对应于照相机的视野(该视野在竖直平面中由在图1的线17和18之间的角度来确定)时，同时控制照相机和光源的旋转将特别有利。同时旋转保证发射光的大部分实际落在合适区域上。代替在照相机和光源之间的机械连接件45，这样的同时操作也可以通过软件来执行。在这种情况下，照相机和光源各自由它们自身的促动器来驱动，例如各轴41和42的伺服马达，该促动器由相同控制信号来控制。后一种布置方式也能够进行这样的控制，其中，照相机的旋转并不取决于光源的旋转，例如，当人们希望使用覆盖区域比照相机的视野更大的光源时。

本发明最后涉及一种用于根据可旋转照相机15的旋转角度而将喷口1的折片2导向容器中的特定位置的方法。这种布置方式的实例如后面所述。在图6A中，示意表示了收割机51，该收割机51与容器4并排运行。喷口1的、具有折片2的外部部分1’能够绕它的基部处的水平轴线旋转。可旋转照相机(未示出)能够通过在喷口上的点D而绕水平轴线旋转。折片2自身能够在点E处相对于喷口旋转。容器的近侧边界能够在剖视图中看见为点F。距离DE是收割机的常数特征。距离DF可由3D图像推导出，该3D图像由照相机来捕获。角度ψ是在线DF和线DE(排出喷口)之间的角度。角度β是喷口自身的可旋转部分1’相对于水平线的方位角度。在正常的收割操作中，β保持恒定。在线DE和EF之间的角度α的值由已知的喷口长度(距离 DE)、距离DF和角度ψ推导出：

其中，d＝|DF|，d₁＝|DE|

当假设折片2必须使得农作物材料沉积在容器的近侧边界后面的特定距离P处时，折片必须旋转成使得它与线EF形成角度T。该角度T通过以下公式来计算：

其中，

而z＝α+β

通过使用布置在各旋转轴线上的合适角度测量仪器，角度ψ和β能够由照相机和排出管的角度位置的测量值来确定。

该方法包括以下步骤，这些步骤一直重复：

测量距离d；

测量角度ψ和β；

计算角度α；

计算角度T；

设置折片的旋转角度α+T。

图6A还表示了容器4的第二位置4’。角度T’也根据上述公式来计算，并因此保证农作物材料倾倒在离近侧边界为距离P处。

当排出喷口并不垂直于边界6时，见图6B，上述公式必须由距离P’代替P来计算，其中：

P’＝P/cosγ

其中，γ是喷口1相对于与容器垂直的方向的旋转角度。该角度能够在水平平面中相对于喷口的枢轴点G来测量。

Claims (6)

1.一种农业收割机(51)，装备有可运动卸载装置，以便将农作物材料输送至在收割机附近驱动的容器(4)，这样，从收割机看，该容器有近侧上部边界(6)和远侧上部边界(8)，其中，3D照相机(15)提供于收割机上，用于捕获图像(19)，在该图像(19)中，至少能够看见近侧上部边界(6)，以便根据这些图像来引导卸载装置，3D照相机(15)可绕基本水平轴线旋转地安装，还装备有：光源(16)，该光源(16)也可旋转地安装在3D照相机(15)附近，其中，光源和3D照相机设置成绕相同或不同的水平轴同时旋转，在收割机靠近容器(4)运行时，控制3D照相机(15)的旋转以使得近侧上部边界(6)的至少一部分总是在两条平行线之间，两条平行线在3D照相机(15)的视野内，

且近侧上部边界(6)自动保持在图像中，保证正确充装，

光源(16)或3D照相机(15)的旋转由线性促动器(46)控制，且机械连接件(45)提供于光源和3D照相机之间，因此光源的任何旋转也由3D照相机执行，或者反之亦然，

或者3D照相机(15)和光源(16)的旋转由单独的促动器来控制，该促动器自身由相同的控制信号来控制。

2.根据权利要求1所述的农业收割机，其特征在于：卸载装置包括排出喷口(1)，该排出喷口(1)有在端部处的铰接折片(2)，照相机和光源固定在排出喷口的底部上，并设置成绕两个不同的、相互平行的轴枢轴转动，光源的旋转轴线(41)位于照相机的旋转轴线(42)和铰接折片(2)之间。

3.一种用于将农业收割机(51)的可运动卸载装置引导向在收割机附近驱动的容器(4)的方法，当从收割机看时，该容器包括近侧上部边界(6)和远侧上部边界(8)，该方法包括以下步骤：

—使用在收割机上的3D照相机(15)来用于捕获图像(19)， 在该图像(19)中至少能够看见近侧上部边界(6)，且照相机产生图像数据，该图像数据包含关于在照相机和近侧上部边界(6)之间的距离的信息；

—处理该图像数据，用于由此推导出关于在近侧上部边界(6)和卸载装置之间的相对位置的数据；以及

—使用该相对位置数据用于使得卸载装置相对于收割机自动地运动；

3D照相机(15)安装成可绕基本水平的旋转轴线运动，且照相机绕该轴线的角度位置控制成这样，在收割机和/或容器的运动过程中，使得近侧上部边界(6)保持在照相机的观察图像(19)的预定区域内，卸载装置包括排出喷口(1)和在该排出喷口端部处的铰接折片(2)，折片的位置根据检测的、从近侧上部边界(6)至3D照相机(15)的距离来控制，这样，折片持续引导向位于离近侧上部边界(6)预定距离(P)的点，

其特征在于：该预定区域是在两个平行线之间的条，这两个平行线位于照相机的观察图像(19)的下半部分中，该方法包括以下步骤：

—检测近侧上部边界(6)，

—当近侧上部边界(6)可见，但是如通过竖直条的分析所确定的，近侧上部边界(6)的位置并不在两个平行线之间时，

·检测近侧上部边界(6)是位于两个平行线的上面还是下面，

·当近侧上部边界(6)位于两个平行线的上面时，向上转动照相机，一旦多个位置中的至少一个位置处于两个平行线中，就保持照相机位置，

·当近侧上部边界(6)位于两个平行线下面时，向下转动照相机，一旦多个位置中的至少一个处于两个平行线中，就保持照相机位置；

·当近侧上部边界在图像中不可见时，使得照相机运动至预定的开始位置。

4.根据权利要求3所述的方法，其特征在于：近侧上部边界(6) 的位置根据至少两个竖直条(21/22/32)来检测，该竖直条确定于由照相机观察的容器(4)的图像中。

5.根据权利要求3所述的方法，其特征在于：开始位置是这样的位置，在该位置中，照相机引导成使得观察的图像不只包含容器的远侧上部边界(8)。

6.根据权利要求3所述的方法，其特征在于：折片(2)的位置根据3D照相机(15)的角度位置(ψ)来控制。