Die vorliegende Erfindung bezieht sich auf ein System zur selbsttätigen Lenkung eines Fahrzeugs und/oder eines damit verbundenen Arbeitsgeräts zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld, sowie eine Kombination aus einem Fahrzeugs und einem damit verbundenen Arbeitsgerät.The present invention relates to a system for the automatic steering of a vehicle and / or an implement connected to it for carrying out a plant cultivation process in a field, as well as a combination of a vehicle and an implement connected to it.
Stand der TechnikState of the art
In der Landwirtschaft besteht ein Bedürfnis, Fahrzeuge selbsttätig über ein Feld zu lenken, um dem Bediener die Arbeit zu erleichtern und es ihm zu ermöglichen, sich auf die Überwachung und Kontrolle der beim Überfahren des Feldes durchgeführten Arbeiten, wie Bodenbearbeitung, Ausbringen von Mitteln oder Ernten von Pflanzen zu konzentrieren. Im Stand der Technik sind neben Lenksystemen, die mittels eines satellitenbasierten Positionsbestimmungssystems (GNSS, globales Satellitennavigationssystem) und einer Karte der zu befahrenden Spuren ein Lenksignal erzeugen ( EP 0 856 453 A2 ) auch optische Lenksysteme bekannt, die anhand eines das Feld vor dem Fahrzeug abtastenden Laserentfernungsmessers ( DE 197 43 884 A1 ) oder anhand des Bildes einer Kamera, das mit einem Bildverarbeitungssystem ausgewertet wird ( DE 103 51 861 A1 , US 8 706 341 B2 , DE 10 2016 209 437 A1 ) Merkmale auf dem Feld erkennen, anhand denen ein zu befahrender Weg evaluiert wird. Bei diesen Merkmalen kann es sich um Bearbeitungsgrenzen handeln, die eine Änderung des Bodenprofils mit sich bringen, oder um die Kante eines noch stehenden Erntegutbestandes, oder um Fahrspuren oder Pflanzenreihen.In agriculture there is a need to steer vehicles automatically over a field in order to make the work easier for the operator and to enable him to concentrate on the monitoring and control of the work carried out when driving over the field, such as tillage, application of resources or harvesting focus of plants. In addition to steering systems that generate a steering signal by means of a satellite-based position determination system (GNSS, global satellite navigation system) and a map of the lanes to be traveled ( EP 0 856 453 A2 ) optical steering systems are also known that are based on a laser rangefinder that scans the field in front of the vehicle ( DE 197 43 884 A1 ) or based on the image of a camera, which is evaluated with an image processing system ( DE 103 51 861 A1 , US 8,706,341 B2 , DE 10 2016 209 437 A1 ) Recognize features in the field that are used to evaluate a path to be traveled. These features can be processing limits that bring about a change in the soil profile, or the edge of a crop that is still standing, or lanes or rows of plants.
Derartige, mit einer Kamera erzeugte Lenksignale können zur selbsttätigen Lenkung eines Fahrzeugs dienen und/oder verwendet werden, um einen zur seitlichen Verstellung des Geräts vorgesehenen Aktor gegenüber dem Fahrzeug zu kontrollieren, um das Arbeitsgerät auf dem gewünschten Weg zu halten ( EP 2283719 A2 , US 2013/0110358 A1 , DE 1020015009889 A1 ) und somit mögliche Lenkfehler des Fahrzeugs zu kompensieren.Such steering signals generated with a camera can serve to automatically steer a vehicle and / or be used to control an actuator provided for lateral adjustment of the device relative to the vehicle in order to keep the implement on the desired path ( EP 2283719 A2 , US 2013/0110358 A1 , DE 1020015009889 A1 ) and thus to compensate for possible steering errors of the vehicle.
Die Kamera ist am Fahrzeug oder am Arbeitsgerät angebracht und vollführt somit auch eventuelle Bewegungen des Fahrzeugs mit. Wenn das Fahrzeug demnach durch eine quer zur Fahrtrichtung orientierte Vertiefung hindurch oder über eine quer verlaufende Bodenwelle fährt, ändert sich der Neigungswinkel des Fahrzeugs und des Arbeitsgeräts in Vorwärtsrichtung (so genannte Pitchbewegung). Analog ändert sich der Winkel des Fahrzeugs und des Arbeitsgeräts um den sich in Fahrzeuglängsrichtung erstreckenden Winkel (so genannte Rollbewegung), wenn die Räder nur auf einer Seite des Fahrzeugs über eine Erhöhung, z.B. einen Stein, oder durch eine Vertiefung, z.B. ein Schlagloch, fahren. Im Stand der Technik ist eine Perspektivkorrektur zum Ausgleich der jeweiligen Neigung des Fahrzeugs vorgesehen, die auf einem Trägheitsnavigationssystem zur Erfassung der Orientierung des Fahrzeugs im Raum basiert ( DE 10 2016 209 437 A1 ) oder anhand eines Trägheitsnavigationssystems und der im Bild der Kamera detektierten Lage des Horizonts erfolgen kann, die mittels eines Kalmanfilters verarbeitet werden ( A. English et al., Vision Based Guidance for Robot Navigation in Agriculture, 2014 IEEE International Conference on Robotics & Automation (ICRA), May 31 - June 7, 2014. Hong Kong, China, Seiten 1693-1698 ).The camera is attached to the vehicle or the work device and thus also carries out any movements of the vehicle. If the vehicle drives through a depression oriented transversely to the direction of travel or over a transverse bump, the angle of inclination of the vehicle and the implement changes in the forward direction (so-called pitch movement). Similarly, the angle of the vehicle and the implement changes by the angle extending in the longitudinal direction of the vehicle (so-called rolling movement) if the wheels drive over an elevation, e.g. a stone, or through a depression, e.g. a pothole, on only one side of the vehicle . In the prior art, a perspective correction is provided to compensate for the respective inclination of the vehicle, which is based on an inertial navigation system for detecting the orientation of the vehicle in space ( DE 10 2016 209 437 A1 ) or using an inertial navigation system and the position of the horizon detected in the image of the camera, which are processed by means of a Kalman filter ( A. English et al., Vision Based Guidance for Robot Navigation in Agriculture, 2014 IEEE International Conference on Robotics & Automation (ICRA), May 31 - June 7, 2014. Hong Kong, China, pp. 1693-1698 ).
Problemproblem
Die im Stand der Technik bekannte Vorgehensweise erlaubt es dem kamera-basierten Lenksystem demnach zu erkennen, wenn sich der Winkel des Fahrzeugs um eine seiner drei Achsen ändern sollte und diese Änderung im Lenksignal zu berücksichtigen und das Fahrzeug dennoch entlang des gewünschten Wegs zu führen. Diese Vorgehensweise ist unproblematisch, wenn die Änderung relativ langsam auftritt, während die Verarbeitungszeit des Bildverarbeitungssystems und die Reaktionszeit der Aktoren hingegen zu groß sind, um kleinere Änderungen der Fahrzeugorientierung zu kompensieren, wie sie beispielsweise durch Bodenwellen oder Schlaglöcher bedingt sind. In diesem Fall kommandiert das Bildverarbeitungssystem demnach Lenkreaktionen, die nicht zu einer sinnvollen Bewegung des Fahrzeugs führen, sondern eher nachteilig sind, da sie zu größeren Abweichungen vom Sollweg führen als sie ohne Lenkreaktion auftreten würden.The procedure known in the prior art allows the camera-based steering system to recognize when the angle of the vehicle should change about one of its three axes and to take this change into account in the steering signal and still guide the vehicle along the desired path. This procedure is not a problem if the change occurs relatively slowly, while the processing time of the image processing system and the reaction time of the actuators are too long to compensate for minor changes in the vehicle orientation, such as those caused by bumps or potholes. In this case, the image processing system accordingly commands steering reactions that do not lead to meaningful movement of the vehicle, but rather are disadvantageous, since they lead to greater deviations from the target path than would occur without a steering reaction.
Lösungsolution
Verschiedene Aspekte der vorliegenden Offenbarung werden in den Ansprüchen dargelegt.Various aspects of the present disclosure are set out in the claims.
Ein System zur selbsttätigen Lenkung eines Fahrzeugs und/oder eines damit verbundenen Arbeitsgeräts zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld umfasst:
- eine Kamera die mit einem Bildverarbeitungssystem verbunden ist, das programmiert ist, anhand des Bildsignals der Kamera Merkmale auf dem Feld zu erkennen, an denen das Fahrzeug und/oder das Arbeitsgerät entlang zu lenken ist,
- ein Ausrichtungserfassungssystem zur Erfassung der Ausrichtung des Fahrzeugs und/oder des Arbeitsgeräts im Raum bezüglich wenigstens einer Achse,
- wobei das zur Erzeugung eines Lenksignals für das Fahrzeug und/oder das Arbeitsgerät eingerichtete Bildverarbeitungssystem signalübertragend mit dem Ausrichtungserfassungssystem verbunden und programmiert ist, die Signale des Ausrichtungserfassungssystems zur Korrektur der Signale der Kamera zu verwenden, um eine geänderte Ausrichtung des Fahrzeugs und/oder Arbeitsgeräts im Raum bei der Erzeugung des Lenksignals zu berücksichtigen,
- und das Bildverarbeitungssystem eingerichtet ist, kurzfristige Änderungen der Signale des Ausrichtungserfassungssystems bei der Erzeugung des Lenksignals zu ignorieren.
A system for the automatic steering of a vehicle and / or a working device connected to it for carrying out a plant cultivation operation in a field comprises: - a camera that is connected to an image processing system that is programmed to use the image signal of the camera to recognize features on the field along which the vehicle and / or the implement is to be steered,
- an orientation detection system for detecting the orientation of the vehicle and / or the implement in space with respect to at least one axis,
- wherein the image processing system set up to generate a steering signal for the vehicle and / or the implement is connected to the orientation detection system in a signal-transmitting manner and is programmed, the signals of the To use the alignment detection system to correct the signals from the camera in order to take into account a changed alignment of the vehicle and / or implement in space when generating the steering signal,
- and the image processing system is set up to ignore short-term changes in the signals of the orientation detection system when generating the steering signal.
Mit anderen Worten wird ein Fahrzeug und/oder ein Arbeitsgerät selbsttätig mittels einer Kamera und eines Bildverarbeitungssystems entlang von im Bild des Felds identifizierten Merkmalen gelenkt. Da das Bild der Kamera und somit die Lage der dort enthaltenen Merkmale von der Orientierung des Fahrzeugs bzw. Arbeitsgeräts im Raum (d.h. vom Drehwinkel um die Neigungsachse quer zur Vorwärtsrichtung, vom Drehwinkel um die Längsachse und/oder vom Drehwinkel um die Hochachse) abhängt, wird diese Orientierung um zumindest einen der erwähnten Winkel mittels eines Ausrichtungserfassungssystems erfasst und an das Bildverarbeitungssystem übermittelt, das in an sich bekannter Weise die Signale der Kamera hinsichtlich der sich ändernden Perspektive der Kamera korrigiert. Um zu verhindern, dass kurzfristige Änderungen der Signale des Ausrichtungserfassungssystems, die beispielsweise durch Überfahren eines Steins oder einer Bodenwelle durch die Räder des Fahrzeugs bedingt sein können, zu wenig sinnvollen oder gar schädlichen Reaktionen der Lenkung führen, ist das Bildverarbeitungssystem in der Lage, bei den Signalen des Ausrichtungserfassungssystems zwischen kurzfristigen und längerfristigen Änderungen zu unterscheiden. Kurzfristige Änderungen, wie sie beispielsweise durch das Überfahren eines Steins oder einer Bodenwelle bedingt sind, werden ignoriert, um die oben beschriebenen Nachteile zu vermeiden, während die längerfristigen Änderungen in üblicher Weise bei der Korrektur der Perspektive der Kamera und der Erzeugung des Lenksignals berücksichtigt werden.In other words, a vehicle and / or a work device is automatically steered by means of a camera and an image processing system along features identified in the image of the field. Since the image of the camera and thus the position of the features contained therein depends on the orientation of the vehicle or working device in space (i.e. the angle of rotation about the inclination axis transverse to the forward direction, the angle of rotation about the longitudinal axis and / or the angle of rotation about the vertical axis), this orientation is detected by at least one of the mentioned angles by means of an orientation detection system and transmitted to the image processing system, which corrects the signals of the camera in a known manner with regard to the changing perspective of the camera. In order to prevent short-term changes in the signals from the alignment detection system, which may be caused by the vehicle's wheels driving over a stone or bump, for example, resulting in inadequate or even harmful reactions of the steering, the image processing system is able to handle the Distinguish between short term and longer term changes signals from the alignment detection system. Short-term changes, such as those caused by driving over a stone or a bump, are ignored in order to avoid the disadvantages described above, while the longer-term changes are usually taken into account when correcting the perspective of the camera and generating the steering signal.
Insbesondere kann das Bildverarbeitungssystem eingerichtet sein, im Fall von kurzfristigen Änderungen der Signale des Ausrichtungserfassungssystems für die Zeitdauer der kurzfristigen Änderung das zuletzt vor einer kurzfristigen Änderung des Signals des Ausrichtungserfassungssystems erzeugte Lenksignal beizubehalten, d.h. keine Lenkreaktion durchzuführen, da diese wegen der kurzfristigen Bewegung des Fahrzeugs und der dadurch erzeugten Unsicherheit des Bildverarbeitungssystems voraussichtlich nicht sinnvoll wäre.In particular, the image processing system can be set up, in the case of short-term changes in the signals of the orientation detection system, for the duration of the short-term change to retain the steering signal generated last before a short-term change in the signal of the orientation detection system, i.e. not to carry out a steering reaction, since this would probably not be useful because of the short-term movement of the vehicle and the resulting uncertainty of the image processing system.
Das Ausrichtungserfassungssystem kann einen GNSS-Empfänger und/oder ein Trägheitsnavigationssystem und/oder einen Lenkwinkelsensor und/oder einen Sensor zur Erfassung der Höhe des Fahrzeugs und/oder Anbaugeräts über dem Boden und/oder das mit der Kamera oder einer weiteren Kamera verbundene Bildverarbeitungssystem umfassen.The orientation detection system can comprise a GNSS receiver and / or an inertial navigation system and / or a steering angle sensor and / or a sensor for detecting the height of the vehicle and / or attachment above the ground and / or the image processing system connected to the camera or another camera.
Die vom Bildverarbeitungssystem im Bild der Kamera identifizierten Merkmale können Pflanzenreihen und/oder Fahrspuren darstellen.The features identified by the image processing system in the image of the camera can represent rows of plants and / or lanes.
Das Arbeitsgerät kann gegenüber dem Fahrzeug durch einen vom Bildverarbeitungssystem kontrollierten Aktor seitlich beweglich sein.The working device can be moved laterally relative to the vehicle by an actuator controlled by the image processing system.
Die Kamera kann am Arbeitsgerät angeordnet sein.The camera can be arranged on the implement.
FigurenlisteFigure list
Die erwähnten und andere Merkmale werden durch die folgende Beschreibung und beigefügten Zeichnungen erkennbar, in denen:
- 1 eine schematische Draufsicht auf ein landwirtschaftliches Fahrzeug mit einem Arbeitsgerät mit Werkzeugen und einem System zur Steuerung der seitlichen Position des Arbeitsgeräts während eines Bearbeitungsvorgangs auf einem Feld; und
- 2 ein Flussdiagramm zeigt, nach dem eine Gerätesteuereinheit vorgeht.
The mentioned and other features will become apparent from the following description and accompanying drawings, in which: - 1 a schematic top view of an agricultural vehicle with an implement with tools and a system for controlling the lateral position of the implement during a cultivation process in a field; and
- 2 shows a flow diagram by which an appliance controller acts.
Gleiche Bezugszeichen werden verwendet, um in den Figuren durchgängig gleiche Elemente zu kennzeichnen. Wenigstens eine beispielhafte Ausführungsform des Gegenstands der vorliegenden Offenbarung ist anhand der 1 und 2 verständlich.The same reference numbers are used to identify the same elements throughout the figures. At least one exemplary embodiment of the subject matter of the present disclosure is based on FIG 1 and 2 understandable.
1 zeigt eine Draufsicht auf ein Feld 10, auf dem in landwirtschaftliches Fahrzeug 12, das ein selbstfahrendes Fahrzeug und ein damit verbundenes Arbeitsgerät 14 umfasst, einen Arbeitsvorgang durchführt. Auf dem Feld 10 wurden während eines vorhergehenden Arbeitsschrittes Pflanzen 16 gesät oder gepflanzt. Die Pflanzen 16 sind in einem rechteckigen Muster, wie gezeigt, angebaut, oder in einem beliebigen anderen Muster, z.B. in einem hexagonalen oder Diamant-Muster, oder bedecken das Feld ohne regelmäßiges Muster, wie wenn sie mit einer Drillmaschine gesät worden sind. Die Pflanzen können auf jegliche sinnvolle Weise gesät oder gepflanzt worden sein, wie basierend auf einem Empfänger für ein Positionierungssystem (GNSS, z.B. GPS) oder unter Verwendung lokaler Sensoren auf dem Sä- oder Pflanzfahrzeug. 1 shows a top view of a field 10 on which in agricultural vehicle 12th , that is a self-driving vehicle and a work device connected to it 14th includes, performs an operation. On the field 10 were plants during a previous work step 16 sown or planted. The plants 16 are grown in a rectangular pattern as shown, or in any other pattern such as a hexagonal or diamond pattern, or cover the field without a regular pattern, such as when sown with a seed drill. The plants may have been sown or planted in any meaningful way, such as based on a receiver for a positioning system (GNSS, eg GPS) or using local sensors on the sowing or planting vehicle.
Das Fahrzeug 12 ist ein Traktor 18 mit einem Fahrgestell 20 oder Rahmen, das oder der auf im Bodeneingriff befindlichen Mitteln in der Form lenkbarer Vorderräder 26 und angetriebener Hinterräder 28 auf dem Erdboden abgestützt ist. Das Fahrzeug 12 umfasst zudem eine Bedienerkabine 24 und einen Motor 61 zum Antreiben der Hinterräder 28 und optional der Vorderräder 26 und einer Zapfwelle (nicht gezeigt).The vehicle 12th is a tractor 18th with a chassis 20th or frame, on ground engaging means in the form of steerable front wheels 26th and driven rear wheels 28 is supported on the ground. The vehicle 12th also includes an operator's cabin 24 and an engine 61 to drive the rear wheels 28 and optionally the front wheels 26th and a PTO shaft (not shown).
Das Arbeitsgerät 14 umfasst einen Querträger 36, welcher eine Anzahl an Reiheneinheiten 22 abstützt, die seitlich nebeneinander über die Länge des Querträgers 36 verteilt sind. Die Reiheneinheiten 22 umfassen Werkzeuge 88 (z.B. Hacken oder Gänsefußschare zum Entfernen von Unkraut vom Boden des Feldes zwischen den Reihen der Pflanzen 16 oder beliebige andere Werkzeuge zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs, wie Säen, Düngen, Spritzen, Ernten etc.).The working device 14th includes a cross member 36 which is a number of row units 22nd supported side by side over the length of the cross member 36 are distributed. The row units 22nd include tools 88 (e.g. hoes or goosefoot shares to remove weeds from the soil of the field between the rows of plants 16 or any other tools for carrying out a plant cultivation process, such as sowing, fertilizing, spraying, harvesting, etc.).
An der Rückseite des Fahrgestells 20 ist eine Dreipunktkupplung 46 mit Unterlenkern 32 und einem Oberlenker 30 befestigt. Die Lenker 30, 32 sind mit ihren rückwärtigen Enden an einem quer verlaufenden Trägerbalken 35 befestigt, der seinerseits durch sich längs erstreckende Träger 34 am Querträger 36 des Arbeitsgeräts 14 angebracht ist. Die Lenker 30 und 32 sind jeweils um vertikale Achsen schwenkbar am Fahrgestell 20 und am Trägerbalken 35 angebracht. Ein Aktor 38 in der Form eines hydraulischen Zylinders ist mit seinem ersten Ende am Fahrgestell 20 und mit seinem zweiten Ende an einem der Unterlenker 32 angelenkt und kann somit den Trägerbalken 35 und somit das gesamte Arbeitsgerät 14 parallelogrammartig in seitlicher Richtung, d.h. horizontal und quer zur Vorwärtsrichtung V, bewegen. Der Aktor 38 wird durch einen Ventilblock 50 kontrolliert, der mit einer elektronischen Fahrzeugsteuereinheit 52 verbunden ist. Die elektronische Fahrzeugsteuereinheit 52 ist eingerichtet, über ein Bussystem 56 (das vorzugweise nach der Norm ISO 11783 arbeitet Kontrollsignale zu erhalten, welches Kontrollanweisungen von einer elektronischen Gerätesteuereinheit 54 an die Fahrzeugsteuereinheit 52 übersendet. Die Gerätesteuereinheit 54 kann somit die seitliche Position des Arbeitsgeräts 14 kontrollieren, wie im Detail in der DE 102016212201 A1 beschrieben wird, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird, wie auch mit Bezug auf die 2 näher erläutert wird. Ein Sensor 86 erfasst den Winkel eines der Unterlenker 32 gegenüber dem Fahrgestell 20 um die vertikale Achse und stellt somit ein Signal hinsichtlich der seitlichen Position des Arbeitsgeräts 14 gegenüber dem Fahrgestell 20 bereit. Es sei angemerkt, dass der Sensor 86 in das Gehäuse des Aktors 38 integriert werden könnte (s. EP 1210854 A1 ). Bei einer anderen Ausführungsform könnten Aktoren 38 zwischen dem Fahrgestell 20 und jedem Unterlenker 32 verwendet werden, mit integrierten oder getrennten Sensoren 86, wobei die Aktoren 38 einfach oder doppelt wirkend sind.At the rear of the chassis 20th is a three-point hitch 46 with lower links 32 and a top link 30th attached. The handlebars 30th , 32 are with their rear ends on a transverse support beam 35 attached, in turn by longitudinally extending beams 34 on the cross member 36 of the implement 14th is appropriate. The handlebars 30th and 32 can be swiveled around vertical axes on the chassis 20th and on the support beam 35 appropriate. One actuator 38 in the form of a hydraulic cylinder is with its first end on the chassis 20th and with its second end on one of the lower links 32 hinged and can thus the support beam 35 and thus the entire work device 14th Move parallelogram-like in the lateral direction, ie horizontally and transversely to the forward direction V. The actuator 38 is through a valve block 50 controlled by an electronic vehicle control unit 52 connected is. The electronic vehicle control unit 52 is set up via a bus system 56 (which preferably works according to the ISO 11783 standard to receive control signals, which control instructions from an electronic device control unit 54 to the vehicle control unit 52 sent. The device control unit 54 can thus change the lateral position of the implement 14th control as detailed in the DE 102016212201 A1 the content of which is incorporated by reference into this document, as well as with reference to the 2 is explained in more detail. One sensor 86 detects the angle of one of the lower links 32 opposite the chassis 20th around the vertical axis and thus provides a signal regarding the lateral position of the implement 14th opposite the chassis 20th ready. It should be noted that the sensor 86 in the housing of the actuator 38 could be integrated (s. EP 1210854 A1 ). In another embodiment, actuators 38 between the chassis 20th and every lower link 32 can be used with integrated or separate sensors 86 , the actuators 38 are single or double acting.
Bei einer anderen möglichen Ausführungsform kann das Arbeitsgerät 14 durch einen so genannten Seitenverschieberahmen mit dem Fahrzeug 12 verbunden sein, der einen Aktor zur seitlichen Positionskontrolle des Arbeitsgeräts 14 verwendet, wie z.B. in EP 2283719 A2 und US 2013/0110358 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird. Es wäre auch möglich, das Arbeitsgerät 14 auf Rädern abzustützen und es durch eine Deichsel mit einer Kupplung des Fahrzeugs 12 zu verbinden und durch einen Aktor 38 aktiv den Winkel der Deichsel und/oder den Lenkwinkel der Räder des Arbeitsgeräts 14 zu kontrollieren (s. US 2013/0186657 A1 , durch Verweis mit in die vorliegenden Unterlagen aufgenommen.In another possible embodiment, the implement 14th by means of a so-called side shift frame with the vehicle 12th be connected to an actuator for lateral position control of the implement 14th used, e.g. in EP 2283719 A2 and US 2013/0110358 A1 the content of which is included in the present documents by reference. It would also be possible to use the implement 14th on wheels and support it through a drawbar with a coupling of the vehicle 12th to connect and through an actuator 38 active the angle of the drawbar and / or the steering angle of the wheels of the implement 14th to control (s. US 2013/0186657 A1 , incorporated by reference into the present documents.
Somit wird die seitliche Position des Arbeitsgeräts 14 durch die Gerätesteuereinheit 54 kontrolliert, unter Verwendung des Aktors 38. Da das Arbeitsgerät 14 immer in einer seitlichen Position über das Feld 10 bewegt werden sollte, an der die Reiheneinheiten 22 mit den im Bodeneingriff befindlichen Werkzeugen 88 an ihren geeigneten Positionen zwischen den Reihen der Pflanzen 16 angeordnet sind, um den gewünschten landwirtschaftlichen Arbeitsvorgang durchzuführen und Schäden an den Pflanzen zu vermeiden (oder in einer beliebigen, sinnvollen gewünschten Position zur Durchführung eines landwirtschaftlichen Arbeitsvorgangs, wie Säen, Pflanzen, Ernähren, oder Ernten der Pflanzen 16 oder Teilen davon), wird das Arbeitsgerät 14 durch die Gerätesteuereinheit 54 selbsttätig entlang der Reihen der Pflanzen 16 geführt, basierend auf Signalen einer ersten Kamera 60 mit einem Bildverarbeitungssystem 62, einer optionalen zweiten Kamera 60' mit einem Bildverarbeitungssystem 62' und einem optionalen Empfänger 58 zum Empfang eines Satelliten-basierten Positionsbestimmungssystems, wie GPS, Glonass, oder Galileo. Der Empfänger 58 ist am Querträger 36 des Arbeitsgeräts 12 oder an einer anderen, geeigneten Stelle dort befestigt. Die Bildverarbeitungssysteme 62, 62' könnten auch in die Gerätesteuereinheit 54 integriert werden. Bei einer anderen Ausführungsform könnte die Gerätesteuereinheit 54 auch in die Fahrzeugsteuereinheit 52 integriert werden, oder sie kann den Aktor 38 direkt (nicht über die Fahrzeugsteuereinheit 52) ansteuern.Thus, the lateral position of the implement 14th through the device control unit 54 controlled, using the actuator 38 . Because the implement 14th always in a sideways position across the field 10 should be moved to the row units 22nd with the tools in contact with the ground 88 in their appropriate positions between the rows of plants 16 are arranged to carry out the desired agricultural operation and avoid damage to the plants (or in any meaningful desired position for carrying out an agricultural operation, such as sowing, planting, feeding, or harvesting the plants 16 or parts thereof), the implement becomes 14th through the device control unit 54 automatically along the rows of plants 16 based on signals from a first camera 60 with an image processing system 62 , an optional second camera 60 ' with an image processing system 62 ' and an optional receiver 58 for receiving a satellite-based positioning system such as GPS, Glonass, or Galileo. The recipient 58 is on the cross member 36 of the implement 12th or attached to another suitable place there. The image processing systems 62 , 62 ' could also be in the device control unit 54 to get integrated. In another embodiment, the device control unit could 54 also in the vehicle control unit 52 be integrated, or it can be the actuator 38 directly (not via the vehicle control unit 52 ).
Die Kameras 60, 60' sind am Querträger 36 des Arbeitsgeräts 14 befestigt und blicken auf das Feld 10 vor dem Arbeitsgerät 14. Die Bildverarbeitungssysteme 62, 62' extrahieren aus den Bildern die relative Position der Reihen der Pflanzen 16 gegenüber der Kamera 60, 60' und vergleichen diese Position mit einer im Vorab abgespeicherten oder programmierten, gewünschten Sollposition der Pflanzen 16 gegenüber der Kamera 60, 60' oder umgekehrt. Somit wird der Gerätesteuereinheit 54 ein erstes Signal bereitgestellt, das eine mögliche Abweichung zwischen der aktuellen seitlichen Position und der gewünschten seitlichen Position des Arbeitsgeräts 14 anzeigt. Die Signale der Bildverarbeitungssysteme 62, 62' können durch Signale des Empfängers 58 verbessert oder (insbesondere, wenn die Reiheneinheiten 22 Säeinheiten mit Furchenöffnern mit im Bodeneingriff befindlichen Werkzeugen 88 sind) ersetzt werden, unter Verwendung einer im Vorab abgespeicherten Karte mit der aktuellen oder gewünschten Position der Pflanzen 16 (oder von deren Reihen) als Referenz. Das Fusionieren der Signale der Bildverarbeitungssysteme 62, 62' und des Empfängers 58 kann auf der relativen Qualität der Signale basieren.The cameras 60 , 60 ' are on the cross member 36 of the implement 14th attached and overlook the field 10 in front of the implement 14th . The image processing systems 62 , 62 ' extract the relative position of the rows of plants from the images 16 opposite the camera 60 , 60 ' and compare this position with a previously stored or programmed, desired target position of the plants 16 opposite the camera 60 , 60 ' or the other way around. Thus becomes the device control unit 54 a first signal is provided which indicates a possible discrepancy between the current lateral position and the desired lateral position of the implement 14th indicates. The signals from the image processing systems 62 , 62 ' can by signals from the receiver 58 improved or (especially if the Row units 22nd Seeding units with furrow openers with tools in contact with the ground 88 are) replaced using a pre-stored map with the current or desired position of the plants 16 (or from their ranks) for reference. The merging of the signals from the image processing systems 62 , 62 ' and the recipient 58 can be based on the relative quality of the signals.
Demnach kontrolliert die Gerätesteuereinheit 54 den Aktor 38, um das Arbeitsgerät 14 mit seinen Reiheneinheiten 22 basierend auf dem ersten Signal entlang eines gewünschten Wegs zu führen. Bei der gezeigten Ausführungsform wird dieser gewünschte Weg durch die Position der Pflanzen 16 auf dem Feld vorgegeben und der Aktor 38 wird durch die Gerätesteuereinheit 54 (unter Verwendung geeigneter Software) basierend auf den Signalen der Kamera 60 und optional 60' derart gelenkt, dass die Reiheneinheiten 22 sich zwischen den Pflanzen 16 (entsprechend der von den Kameras 60, 60' detektierten Position der Pflanzen 16) bewegen. Der gewünschte Weg kann alternativ oder zusätzlich in einem Speicher der Gerätesteuereinheit 54 im Vorab abgespeichert sein und der Aktor 38 basierend auf dem gewünschten Weg kontrolliert werden. Beide Optionen und ihre Kombination sind im Wesentlichen in der US 2002/0193928 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird. Eine Ausführungsform einer seitlichen Führung des Arbeitsgeräts 14 basierend auf Kameras 60, 60' und einem Empfänger 58 wird zudem detaillierter in EP 2910098 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.The device control unit controls accordingly 54 the actuator 38 to the implement 14th with its row units 22nd based on the first signal along a desired path. In the embodiment shown, this desired path is determined by the position of the plants 16 specified on the field and the actuator 38 is controlled by the device control unit 54 (using suitable software) based on the signals from the camera 60 and optionally 60 'steered such that the row units 22nd between the plants 16 (according to that of the cameras 60 , 60 ' detected position of the plants 16 ) move. The desired route can alternatively or additionally be stored in a memory of the device control unit 54 be saved in advance and the actuator 38 controlled based on the desired route. Both options and their combination are essentially in the US 2002/0193928 A1 the content of which is included in the present documents by reference. One embodiment of a lateral guide of the implement 14th based on cameras 60 , 60 ' and a recipient 58 is also detailed in EP 2910098 A1 the content of which is included in the present documents by reference.
Die Vorderräder 26 des Fahrzeugs 12 werden durch einen in der Kabine 18 sitzenden Bediener oder in der Weise selbsttätig gelenkt, dass die Fahrzeugsteuereinheit 52 einen Lenkaktor 64 kontrolliert, der den Lenkwinkel der Vorderräder 26 basierend auf Signalen eines Positionsbestimmungssystems mit einem Empfänger 48 zum Empfang von Signalen eines Satelliten-basierten Positionsbestimmungssystems, wie GPS, Glonass, oder Galileo, unter Verwendung einer im Vorab abgespeicherten Karte, die Daten hinsichtlich der Orte der Pflanzen 16 oder eines Wegs (Fahrgasse) zur Überfahrung des Felds als Referenz verwendet, wobei ein Lenkwinkelsensor 94 Rückkopplungswerte bereitstellen kann. Der Empfänger 48, der optional ein Trägheitsnavigationssystem, wie in EP 1475609 A2 beschrieben, umfassen kann, ist auf dem Dach der Kabine 24 befestigt. Alternativ oder zusätzlich kann das Fahrzeug 12 basierend auf einer Kamera (nicht gezeigt) gelenkt werden, die am Fahrzeug 12 befestigt und mit einem Bildverarbeitungssystem verbunden ist, das die Reihen der Pflanzen 16 vor dem Fahrzeug 12 erfasst. Es sei auch angemerkt, dass im Falle eines auf Raupenlaufwerken basierenden Fahrzeugs 12 dessen Lenkwinkel durch Geschwindigkeitsdifferenzen der Raupenlaufwerke auf beiden Seiten des Fahrzeugs 12 beeinflusst werden könnte, und dass im Falle einer Knicklenkung ein Aktor den Lenkwinkel des Fahrzeugs 12 durch ein Drehen des vorderen und rückwärtigen Teils des Fahrzeugs 12 um eine vertikale Verbindungsachse kontrollieren würde.The front wheels 26th of the vehicle 12th be by one in the cabin 18th seated operator or automatically steered in such a way that the vehicle control unit 52 a steering actuator 64 controls the steering angle of the front wheels 26th based on signals from a positioning system with a receiver 48 for receiving signals from a satellite-based positioning system, such as GPS, Glonass, or Galileo, using a map stored in advance, the data relating to the locations of the plants 16 or a path (tramline) for driving over the field is used as a reference, with a steering angle sensor 94 Can provide feedback values. The recipient 48 , which optionally includes an inertial navigation system, as in EP 1475609 A2 described, may include, is on the roof of the cabin 24 attached. Alternatively or additionally, the vehicle 12th based on a camera (not shown) on the vehicle 12th attached and connected to an image processing system that controls the rows of plants 16 in front of the vehicle 12th detected. It should also be noted that in the case of a crawler-based vehicle 12th its steering angle due to the speed differences between the crawler tracks on both sides of the vehicle 12th could be influenced, and that in the case of articulated steering, an actuator controls the steering angle of the vehicle 12th by rotating the front and rear of the vehicle 12th around a vertical connecting axis.
Es ist erkennbar, dass die Lage im Bild der Kamera 60, 60' enthaltener Merkmale auf dem Feld, im Beispiel der 1 die Lage der Reihen der Pflanzen 16, sich innerhalb des Bildes verschiebt, wenn sich die Neigung des Fahrzeugs 12 im Raum ändert. Das kann beispielsweise passieren, wenn die Vorderräder 26 eine Querwelle im Boden überfahren, denn dann hebt sich zuerst der vordere Teil des Fahrzeugs 12 temporär, während sich der hintere Teil des Fahrzeugs 12 sowie das Arbeitsgerät 14 demgegenüber absenken, was dazu führt, dass der Horizont im Bild der Kamera 60, 60' nach unten wandert. Analog hebt sich der hintere Teil des Fahrzeugs 12 temporär gegenüber dem vorderen Teil des Fahrzeugs 12, wenn die Hinterräder 28 anschließend die Querwelle im Boden überfahren, was dazu führt, dass sich auch das Arbeitsgerät 14 und die Kamera 60, 60' anheben und der Horizont im Bild der Kamera 60, 60' nach oben wandert. Hier liegt demnach eine Änderung der Orientierung um die Querachse vor. Analog wird der Horizont im Bild sich temporär zur Seite neigen, wenn die Vorderräder 26 oder Hinterräder 28 an einer Seite des Fahrzeugs 12 über einen Stein oder durch ein Schlagloch fahren, d.h. bei einer Änderung der Orientierung um die Längsachse. Gleichartige, jedoch längerfristige Änderungen im Bild der Kamera 60, 60' ergeben sich auch, wenn die Neigung des Fahrzeugs 12 im Raum sich längerfristig ändert, z.B. beim Übergang von einer Fahrt in einer horizontalen Ebene in ein Bergauf- oder Bergabfahren oder Befahren eines Seitenhanges (oder umgekehrt).It can be seen that the location is in the image of the camera 60 , 60 ' contained characteristics on the field, in the example the 1 the location of the rows of plants 16 , shifts within the image when the vehicle tilts 12th changes in space. This can happen, for example, when the front wheels 26th drive over a cross wave in the ground, because then the front part of the vehicle rises first 12th temporarily while moving the rear of the vehicle 12th as well as the implement 14th on the other hand lower it, which leads to the horizon in the image of the camera 60 , 60 ' migrates downwards. The rear part of the vehicle rises analogously 12th temporarily opposite the front part of the vehicle 12th if the rear wheels 28 then drive over the transverse wave in the ground, which means that the implement is too 14th and the camera 60 , 60 ' raise and the horizon in the picture of the camera 60 , 60 ' migrates upwards. There is accordingly a change in the orientation about the transverse axis. Similarly, the horizon in the picture will temporarily lean to one side when the front wheels 26th or rear wheels 28 on one side of the vehicle 12th Drive over a stone or through a pothole, ie when you change your orientation around the longitudinal axis. Similar, but longer-term changes in the image of the camera 60 , 60 ' also arise when the tilt of the vehicle 12th changes in space in the long term, for example when moving from a journey in a horizontal plane to going uphill or downhill or driving on a side slope (or vice versa).
Um ein brauchbares Lenksignal für den Aktor 38 und/oder ggf. ein selbsttätiges Lenksystem des Fahrzeugs 12, das auf den Signalen einer oder beider der Kameras 60, 60' oder einer dem Fahrzeug 12 zugeordneten Kamera (nicht gezeigt, aber im Folgenden immer auch ohne separate Erwähnung implizit mit gemeint, wenn eine der Kameras 60, 60' erwähnt wird) zu erhalten, ist demnach eine so genannte Perspektivkorrektur des Bildes der Kamera 60, 60' vorteilhaft.A useful steering signal for the actuator 38 and / or possibly an automatic steering system of the vehicle 12th that is on the signals of one or both of the cameras 60 , 60 ' or one of the vehicle 12th assigned camera (not shown, but also implicitly meant in the following without separate mention when one of the cameras 60 , 60 ' is mentioned), is therefore a so-called perspective correction of the image of the camera 60 , 60 ' advantageous.
Es wird nun auf die 2 verwiesen, die aufzeigt, in welcher Weise die Gerätesteuereinheit 54 im Betrieb arbeitet. Nach dem Start im Schritt 100 wird im Schritt 102 ein Signal von einem Ausrichtungserfassungssystem zur Erfassung der Ausrichtung des Fahrzeugs 12 und/oder des Arbeitsgeräts 12 im Raum bezüglich wenigstens einer Achse erfasst. Bei dieser Achse kann es sich um die Querachse, die Längsachse und/oder die Hochachse handeln. Sie kann mittels eines Trägheitsnavigationssystems (IMU, inertial measuring unit), das insbesondere in einen oder beide der GNSS-Empfänger 48 oder 58 integriert sein kann, erfasst werden. Es wäre auch denkbar, die Höhe des Fahrzeugs 12 oder des Arbeitsgerät 14 an beiden Seiten bzw. vorn und hinten über dem Boden durch (Ultraschall-) Entfernungsmesser zu erfassen, oder das Bild der Kamera 60, 60' (bzw. der Kamera des Fahrzeugs 12) auszuwerten, um anhand der Lage des Horizonts oder eines anderen Merkmals die Orientierung der Kamera 60, 60' und somit des Fahrzeugs 12 bzw. Arbeitsgeräts 14 um die Längs- und/oder Querachse zu erfassen. Die Signale zweier oder mehrerer erwähnten Sensoren können z.B. mittels eines Kalman-Filters fusioniert werden, um die Genauigkeit der Erfassung der Ausrichtung des Fahrzeugs 12 und/oder Anbaugeräts 14 durch das Ausrichtungserfassungssystem zu verbessern.It is now on the 2 referenced, which shows how the device control unit 54 works in the company. After starting in step 100 will be in crotch 102 a signal from an orientation detection system to detect the orientation of the vehicle 12th and / or the implement 12th detected in space with respect to at least one axis. This axis can be the transverse axis, the longitudinal axis and / or the vertical axis act. You can use an inertial navigation system (IMU, inertial measuring unit), which in particular in one or both of the GNSS receivers 48 or 58 can be integrated. It would also be possible to adjust the height of the vehicle 12th or the implement 14th on both sides or front and back above the floor by (ultrasonic) rangefinder or the image of the camera 60 , 60 ' (or the camera of the vehicle 12th ) to evaluate the orientation of the camera based on the position of the horizon or another feature 60 , 60 ' and thus the vehicle 12th or working device 14th to detect the longitudinal and / or transverse axis. The signals of two or more sensors mentioned can be fused, for example by means of a Kalman filter, in order to improve the accuracy of the detection of the orientation of the vehicle 12th and / or attachment 14th through the orientation detection system.
Im Schritt 102 wird zudem erfasst, ob die Geschwindigkeit der aktuell vom Ausrichtungserfassungssystem erfassten Winkeländerung größer als ein Schwellenwert ist. Die Änderung des Winkels je Zeiteinheit wird demnach mit einem Schwellenwert verglichen, der so gewählt ist, dass längerfristige Änderungen, wie ein Übergang aus der Horizontalen in eine Steigung oder Neigung in Fahrrichtung oder quer dazu, unterhalb des Schwellenwerts liegen, hingegen kurzfristige Änderungen, wie sie beim Überfahren einer Bodenwelle oder eines Steins oder beim Durchfahren eines Schlaglochs entstehen, jedoch oberhalb des Schwellenwerts liegen. Die Größe des Schwellenwerts kann von der aktuellen Vortriebsgeschwindigkeit des Fahrzeugs 12 abhängen, denn bei langsamen Geschwindigkeiten wird der Schwellenwert zweckmäßigerweise größer sein als bei höheren Geschwindigkeiten, in denen ein Überfahren eines Hindernisses eine schnellere Änderung der Orientierung des Fahrzeugs 12 bzw. Anbaugeräts 14 zur Folge hat als bei niedriger Geschwindigkeit. Zudem ist eine Reaktion des Lenksystems des Fahrzeugs 12 und/oder Anbaugeräts 14 auf die Winkeländerung bei kleineren Geschwindigkeiten besser möglich als bei hoher Geschwindigkeit.In step 102 it is also detected whether the speed of the angle change currently detected by the orientation detection system is greater than a threshold value. The change in the angle per unit of time is therefore compared with a threshold value that is selected so that longer-term changes, such as a transition from the horizontal to an incline or incline in the direction of travel or across it, are below the threshold value, whereas short-term changes, such as them occur when driving over a bump or a stone or when driving through a pothole, but are above the threshold value. The size of the threshold value can depend on the current propulsion speed of the vehicle 12th depend, because at slow speeds the threshold value is expediently greater than at higher speeds, in which driving over an obstacle results in a faster change in the orientation of the vehicle 12th or attachment 14th than at low speed. There is also a reaction from the vehicle's steering system 12th and / or attachment 14th on the change of angle at lower speeds is better possible than at high speed.
Ist die Winkeländerung größer als der Schwellenwert, folgt wieder Schritt 102, d.h. die Winkeländerung wird ignoriert. Zudem wird ein zuvor abgegebenes Lenksignal beibehalten, d.h. auch eine Änderung der Lage von im Bild erfassten Merkmalen gegenüber der Kamera 60, 60', insbesondere der Pflanzen 16, auf denen das Lenksignal beruht, wird ignoriert. Anderenfalls erfolgt der Schritt 104, in dem das Bildverarbeitungssystem 62, 62' eine Perspektivkorrektur im Bild der Kamera 60, 60' durchführt, basierend auf dem Signal des Ausrichtungserfassungssystems. Hierbei kann auf an sich bekannte Vorgehensweisen zurückgegriffen werden, wie sie im Stand der Technik nach DE 10 2016 209 437 A1 A und English et al., a.a.O., beschrieben werden, dessen Offenbarung durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.If the change in angle is greater than the threshold value, step follows again 102 , ie the change in angle is ignored. In addition, a previously emitted steering signal is retained, ie also a change in the position of features recorded in the image with respect to the camera 60 , 60 ' , especially the plants 16 on which the steering signal is based is ignored. Otherwise, the step occurs 104 , in which the image processing system 62 , 62 ' a perspective correction in the image of the camera 60 , 60 ' based on the signal from the orientation detection system. Proceedings known per se can be used here, as in the prior art DE 10 2016 209 437 A1 A and English et al., Loc. Cit., The disclosure of which is incorporated by reference into the present documents.
Im Schritt 106 erfolgt dann die Erzeugung des Lenksignals, bei der ebenfalls auf an sich bekannte Vorgehensweisen zurückgegriffen werden kann, wie sie im Stand der Technik nach DE 10 2016 209 437 A1 A und English et al., a.a.O., beschrieben werden, dessen Offenbarung durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.In step 106 Then the generation of the steering signal takes place, in which it is likewise possible to fall back on procedures known per se, such as those in the prior art DE 10 2016 209 437 A1 A and English et al., Loc. Cit., The disclosure of which is incorporated by reference into the present documents.
Auf den Schritt 106 folgt wieder der Schritt 102.On the step 106 the step follows again 102 .
BezugszeichenlisteList of reference symbols
-
100100
-
Startbegin
-
102102
-
Winkeländerungsgeschw. um Hochachse u/o Querachse > Schwelle?Angular change rate around vertical axis and / or transverse axis> threshold?
-
104104
-
PerspektivkorrekturPerspective correction
-
106106
-
LenksignalSteering signal
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
-
EP 0856453 A2 [0002]EP 0856453 A2 [0002]
-
DE 19743884 A1 [0002]DE 19743884 A1 [0002]
-
DE 10351861 A1 [0002]DE 10351861 A1 [0002]
-
US 8706341 B2 [0002]US 8706341 B2 [0002]
-
DE 102016209437 A1 [0002, 0004, 0029, 0030]DE 102016209437 A1 [0002, 0004, 0029, 0030]
-
EP 2283719 A2 [0003, 0020]EP 2283719 A2 [0003, 0020]
-
US 2013/0110358 A1 [0003, 0020]US 2013/0110358 A1 [0003, 0020]
-
DE 1020015009889 A1 [0003]DE 1020015009889 A1 [0003]
-
DE 102016212201 A1 [0019]DE 102016212201 A1 [0019]
-
EP 1210854 A1 [0019]EP 1210854 A1 [0019]
-
US 2013/0186657 A1 [0020]US 2013/0186657 A1 [0020]
-
US 2002/0193928 A1 [0023]US 2002/0193928 A1 [0023]
-
EP 2910098 A1 [0023]EP 2910098 A1 [0023]
-
EP 1475609 A2 [0024]EP 1475609 A2 [0024]
Zitierte Nicht-PatentliteraturNon-patent literature cited
-
A. English et al., Vision Based Guidance for Robot Navigation in Agriculture, 2014 IEEE International Conference on Robotics & Automation (ICRA), May 31 - June 7, 2014. Hong Kong, China, Seiten 1693-1698 [0004]A. English et al., Vision Based Guidance for Robot Navigation in Agriculture, 2014 IEEE International Conference on Robotics & Automation (ICRA), May 31 - June 7, 2014. Hong Kong, China, pages 1693-1698 [0004]
