-
Die Erfindung betrifft ein Verfahren zur sensorgestützten Führung einer Arbeitsmaschine entlang eines Wegs, mit den folgenden Schritten:
- Erfassen von Messwerten hinsichtlich unterirdischer Merkmale entlang des Wegs und positionsspezifisches Eintragen der Messwerte in einer Karte; und
- Abfahren des Wegs mit der Arbeitsmaschine unter Verwendung von Lenksignalen, die basierend auf positionsabhängig aus der Karte abgerufenen Messwerten und von beim Abfahren des Wegs erzeugten Messwerten hinsichtlich der unterirdischen Merkmale erzeugt werden, sowie ein entsprechendes Verfahren.
-
Stand der Technik
-
In der Land-, Forst- und Bauwirtschaft besteht ein Bedürfnis, Arbeitsmaschinen selbsttätig zu lenken oder zumindest entsprechende Hinweise an einem Bediener zu geben, anhand denen er eine Maschine lenken kann, um dem Bediener die Arbeit zu erleichtern und es ihm zu ermöglichen, sich auf die Überwachung und Kontrolle der beim Überfahren des Arbeitsbereichs (Feld, Wald, Baustelle) durchgeführten Arbeiten, wie Bodenbearbeitung, Ausbringen von Mitteln oder Ernten von Pflanzen zu konzentrieren, oder die Arbeitsmaschinen gar unbemannt führen zu können.
-
Während sich auf dem freien Feld Lenksysteme, die mittels eines satellitenbasierten Positionsbestimmungssystems (GNSS, Global Satellite Navigation System, wie GPS, Galileo, Glonass etc.) und einer im Vorab abgespeicherten Karte der zu befahrenden Spuren ein Lenksignal erzeugen (
EP 0 856 453 A2 ), bewährt haben, gibt es bei derartigen Positionsbestimmungssystemen dann Probleme, wenn die Satelliten für den Empfänger nicht sichtbar sind, wie unter Bäumen (z.B. in Wein- oder Obstgärten oder im Wald) oder innerhalb von überdachten Bereichen (Hallen, Ställe etc.). Im Stand der Technik wurde vorgeschlagen, in Obstgärten auf Bilderkennung basierende, optische Lenksysteme (M. Bergermann et al., Results with Autonomous Vehicles Operating in Specialty Crops, 2012 IEEE International Conference on Robotics and Automation, RiverCentre, Saint Paul, Minnesota, USA, May 14-18, 2012, Seiten 1829 bis 1835) und in überdachten Bereichen lokale Pseudo-Satelliten (Beacons,
KR 1020100129497 A ) zu verwenden, während man in Weingärten auf UltraschallAbstandsmesser zur Erfassung der Reihen oder optische Scanner zurückgreift (
DE 10 2018 125 012 A1 ).
-
Bei den nicht rein satellitenbasierten, auf Bilderkennung basierenden Lenksystemen gibt es einerseits den Ansatz, sie derart zu programmieren oder trainieren, dass sie bestimmte, vorgegebene Merkmale im Bild erkennen (wie ein Schwad, eine Spur oder Pflanzenreihen, vgl.
DE 103 51 861 A1 ,
US 8 706 341 B2 ,
US 2019/0146511 A1 ,
US 2020/0326715 A1 , Bergermann et al, a.a.O., K. Hanawa et al., Development of a Stereo Vision System to Assist the Operation of Agricultural Tractors, JARQ 46 (4), 287 - 293 (2012) oder
J. Xue et al., Variable field-of-view machine vision based row guidance of an agricultural robot, Computers and Electronics in Agriculture 84 (2012) 85-91), was sie auf die jeweils vorgegebenen Anwendungsfälle einschränkt und anfällig für eventuelle Lücken in den zu erkennenden Merkmalen macht, und andererseits den Ansatz, die Arbeitsmaschine von Hand entlang einer Strecke zu fahren (Lernfahrt) und die mittels verschiedener Sensoren und Positionsbestimmungssysteme erfassten Merkmale aufzuzeichnen, um sie anschließend zum automatischen Lenken zu nutzen (in der Literatur als „visual teach and repeat“ bezeichnet, wobei es sich um einen Teilbereich von SLAM („simultaneous localisation and mapping“) handelt). Hierzu sei auf einige Dokumente aus dem automotiven Bereich (
DE 10 2015 203 016 B4 ,
DE 10 2008 002 598 B4 und T Swedish et al., Deep Visual Teach and Repeat on Path Networks, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), p. 1646-1655) sowie hinsichtlich landwirtschaftlicher Anwendungen auf die
WO 2021/003336 A1 und
WO 2020/023745 A1 verwiesen. Die in den erwähnten Dokumenten verwendeten Sensoren erfassen oberirdische Merkmale, die je nach Sichtverhältnissen unterschiedlich gut detektierbar sein können und möglicherweise auch Veränderungen unterworfen sind. So verlieren Bäume, Sträuche und Weinreben im Winter ihre Blätter, Obstbäume werden zurückgeschnitten, Wege können verschmutzen, Pfosten umfallen, Schilder umgesetzt werden etc. Die bisherigen Systeme sind, wegen der Verwendung nicht unbedingt statischer, oberirdischer Merkmale für derartige Veränderungen anfällig, solange die abgespeicherten Karten nicht regelmäßig aktualisiert werden.
-
Letztlich wurde im Stand der Technik zur automatischen Lenkung von Fahrzeugen entlang von Straßen auch die Verwendung von Sensoren vorgeschlagen, die unterirdische Merkmale erfassen können (T. Ort et al., Autonomous Navigation in Inclement Weather based on a Localizing Ground Penetrating Radar, IEEE Robotics and Automation Letters, 26. Februar 2020). Man verwendet eine Anzahl von seitlich nebeneinander angeordneten Radarsensoren, die in den Boden eindringende Strahlen abgeben und von im Boden enthaltenen Objekten reflektierte Strahlen empfangen (GPR, „ground penetrating radar“). Die über die Breite erfassten, per GPS georeferenzierten Messwerte des GPR werden bei einer Lernfahrt aufgezeichnet und beim späteren Abfahren der Route abgerufen und mit aktuellen Messwerten verglichen, um Abweichungssignale bereitzustellen, die mittels eines Kalman-Filters mit Messwerten anderer Sensoren (Radsensoren, Trägheitsnavigation) verschmolzen werden, um die Lenksignale bereitzustellen. Die GPR-Sensoranordnung ist an der Rückseite des Fahrzeugs angebracht, um bei eventuellen Abweichungen vom Sollweg möglichst lange eine Information über die abgeschätzte Position zu erhalten. Hier geht es um das Führen des Fahrzeugs auf einer Straße, nicht auf land-, forst- oder bauwirtschaftlich genutzten Flächen.
-
Aufgabe der Erfindung
-
Die der Erfindung zu Grunde liegende Aufgabe wird darin gesehen, ein Verfahren und eine Anordnung bereitzustellen, die es für land-, forst- oder bauwirtschaftliche Anwendungen ermöglicht, eine Arbeitsmaschine an Stellen selbsttätig zu führen, wo Satellitensignale nicht oder nur eingeschränkt verfügbar sind, die aber gegen Veränderungen oberirdischer Merkmale und generellen die Sichtverhältnisse beeinträchtigenden Umständen unempfindlich sein sollen.
-
Lösung
-
Diese Aufgabe wird erfindungsgemäß durch die Lehre der Patentansprüche 1 und 11 gelöst, wobei in den weiteren Patentansprüchen Merkmale aufgeführt sind, die die Lösung in vorteilhafter Weise weiterentwickeln.
-
Ein Verfahren zur sensorgestützten Führung einer Arbeitsmaschine entlang eines Wegs umfasst die folgenden Schritte:
- Erfassen von Messwerten hinsichtlich unterirdischer Merkmale entlang des Wegs und positionsspezifisches Eintragen der Messwerte in einer Karte; und
- Abfahren des Wegs mit der Arbeitsmaschine unter Verwendung von Lenksignalen, die basierend auf positionsabhängig aus der Karte abgerufenen Messwerten und von beim Abfahren des Wegs erzeugten Messwerten hinsichtlich der unterirdischen Merkmale erzeugt werden.
-
Mit anderen Worten erfolgt die Lenkung anhand von in einer Karte eingetragenen Messwerten hinsichtlich unterirdischer Merkmale und eines Sensors zur Erfassung dieser Merkmale. Dadurch wird es ermöglicht, auch bei mangelnder Genauigkeit eines satellitenbasierten Positionsbestimmungssystems und bei sich ändernden, oberirdischen Merkmalen und schlechten Sichtverhältnisse (Staub, Nebel, Dunkelheit etc.) eine hinreichend genaue, selbsttätige Lenkung der Arbeitsmaschine durchzuführen. In der Karte werden die Messwerte positionsabhängig abgespeichert und wieder abgerufen. Bei den Positionsinformationen kann es sich um georeferenzierte Koordinaten handeln; es wären jedoch einfachere Ausführungsformen denkbar, bei der die Position beispielsweise lediglich die Entfernung vom Startpunkt repräsentiert. Die erfindungsgemäße Vorgehensweise ermöglicht eine selbsttätige Lenkung auch auf Wegen, von denen zumindest ein Teil des Wegs über eine eingeschränkte Verfügbarkeit von Satellitensignalen verfügt, wie in Wein- oder Obstgärten, Hallen, Ställen oder im Wald, wobei man nicht die Nachteile der sich mit der Zeit ändernden Eigenschaften oberirdischer Objekte in Kauf nehmen muss.
-
Die Messwerte können bei einer Lernfahrt mit einer Sensoranordnung erzeugt werden, und/oder die Messwerte beim Abfahren des Wegs mit einer Sensoranordnung erzeugt werden. Hierbei kann ein und dieselbe Sensoranordnung verwendet werden, oder es werden unterschiedliche Sensoranordnungen genutzt.
-
Insbesondere kann die Sensoranordnung während der Lernfahrt und während des Abfahrens des Wegs an der Arbeitsmaschine angebracht sein und die Lernfahrt mit einer durch einen Bediener von Hand gelenkten Arbeitsmaschine durchgeführt werden. Der Bediener kann sich bei der Lernfahrt an Bord der Arbeitsmaschine befinden oder diese von einer beabstandeten Stelle aus fernsteuern. Die Lernfahrt könnte jedoch auch mittels eines beliebigen anderen Fahrzeugs (oder mehrerer Fahrzeuge zeitgleich oder nacheinander) durchgeführt werden, an dem die beim Abfahren des Wegs genutzte Sensoranordnung oder eine andere Sensoranordnung angebracht ist.
-
Die Sensoranordnung kann einen oder mehrere Radarsensoren umfassen, die in den Boden eindringende Strahlen erzeugen und reflektierte Strahlen erfassen. Es werden demnach so genannte GPR-Sensoren („ground penetrating radar“) verwendet, die quer zur Vorwärtsrichtung horizontal nebeneinander angeordnet sein können, oder ein einziger oder mehrere Radarsensoren werden sukzessive verschwenkt oder seitlich hin- und herbewegt, um Signale entlang der Breite des Wegs zu erzeugen.
-
Bei der Lernfahrt können Daten zusätzlicher Sensoren erfasst und zur Positionsbestimmung verwendet und/oder in der Karte eingetragen werden und beim Abfahren des Wegs aus der Karte gelesen und gemeinsam mit entsprechenden, aktuell erfassten Daten zur Positionsbestimmung und/oder Erzeugung der Lenksignale verwendet werden. Hierbei kann es sich insbesondere um Signale einer elektrooptischen Einrichtung (Kamera oder Laserscanner (Lidar)) oder eines beliebigen anderen Sensors zur Erfassung von Merkmalen der Umgebung (wie beispielsweise statische oder abtastende Ultraschallabstandsmesser, Sensoren für Magnetfelder (die existierende Magnetfelder erfassen oder selbst ein statisches oder veränderliches Magnetfeld erzeugen und durch Objekte bedingte Änderungen in diesem Magnetfeld erfassen) oder elektrische Felder etc.) handeln, anhand derer ein (Bild-) Verarbeitungssystem die Positionen am Weg befindlicher Objekte oder andere physikalische Größen entlang des Wegs erkennen und in die Karte eintragen kann, aus der sie beim späteren Abfahren des Wegs wieder aus der Karte ausgelesen werden, um eine eventuelle Abweichung vom Weg erkennen zu können.
-
Die Sensoren können einen oder mehreren der folgenden Sensoren umfassen: ein Trägheitsnavigationssystem, einen oder mehrere Radwinkelsensoren, einen oder mehrere Raddrehzahlsensoren (die vom Raddrehzahl- und -winkelsensor erzeugten, odometrischen Signale können zur Ermittlung der Position dienen), Signale von einem satellitenbasierten Positionsbestimmungssystem (ebenfalls zur Erfassung der Position), eine elektrooptische Einrichtung mit einem Bildverarbeitungssystem oder einen anderen Sensor zur Erkennung oberirdischer Merkmale entlang des Wegs (zur Verbesserung der Genauigkeit der Wegverfolgung und Erzeugung des Lenksignals, vgl. den vorhergehenden Absatz).
-
Die Position kann bei der Lernfahrt anhand einer satellitenbasierten Positionsbestimmungseinrichtung und/oder anhand lokaler Sensoren, z.B. eines Trägheitsnavigationssystems und/oder odometrischen Sensoren zur Erfassung des Lenkwinkels und der Raddrehzahl erfasst werden. Hierbei kann eine Wichtung der Signale der einzelnen Sensoren und des Positionsbestimmungssystems anhand der jeweiligen Genauigkeit erfolgen. Die erfasste Position dient insbesondere dazu, die Messwerte der Sensoranordnung in der Karte der jeweiligen Position (georeferenziert) zuzuordnen. Auf analoge Weise kann die Positionsbestimmung beim Abfahren des Wegs auf einer satellitenbasierten Positionsbestimmungseinrichtung und/oder der erwähnten, lokalen Sensoren erfolgen. Diese Positionsbestimmung ist hilfreich, um die jeweils positionsabhängig abgespeicherten Messwerte aus der Karte abzurufen.
-
Es kann vorteilhaft sein, wenn in der Karte Messwerte über eine größere Breite eingetragen werden als sie beim Abfahren des Wegs durch die Sensoranordnung erfasst werden. Hierzu können zusätzliche Lernfahrten links und rechts des abzufahrenden Weges durchgeführt werden, oder die Lernfahrt wird mit einer Sensoranordnung durchgeführt, die breiter ist als jene Sensoranordnung, die später beim Abfahren des Wegs verwendet wird.
-
Wie beschrieben, kann anhand der Messwerte der Sensoranordnung und ggf. der anderen Sensoren eine georeferenzierte Position der Arbeitsmaschine beim Abfahren des Wegs ermittelt werden. Diese Position kann nicht nur zur Lenkung genutzt werden, wie bisher diskutiert, sondern auch dazu verwendet werden, Aktoren der Arbeitsmaschine ortsspezifisch anzusteuern und/oder dazu dienen, anderen Controllern, Steuer- und Anzeigeeinheiten die Positionsdaten bereitstellen, die auch zur Aufzeichnung des zurückgelegten Weges und ggf. anderer Daten verwendet werden können, die ortsspezifisch aufgezeichnet werden. Die zugehörigen Parameter der Aktoren können bei der Lernfahrt mit erfasst werden.
-
Eine erfindungsgemäße Anordnung zur sensorgestützten Führung einer Arbeitsmaschine entlang eines Wegs sieht vor, dass die Arbeitsmaschine mit einer Speichereinrichtung ausgestattet ist, in der eine Karte abgespeichert ist, in der Messwerte hinsichtlich unterirdischer Merkmale entlang des Wegs positionsspezifisch eingetragen sind und dass die Arbeitsmaschine mit einer Steuereinrichtung ausgestattet ist, die zur Erzeugung von Lenksignalen konfiguriert ist, die basierend auf positionsabhängig aus der Karte abgerufenen Messwerten und von beim Abfahren des Wegs erzeugten Messwerten hinsichtlich der unterirdischen Merkmale erzeugt werden.
-
Ausführungsbeispiel
-
In den Zeichnungen ist ein nachfolgend näher beschriebenes Ausführungsbeispiel der Erfindung dargestellt. Es zeigt:
- 1 eine seitliche Ansicht einer landwirtschaftlichen Arbeitsmaschine mit einer Anordnung zur sensorgestützten Führung der Arbeitsmaschine entlang eines Wegs,
- 2 eine Draufsicht auf die Arbeitsmaschine der 1,
- 3 eine Ansicht einer an der Arbeitsmaschine angebrachten Messanordnung zur Erfassung von Messwerten hinsichtlich unterirdischer Merkmale von vorn während des Betriebs,
- 4 ein Schema einer Steuereinrichtung der Arbeitsmaschine und der damit verbundenen Sensoren und Aktoren,
- 5 ein Flussdiagramm zur Erzeugung von Messwerten bei einer Lernfahrt, und
- 6 ein Flussdiagramm zur Lenkung der Arbeitsmaschine beim Abfahren des Weges.
-
Die 1 zeigt eine seitliche Ansicht einer selbstfahrenden Arbeitsmaschine 10 in Form eines landwirtschaftlichen Ackerschleppers mit einem an einem Dreipunktgestänge 22 der Arbeitsmaschine 10 angebauten Arbeitsgeräts 24 in Form einer Feldspritze. Es können beliebige andere Arbeitsgeräte 24 mit der Arbeitsmaschine 10 verbunden werden, die auf einem freien Feld genutzt werden, wie Bodenbearbeitungsgeräte, oder die in beschatteten Bereichen verwendet werden, wie beispielsweise die in der 1 gezeigte Feldspritze, die u.a. in Wein- oder Obstgärten verwendet werden kann, oder Futtermischwagen, die in Ställen oder anderen überdachten Bereichen (Hallen zur Futterlagerung) benutzt werden.
-
Die Arbeitsmaschine 10 baut sich auf einem tragenden Rahmen 12 auf, der sich auf lenkbaren Vorderrädern 14 und antreibbaren Hinterrädern 16 abstützt und eine Kabine 18 trägt, in der sich ein Bedienerarbeitsplatz befindet. Der Bedienerarbeitsplatz umfasst ein Lenkrad 20, einen Sitz 28, Pedale (nicht gezeigt) und eine Bedienerschnittstelle 32 mit Ein- und Ausgabemitteln (Tasten o.ä. als Eingabemittel und Anzeigeeinrichtung als Ausgabemittel). Der Antrieb der Hinterräder 16 erfolgt über einen beliebigen Antriebsstrang von einem Motor her, der als Elektro- oder Verbrennungsmotor ausgeführt sein kann.
-
Der hier gezeigte Ackerschlepper ist nur ein Ausführungsbeispiel und die Arbeitsmaschine 10 könnte in beliebiger anderer Form ausgeführt sein, z.B. als Erntemaschine, selbstfahrende Spritze etc. und kann auch als gehender oder fahrender Roboter (ohne Kabine 18) ausgeführt sein. Analog können anstelle der Räder 14, 16 Raupenlaufwerke treten oder es können eine Allradlenkung bzw. gelenkte Hinterräder 16 Verwendung finden.
-
Die Arbeitsmaschine 10 umfasst eine Anordnung zur sensorgestützten Führung entlang eines Wegs, der bei einem Arbeitsvorgang zurückzulegen ist. Diese Anordnung umfasst eine elektronische Steuereinrichtung 30, die mit einer Lenksteuerung 28 signalübertragend verbunden ist, welche ihrerseits einen Lenkaktor 26 zur Verstellung des Lenkwinkels der Vorderräder 14 um die Hochachse kontrolliert. Bei einer vereinfachten Ausführungsform könnte die Steuereinrichtung 30 auch Lenksignale an die Bedienerschnittstelle 32 übergeben, welche den Bediener optisch und/oder akustisch anweist, in welche Richtung er das Lenkrad 20 drehen möge, um dem Weg zu folgen. Das Lenkrad 20 dient bei der vollautomatisierten Ausführungsform dazu, im Notfall die Automatik zu übersteuern.
-
Die von der Steuereinrichtung 30 bereitgestellten Lenksignale beruhen auf einer Anzahl an Sensoren, die ein elektrooptisches Bilderfassungssystem 34 mit einer monokularen oder stereoskopischen Kamera oder einem ein- oder zweidimensional arbeitenden, aktiven oder passiven Scanner und einem Bildverarbeitungssystem 36, eine satellitensignalbasierte Positionsbestimmungseinrichtung 38, einem Trägheitsnavigationssystem 40, einen Lenkwinkelsensor 58 (dessen Signale auch als Rückkopplungswert für die Lenksteuerung 28 dienen, damit sie den Lenkaktor 26 in eine gewünschte Position stellen kann), einem Drehzahlsensor 56 zur Erfassung der Drehzahl des Vorderrads 14 und eine Sensoranordnung 42 umfassen.
-
Das Bilderfassungssystem 34 kann in an sich bekannter Weise (vgl. die eingangs erwähnten Dokumente zur selbsttätigen Lenkung) beliebige Merkmale von Gegenständen (wie Pflanzen, Fahrspuren, Pfosten, Gebäude etc.) in der Umgebung der Arbeitsmaschine 10 erfassen und ihre Lage relativ zum Bilderfassungssystem 34 und weitere Eigenschaften der Gegenstände, wie Abmessungen, Form, Farbe, Ausrichtung, etc. detektieren.
-
Die Positionsbestimmungseinrichtung 38 ist eingerichtet, anhand von Signalen von Satelliten eines Positionsbestimmungssystems (GNSS; wie GPS, Galileo, Glonass etc.) die Position der Arbeitsmaschine 10 zu bestimmen, ggf. unter Verwendung von Signalen eines Korrekturnetzwerks (DGPS, RTK), insbesondere in nicht durch Blätter oder Dächer etc. beschatteten Bereichen des Weges der Arbeitsmaschine 10.
-
Das Trägheitsnavigationssystem 40 beruht auf der sensorischen Erfassung von Beschleunigungen in beispielsweise 3 Raumrichtungen und ggf. von Drehungen um 3 Achsen, die zur Berechnung von Positionssignalen 2fach hochintegriert werden, wie an sich bekannt.
-
Der Lenkwinkelsensor 58 erfasst den Drehwinkel eines Vorderrads 14 um die Hochachse und der Drehzahlsensor 56 die Anzahl der Umdrehungen des Vorderrads 14 oder einen Bruchteil davon. Diese zwei Sensoren 56, 58 werden üblicherweise als odometrische Sensoren bezeichnet. Sie könnten auch durch einen mit dem Erdboden zusammenwirkenden Radarsensor ergänzt oder ersetzt werden, der schlupffrei die zurückgelegte Strecke erfasst.
-
Die Sensoranordnung 42 ist an der Vorderseite der Arbeitsmaschine 10 angebracht und umfasst eine Anzahl (hier: 10, obwohl beliebige andere Anzahlen denkbar wären) von Radarsensoren 44, die horizontal und quer zur Vorwärtsrichtung V nebeneinander oberhalb des Erdbodens 46 angeordnet sind. Die Radarsensoren 44 senden elektromagnetische Wellen eines geeigneten Wellenlängenbereichs nach unten in den Erdboden 46 hinein, deren Wellenlänge ein Eindringen der Radarwellen in den Erdboden 46 erlaubt (vgl. 3). Vom Erdboden 46 bzw. darin befindlichen Gegenständen (wie lokalen Verdichtungen aufgrund vorheriger Überfahrten entlang des Wegs oder Steinen 48 oder Wurzeln 50 von Pflanzen) reflektierte Radarwellen werden vom jeweiligen Radarsensor 44 (d.h. der Sendeantenne oder einer zugehörigen Empfangsantenne) wieder empfangen, sodass diese in der Lage sind, Signale abzugeben, in denen die reflektierte Intensität als Funktion der jeweiligen Laufzeit der Wellen (bzw. eine daraus abgeleitete Größe, wie der zugehörige Abstand von der Sensoranordnung 42 oder die Tiefe des Reflexionspunkts im Erdboden 46) dargestellt ist. Weitere Einzelheiten zur Sensoranordnung 42 finden sich in der Veröffentlichung von T. Ort et al., a.a.O., deren Offenbarung durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.
-
Unterirdische Merkmale in einem Wein- oder Obstgarten werden Inhomogenitäten sein, die durch die Wurzeln 50 von Bäumen oder Fahrgassen bedingt sind, was eine hohe Korrelation der Messwerte der Sensoranordnung 42 und somit der abgespeicherten Karte mit den Merkmalen erlaubt, was die spätere Positionserkennung ermöglicht. Das Erzeugen der Karte kann während einer Jahreszeit erfolgen, in der die Bäume keine Blätter tragen, oder es erfolgt unmittelbar nach der Anpflanzung, sodass dann - mangels Abschattung durch die Blätter - eine problemlose Erfassung der Position mit der Positionsbestimmungseinrichtung 38 möglich und ein Aufbau einer recht genauen Karte (Datenbank) für unterirdische Merkmale möglich ist. Analog finden sich in überdachten Bereichen auch Merkmale im Boden, wie lokale Verdichtungen, Leitungen oder Fundamente, die problemlos mit der Messeinrichtung 42 erfasst und kartiert werden können.
-
Die Radarsensoren 44 können zeitlich gemultiplext angesteuert werden oder es werden geeignete Maßnahmen wie beispielsweise Abschirmungen zwischen den Radarsensoren 44 getroffen, damit sie sich nicht gegenseitig stören.
-
Die Sensoranordnung 42 ist somit in der Lage, Messwerte hinsichtlich unterirdischer Merkmale über die Breite des von der Arbeitsmaschine 10 zurückgelegten Wegs auszugeben. Anders als gezeigt, könnte die Sensoranordnung 42 auch in der Mitte oder an der Rückseite der Arbeitsmaschine 10 angebracht werden oder (seitlich versetzte) Teile der Sensoranordnung 42 werden in Vorwärtsrichtung V an unterschiedlichen Positionen z.B. auch zwischen den Rädern 14, 16 angeordnet, damit die Messwerte auch im Falle einer Abweichung von einem festgelegten Weg länger mit vorab gespeicherten Messwerten in Korrelation stehen. Die in den 1 bis 3 gezeigte Anbringung an der Vorderseite hat andererseits den Vorteil, dass evtl. Abweichungen von einem festgelegten Weg frühzeitig festgestellt und somit schneller korrigiert werden können. Die Sensoranordnung 42 könnte zudem höhenverstellbar sein.
-
Die 4 zeigt die Verschaltung der Steuereinrichtung 30 mit den erwähnten Sensoren und der Lenksteuerung 28 sowie den internen Aufbau der Steuereinrichtung 30. Sie umfasst einen Speicher 52, in dem Messwerte der Sensoranordnung 42 entlang eines abzufahrenden Weges (als Karte) abgespeichert werden, wie im Folgenden diskutiert, sowie eine Vergleichseinrichtung 54, die in der Lage ist, anhand aktueller Messwerte der Sensoranordnung 42 und der zugehörigen Messwerte im Speicher 52 ein Vergleichssignal zu erzeugen, das eine Information über eine eventuelle Abweichung zwischen den Messwerten und somit einen seitlichen Versatz der Arbeitsmaschine 10 vom abzufahrenden Weg enthält. Das Vergleichssignal wird, wie auch die Signale der anderen Sensoren, einem Kalman-Filter 60 oder einer beliebigen anderen Einrichtung zur Fusionierung der Signale zugeführt, der oder die letztlich das Lenksignal für die Lenksteuerung 28 bzw. die Bedienerschnittstelle 32 bereitstellt. Der Speicher 52 könnte auch auf einen beabstandeten Server (Cloud) ausgelagert werden, der über eine Datenübertragungsverbindung mit der Steuereinrichtung 30 verbunden ist.
-
Es wird nun auf die 5 verwiesen, in der eine Vorgehensweise dargestellt ist, wie bei einer Lernfahrt die Messwerte für den Speicher 52 positionsabhängig ermittelt werden können. In einem ersten Schritt 100 fährt der Bediener die Arbeitsmaschine 10 manuell, unter Verwendung des Lenkrads 20 zum Anfangspunkt des Wegs (oder es wird eine Fernbedienung verwendet oder die Arbeitsmaschine 10 fährt autonom unter Verwendung einer abgespeicherten Karte und Signalen einiger oder aller zuvor erwähnten Sensoren dorthin) und startet im Schritt 102 die Aufzeichnung des Wegs. Im Schritt 104 wird dann die Karte (Messwerte abhängig von Position) im Speicher 52 aufgezeichnet, während der Weg abgefahren wird, mit manueller Lenkung durch den Bediener, der sich auf der Arbeitsmaschine 10 befinden kann oder an einer beabstandeten Stelle, an welche die Signale des Bildverarbeitungssystems 34 und ggf. weiterer Sensoren übertragen und angezeigt werden, wobei die Eingaben des Bedieners an die Arbeitsmaschine 10 zurück übertragen und dort ausgeführt werden. Im Schritt 106 wird abgefragt, ob der Weg schon komplett abgefahren ist, und wenn nicht, folgt wieder der Schritt 104 und sonst der Schritt 108, in dem der Vorgang beendet wird.
-
Bei den Durchläufen des Schritts 104 werden somit zeit- oder wegabhängig, d.h. nach jeweils einem festgelegten Zeit- oder Entfernungsintervall, die Position (berechnet anhand einer Fusion der Signale der Positionsbestimmungseinrichtung 38, des Trägheitsnavigationssystems 40, des Lenkwinkelsensors 58 und des Drehzahlsensors 56) und die zugehörigen Messwerte der Sensoranordnung 42 (über ihre Breite) im Speicher 52 abgelegt, ggf. gemeinsam mit einer Information für den Bediener, anhand welcher er den Weg später wieder abrufen bzw. unter mehreren abgespeicherten Wegen auswählen kann. Zusätzlich werden die Positionen eventuell vom Bilderfassungssystem 34 erfasster Objekte in diese im Speicher 52 abgelegte Karte eingetragen. So haben die Bäume eines Obstgartens oder einer anderen Anpflanzung eine feste Position. Man könnte die Bäume zählen und daraus (beim nächsten Abfahren des Wegs) eine Position ermitteln oder aber man hat diese vorab in der Karte im Speicher 52 gespeichert, die auch als Referenz dienen kann, auch zur Positionsanpassung beim Aufzeichnen des Wegs.
-
Bei gewissen Anwendungsfällen kann es sich als sinnvoll erweisen, nicht nur eine einzige Lernfahrt für einen gewünschten Weg durchzuführen, sondern auch eine oder mehrere weitere Lernfahrten links und/oder rechts des gewünschten Weges, die sich lückenlos neben dem gewünschten Weg anschließen oder eine geringe Überlappung damit aufweisen. Dadurch ist es beim späteren Abfahren des Wegs nötigenfalls besser möglich als nach nur einer einzigen Lernfahrt, einen Versatz vom gewünschten Weg festzustellen, falls eine größere Abweichung stattfinden sollte, und die Arbeitsmaschine auf den gewünschten Weg zurückzuführen. Es ist mit anderen Worten denkbar, dass in der Karte bei den zusätzlichen Lernfahrten Messwerte über eine größere Breite eingetragen werden als sie beim Abfahren des Wegs durch die Sensoranordnung 42 erfasst werden.
-
Nach Durchlauf des Diagramms nach 5 sind im Speicher 52 (der in die Cloud ausgelagert werden kann, wie oben beschrieben) somit für einen Weg der Arbeitsmaschine 10 die Messwerte der Sensoranordnung 42 ortsabhängig abgespeichert. Die Vorgehensweise nach 6 ermöglicht es, sie bei einem nachfolgenden Arbeitsvorgang zur automatischen bzw. durch den Bediener anhand der Anzeige auf der Bedienerschnittstelle 32 durchgeführten Lenkung zu nutzen.
-
Im Schritt 200 fährt der Bediener die Arbeitsmaschine 10 zum Anfangspunkt des Wegs (oder es wird eine Fernbedienung verwendet oder die Arbeitsmaschine 10 fährt autonom unter Verwendung einer abgespeicherten Karte und Signalen einiger oder aller zuvor erwähnten Sensoren dorthin), analog zum Schritt 100. Im Schritt 202 startet der Bediener das selbsttätige Abfahren des abgespeicherten Wegs, indem er eine geeignete Bestätigung oder Eingabe in die Bedienerschnittstelle 32 macht, bzw. der Start wird von einer beabstandeten Stelle aus über eine Datenübertragungsverbindung veranlasst oder der Start erfolgt automatisch (z.B. zeit- oder sensorgesteuert, wenn ein Arbeitsvorgang entlang des Wegs sinnvoll erscheint). Sollten mehrere Wege abgespeichert sein, kann die Steuereinrichtung 30 den Weg anhand der aktuellen Position auswählen, und wenn mehrere Wege von der aktuellen Position ausgehen, den Bediener zur Auswahl bzw. Eingabe des richtigen Weges auffordern. Falls die aktuelle Position nicht im Weg enthalten ist, gibt es eine Fehlermeldung über die Bedienerschnittstelle, ggf. mit einem Hinweis darauf, wo ein in der Nähe liegender, abgespeicherter Weg zu finden ist.
-
Wenn im Schritt 202 das Abfahren des Wegs gestartet wurde, folgt der Schritt 204. Dort wird die aktuelle Position der Arbeitsmaschine 10, wie im Schritt 104, anhand einer Fusion der Signale der Positionsbestimmungseinrichtung 38, des Trägheitsnavigationssystems 40, des Lenkwinkelsensors 58 und des Drehzahlsensors 56 berechnet (in diesem Zuge könnte auch eine Fahrzeugmodellierung zum Einsatz kommen: Durch Verrechnung von Fahrzeuggeschwindigkeit oder auch odometrisch erfasster Streckeninformationen und dem vorliegenden Verlauf des Lenkwinkels ließe sich theoretisch (kinematisch oder bei Berücksichtigung von Beschleunigungskräften gar dynamisch) auch die aktuelle Position des Fahrzeuges bestimmen) und anhand der so berechneten Position werden aus dem Speicher 52 die zugehörigen Messwerte der Sensoranordnung 42 ortsabhängig ausgelesen. Die Vergleichseinrichtung 54 erzeugt im Schritt 204 anhand aktueller Messwerte der Sensoranordnung 42 und der ortsabhängig zugeordneten Messwerte aus dem Speicher 52 ein Vergleichssignal, das eine Information über eine eventuelle Abweichung zwischen den abgespeicherten und aktuellen Messwerten und somit einen seitlichen Versatz der Arbeitsmaschine 10 vom abzufahrenden Weg enthält. Das Vergleichssignal wird, wie auch die Signale der anderen Sensoren, nämlich das durch Fusion der Signale der Positionsbestimmungseinrichtung 38, des Trägheitsnavigationssystems 40, des Lenkwinkelsensors 58 und des Drehzahlsensors 56 berechnete Positionssignal bzw. eine daraus abgeleitete seitliche Abweichung vom gewünschten Weg und/oder die (nichtfusionierten) Signale der Sensoren als solche, dem Kalman-Filter 60 oder beliebigen anderen Einrichtung zur Fusionierung der Signale zugeführt, der oder die letztlich eine eventuelle seitliche Abweichung der Arbeitsmaschine 10 vom gewünschten Weg berechnet, anhand derer die Steuereinrichtung 30 das Lenksignal für die Lenksteuerung 28 bzw. die Bedienerschnittstelle 32 bereitstellt.
-
Dem Kalman-Filter 60 bzw. der beliebigen anderen Einrichtung zur Fusionierung der Signale können auch Signale hinsichtlich der vom Bilderfassungssystem 34 erfassten Objekte und an der jeweiligen Position abgespeicherten Signale hinsichtlich der Objekte zugeführt werden, um die Genauigkeit des Lenksignals weiter zu verbessern.
-
In den Schritten 104 und/oder 204 kann zum Fusionieren der Signale der Positionsbestimmungseinrichtung 38, des Trägheitsnavigationssystems 40, des Lenkwinkelsensors 58 und des Drehzahlsensors 56 zur Berechnung des Positionssignals in der Karte im Vorab eingetragen sein, welche Wichtung den jeweiligen Signalen der Positionsbestimmungseinrichtung 38, des Trägheitsnavigationssystems 40, des Lenkwinkelsensors 58 und des Drehzahlsensors 56 beim Fusionieren zukommen soll und beim Fusionieren entsprechend berücksichtigt werden. Die Positionsbestimmungseinrichtung 38 wird (jedenfalls bei belaubten Bäumen entlang des Wegs) eine relativ hohe Wichtung nur außerhalb der Baumreihen zugeordnet, während sie zwischen den Baumreihen eine relativ kleine Wichtung erhält. Diese Wichtung kann alternativ oder zusätzlich während der Fahrt (sei es beim Schritt 104 und/oder 204) anhand der Anzahl der von der Positionsbestimmungseinrichtung 38 empfangenen Satelliten und/oder anderer Qualitätsmerkmale der empfangenen Signale selbsttätig zugeordnet werden. Diese Wichtung kann auch vom Kalman-Filter 60 oder der beliebigen anderen Einrichtung zur Fusionierung der Signale bei der Berechnung des seitlichen Versatzes gegenüber dem Weg berücksichtigt werden.
-
Beim Abfahren des Wegs gemäß der Vorgehensweise nach 6 steht der Steuereinrichtung 30 somit ein Positionssignal zur Verfügung, das auch dann relativ genaue Positionssignale (nicht nur in seitlicher Richtung, sondern auch in Vorwärtsrichtung, d.h. georeferenziert) liefert, wenn die Positionsbestimmungseinrichtung 38 keine zuverlässigen Signale abliefert, da die Arbeitsmaschine 10 in einem beschatteten Bereich fährt. Diese Positionssignale können nicht nur zur automatischen Lenkung verwendet werden, wie oben beschrieben, sondern können auch für beliebige andere Zwecke verwendet werden, insbesondere zur ortsspezifischen Ansteuerung von Aktoren, beispielsweise beim Spritzen oder bei der Bodenbearbeitung, z.B. der Entfernung von Wildkräutern. Die Steuereinrichtung 30 kann somit die im Schritt 204 vom Kalman-Filter 60 (bzw. beliebigen anderen Einrichtung zur Fusionierung der Signale) erzeugten, georeferenzierten Positionssignale über einen Bus oder auf andere Weise anderen (nicht gezeigten) Steuergeräten der Arbeitsmaschine 10 zuführen, welche sie zur ortsspezifischen Ansteuerung von Aktoren nutzen können. Die zugehörigen Ansteuerungen der Aktoren können im Schritt 104 bereits durch den Bediener bewerkstelligt, mitgelernt und ortsspezifisch aufgezeichnet werden.
-
Im Schritt 206 wird abgefragt, ob der Weg schon komplett abgefahren ist, und wenn nicht, folgt wieder der Schritt 204 und sonst der Schritt 208, in dem der Vorgang beendet wird.
-
Die erfindungsgemäße Vorgehensweise ist in der Literatur unter der Bezeichnung „visual teach and repeat“ bzw. „SLAM“ („simultaneous localisation and mapping“) bekannt, wobei erfindungsgemäß jedoch die Messwerte der Sensoranordnung 42 kartiert und ortsspezifisch abgerufen werden, in denen Informationen bezüglich unterirdischer Merkmale enthalten sind. Dadurch erhält man die Möglichkeit, die Arbeitsmaschine 10 auch unter Bedingungen selbsttätig zu lenken, in denen Signale von Satelliten für die Positionsbestimmungseinrichtung 38 nicht oder nur sehr schlecht zu empfangen sind, z.B. unter Bäumen (Wein- oder Obstgarten, Wald) oder Dächern (Stall, Scheune), bleibt aber unabhängig von veränderlichen oberirdischen Merkmalen.
-
Es sei noch darauf hingewiesen, dass die Geschwindigkeit der Arbeitsmaschine 10 beim Abfahren des Weges (
6) durch den Bediener vorgegeben werden kann, oder sie wird bei der Lernfahrt (
5) durch den Bediener vorgegeben und mit in der im Speicher 52 abgelegten Karte abgespeichert und beim Abfahren des Weges aus der Karte ausgelesen und zur selbsttätigen Geschwindigkeitsvorgabe der Arbeitsmaschine 10 genutzt. Somit kann die Arbeitsmaschine 10 beim Abfahren des Wegs komplett autonom, d.h. ohne Bediener an Bord, betrieben werden. Eventuelle Hindernisse können durch das Bilderfassungssystem 34 erkannt und über eine telemetrische Datenverbindung an eine beabstandete Station weitergeleitet werden (vgl.
DE 102 44 822 A1 ), während der Bediener, wenn er sich auf der Arbeitsmaschine 10 befindet, diese Überwachung übernehmen kann.
-
Letztlich kann ein neuer Durchlauf der Vorgehensweise nach 5 von Zeit zu Zeit oder bei Notwendigkeit, z.B. nach größeren Arbeiten entlang des Weges, wie einer Neuanlage eines Wein- oder Obstgartens, oder Bodenverschiebungen nach Unwettern oder Erdbeben, sinnvoll sein.
-
Schritte der 5
- 100
- Bediener fährt Arbeitsmaschine 10 zum Anfangspunkt des Wegs
- 102
- Bediener startet Aufzeichnung
- 104
- Aufzeichnung der Karte (Messwerte abhängig von Position), während der Weg manuell gelenkt abgefahren wird
- 106
- fertig?
- 108
- Ende
-
Schritte der 6
- 200
- Bediener fährt Arbeitsmaschine 10 zum Anfangspunkt des Wegs
- 202
- Bediener startet das Abfahren des Weges
- 204
- Lenkung anhand der Karte (Messwerte abhängig von Position), während der Weg automatisch gesteuert abgefahren wird
- 206
- fertig?
- 208
- Ende
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 0856453 A2 [0003]
- KR 1020100129497 A [0003]
- DE 102018125012 A1 [0003]
- DE 10351861 A1 [0004]
- US 8706341 B2 [0004]
- US 2019/0146511 A1 [0004]
- US 2020/0326715 A1 [0004]
- DE 102015203016 B4 [0004]
- DE 102008002598 B4 [0004]
- WO 2021/003336 A1 [0004]
- WO 2020/023745 A1 [0004]
- DE 10244822 A1 [0045]
-
Zitierte Nicht-Patentliteratur
-
- J. Xue et al., Variable field-of-view machine vision based row guidance of an agricultural robot, Computers and Electronics in Agriculture 84 (2012) 85-91 [0004]