DE102018203238A1 - Verfahren zum Kalibrieren und Betreiben eines elektronisch-hydraulischen Hubwerks einer Landmaschine - Google Patents

Abstract

Die Erfindung betrifft Verfahren und Systeme zur Kalibrierung und zum Betrieb einer Landmaschine mit einem Anbaugerät an einem Hubwerk, welches zumindest folgende Schritte umfasst:
a) Empfangen von Kameradaten von einer Kamera bzw. Kamerasystem zur Bereitstellung von dreidimensionalen Bilddaten, welche eine Blickrichtung auf das Anbaugerät und den das Anbaugerät umgebenden Boden aufweist, wobei die Kameradaten eine Mehrzahl von zeitlich nacheinander aufgenommenen Kamerabildern umfassen,
b) Auswertung der Kameradaten, wobei Pixel in den Kameradaten entweder dem Anbaugerät oder dem das Anbaugerät umgebenden Boden zugeordnet werden,
c) Verwenden der zugeordneten Pixel, um zumindest mindestens einen Arbeitsparameter des Anbaugerätes oder der Landmaschine zu bestimmen,
d) Ausgabe des Arbeitsparameters zur Ansteuerung mindestens einer Komponente der Landmaschine.

Description

• Moderne Traktoren verfügen über elektrohydraulische Regelsysteme (EHR-Systeme) für deren Hubwerke. Die Aufgabe dieser Systeme ist es, das Hubwerk in einer dem Anbaugerät und dem Arbeitsprozess angepassten Art und Weise zu regeln sowie den Transportbetrieb durch eine Schwingungskompensation sicherer und komfortabler zu machen. Diese Systeme arbeiten heute meist kraftbasiert. Auf dem Markt sind verschiedene Varianten verfügbar, die die Zug- bzw. Tragkraft ermitteln. Häufig werden Kraftmessbolzen eingesetzt, die die Kraft am Unter- oder Oberlenker des Hubwerks direkt messen.
• Es können auch kamerabasierte Hubwerksregelungen eingesetzt werden, bei denen eine Kamera am Traktor installiert ist, die auf den Bereich des Anbaugerätes, je nach Anwendung auf das vordere und/oder hintere Hubwerk, ausgerichtet ist. Das am Hubwerk angebrachte Anbaugerät befindet sich im Sichtfeld der Kamera. Aus den Bildern der Kamera kann die Höhe und Neigung des Anbaugeräts ermittelt und für die Regelung von Unter- und Oberlenker verwendet werden.
• Ausgehend hiervon ist es Aufgabe der hier vorgestellten Erfindung, ein Verfahren zum Betrieb einer Landmaschine mit einem Anbaugerät an einem elektronisch-hydraulischen Hubwerk, ein zugehöriges Kalibrierungsverfahren sowie ein Steuergerät, welches zur Durchführung der beschriebenen Verfahren eingerichtet ist, vorzuschlagen.
• Hier beschrieben werden soll ein vorteilhaftes Verfahren zum Betrieb einer Landmaschine sowie ein besonders vorteilhaftes Verfahren zur Kalibrierung einer solchen Landmaschine mit dem Anbaugerät.
• Hierzu trägt ein Verfahren zum Betrieb einer Landmaschine mit einem Anbaugerät an einem Hubwerkbei, das zumindest die folgenden Schritte umfasst:
1. a) Empfangen von Kameradaten von einer Kamera (bzw. einem Kamera-System), mit welcher dreidimensionale Bilddaten erzeugt werden, welche eine Blickrichtung auf das Anbaugerät und den das Anbaugerät umgebenden Boden aufweist, wobei die Kameradaten eine Mehrzahl von zeitlich nacheinander aufgenommenen Kamerabildern umfassen,
2. b) Auswertung der Kameradaten, wobei Pixel in den Kameradaten entweder dem Anbaugerät oder dem das Anbaugerät umgebenden Boden zugeordnet werden,
3. c) Verwenden der zugeordneten Pixel, um zumindest mindestens einen Arbeitsparameter des Anbaugerätes oder der Landmaschine zu bestimmen,
4. d) Ausgabe des Arbeitsparameters zur Ansteuerung mindestens einer Komponente der Landmaschine.
• Bei einer Landmaschine handelt es sich insbesondere um ein (so genanntes „off-road“) Fahrzeug oder ein mobiles Arbeitsgerät mit eigenem Antrieb. Das Anbaugerät dient insbesondere zur Bodenbearbeitung (Pflügen, Vertikutieren, Graben, Begradigen, Planieren, etc.) und/oder zur Bewirtschaftung einer landwirtschaftlich genutzten Fläche (Säen, Enten, Mähen, Sprühen, etc.). Das Anbaugerät kann (koppelbar) mit der Landmaschine, insbesondere dem Hubwerk, verbunden sein, wobei eine Kupplung vorne und/oder hinten an der Landmaschine angebracht sein kann.
• Die Landmaschine kann insbesondere ein Traktor und das Anbaugerät kann insbesondere ein Pflug sein, so dass das Verfahren insbesondere hierfür eingerichtet bzw. vorgesehen ist. Soweit nachfolgend die allgemeine oder spezielle Anwendung erläutert wird, kann dies gleichermaßen auf die spezielle bzw. allgemeinere Ausführung übertragen werden (z. B. Mähwerk, Sprühwerk, etc.).
• Der mit Schritt c) bestimmte mindestens eine Arbeitsparameter kann eine Höhe und/oder eine Neigung des Anbaugeräts gegenüber dem Boden sein.
• Der in Schritt d) ausgegebene Ansteuerungsparameter kann zur Ansteuerung einer hydraulischen Regelung des einen Hubwerks zur Regelung der Höhe und/oder der Neigung des Anbaugerätes dienen.
• Das Pflügen ist eine relevante Anwendung eines Traktors. Stark inhomogene und/oder sehr feuchte Böden stellen eine besondere Herausforderung hinsichtlich eines gewünschten Arbeitsergebnisses nach dem Pflügen dar. Eine Möglichkeit, die Einsatzbarkeit eines Traktors stark zu verbessern, ist die sogenannte elektronisch-hydraulische Regelung für das Hubwerk (EHR-Systeme).
• Durch Lage- und/oder Zugkraftregelung verbessert die elektronisch-hydraulische Hubwerksregelung die Prozess-Effizienz, indem diese verhindert, dass der Traktor stecken bleibt und/oder der zugehörige Verbrennungsmotor (aufgrund überhöhter Last) abgewürgt wird. Durch die elektronisch-hydraulische Hubwerksregelung wird sichergestellt, dass ein Anbaugerät eines Traktors (beispielsweise ein Pflug) immer in der richtigen Höhe für den jeweiligen Betrieb des Traktors positioniert ist. Beispielsweise wird der Widerstand der Bodenerde durch ein Anheben des Pfluges verringert. Um bei stark inhomogenen Böden eine gutes Pflugbild zu erhalten, kann bei heutigem EHR-System entweder vollständig auf die Lage des Pfluges oder im Mischregelungsbetrieb auf Lage und die am Plug bzw. der Landmaschine angreifende Kraft geregelt werden. Die Lage des Pfluges kann durch die Änderung der Höhe variiert werden. Die Zugkraft kann durch zwei Kraftmessbolzen am Unterlenker des Hubwerks oder bei kleineren Traktoren mit einem Kraftmessbolzen am Oberlenker des Hubwerks gemessen werden. Mittels einer Messung der Gesamtkraft werden die Unebenheiten im Boden zwar erkannt und ausgeglichen, jedoch kann für die gleichmäßige Pflugtiefe eine zusätzliche Variation der Neigung erforderlich werden.
• Das hier beschriebene Verfahren und die hier beschriebenen Vorrichtung ermöglichen es, die Prozessgüte bzw. das Pflugbild während der Bodenbearbeitung zu verbessern. Eine Kamera bzw. ein Kamera-System soll genutzt und ihre Bilder in der Art ausgewertet werden, so dass sowohl auf die absolute Höhe über Boden als auch auf die Neigung des Pfluges relativ zum Boden geschlossen werden kann. Mit diesen Messgrößen kann der die Position des Pfluges dem Bodenprofil besser angeglichen werden, insbesondere durch eine geeignete Ansteuerung des Unterlenkzylinders und/oder des Oberlenkerzylinders eines Hubwerkes.
• Mit dem hier beschriebenen Verfahren kann die Lage des Pfluges insbesondere in der Art angepasst werden, dass die Pfluglage dem Bodenprofil genauer folgt und das Pflugbild sich somit verbessert. Außerdem ist eine Bestimmung der Geschwindigkeit des Traktor-Pflug-Gespanns über Grund möglich. Diese Geschwindigkeit kann zur Berechnung des Schlupfs verwendet werden. Eine ergänzende Schlupfregelung sorgt durch das Ausheben des Pfluges dafür, dass das Durchdrehen der Räder sowie das Abwürgen des Motors bei hohem Widerstand des Erdreichs vermieden werden.
• Bei dem hier beschriebenen Verfahren wird mindestens eine Kamera (bzw. ein Kamera-System) zur Aufnahme des Anbaugerätes und des umgebenden Bodens am Traktor verwendet. Die Kamera gewinnt durch die Aufnahme Kameradaten, aus denen die Lage des Pfluges bzw. Anbaugeräts relativ zum Boden bestimmt werden kann. Kameradaten umfassen alle von der Kamera für das Verfahren bereitgestellten Daten, insbesondere Bilddaten und/oder Videodaten, die mit der Kamera gewonnen werden. Eine Kamera kann eine fototechnische Apparatur sein, die statische oder bewegte Bilder auf ein digitales Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln kann. Eine hier einzusetzende Stereo-Kamera verfügt über zwei Kameralinsen sowie zwei Bildsensoren und erzeugt aus dem Vergleich der beiden gleichzeitig aufgenommenen Bilder eine dreidimensionale Abbildung. Im Rahmen dieser Erläuterungen kann die im Vergleich zur einfachen Kamera für die Erzeugung zweidimensionale Bilder technisch aufwendigere (Stereo-) Kamera auch als Kamera-System bezeichnet sein.
• Ein EHR-System kann mit den Kameradaten unter Verwendung des hier beschriebenen Verfahrens so angesteuert werden, dass alle im Eingriff mit dem Boden befindlichen Schare eines Pfluges nahezu gleichmäßig dem Bodenprofil folgen und sich somit ein einheitliches und gleichmäßiges Pflugbild ergibt. Außerdem kann die absolute Arbeitstiefe, die der Nutzer über ein geeignetes Interface in der Kabine der Landmaschine einstellen kann, durch eine Regelung eingehalten werden. Gleichzeitig bildet das System die Grundlage für die Automatisierung des Arbeitsprozesses.
• Die Tiefe der Pflug-Scharen kann durch eine Messung der durchschnittlichen Zugkraft am gesamten Pflug ermittelt werden. Die mittlere Zugkraft ist (nur) dann proportional zur Pflugtiefe, wenn die Dichte des Bodens während des Pflugvorgangs gleichbleibt. Ein ungleichmäßiges Pflugbild kann mit dem heutigen EHR so nicht festgestellt werden. Zudem wird mit einem EHR-System, welches anstatt des hier beschriebenen Verfahrens auf die Zugkraft als Eingangsgröße (allein) setzt, die Lage des Pfluges nur relativ zum Traktor und nicht absolut gegenüber dem Bodenprofil bestimmt.
• Die Lage des Pfluges kann somit durch eine reine Überwachung der Zugkraft nicht der tatsächlichen Topologie des Bodenprofils angepasst werden. Mit dem hier vorgeschlagenen Ansatz kann ein homogenes Pflugbild erreicht werden, indem die Neigung und die Höhe des Pfluges gegenüber dem Boden gemessen und an das sich ändernde Bodenprofil angepasst werden kann. Parallel kann das Kamerasignal zur Bestimmung der tatsächlichen Fahrzeuggeschwindigkeit genutzt werden. So kann auf den Radarsensor und/oder Kraftmessbolzen verzichtet werden, weil ein Durchdrehen der Räder und/oder ein Abwürgen des Motors alleine durch die überlagerte Regelung des Schlupfes verhindert werden kann.
• Der Kern des Verfahrens ist das Verwenden einer Kamera bzw. eines Kamera-Systems zur Aufnahme des Anbaugerätes und des umgebenden Bodens, sowie eine geeignete Auswertungsprozedur zur Auswertung der Kameradaten (insbesondere eine Bildauswertungsprozedur), welche die Höhe und/oder die Neigung des Pfluges gegenüber dem Boden bestimmt.
• Insbesondere sollen damit alle im Eingriff mit dem Boden befindlichen Pflug-Schare nahezu gleichmäßig dem Bodenprofil folgen und sich somit ein einheitliches und gleichmäßiges Pflugbild einstellen.
• Insbesondere kann durch das beschriebene Verfahren auf einen Radarsensor und auch auf die Kraftmessbolzen zur Überwachung der Zugkraft verzichtet werden, weil ein Eingraben der Räder und ein Abwürgen des Motors alleine durch die überlagerte Regelung des Radschlupfes verhindert werden kann, wenn mit Hilfe des beschriebenen Verfahrens jederzeit überwacht wird, wie weit sich Plug-Schare im Eingriff mit dem Boden befinden. Auch die Lage anderer Anbaugeräte relativ zu Boden kann auf die gleiche Art und Weise bestimmt werden.
• Das Verfahren bewirkt insbesondere eine Komforterhöhung für den Benutzer der Landmaschine. Eine Erhöhung der Prozessgüte während der Bodenbearbeitung (Arbeitstiefe) durch das Anpassen der Lage des Anbaugeräts (insbesondere des Pflugs) an die vorhandene Topologie des Bodenprofils wird ebenfalls erreicht. Außerdem kann eine Reduzierung der Systemkosten durch Entfallen der kostenintensiven Zugkraftsensoren und des kostenintensiven Radarsensors, der zur Bestimmung der Geschwindigkeit über Grund benötigt wird, erreicht werden.
• Für das beschriebene Verfahren ist es insbesondere auch möglich, die Funktionalität mit der Funktionalität einer bereits vorhandenen Rückfahrtkamera zu kombinieren. Traktoren können aus Sicherheitsgründen mit einer Rückfahrtkamera ausgestattet sein. Zwar ist die für das hier beschriebene Verfahren bevorzugt verwendete Kamera bzw. Kamera-System regelmäßig teurer als eine reine Rückfahrkamera. Es ist allerdings auch so, dass die für das hier beschriebene Verfahren verwendete Kamera, die Funktion einer Rückfahrkamera mit übernehmen kann.
• Besonders bevorzugt werden ein Stereo-Kamera-System und geeignete Bildverarbeitungsalgorithmen verwendet. Es wird ein Bild / eine Bildaufnahme mit einem Stereo-Kamera-System generiert.
• Das Verfahren ist besonders vorteilhaft, wenn die Kameradaten in Schritt a) Abstandsinformationen beinhalten, welche den Abstand der Stereo-Kammer von den in Bilddaten dargestellten Bereichen beschreibt. Eine Abstandsinformation kann beispielsweise in Form einer Pixelbezogenen Z-Komponente oder Z-Richtung in den Kameradaten enthalten sein, die jeweils angibt, wie weit der jeweilige Pixel bzw. das dem Pixel entsprechende sichtbare Element im Blickbereich der Kamera von der Kamera entfernt ist.
• Auch ist das Verfahren vorteilhaft, wenn die Zuordnung von Pixeln zu dem Anbaugerät oder dem Boden in Schritt b) anhand der Z-Richtung erfolgt (insbesondere eine Bildauswertungsprozedur).
• Darüber hinaus ist das Verfahren vorteilhaft, wenn in Schritt b) eine korrigierte statistische Verteilung zur Zuordnung der Pixel zum Anbaugerät oder zum Boden verwendet wird.
• Es ist (alternativ) möglich, in Schritt a) eine Kamera zur dreidimensionalen bzw. zweieinhalbdimensionalen Bildgebung zu verwenden. Hierfür können beispielhaft Kamerasysteme mit aktiven oder passiven Triangulationsverfahren bspw. Stereo-Kamera, Laufzeitkamerasysteme (Time-Of-Flight), Kamerasysteme mit strukturierter Beleuchtung, Lichtschnittverfahren, Shape-from-Shadding-Verfahren bzw. Phasenschift-Verfahren, etc. verwendet werden.
• Unter Berücksichtigung eines Histogramms der Z-Koordinate können Anbaugerät bzw. Pflug und Boden im Bild separiert werden.
• Das (vereinfachte) Grundgerüst eines Anbaugerätes - hier z. B. der zentrale, mittige Balken des Pfluges - hat nach hinten eine nahezu lineare bzw. geradlinige Form. Die Anbauten, wie die Pflug-Scharen, sind meistens symmetrisch angeordnet. Deshalb kann für die Verteilung der Pixel, die den Pflug darstellen bzw. dem Pflug zugehörig sind, eine Gauß-Verteilung angenommen werden. So repräsentiert z_pl den Schwerpunkt des Pfluges. Die Verteilung der Z-Koordinaten des Bodens wird ebenfalls als Gauß-Verteilung angenommen. Dies stimmt zwar nur für den Fall eines ebenen Bodens, reicht jedoch für die Bestimmung der Schwelle z_thr aus. Das genaue Bodenprofil wird anhand der weiter unten beschriebenen Prinzipien bestimmt. Hierfür ist die Art der Verteilung nicht relevant. Dabei wird angenommen, dass z_min das lokale Minimum in einer bimodalen Verteilung der Pixel des Anbaugerätes und der Pixel des Bodens ist.
• Die tatsächlich gesuchte Schwelle zwischen den zwei Gauß-Verteilungen hängt von den Höhen der beiden Verteilungen ab. Wenn die Höhe der beiden Verteilungen stark unterschiedlich ist, kann sich die Schwelle verschieben, weil die höhere Verteilung die Schwelle hin zu der niedrigeren Verteilung verschiebt. Mit Hilfe einer Korrekturfunktion kann das Problem unterschiedlich starker Verteilungen gelöst werden. Die Korrekturfunktion lautet wie folgt: $$f_z:\frac{H\left(z_{pl}\right)}{H\left(z_{gr}\right)}\to \frac{z_{min}-z_{pl}}{z_{pl}-z_{min}}\text{ oder }{f}_z\approx \sqrt{\frac{H\left(z_{pl}\right)}{H\left(z_{gr}\right)}}.$$

  
• Die Korrekturfunktion gibt einen Korrekturparameter in Abhängigkeit des Höhenverhältnisses H(z_pl)/H(z_gr) der beiden Verteilungen an. Diese Korrekturfunktion kann mit einer Wurzelfunktion approximiert werden. Somit ergibt sich die gesuchte mit der Korrekturfunktion korrigierte Schwelle nach folgender Gleichung: $$z_{\text{thr}}=z_{\text{pl}}+f_z\cdot \left(z_{\text{min}}-z_{\text{pl}}\right)$$

  
• Die Segmentierung des Pfluges sowie die Segmentierung der Erde / des Bodens in der Bildverarbeitung kann für jedes Pixel (i, j) erfolgen. Dazu kann die Menge aller Pixel P_pl, die zum Pflug gehören bzw. dem Pflug zugehörig sind, und die Menge aller Pixel P_gr, die zum Grund bzw. dem Grund oder der Erde zugehörig sind, definiert werden. Mit den folgenden beiden Bedingungen, kann beschrieben werden, ob Pixel des Kamerabildes zum Pflug oder zur Erde bzw. dem Boden gehören, wenn für den jeweiligen Pixel z_thr berechnet wurde: $$\text{Pflug}:\left(\text{i},\text{j}\right)\in {\text{P}}_{\text{pl}}\text{ genau dann}{\text{, wenn z}}_{\text{ij}}<{\text{z}}_{\text{thr}}$$

  

  $$\text{Erde}:\left(\text{i},\text{j}\right)\in {\text{P}}_{\text{gr}}\text{ genau dann}{\text{, wenn z}}_{\text{ij}}\ge {\text{z}}_{\text{thr}}$$

  
• Für die Bestimmung des Bodenprofils können zunächst anhand der Ergebnisse aus der Segmentierung diejenigen Pixel ausgewählt, die (eindeutig) zur Erde bzw. dem Boden zugeordnet werden konnten (P_gr). Das Bild wird anhand der y-Koordinate in N_y Segmente P_y,n unterteilt. In jedem Segment wird die mittlere Höhe z_n bestimmt: $$z_{\text{gr},n}=\left|P\right|\cdot {\displaystyle \sum _{\left(i,j\right)\in \left(P_{\text{gr}}\cap P_{y,n}\right)}{z}_{i,j}\text{ mit }n=\mathrm{1,}\dots ,N_y}$$

  
• Für die Bestimmung der Lage des Pfluges gegenüber der Kamera wird zunächst ein zweidimensionales Histogramm gebildet (siehe auch 10 (a)). Die Bildung des Histogramms erfolgt gemäß folgender Formel: $$y_{ij},z_{ij}\to H\left(y,z\right)\text{ min }\left(i,j\right)\in P_{\text{pl}}.$$

  
• Anschließend wird für jede y-Position die Position des Maximums bestimmt, weil dieses Maximum mit größter Wahrscheinlichkeit die Höhe des Schwerpunktes am Anbaugerät repräsentiert. Dadurch erhält man ein binäres Bild: $$B\left(i,j\right)=\{\begin{array}{l}\mathrm{1,}\text{ für }H\left(i,j\right)>H\left(1\dots N_i,j\right)\hfill \\ \mathrm{0,}\text{ sonst}\hfill \end{array}$$

  
• Dieses Stadium des Verfahrens ist in. 10 (b) gezeigt. Dabei bedeutet die weiße Farbe den Wert 1 und die schwarze Farbe den Wert 0. Anhand einer Hough-Transformation wird die wahrscheinlichste Gerade bestimmt, die die meisten Pixel ungleich Null abdeckt: $$\text{Hough}:B\left(i,j\right)\to a_{\text{pl}}\cdot y+b_{\text{pl}}.$$

  
• 10 (c) zeigt diese Gerade. Diese Gerade entspricht der relativen Position des Pfluges. Somit kann die relative Lage des Pfluges gegenüber dem Bodenprofil bestimmt werden.
• Dieser Teilalgorithmus ist in 11 in einem Flussdiagramm zusammengefasst.
• Eine Besonderheit der hier beschriebenen Verfahren ist, dass es ohne optische Marker am Anbaugerät bzw. Pflug auskommt. Das hier beschriebene Verfahren ist insbesondere dazu geeignet, die relative Lage des Pfluges nur anhand der (vergleichbaren bzw. ggf. vorbekannten oder hier neu zu charakterisierenden) Form des Pfluges, wie sie auf den Kameradaten dargestellt ist, zu ermitteln. Als Nebeneffekt kann das beschriebene Verfahren zur Bestimmung der tatsächlichen Fahrzeuggeschwindigkeit mit Hilfe der Kameradaten zur Regelung eines geforderten Schlupfwerts zur Vermeidung des Eingrabens der Antriebsräder verwendet werden.
• In diesen Punkten grenzt sich das beschriebene Verfahren auch von Verfahren ab, die mit klassischer Bildverarbeitung die Eintauchtiefe der Pflug-Schare aus Kameradaten bestimmen. Solche Verfahren basieren auf einer Erkennung der Pflug-Schar gegenüber dem Erdboden. Bei solchen Verfahren wird jede einzelne Schar und ihr „Füllstand“ mit der Erde (bzw. Eintauchen in die Erde) mit der Kamera detektiert. Dies erfordert einen enormen Rechenaufwand. Bei dem hier beschriebenen Verfahren wird der Pflug insgesamt mit der Kamera betrachtet und dessen Lage bestimmt.
• Dies ist auch ein anderer Ansatz als eine kamerabasierte Aufnahme des Bodenreliefs. Für die Anwendung solcher Verfahren für die Steuerung des Hubwerks bzw. des Pfluges ist zusätzlich eine Höhenreferenz erforderlich, welche durch einen zusätzlichen Sensor bzw. bekannte entfernte Objekte ermittelt wird. Durch das hier beschriebene Verfahren sind keine weiteren Signale zur Bestimmung der Bodentopologie notwendig.
• Das beschriebene Verfahren ermöglicht es auch, auf ein bekanntes 3D-Modell als (gespeicherte) Referenz zu verzichten. Für das hier beschriebene Verfahren ist kein 3D-Modell des Anbaugerätes zum Vergleich bzw. der Lageermittlung notwendig.
• Das Verfahren wird im Arbeitseinsatz durchgeführt und kann daher von Verfahren abgegrenzt werden, die lediglich beim Ankoppeln der Anbaugeräte und nicht auf deren Arbeitseinsatz Anwendung finden. Solche Verfahren zum An- oder Abkoppeln betreffen alle Verfahren und Vorrichtungen zur Steuerung des Anspannens einer Landmaschine an einem Schlepper, wobei eine Fahrhilfe zum Ankoppeln von Landmaschine und Arbeitsfahrzeug vorgesehen ist und zu diesem Zweck auch eine Bildverarbeitungsmethode eingesetzt wird. Einen Hinweis auf die Höhenlageneinstellung des Schleppgeräts während der Fahrt gibt es bei Verfahren zur Ankopplung nicht. Das hier beschriebene Verfahren kann dadurch abgegrenzt werden, dass es während des Arbeitseinsatzes, z. B. während des Pflügens, verwendet wird.
• Für das Verfahren ist mindestens eine Kamera mit Blickrichtung zumindest auch auf das Anbaugerät vorgesehen. Das Verfahren kann über die elektronische Verbindung der Kamera mit dem Hubwerkssteuergerät sowie eine Anpassung der Lage des Pfluges an die Bodentopologie an der Landmaschine erkannt werden.
• Das Verfahren kann insbesondere bei Traktoren mit Anbaugeräten mit elektrischer Hubwerksregelung eingesetzt werden. Die Landwirtschaft kann dahingehend unterstützt werden, dass Assistenzfunktionen und personalisierte Einstellungsmöglichkeiten in der Arbeitsmaschine Erleichterung und Sicherheit hervorbringen. Diese Optionen bedeuten einen erheblichen wirtschaftlichen Vorteil. Darüber hinaus ermöglicht die geräteübergreifende Anwendbarkeit des hier vorgeschlagenen Verfahrens dem Landwirt bereits existierende (ältere) Anbaugeräte zu nutzen. Eine aufwendige Inbetriebnahme durch den Landwirt entfällt.
• Weiterhin wird ein Verfahren zum Kalibrieren einer Landmaschine für ein Anbaugerät angegeben, wobei die Landmaschine ein Hubwerk aufweist, mit welchem das Anbaugerät geschwenkt werden kann, wobei das Verfahren zumindest die folgenden Schritte aufweist:
1. i) Verbinden des Anbaugeräts mit der Landmaschine,
2. ii) Bewegen des Anbaugeräts in mindestens eine Prüfstellung, die relativ zu der Landmaschine bekannt ist,
3. iii) Empfangen von Kameradaten von einer Kamera (bzw. einem Kamera-System), mit welcher dreidimensionale Bilddaten gewonnen werden können, welche eine Blickrichtung auf das Anbaugerät aufweist, wenn sich das Anbaugerät in einer Prüfstellung befindet,
4. iv) Auswerten der Kameradaten, wobei das Anbaugerät in den Kameradaten erkannt und eine Prüfposition des Anbaugerätes in der Prüfstellung anhand der Kameradaten ermittelt wird,
5. v) Ermitteln von mindestens einem anbaugerätspezifischen Parameter für den Betrieb der Landmaschine mit dem Anbaugerät aus der Prüfposition.
• Das hier beschriebene Kalibrierverfahren kann bevorzugt mit denselben Komponenten (Kamera und/oder Steuergerät) durchgeführt werden, wie auch das beschriebene Betriebsverfahren. Die vorstehend im Zusammenhang mit dem Betriebsverfahren besonderen Vorteile und Ausgestaltungsmerkmale sind auf das Kalibrierverfahren übertragbar. Gleiches gilt umgekehrt auch für die im Folgenden im Zusammenhang mit dem Kalibrierverfahren erläuterten besonderen Vorteile und Ausgestaltungsmerkmale, die auf das Betriebsverfahren anwendbar und übertragbar sind.
• Es ist möglich, dass (ggf. nur) zum Start bzw. nach einem neuen Anspannvorgang, bei dem ein neues Anbaugerät mit einer Landmaschine gekoppelt bzw. verbunden wird, dieses Kalibrierverfahren durchgeführt wird und dann im Betrieb die hier ermittelten Parameter und Ergebnisse für das beschriebene Betriebsverfahren genutzt werden. Damit kann das Kalibrierverfahren ein dem Betriebsverfahren vorgelagerter Prozess des Einrichtens des EHR-Systems sein.
• Das Verfahren ist besonders vorteilhaft, wenn die für Schritt iii) verwendeten Kameradaten eine zumindest teilweise senkrecht zur Blickrichtung der Kamera ausgerichtete Z-Richtung aufweisen, welche den Abstand der Stereo-Kammer von den in Bilddaten dargestellten Bereichen beschreibt.
• Außerdem ist das Verfahren vorteilhaft, wenn die Prüfposition des Anbaugerätes in Schritt iv) anhand von Z-Richtungsinformationen in den Kameradaten ermittelt wird.
• Vorteilhaft ist auch, wenn in Schritt v) als anbaugerätspezifischer Parameter eine Nulllinie ermittelt wird, die sich durch das Absetzen des Anbaugeräts auf dem Boden ergibt.
• Auch ist vorteilhaft, wenn in Schritt v) als anbaugerätspezifische Parameter eine maximale Höhe und eine Neigung des Anbaugeräts ermittelt werden Zusätzlich können nach Schritt v) die in Schritt v) ermittelten Parameter in einem Speicher in einem Steuergerät hinterlegt werden.
• Hier beschrieben wird ein Kalibrierungsverfahren, das eine universelle Einsetzbarkeit der Hubwerksregelung für verschiedene Anbaugeräte gewährleistet, ohne dem System detaillierte geometrische Informationen bereitstellen zu müssen. Durch die fehlenden geometrischen Informationen wird ein zusätzlicher Arbeitsschritt erforderlich, bevor die Hubwerksregelung einsatzbereit ist. Aus den Informationen der Kamera kann die absolute Entfernung des Bodens und die Höhe der im Bild sichtbaren Bereiche des Anbaugeräts direkt ermittelt werden. Eine Information über den Abstand der Unterkante des Anbaugeräts vom Boden kann aus dem Bild in der Regel nicht gewonnen werden, weil die entsprechenden Bereiche im Bild verdeckt sind. Für die Regelung der Höhe des Anbaugeräts über Boden ist daher eine zusätzliche Kalibration von Entfernungsinformationen zwischen Kamera und Anbaugerät zur Nulllinienfindung und zur Erkennung von Bewegungseinschränkung erforderlich. Entfernungsinformationen geben insbesondere den Abstand des Hubwerks von definierten Punkten am Hubwerk bzw. am Traktor an, um die Position des Hubwerks zu überwachen.
• Hier soll ein einfaches und schnell anwendbares Verfahren für die universelle Einsetzbarkeit der kamerabasierten Hubwerksregelung vorgestellt werden, welches für eine Vielzahl verschiedener Anbaugeräte geeignet ist. Das Verfahren ermöglicht insbesondere eine Regelung der absoluten Höhe und/oder Neigung des Anbaugeräts über dem Boden. Eine aufwendige und praxisuntaugliche Bereitstellung geometrischer Informationen für jedes einzelne Anbaugerät entfällt dadurch.
• Kraftbasierte Hubwerksregelsysteme, wie sie heute Stand der Technik sind, nutzen das Kraftsignal als Regelgröße. Die Kraft ist unter idealen Bedingungen ein Äquivalent für die Arbeitshöhe/-tiefe. So wird beispielsweise beim Pflügen die Zugkraft von der Pflugtiefe beeinflusst. Da die Zugkraft aber nicht nur von der Arbeitstiefe, sondern von weiteren Parametern, wie z. B. der Bodenbeschaffenheit und -feuchte sowie dem Anbaugerät selbst, abhängt, liefert das Kraftsignal keine Information über die absolute Höhe des Anbaugeräts über dem Boden. Darüber hinaus kann aus dem Kraftsignal keine Neigung des Anbaugeräts herausgelesen werden. Daher ist bisher nur die Regelung des Unterlenkers des Hubwerks möglich. Die Länge des Oberlenkers des Hubwerks muss durch den Nutzer manuell eingestellt werden. Ebenso muss der Nutzer den einzuregelnden Kraftwert für jedes Feld und vor Beginn eines jeden Arbeitsprozesses neu prüfen und einstellen.
• Mit einem kamerabasierten Hubwerksregelungssystem in Verbindung mit Informationen, die aus dem hier beschriebenen Kalibrierungsverfahren gewonnen werden können, ist eine exakte Regelung der tatsächlichen Höhe bzw. Arbeitstiefe sowie der Neigung eines Anbaugerätes möglich.
• Das hier beschriebene Verfahren umfasst insbesondere eine schnelle und einfache Kalibration für eine kamerabasierte Hubwerksregelung zur Gewinnung anbaugerätespezifischer Informationen, die für die Regelung von Bedeutung sind.
• Die bei der Kalibration gewonnenen Informationen ermöglichen eine Hubwerksregelung, die die absolute Höhe und Neigung des Anbaugeräts über dem Boden regeln kann und keine a-priori Informationen über geometrische Eigenschaften des Anbaugeräts benötigt. Die Regelung der tatsächlichen Höhe bzw. Arbeitstiefe und Neigung eines Anbaugerätes eröffnet die Möglichkeit, den Arbeitsprozess zu automatisieren, beispielsweise durch Vorgabe einer gewünschten Pflugtiefe. Die entsprechende Ansteuerung des Hubwerks und des Oberlenkers erfolgt dann automatisch, so dass ein gleichmäßiges Pflugbild mit der gewünschten Tiefe entsteht.
• Nach erstmaliger Aufnahme bzw. Verbundes eines Anbaugeräts am Hubwerk des Traktors, muss ein einmaliger Kalibrierprozess durchlaufen werden, um die Hubwerksregelung einsatzfähig zu machen. Zu Beginn des Kalibriervorgangs, muss die maximale Höhe und Neigung des Anbaugeräts festgelegt werden. Dazu wird die entsprechende Position manuell durch entsprechende Einstellung der Hubwerkshöhe, der Oberlenkerlänge sowie gegebenenfalls Einstellungen am Anbaugerät angefahren. Die Position wird durch den Bediener bestätigt und im System bzw. im Steuergerät gespeichert.
• Bei Verwendung eines 3D-bildgebenden Systems zur Kalibrierung (z.B. Stereo-Kamerasystem, Time-of-Flight-Kamerasystem, etc.) zur Überwachung des Betriebs eines Anbaugerätes an einem Hubwerk einer Landmaschine bzw. eines Traktors stehen Entfernungsinformation zur Verfügung, so dass nur die Nulllinie sowie die maximal mögliche oder erlaubte Höhe einmalig festgelegt werden muss. Dazu werden die einzelnen Positionen angefahren, anhand einer aus der Datenanalyse gewonnenen Lage beschrieben und in einem Speicher (beispielsweise einem Speicherplatz auf einem Steuergerät) abgespeichert. Die Nulllinie ergibt sich durch das Absetzen des Anbaugeräts auf dem Boden. Die dabei gefundene Position und die entsprechenden Messwerte (Höhe und Neigung) des Kamerasystems werden als Nulllage für die Höhe und Neigung des Anbaugeräts im System abgelegt.
• Der Unterschied im Kamerabild zwischen dem auf Bodenhöhe getragenen Anbaugerät und dem abgesetzten Anbaugerät beeinflusst die Messung nicht, da sich lediglich der absolute Abstand zum Anbaugerät und zum Boden ändert, nicht aber die Abstandsdifferenz zwischen Boden und Anbaugerät. Die maximale Höhe wird entweder durch die Kinematik des Hubwerks sowie die Länge der Hydraulikzylinder des Hubwerks bestimmt und/oder durch eine weitere Randbedingung eingeschränkt, beispielsweise eine drohende Kollision des Anbaugeräts mit der Landmaschine und/oder eine Überschreitung der Maximalhöhe des Gesamtfahrzeugs (siehe 1). Insofern ist die maximale Höhe kein Landmaschinenspezifischer Parameter, sondern ein Parameter, der jeweils für eine Kombination aus Landmaschine und Anbaugerät definiert wird.
• Das für die kamerabasierte Hubwerksregelung vorgeschlagene Kalibrierungsverfahren kann auch für weitere Funktionen genutzt werden. Über eine Klassifizierung des Anbaugeräts aufgrund der im Kamerabild erkannten Form und der gemessenen Drücke im EHR-System bei der für die Kalibration nötigen Bewegung, können Regelparameter der Hubwerksregelung adaptiert werden. Dadurch kann die Regelung hinsichtlich Funktion und Komfort angepasst werden.
• Es ist möglich, im Rahmen des beschriebenen Verfahrens gewonnene Kameradaten bzw. Kamerasignale (Kamerabilder) auch für die Bestimmung der tatsächlichen Fahrzeuggeschwindigkeit zur Regelung eines geforderten Schlupfwerts zur Vermeidung des Eingrabens der Antriebsräder zu verwenden.
• Die Kameradaten können (auch) dazu verwendet werden, die Pflugtiefe kamerabasiert zu erkennen, indem die Bildverarbeitung die Eintauchtiefe der Pflug-Schare bestimmt. Dies umfasst eine Erkennung von der Pflug-Schar gegenüber dem Erdboden. Dabei kann jede einzelne Schar und ihr „Füllstand“ mit der Erde (bzw. Eintauchen in den Boden) mit der Kamera detektiert werden. Hier hat sich aber herausgestellt, dass es vorteilhaft ist, den Pflug bzw. dessen Position als Gesamtes mit der Kamera zu betrachten und dessen Lage zu bestimmen.
• Höhenreferenzen zur Bestimmung der Höhe des Pfluges bzw. des Anbaugerätes können auch durch einen zusätzlichen Sensor bzw. bekannte entfernte Objekte gewonnen werden. Durch die hier beschriebene Überwachung und Kalibrierung eines Anbaugerätes sind allerdings keine weiteren Signale zur Bestimmung der Bodentopologie zwingend erforderlich. Die Kameradaten können auch dazu genutzt werden, die tatsächliche Fahrzeuggeschwindigkeit zu ermitteln. Dies ist ohne optische Markierungen bzw. Referenzen möglich. Die Geschwindigkeit kann anhand des gradientenbasierten optischen Flusses und/oder anhand 3D-Verfolgung von markanten Bildausschnitten (so genanntes „feature tracking“) bestimmt werden.
• Durch das hier beschriebene Verfahren kann die Lage eines Anbaugerätes sogar ohne ein bekanntes 3D-Modell des Anbaugerätes als Referenz bestimmt werden. Die Form und die Ausdehnung des Anbaugerätes kann mit dem beschriebenen Verfahren aus Kameradaten überwacht werden. Es ist kein 3D-Modell des Anbaugerätes zwingend notwendig.
• Das beschriebene Verfahren wird bevorzugt im Arbeitseinsatz der Landmaschine durchgeführt. Das Verfahren ermöglicht es, die Kalibrierung während bzw. in unmittelbarem Zusammenhang mit dem Arbeitseinsatz durchzuführen. Das Verfahren kann ohne Nutzerbeeinträchtigung in den Prozess des Arbeitseinsatzes integriert werden.
• Die hier beschriebene Vorrichtung, die insbesondere für die Durchführung des hier beschriebenen Verfahrens eingerichtet ist, wird insbesondere während des Arbeitseinsatzes einer Landmaschine (beispielsweise während des Pflügens) verwendet.
• Für das Verfahren wird eine Kamera bzw. Kamera-System mit Blickrichtung auf das Anbaugerät benötigt.
• Die Durchführung des Verfahrens zeigt sich im Betrieb der Vorrichtung, wenn erkannt wird, dass eine Kamera zur Ansteuerung eines Hubwerks bzw. eines Hubwerkssteuergerätes verwendet wird, und das Hubwerk in Reaktion auf Kameradaten von der Kamera eine Anpassung der Lage des Pfluges an die Bodentopologie an der Landmaschine durchführt. Bei der Anwendung des Verfahrens sollte nach dem erstmaligen Anhängen eines Anbaugerätes eine Prozedur durchgeführt werden, bei der mehrere Positionen des Anbaugerätes angefahren werden.
• Das hier vorgestellte Kalibrierverfahren für ein kamerabasiertes elektrohydraulisches Hubwerksregelsystem für Landmaschinen (insbesondere für Traktoren) gewährleistet praxistaugliche und universelle Einsetzbarkeit. Die Varianz und die Vielzahl verschiedener Anbaugerätetypen und -hersteller macht eine Realisierung eines Systems, das sämtliche geometrischen Informationen jedes denkbaren Anbaugerätes a-priori benötigt, praktisch unmöglich. Aufgrund der hohen Lebenserwartung von Traktoren treten auch immer wieder Anbaugeräte auf, die bei der Ersteinrichtung des Steuergerätes eines Traktors noch gar nicht verfügbar sind. Um solche Anbaugeräte bei einem Verfahren zu berücksichtigen, welches sämtliche geometrischen Informationen hinsichtlich des Anbaugerätes benötigt, wären sehr regelmäßige Vorbereitungsmaßnahmen samt einer sehr umfangreichen Datenbank mit den Informationen im Steuergerät erforderlich. Darüber hinaus funktioniert die hier beschriebene kamerabasierte Hubwerksregelung, die durch das hier gezeigte Kalibrierverfahren ergänzt wird, auch mit älteren Anbaugeräten, die ein Landwirt bei Neuanschaffung eines Traktors bereits besitzt und die nicht im Datenbestand des Steuergerätes hinterlegt sind.
• Generell bietet die hier beschriebene kamerabasierte Hubwerksregelung noch weitere Vorteile. Neben einer Regelung der absoluten Höhen und/oder Neigung sowie der Klassifizierung des Anbaugeräts zur Anpassung von Regelparametern, ermöglicht das hier beschriebene Verfahren zur Hubwerksregelung, andere Arbeits- und/oder Fahrprozesse weiter zu automatisieren und den Fahrer dadurch zu entlasten. Die gleiche Sensorik, die für die Hubwerksregelung zum Einsatz kommt, kann für weitere Fahrerassistenzsysteme genutzt werden, wie eine automatische Aufnahme von Anbaugeräten oder eine Umfeldüberwachung.
• Weiter wird ein Steuergerät angegeben, welches zur Durchführung zumindest eines der beschriebenen Verfahren eingerichtet ist.
• Die Verfahren und das technische Umfeld werden nachfolgend anhand der Figuren näher erläutert. Die Figuren zeigen besondere Ausführungsbeispiele, auf die das Verfahren jedoch nicht begrenzt ist. Insbesondere ist darauf hinzuweisen, dass die Figuren als Anbaugerät an einer Landmaschine jeweils einen Pflug an einem Traktor zeigen. Hierauf sind die Verfahren allerdings nicht begrenzt. Es zeigen:
• 1: einen Traktor mit einem Pflug als Anbaugerät bei einer Kalibrierung,
• 2: ein Ablaufdiagramm des Kalibrierverfahrens,
• 3 und 4: einen Traktor mit einem Pflug bei der Arbeit,
• 5 einen Traktor mit einer Kamera zur Überwachung des Pflugs für das beschriebene Verfahren,
• 6 ein Ablaufdiagramm des beschriebenen Verfahrens,
• 7: eine Vorgehensweise bei einer Bildauswertung (siehe insbesondere Bezugszeichen 23 in 6) im Rahmen des beschriebenen Verfahrens,
• 8: ein Gaußverteilungsansatz, der zur Bildauswertung (siehe insbesondere Bezugszeichen 23 in 6) angewendet wird,
• 9: ein Ablaufdiagramm der in 7 und 8 dargestellten Bildauswertung
• 10: ein Ergebnis der Bildauswertung (siehe insbesondere Bezugszeichen 24 in 6), und
• 11: ein Ablaufdiagramm der Bildauswertung (siehe insbesondere Bezugszeichen 23 in 6) im Rahmen des beschriebenen Verfahrens.
• 1 zeigt eine Landmaschine 1 nach Art eines Traktors mit einem Hubwerk 4, an welchem ein Anbaugerät 2 nach Art eines Pfluges angebracht ist, während eines Kalibierungsvorgangs. Dabei wird der Pflug 2 in verschiedene Positionen gebraucht, die mit der Kamera (bzw. Kamera-System) 5 überwacht werden, um Kalibrierungsdaten für die hier beschriebenen Verfahren zu akquirieren.
• 2 zeigt, wie die Schritte des Kalibrierverfahrens zeitlich hintereinander durchgeführt werden können. Zu erkennen sind die Schritte i) bis v), die hier teilweise gruppiert sind. Es ist gegebenenfalls nicht notwendig, dass Schritt i) (Verbinden/Ansetzen des Anbaugerätes) bei jeder Kalibrierung erneut durchgeführt wird. Schritt v) kann auch einen Speichervorgang 7 zur Einspeicherung der gewonnen Daten in einer Datenbank in einem Steuergerät der Landmaschine umfassen. Der Schritt iii) entspricht der Aufnahme eines Bildes mit 3D-Informationen für die spätere Auswertung (Schritte iv). In Schritt iv) erfolgt eine histogrammbasierte Segmentierung des Anbaugerätes. Es erfolgt auch eine Beschreibung der Lage des Anbaugerätes anhand der Höhe und Neigung. Wenn eine Position des Anbaugerätes getestet wurde, erfolgt ein Positionswechsel 6, um dann eine nächste Prüfposition/Prüfstellung anzufahren. Daher werden die Verfahrensschritte i) bis v) nach Art einer Schleife wiederholt, wenn eine Mehrzahl von Prüfpositionen bzw. Prüfstellungen existiert, die für das jeweilige Anbaugerät ermittelt bzw. überprüft und ausgewertet werden sollen. Verschiedene Prüfstellungen bzw. Prüfpositionen, die hier angefahren werden, sind beispielsweise die (maximale und die minimale) Höhe des Anbaugeräts, eine Nulllinie, die (maximale und die minimale) Neigungen des Anbaugerätes etc..
• 3 und 4 zeigen einen Traktor 1 im Arbeitseinsatz im Gelände beispielsweise auf einem Acker. 3 zeigt eine Situation, wenn der Traktor über eine konvexe Geländeform 8 fährt. Dann sinken die vorderen Pflugscharren 10 des Pfluges 2 tiefer ein und die hinteren Pflugscharren 10 kommen aus dem Boden heraus. 4 zeigt eine Situation, in welcher der Traktor über eine konkave Geländeform 9 führt. Dann sinken die hinteren Pflugscharren 10 des Pfluges tiefer ein und die vorderen Pflugscharren 10 kommen weiter aus dem Boden heraus.
• 5 zeigt noch wie der Pflug 2 von der Kamera 5 an dem Traktor 1 im Arbeitsbetrieb überwacht wird. Die Kamera 5 ist so angeordnet, dass sie sämtliche Pflugscharren 10 des Pfluges 2 im Blick hat. Hier auch noch etwas detaillierter dargestellt ist das Hubwerk 4 des Traktors 1, an welchem der Pflug 2 befestigt ist. Das Hubwerk 4 hat einen Oberlenker 12 und einen Unterlenker 13, deren Länge jeweils mit Hydraulikzylindern 14 eingestellt werden kann. Durch eine geeignete Ansteuerung von Oberlenker 12 und Unterlenker 13 kann die Neigung und die Höhe des Pfluges 2 eingestellt werden. Die Bildauswertung wird in einem Steuergerät 29 ausgeführt und die anbaugerätspezifischen Parametersätze werden in einem Speicher 28 hinterlegt.
• 6 zeigt ein Ablaufdiagramm eines Arbeitsverfahrens. Links ist eine hier beschriebene histogrammbasierte Segmentierung dargestellt. Rechts ist eine alternative Möglichkeit der Segmentierung mittels Bewertung des optischen Flusses dargestellt.
• Zunächst erfolgt eine Bildaufnahme 21. Anschließend werden die 3D-Punktewolken 22 rekonstruiert. Anhand eines Histogramms der Z-Koordinaten für Pixel des Pfluges und für Pixel des Bodens kann eine Segmentierung 23 des Bildes in Pflug und Boden vorgenommen werden.
• Alternativ kann der optische Fluss 25 in einem der beiden Stereo-Bilder bestimmt werden. Der optische Fluss gibt an wie sich Pixel im Bild zeitlich verändern. Anhand des unterschiedlichen optischen Flusses für Pixel des Pfluges und für Pixel des Bodens ist kann eine Segmentierung 23 des Bildes in Pflug und Boden vorgenommen werden. Anschließend erfolgt eine Lagebestimmung 24 aus den rekonstruierten 3D-Punktewolken in Kombination mit den Pixeln des Pfluges bzw. mit den Pixeln des Bodens.
• 7 zeigt ein Ablaufdiagramm der beschriebenen Verfahrensschritte b) auf der Datenebene. Die 7 a) zeigt die 3D-Punktwolke aus einer Bildaufnahme. 7 b) zeigt ein Histogramm der z-Koordinate und die 7 c) das entsprechende linke Bild des Stereo-Kamerasystems. Die eine erste (grüne) Farbe zeigt Anbaugerät-Pixel 16 an, die sich auf den Pflug beziehen bzw. die den Flug darstellen und eine zweite (blaue) Farbe die Boden-Pixel 15, die sich auf die Erde beziehen bzw. den Boden darstellen. Die Aufgabe besteht also darin, in dieser bimodalen Verteilung (7 b)) den geeigneten Schwellenwert zwischen der ersten Farbe (siehe 16) und der zweiten Farbe (siehe 15) festzulegen. Eine Lösung ist die Bestimmung der beiden lokalen Maxima z_pl und z_gr und des lokalen Minimums in der Verteilung. Das Minimum - markiert durch eine Linie in 7 b) - kann als Schwellenwert z_thr zur Unterscheidung zwischen dem Pflug und dem Boden festgelegt werden. Das lokale Minimum ist jedoch nicht genau der Mittelpunkt zwischen den beiden Verteilungen.
• Wenn man annimmt, dass die Verteilung der z-Koordinate H(z) jeweils die Form einer Gauß-Verteilung hätten, ergibt sich der Minimalwert gemäß folgender Formel: $$H\left(z\right)=h_1{e}^{-\frac{{\left(z-z_{\text{pl}}\right)}^2}{4{\sigma }^2}}+h_2{e}^{-\frac{{\left(z-z_{\text{gr}}\right)}^2}{4{\sigma }^2}}$$

  
• Hierbei bildet der erste Term mit Amplitude h₁ beispielsweise die erste Gauß-Verteilung und der zweite Term mit Amplitude h₂ die zweite Gauß-Verteilung. Die Verteilungen werden jeweils durch die Exponentialfunktion e definiert.
• Die Situation unterschiedlich hoher Gauß-Verteilungen für den Pflug und den Boden wird in 8 erläutert. In der 8 a) ist die Summe von zwei Gauß-Verteilungen für das Verhältnis H(z_pl)/H(z_gr) = 0, 1 und in 8 b) für das Verhältnis H(z_pl)/H(z_gr) = 1, 0 gezeigt. In 8 b) liegt die Schwelle wie erwartet in der Mitte. In 8 a) ist der Fall gezeigt, dass die eine Verteilung 10-mal höher ist als die andere Verteilung. Dies verschiebt die Schwelle hin zu der schwächeren Verteilung. In der 8 c) ist die Korrekturfunktion f_z für die gesuchte Schwelle als das Verhältnis der zwei Intervalle (z_min - z_pl) / (z_gr - z_min) gezeigt.
• 9 zeigt die hier erläuterten Gleichungen sowie die Zuordnung von Pixel als Boden-Pixel 15 oder als Anbaugerät-Pixel 16 zur Verdeutlichung nochmal als Ablaufdiagramm.
• 10 zeigt in den Figuren (a) bis (c), wie aus einer Punktwolke, die mit Hilfe des beschriebenen Verfahrens gewonnen wird, eine Linie ermittelt werden kann, die den Pflug repräsentiert (10 (c)). Für diese Linie können die Parameter Höhe und Neigung angegeben werden. Mit Hilfe dieser Parameter kann dann anschließend das Hubwerk des Traktors angesteuert werden, um das Anbaugerät bzw. den Flug in die gewünschte Lage zu bringen.
• 11 zeigt den Teilalgorithmus 24 aus 6 im Rahmen des beschriebenen Verfahrens. Links werden Boden-Pixel 15 im Kamerabild verarbeitet und rechts werden Anbaugerät-Pixel 16 im Kamerabild verarbeitet. Oben ist eine Dateneingabe 17 (3D-Punktewolke) dargestellt, mit welcher alle Pixel erfasst werden. Durch Pfeile ist repräsentiert, dass die Pixel entweder dem Boden oder dem Anbaugerät zugeordnet werden. Links wird ein Bodenprofil berechnet 20. Rechts sind für die Pixel des Anbaugerätes 16 Transformationen 18 (aus 10) gezeigt, die dazu genutzt werden, die Lage des Pfluges relativ zur Kamera zu gewinnen. Abschließend werden der linke Pfad der Boden-Pixel 15 und der rechte Pfad der Anbaugerät-Pixel 16 zusammengeführt, um die Lage des Pfluges relativ zum Boden 26 zu bestimmen (19).
• Bezugszeichenliste

1

Landmaschine

2

Anbaugerät

3

Positionen

4

Hubwerk

5

Kamera bzw. Kamerasystem

6

Positionswechsel

7

Speichervorgang

8

konvexe Geländeform

9

konkave Geländeform

10

Pflugscharre

11

Neigung

12

Oberlenker

13

Unterlenker

14

Hydraulikzylinder

15

Boden-Pixel

16

Anbaugerät-Pixel

17

Dateneingabe (3D-Punktewolke)

18

Transformation

19

Lage des Pfluges relativ zum Boden

20

Berechnung des Bodenprofils

21

Bildaufnahme

22

Rekonstruktion der 3D-Punktewolke

23

Segmentierung

24

Lagebestimmung

25

Optischer Fluss

26

Boden

27

Höhe

28

Speicher

29

Steuergerät

Claims (15)

1. Verfahren zum Betrieb einer Landmaschine (1) mit einem Anbaugerät (2) an einem Hubwerk (4), zumindest aufweisend die folgenden Schritte: a) Empfangen von Kameradaten von einer Kamera (5), mit welcher dreidimensionale Bilddaten erzeugt werden, welche eine Blickrichtung auf das Anbaugerät (2) und den das Anbaugerät (2) umgebenden Boden (26) aufweist, wobei die Kameradaten eine Mehrzahl von zeitlich nacheinander aufgenommenen Kamerabildern umfassen, b) Auswertung der Kameradaten, wobei Pixel in den Kameradaten entweder dem Anbaugerät (2) oder dem das Anbaugerät (2) umgebenden Boden (26) zugeordnet werden, c) Verwenden der zugeordneten Pixel, um zumindest mindestens einen Arbeitsparameter des Anbaugerätes (2) oder der Landmaschine (1) zu bestimmen, d) Ausgabe des Arbeitsparameters zur Ansteuerung mindestens einer Komponente der Landmaschine (1).
2. Verfahren nach Anspruch 1, wobei die Landmaschine (1) ein Traktor und das Anbaugerät (2) ein Pflug ist
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei der in Schritt c) bestimmte mindestens eine Arbeitsparameter zumindest eine Höhe (27) und eine Neigung (11) des Anbaugerätes (2) gegenüber dem Boden (26) ist,
4. Verfahren nach Anspruch 3, wobei der in Schritt d) ausgegebene Ansteuerungsparameter zur Ansteuerung einer hydraulischen Regelung des eines Hubwerks (4) zur Regelung der Höhe (27) und der Neigung (11) des Anbaugerätes sind.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Kameradaten in Schritt a) Abstandsinformationen beinhalten, welche den Abstand der Kamera (5) von den in Bilddaten dargestellten Bereichen beschreibt.
6. Verfahren nach Anspruch 5, wobei die Zuordnung von Pixeln zu dem Anbaugerät (2) oder dem Boden (26) in Schritt b) anhand der Z-Richtung erfolgt.
7. Verfahren nach Anspruch 6, wobei in Schritt b) eine korrigierte statistische Verteilung zur Zuordnung der Pixel zum Anbaugerät (2) oder zum Boden (26) verwendet wird.
8. Verfahren nach Anspruch 6, wobei in Schritt a) eine Kamera (5) zur dreidimensionalen bzw. zweieinhalbdimensionale Bildgebung verwendet wird.
9. Verfahren zum Kalibrieren einer Landmaschine (1) für ein Anbaugerät (2), wobei die Landmaschine (1) ein Hubwerk (4) aufweist, mit welchem das Anbaugerät (2) verfahren werden kann, wobei das Verfahren zumindest die folgenden Schritte aufweist: i) Verbinden des Anbaugeräts (2) mit der Landmaschine (1), ii) Bewegen des Anbaugeräts (2) in mindestens eine Prüfstellung, die relativ zu der Landmaschine (1) bekannt ist, iii) Empfangen von Kameradaten von einer Kamera (5), mit welcher dreidimensionale Bilddaten gewonnen werden können, welche eine Blickrichtung auf das Anbaugerät (2) aufweist, wenn sich das Anbaugerät (2) in einer Prüfstellung befindet, iv) Auswerten der Kameradaten, wobei das Anbaugerät (2) in den Kameradaten erkannt und eine Prüfposition des Anbaugerätes (2) in der Prüfstellung anhand der Kameradaten ermittelt wird, v) Ermitteln von mindestens einem anbaugerätspezifischen Parameter für den Betrieb der Landmaschine (1) mit dem Anbaugerät (2) aus der Prüfposition.
10. Verfahren nach Anspruch 9, wobei die für Schritt iii) verwendeten Kameradaten eine zumindest teilweise senkrecht zur Blickrichtung der Kamera (5) ausgerichtete Z-Richtung aufweisen, welche den Abstand der Kamera (5) von den in Bilddaten dargestellten Bereichen beschreibt.
11. Verfahren nach Anspruch 10, wobei Prüfposition des Anbaugerätes (2) in Schritt iv) anhand von Z-Richtungsinformationen in den Kameradaten ermittelt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche 9 bis 11, wobei in Schritte v) als anbaugerätspezifische Parameter eine Nulllinie ermittelt wird, die sich durch das Absetzen des Anbaugeräts (2) auf dem Boden (26) ergibt.
13. Verfahren nach einem der vorhergehenden Ansprüche 9 bis 12, wobei in Schritte v) als anbaugerätspezifischer Parameter eine maximale Höhe (27) und eine maximale Neigung (11) des Anbaugeräts (2) ermittelt werden
14. Verfahren nach einem der vorhergehenden Ansprüche 9 bis 13, wobei nach Schritt v) die in Schritt v) ermittelten Parameter in einem Speicher (28) in einem Steuergerät (29) hinterlegt werden.
15. Steuergerät (29) für eine Landmaschine (1), welches zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8 oder zur Durchführung des Verfahrens nach einem der Ansprüche 9 bis 14 eingerichtet ist.

Images