DE102021203109A1

DE102021203109A1 - Mehrdimensionales visualisierungs- und steuersystem für mobile maschinenpfade

Info

Publication number: DE102021203109A1
Application number: DE102021203109.9A
Authority: DE
Inventors: Mark J. Cherney; Jena M. Bartodziej; Nathaniel M. Czarnecki
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2020-04-30
Filing date: 2021-03-29
Publication date: 2021-11-04
Also published as: US20210339753A1; US11472416B2

Abstract

KURZDARSTELLUNGEin Verfahren zum Steuern einer mobilen Maschine mit einem Satz von Bodeneingriffselementen beinhaltet das Empfangen eines Bildes von einem Gelände in der Nähe der mobilen Maschine, das Erfassen einer Kontur des Geländes, das Bestimmen eines projizierten Pfads des Satzes von Bodeneingriffselementen auf Grundlage der erfassten Kontur des Geländes und das Steuern einer Anzeigevorrichtung, um das Bild mit einer Überlagerung anzuzeigen, die den projizierten Pfad der Bodeneingriffselemente darstellt.

Description

GEBIET DER BESCHREIBUNG
Die vorliegende Beschreibung bezieht sich im Allgemeinen auf mobile Maschinen. Insbesondere, aber nicht ausschließlich, bezieht sich die vorliegende Beschreibung auf ein Visualisierungs- und Steuersystem für eine mobile Maschine, das eine mehrdimensionale Überlagerung verwendet, um den Maschinenpfad darzustellen, wie etwa einen rückwärtigen Pfad, wenn sich die Maschine rückwärts bewegt.
HINTERGRUND
Es gibt viele verschiedene Arten mobiler Maschinen. Einige mobile Maschinen umfassen unter anderem mobile Arbeitsmaschinen, wie etwa Baumaschinen, Rasenpflegemaschinen, Forstmaschinen, landwirtschaftliche Maschinen. Ein weiteres Beispiel für eine mobile Maschine umfasst ein Automobil. Viele dieser mobilen Geräte verfügen über steuerbare Teilsysteme, die Mechanismen umfassen, die vom Bediener bei der Durchführung von Arbeiten gesteuert werden.
So kann eine Baumaschine unter anderem mehrere unterschiedliche mechanische, elektrische, hydraulische, pneumatische und elektromechanische Teilsysteme aufweisen, die alle vom Bediener bedient werden können. Baumaschinen werden häufig eingesetzt für den Transport von Material über eine Arbeitsstelle hinweg oder in eine oder aus einer Arbeitsstelle hinaus bzw. heraus gemäß einem Arbeitsstellenbetrieb. Verschiedene Arbeiten an der Arbeitsstelle können das Bewegen von Material von einem Ort an einen anderen oder das Einebnen einer Arbeitsstelle usw. beinhalten. Während eines Arbeitsstellenbetriebs können eine Vielzahl von Baumaschinen verwendet werden, einschließlich unter anderem knickgelenkten Muldenkipper, Radlader, Grader und Bagger.
Arbeiten an Arbeitsstellen können eine große Anzahl von Schritten oder Phasen umfassen und recht komplex sein. Darüber hinaus erfordern die Arbeitsabläufe oft eine präzise Maschinensteuerung durch einen Bediener. Einige Manöver auf der Arbeitsstelle erfordern, dass der Bediener die Maschine in umgekehrter Richtung bedient, um die Maschine über die Arbeitsstelle zu bewegen. Dabei gibt es oft tote Winkel oder Bereiche, die für den Bediener selbst bei Verwendung von Spiegeln oder Rückfahrsystemen wie Rückfahrkameras schwer zu beobachten sind. Dies erhöht das Risiko eines unerwünschten Maschinenkontakts mit Gegenständen auf der Arbeitsstelle, wie etwa anderen Maschinen, Personen, Materialien auf der Arbeitsstelle usw., und kann auf unebenem oder geneigtem Gelände noch gravierender werden.
Die obenstehende Erläuterung dient lediglich als allgemeine Hintergrundinformation und soll nicht als Hilfe bei der Bestimmung des Umfangs des beanspruchten Gegenstands zu verwenden.
ZUSAMMENFASSUNG
Ein Verfahren zum Steuern einer mobilen Maschine mit einem Satz von Bodeneingriffselementen beinhaltet das Empfangen eines Bildes von einem Gelände in der Nähe der mobilen Maschine, das Erfassen einer Kontur des Geländes, das Bestimmen eines projizierten Pfads des Satzes von Bodeneingriffselementen auf Grundlage der erfassten Kontur des Geländes und das Steuern einer Anzeigevorrichtung, um das Bild mit einer Überlagerung anzuzeigen, die den projizierten Pfad der Bodeneingriffselemente darstellt.
Diese Kurzdarstellung wird bereitgestellt, um eine Auswahl von Konzepten in einer vereinfachten Form einzuführen, die im Folgenden in der ausführlichen Beschreibung beschrieben sind. Diese Zusammenfassung ist weder als Festlegung von Schlüsselmerkmalen oder wesentlichen Merkmalen des beanspruchten Gegenstands auszulegen noch zur Verwendung als Hilfe bei der Festlegung des Anwendungsbereichs des beanspruchten Gegenstands. Der beanspruchte Gegenstand ist nicht auf Implementierungen beschränkt, die im Abschnitt Hintergrund aufgeführte Nachteile ganz oder teilweise beseitigen.
Figurenliste

1 ist ein Blockdiagramm, das ein Beispiel einer Architektur einer mobilen Maschine zeigt, die eine mobile Maschine beinhaltet.
2 ist eine bildliche Darstellung, die ein Beispiel für eine mobile Maschine zeigt.
3 ist ein Blockdiagramm, das ein Beispiel für ein mehrdimensionales Maschinenpfaderkennungs- und Visualisierungssystem veranschaulicht.
Die 4-1, 4-2 und 4-3 (gemeinsam als 4 bezeichnet) stellen ein Ablaufdiagramm bereit, das einen beispielhaften Betrieb eines mehrdimensionalen Maschinenpfaderkennungs- und Visualisierungssystems veranschaulicht.
5 ist ein Ablaufdiagramm, das einen beispielhaften Betrieb eines Visualisierungssystems veranschaulicht, das eine Bedienerschnittstellenanzeige erzeugt.
6 veranschaulicht eine beispielhafte Benutzerschnittstellenanzeige, die einen Pfad einer mobilen Maschine in mehreren Dimensionen zeigt.
7 ist ein Ablaufdiagramm, das einen beispielhaften Kalibrierungsvorgang für ein Maschinenpfaderkennungssystem veranschaulicht.
Die 8-1 und 8-2 (gemeinsam als 8 bezeichnet) stellen ein Ablaufdiagramm bereit, das einen beispielhaften Betrieb eines Maschinenpfaderkennungssystems veranschaulicht.
9 veranschaulichen ein beispielhaftes Bild, das von einer nach hinten gerichteten Kamera an einer mobilen Maschine erhalten wurde.
Die 10-1 und 10-2 (gemeinsam als 10 bezeichnet) veranschaulichen ein beispielhaftes Netzgitter, das aus dem in 9 gezeigten Bild erzeugt wurde.
11 ist ein Blockdiagramm, das ein Beispiel der in 1 veranschaulichten Architektur zeigt, die in einer Remote-Serverarchitektur eingesetzt wird.
Die 12-14 zeigen Beispiele für mobile Geräte, die in den Architekturen verwendet werden können, die in den vorhergehenden Figuren gezeigt wurden.
15 zeigt ein Blockdiagramm eines Beispiels einer Computerumgebung, die in den Architekturen verwendet werden kann, die in den vorhergehenden Figuren gezeigt wurden.

AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Beschreibung bezieht sich im Allgemeinen auf mobile Maschinen. Insbesondere, aber nicht ausschließlich, bezieht sich die vorliegende Beschreibung auf ein Visualisierungs- und Steuersystem für eine mobile Maschine, das eine mehrdimensionale Überlagerung verwendet, um den Maschinenpfad darzustellen, wie etwa einen rückwärtigen Pfad, wenn sich die Maschine rückwärts bewegt.
1 ist ein Blockdiagramm, das ein Beispiel für eine Architektur einer mobilen Maschine 100 zeigt, die eine mobile Maschine 102 beinhaltet mit einem Satz von Bodeneingriffselementen (z. B. Räder, Raupenketten usw.). Wie oben angemerkt, kann die mobile Maschine 102 eine Vielzahl von verschiedenen Maschinentypen umfassen. Beispielsweise kann die Maschine 102 ein Automobil umfassen. In einem anderen Beispiel umfasst die Maschine 102 eine Arbeitsmaschine, wie etwa eine Baumaschine, eine Rasenpflegemaschine, eine Forstmaschine, eine landwirtschaftliche Maschine usw.
Die mobile Maschine 102 beinhaltet ein Steuersystem 104, das konfiguriert ist, um einen Satz von steuerbaren Teilsystemen 106 zu steuern, die Betriebsvorgänge für die Maschine 102 durchführen. Zum Beispiel kann ein Bediener 108 mit der mobilen Maschine 102 interagieren und diese über Bedienerschnittstellenmechanismus/-mechanismen 110 steuern. Die Bedienerschnittstellenmechanismen 110 können beispielsweise ein Lenkrad, Pedale, Hebel, Joysticks, Tasten, Drehregler, Gestänge usw. beinhalten. Darüber hinaus können sie ein Anzeigegerät beinhalten, die vom Benutzer betätigbare Elemente anzeigt, wie etwa Symbole, Links, Schaltflächen usw. Wenn das Gerät eine berührungsempfindliche Anzeige ist, können diese vom Benutzer betätigbaren Elemente durch Berührungsgesten betätigt werden. In ähnlicher Weise kann der Bediener 108 Eingaben bereitstellen und Ausgaben über ein Mikrofon bzw. einen Lautsprecher empfangen, wenn die Mechanismen 110 Sprachverarbeitungsmechanismen enthalten. Die Bedienerschnittstellenmechanismen 110 können eine Vielzahl anderer Audio-, visueller oder haptischer Mechanismen beinhalten.
Die mobile Maschine 102 beinhaltet ein Kommunikationssystem 112, das konfiguriert ist, um mit anderen Systemen oder Maschinen in der Architektur 100 zu kommunizieren. Beispielsweise kann das Kommunikationssystem 112 mit anderen lokalen Maschinen kommunizieren, wie etwa anderen Maschinen, die auf demselben Bereich oder derselben Arbeitsstelle wie die mobile Maschine 102 arbeiten. Im dargestellten Beispiel ist das Kommunikationssystem 112 konfiguriert, um über ein Netzwerk 116 mit einem oder mehreren Remote-Systemen 114 zu kommunizieren. Das Netzwerk 116 kann aus einer Vielzahl unterschiedlicher Arten von Netzwerken bestehen. Zum Beispiel kann es sich um ein Weitverkehrsnetzwerk, ein lokales Netzwerk, ein Nahfeldkommunikationsnetzwerk, ein zellulares Kommunikationsnetzwerk oder ein beliebiges aus einer Vielzahl anderer Netzwerke oder Kombinationen von Netzwerken handeln.
Es ist veranschaulicht, dass ein Remote-Benutzer 118 mit dem Remote-System 114 interagiert, um Mitteilungen von der mobilen Maschine 102 über das Kommunikationssystem 112 zu empfangen oder Mitteilungen an die mobile Maschine 102 zu senden. Beispielsweise, aber nicht ausschließlich, kann der Remote-Benutzer 118 Kommunikationen, wie etwa Benachrichtigungen, Anfragen nach Unterstützung usw., von der mobilen Maschine 102 auf einer mobilen Vorrichtung empfangen.
1 zeigt auch, dass die mobile Maschine 102 einen oder mehrere Prozessoren 122, einen oder mehrere Sensoren 124, ein mehrdimensionales Maschinenpfaderkennungs- und Steuersystem 126, einen Datenspeicher 128 beinhaltet und auch andere Elemente 130 beinhalten kann. Der/Die Sensor(en) 124 kann/können abhängig von der Art der mobilen Maschine 102 eine Vielzahl von Sensoren umfassen. Beispielsweise können die Sensoren 124 Objekterkennungssensor(en) 132, Materialsensor(en) 134, Positions-/Routensensor(en) 136, Geschwindigkeitssensor(en) 138, Bildsensor(en) 140 beinhalten und können auch andere Sensoren 142 beinhalten.
Materialsensor(en) 134 ist/sind konfiguriert, um Material zu erfassen, das von der mobilen Maschine 102 bewegt, verarbeitet oder anderweitig bearbeitet wird. Die Geschwindigkeitssensoren 138 sind konfiguriert, um ein Signal auszugeben, das eine Geschwindigkeit der mobilen Maschine 102 anzeigt.
Positions-/Routensensor(en) 136 ist/sind konfiguriert, um eine Position der mobilen Maschine 102 und eine entsprechende Route (z. B. Kurs) der mobilen Maschine 102 zu identifizieren, wenn sie die Arbeitsstelle durchquert. Der/Die Sensor(en) 136 beinhaltet/beinhalten einen oder mehrere Sensoren, die konfiguriert sind, um Signale zu erzeugen, die einen Winkel oder Wenderadius der Maschine 102 angeben. Dazu gehören unter anderem Lenkwinkelsensoren, Gelenkwinkelsensoren, Raddrehzahlsensoren, Differentialantriebssignale, Gyroskope, um nur einige zu nennen.
Bildsensor(en) an der Arbeitsstelle 140 sind konfiguriert, um Bilder eines Bereichs (z. B. der Arbeitsstelle) zu erhalten, in dem die Maschine 102 betrieben wird. Beispielsweise erhält/erhalten Sensor(en) im Falle einer Arbeitsmaschine Bilder einer Arbeitsstelle (z. B. landwirtschaftliches Feld, Baustelle usw.), die verarbeitet werden können, um Objekte oder Bedingungen der Arbeitsstelle zu identifizieren. Beispiele für Bildsensor(en) 140 sind unter anderem eine Kamera (z. B. eine monokulare Kamera, Stereokamera usw.), die Standbilder, eine Zeitreihe von Bildern und/oder eine Videoübertragung eines Bereichs einer Arbeitsstelle erhalten. Beispielsweise beinhaltet das Sichtfeld (SF) der Kamera einen Bereich der Arbeitsstelle, der sich hinter der Maschine 102 befindet und der ansonsten für den Bediener 108 möglicherweise nicht sichtbar ist, während er sich in der Fahrerkabine oder Kabine der Maschine 102 befindet.
Objekterkennungssensoren 132 können Sender und Empfänger (oder Transceiver) für elektromagnetische Strahlung (EMR) 162 beinhalten. Beispiele für EMR-Sender/Empfänger beinhalten Hochfrequenzvorrichtungen (RF) 164 (wie etwa RADAR), LIDAR-Vorrichtungen 166 und können auch andere Vorrichtungen 168 beinhalten. Objekterkennungssensoren 132 können auch Sonarvorrichtungen 170 und auch andere Vorrichtungen 172 beinhalten.
Das Steuersystem 104 kann eine Einstellungssteuerlogik 144, eine Routensteuerlogik 146, eine Leistungssteuerlogik 148, eine Anzeigegeneratorlogik 149 und andere Elemente 150 beinhalten. Wie durch den gestrichelten Kasten in 1 veranschaulicht, kann das Steuersystem 104 einige oder alle Komponenten und Merkmale des Systems 126 beinhalten.
Die steuerbaren Teilsysteme 106 können ein Antriebs-Teilsystem 152, ein Lenkungs-Teilsystem 154, ein Materialhandhabungs-Teilsystem 155, ein oder mehrere verschiedene Stellglieder 156, die verwendet werden können, um Maschineneinstellungen, Maschinenkonfigurationen usw. zu ändern, ein Leistungsnutzungs-Teilsystem 158 und eine Vielzahl anderer Systeme 160 beinhalten, von denen einige im Folgenden beschrieben werden. In einem Beispiel beinhalten steuerbare Teilsysteme 106 Mechanismen der Bedienerschnittstelle 110, wie etwa Anzeigevorrichtungen, Audioausgabevorrichtungen, Mechanismen für eine haptische Rückmeldung sowie Eingabemechanismen. Beispiele werden nachstehend detailliert erörtert.
Die Einstellungssteuerlogik 144 kann eines oder mehrere der Teilsysteme 106 steuern, um Maschineneinstellungen auf Grundlage von Objekten, Bedingungen und/oder Eigenschaften der Arbeitsstelle zu ändern. Beispielsweise kann die Einstellungssteuerlogik 144 Stellglieder 156 betätigen, die den Betrieb des Materialhandhabungs-Teilsystems 155, des Antriebs-Teilsystems 152 und/oder des Lenkungs-Teilsystems 154 ändern.
Die Routensteuerlogik 146 kann das Lenkungs-Teilsystem 154 steuern. Beispielsweise, aber nicht einschränkend, wenn ein Objekt durch das Objekterkennungssystem 126 erkannt wird, kann die Routensteuerlogik 146 das Antriebs-Teilsystem 152 und/oder Lenkungs-Teilsystem 154 steuern, um das erkannte Objekt zu vermeiden.
Die Leistungssteuerlogik 148 erzeugt Steuersignale, um das Leistungsnutzungs-Teilsystem 158 zu steuern. Beispielsweise kann sie Leistung verschiedenen Teilsystemen zuweisen, im Allgemeinen die Leistungsnutzung erhöhen oder die Leistungsnutzung verringern usw. Dies sind nur Beispiele, und eine Vielzahl anderer Steuersysteme kann auch verwendet werden, um andere steuerbare Teilsysteme auf verschiedene Arten zu steuern.
Die Anzeigegeneratorlogik 149 erzeugt veranschaulichend ein Steuersignal, um eine Anzeigevorrichtung zu steuern, um eine Anzeige der Benutzerschnittstelle für den Bediener 108 zu erzeugen. Die Anzeige kann eine interaktive Anzeige mit Benutzereingabemechanismen zur Interaktion mit dem Bediener 108 sein.
Das Maschinenpfad-Erkennungs- und Visualisierungssystem 126 ist konfiguriert, um Signale von Sensor(en) 124 zu empfangen und auf Grundlage dieser Signale einen projizierten Maschinenpfad (d. h. einen Pfad der bodenberührenden Traktionselemente der Maschine 102) in mehreren Dimensionen auf Grundlage einer erkannten Kontur des Geländes zu bestimmen, auf dem die Maschine 102 arbeitet. Das System 126 ist ferner konfiguriert, um den Maschinenpfad für den Bediener 108 zu visualisieren. In einem Beispiel beinhaltet die Visualisierung das Anzeigen einer mehrdimensionalen Überlagerung, die einen projizierten Pfad der bodeneingreifenden Traktionselemente darstellt, auf einem Bild des Geländes.
Ferner kann das System 126 Objekte erkennen und visualisieren, die sich in der Nähe der Maschine 102 und/oder potenziell in dem Maschinenpfad (z. B. in einem hinteren Pfad der Maschine 102) befinden, auf Grundlage von Bildverarbeitung dieser Bilder und/oder Signalen von Sensor(en) 132. Somit kann das System den Bediener 108 dabei unterstützen, Objekte beim Rückwärtsfahren zu vermeiden.
Bevor auf das System 126 näher erörtert wird, wird ein Beispiel einer mobilen Maschine in Bezug auf 2 erläutert.
Wie oben angemerkt, können mobile Maschinen eine Vielzahl von verschiedenen Formen annehmen. 2 ist eine bildliche Darstellung, die ein Beispiel für eine mobile Maschine 200 in Form einer mobilen Arbeitsmaschine (z. B. geländegängiges Baufahrzeug) mit einem Maschinenpfaderkennungs- und Visualisierungssystem 201 (z. B. System 126) und einem Steuersystem 202 (z. B. 104) zeigt. Während die Maschine 200 veranschaulichend einen Radlader umfasst, kann auch eine große Vielfalt anderer mobiler Arbeitsmaschinen verwendet werden. Dies kann andere Baumaschinen (z. B. Planierraupen, Motorgrader usw.), landwirtschaftliche Maschinen (z. B. Traktor, Mähdrescher usw.) umfassen, um nur einige zu nennen.
Die Maschine 200 beinhaltet eine Kabine 214 mit einer Anzeigevorrichtung 215, Bodeneingriffselement(e) 228 (z. B. Räder), Motor(en) 204, Geschwindigkeitssensor(en) 206, einem Rahmen 216 und einer Auslegerbaugruppe 218. Die Auslegerbaugruppe 218 beinhaltet einen Ausleger 222, einen Auslegerzylinder 224, eine Schaufel 220 und einen Schaufelzylinder 226. Der Ausleger 222 ist schwenkbar an den Rahmen 216 gekoppelt und kann durch Ausfahren oder Einfahren des Auslegerzylinders 224 angehoben und abgesenkt werden. Die Schaufel 220 ist schwenkbar an den Ausleger 222 gekoppelt und kann durch ein Ausfahren oder Einfahren des Schaufelzylinders 226 bewegt werden. Während des Betriebs kann die mobile Maschine 200 von einem Bediener in der Kabine 214 gesteuert werden, dabei kann die mobile Maschine 200 eine Arbeitsstelle überqueren. In einem Beispiel ist jeder der Motoren 204 veranschaulichend an das Rad/die Räder 228 der mobilen Maschine 200 gekoppelt und konfiguriert, diese anzutreiben. Der/die Drehzahlsensor(en) 206 ist/sind veranschaulichend an jeden der Motoren 204 gekoppelt, um eine Motorbetriebsdrehzahl zu erkennen.
Im veranschaulichten Beispiel umfasst die Maschine 200 einen Gelenkkörper, wobei ein vorderer Abschnitt 229 an einem Drehgelenk 233 schwenkbar mit einem hinteren Abschnitt 231 verbunden ist. Ein Gelenksensor kann verwendet werden, um den Gelenkwinkel an dem Drehgelenk 233 zu bestimmen, der verwendet werden kann, um den Pfad der Maschine 200 zu bestimmen. In einem anderen Beispiel, in dem der Körper der Maschine 200 nicht gelenkig ist, ist der Winkel der vorderen und/oder hinteren Räder 228 relativ zum Rahmen drehbar.
System 201 bestimmt einen projizierten Pfad der Maschine 102 entlang des Geländes 235 und kann ein Objekt erkennen, das sich innerhalb eines Bereichs der Maschine 200 befindet. In dem veranschaulichten Beispiel empfängt das System 201 Signale von Objekterkennungssensor(en) 205 und von Bildsensor(en) 207 (z. B. einer monokularen Kamera), die veranschaulichend an einem hinteren Ende 209 der Maschine 200 angebracht sind. Die Komponenten des Systems 201 und/oder des Systems 202 kommunizieren in einem Beispiel über ein CAN-Netzwerk der Maschine 200.
Objekterkennungssensor(en) 205 sind konfiguriert, um ein Erkennungssignal von dem hinteren Ende 209 der Maschine 200 zu senden und Reflexionen des Erkennungssignals zu empfangen, um ein oder mehrere Objekte hinter der Maschine 200 zu erkennen. In einem Beispiel umfasst das Erkennungssignal elektromagnetische Strahlung, die an die Rückseite der Maschine 200 übertragen wird. Dies kann beispielsweise Hochfrequenzsignale (RF) einschließen. Einige besondere Beispiele sind Radar und LORAN, um nur einige zu nennen.
In anderen Beispielen verwenden Objekterkennungssensoren 205 Sonar, Ultraschall sowie Licht (z. B. LIDAR), um Objekte abzubilden. Beispielhafte LIDAR-Systeme verwenden ultraviolettes Licht, sichtbares Licht und/oder nahes Infrarotlicht, um Objekte abzubilden.
Selbstverständlich können auch andere Arten von Objektdetektoren verwendet werden. In jedem Fall erzeugt das Objekterkennungssystem 201 Ausgaben, die Objekte anzeigen, die von dem Steuersystem 202 verwendet werden können, um den Betrieb der Maschine 200 zu steuern.
3 veranschaulicht ein Beispiel für das in 1 veranschaulichte System 126. Das System 126 ist konfiguriert, um einen projizierten Pfad der Maschine 102 in mehreren Dimensionen entlang eines Geländes zu bestimmen und eine Visualisierung des projizierten Maschinenpfads für den Bediener 108 zu erzeugen. Daher verwendet das System 126, anstatt dem Bediener 108 lediglich eine Visualisierung eines Maschinenpfads bereitzustellen, der auf eine horizontale Ebene beschränkt ist, eine erkannte Kontur des Geländes, um projizierte Änderungen der Maschinenposition (z. B. Neigung, Rollen usw.) zu bestimmen, wenn sich die Maschine entlang des Geländes bewegt. Außerdem können Objekte auf dem Gelände erkannt und mit den Bildern verschmolzen werden, um dem Bediener eine Angabe darüber bereitzustellen, wo sich die erkannten Objekte in den Bildrahmen befinden.
Das System 126 beinhaltet eine Auslöselogik 302, die konfiguriert ist, um die Maschinenpfaderkennung, die durch das System 126 durchgeführt wird, auszulösen und zu steuern. Dies kann beispielsweise als Reaktion darauf erfolgen, dass eine Modusauswahl 304 bestimmt, dass die Maschine 102 in einen bestimmten Modus eingetreten ist, für den das System 126 ausgelöst werden soll. Dies kann beispielsweise als Reaktion auf das Bestimmen erfolgen, dass die Maschine 102 durch Erfassen von Bedienereingaben und/oder Maschineneinstellungen rückwärts gefahren wird oder für das Rückwärtsfahren vorbereitet wird usw.
Die Sensorsteuerlogik 306 ist konfiguriert, Sensoren 132 zu steuern, um Erkennungssignale zu übertragen und entsprechende Reflexionen des Erkennungssignals zu empfangen, das von dem Objekterkennungssystem 308 verwendet werden kann, um das Vorhandensein von Objekten auf der Arbeitsstelle zu erkennen. Die Logik 306 steuert auch die Sensoren 140, um Bilder der Arbeitsstelle zu erhalten. Im veranschaulichten Beispiel werden die Bilder in einer Rückwärtsrichtung der Maschine 102 erfasst und stellen den Bereich des Geländes dar, über den sich die Maschine 102 während eines Rückwärtsbetriebs bewegen wird.
Ein Geländeerkennungssystem 310 ist konfiguriert, um das Gelände der Arbeitsstelle zu erfassen, auf der die Maschine 102 betrieben wird. Das System 310 beinhaltet veranschaulichend eine Bildverarbeitungslogik 312, die dazu konfiguriert ist, durch den/die Bildsensor(en) 140 erfasste Bilder zu verarbeiten. Außerdem kann das System 310 eine A-priori-Datenverarbeitungslogik 314 beinhalten, die konfiguriert ist, A-priori-Daten zu empfangen und zu verarbeiten, die das Gelände darstellen. Zum Beispiel können A-priori-Daten in Form einer Geländekarte von dem Remote-System 114 empfangen werden.
Die Geländekonturerkennungslogik 316 ist konfiguriert, eine Kontur des Geländes basierend auf den verarbeiteten Bildern und/oder empfangenen Geländedaten zu erfassen. Das Geländeerkennungssystem 310 kann auch andere Elemente 318 beinhalten.
Das Objekterkennungssystem 308 beinhaltet eine Objekterkennungslogik 320, die konfiguriert ist, um Objekte auf dem Gelände auf Grundlage der Bildverarbeitung, die durch die Logik 312 durchgeführt wird, zu erkennen. Die Objektpositionsbestimmungslogik 322 ist konfiguriert, um eine Position des (der) durch die Logik 320 erkannten Objekts (Objekte) zu bestimmen. Die Objekt-/Bildkorrelationslogik 324 ist konfiguriert, um die Objektposition, die durch die Logik 322 bestimmt wird, mit einem Teil eines Bildes zu korrelieren, das durch den Bildsensor (die Bildsensoren) erfasst wurde. Das System 308 beinhaltet auch eine Objektbewertungslogik 326, die konfiguriert ist, um das Objekt auf Grundlage der Bildverarbeitung, die durch die Logik 312 durchgeführt wurde, zu bewerten. Dazu gehören unter anderem Objektgrößenerkennung, Objektformerkennung, Objektklassifizierung usw. Das System 308 kann auch andere Elemente 328 beinhalten.
Das System 126 beinhaltet auch ein Maschinenpfadsystem 330 mit einer projizierten Maschinenpfadbestimmungslogik 331. Die Logik 331 ist konfiguriert, einen projizierten Maschinenpfad auf Grundlage einer befohlenen Bewegung der Maschine 102 zu bestimmen, die durch die befohlene Bewegungserkennungslogik 332 erkannt wird. Beispielsweise kann die Logik 332 Eingaben (z. B. Lenkeingaben usw.) durch den Bediener 108 erkennen, die eine Bewegungsrichtung der Maschine 102 anzeigen. Beispiele werden nachstehend detailliert erörtert. Sobald der projizierte Maschinenpfad auf Grundlage der erfassten befohlenen Bewegung bestimmt wird, kann das System 330 eine Neigung des Geländes an jeder einer Vielzahl von Positionen entlang des projizierten Maschinenpfads identifizieren. Veranschaulichend kann die Geländeneigungsberechnungslogik 334 eine oder mehrere von einer Längsneigung des Geländes (d. h. der Neigung des Geländes in Fahrtrichtung der Maschine 102) und/oder der Querneigung des Geländes (d. h. der Neigung des Geländes über den Maschinenpfad oder orthogonal zur Fahrtrichtung der Maschine 102) berechnen.
Die Maschinenstellungsbestimmungslogik 336 ist konfiguriert, um eine Stellung der Maschine an jeder der Vielzahl von Stellungen auf Grundlage der durch die Logik 334 berechneten Geländestrecke und der projizierten Position des Bodeneingriffselements der Maschine 102 zu bestimmen, wenn sich die Maschine 102 entlang des projizierten Maschinenpfads bewegt. Beispielsweise kann die Logik 336 Änderungen an der Neigung und/oder dem Rollen der Maschine an den verschiedenen Positionen entlang des projizierten Maschinenpfads identifizieren. Das System 330 beinhaltet auch eine Alarmlogik 338, die konfiguriert ist, um Alarmauslösekriterien zum Auslösen von Alarmen auf Grundlage des projizierten Maschinenpfads zu identifizieren. Beispielsweise können die Alarme einen Neigungs- und/oder Rollschwellenwert der Maschine 102 identifizieren, für die der Bediener 108 alarmiert werden soll. Alternativ oder zusätzlich können das/die Teilsystem(e) 106 der Maschine 102 auf Grundlage einer Erzeugung eines Alarms automatisch gesteuert werden. Das System 330 kann auch andere Elemente 340 beinhalten.
Das System 126 beinhaltet auch ein dynamisches Erfassungsbereichssteuersystem 342. Das System 342 ist konfiguriert, um einen Erfassungsbereich des Systems 126 dynamisch zu steuern. Das System 342 wird so dargestellt, dass es eine Bereichseinstelllogik 344 beinhaltet, die konfiguriert ist, um Benutzereinstellungen für die Erfassungsbereichssteuerung und die Erfassungsbereichsvisualisierungslogik 346 zu empfangen. Das System 342 kann auch andere Elemente 348 beinhalten.
Die Bereichseinstelllogik 344 ist dazu konfiguriert, den Erfassungsbereich auf Grundlage von einer oder mehreren Eingaben einzustellen. Beispielsweise steuert ein Erfassungsbereich den Betriebsbereich des Objekterkennungssystems 308 und/oder des Geländeerkennungssystems 310. Der Bereich kann auf Grundlage von Benutzereingaben automatisch oder anderweitig festgelegt werden. Die Erfassungsbereichsvisualisierungslogik 346 ist konfiguriert, um eine Visualisierung des Erfassungsbereichs zu erzeugen. Dies beinhaltet beispielsweise das Erzeugen von Bereichslinien, die von dem Visualisierungssystem 350 in Verbindung mit den Bildern ausgegeben werden.
Das System 350 umfasst die Benutzerschnittstellenlogik 352, die so konfiguriert ist, dass sie Benutzerschnittstellenanzeigen erzeugt und Benutzereingaben von dem Bediener 108 empfängt. Das System 350 kann auch andere Elemente 354 beinhalten.
Das System 126 beinhaltet auch eine Steuersignalgeneratorlogik 356, die konfiguriert ist, um Steuersignale zu erzeugen, die vom System 126 ausgegeben werden, um das steuerbare Teilsystem (die steuerbaren Teilsysteme) 106 oder andere Maschinen oder Systeme in Architektur 100 zu steuern. Das System 126 ist auch dargestellt, dass es auch einen oder mehrere Prozessoren 358 beinhaltet und auch andere Elemente 360 beinhalten kann.
Die 4-1, 4-2 und 4-3 (gemeinsam als 4 bezeichnet) stellen ein Ablaufdiagramm 400 bereit, das einen beispielhaften Vorgang des Systems 126 veranschaulicht. Der Veranschaulichung halber, aber nicht einschränkend, wird 4 im Zusammenhang mit der mobilen Maschine 102 mit dem Maschinenpfaderkennungs- und Visualisierungssystem 126 beschrieben.
Bei Block 402 löst die Auslöselogik 302 die Maschinenpfaderkennung aus. Dies kann als Reaktion auf eine manuelle Eingabe durch den Bediener 108 erfolgen, wie etwa das Betätigen eines Eingabemechanismus durch den Bediener 108. Dies wird durch Block 404 dargestellt. Alternativ oder zusätzlich kann das System 126 automatisch ausgelöst werden, wie etwa als Reaktion auf die Erkennung, dass die Maschine 102 in einen vorbestimmten Betriebsmodus eingetreten ist, wie etwa in den Rückwärtsgang geschaltet worden ist. Dies wird durch Block 406 dargestellt. Selbstverständlich kann das System 126 auch auf andere Weise ausgelöst werden. Dies wird durch Block 408 dargestellt.
Bei Block 410 wird der Erfassungsbereich durch das System 342 dynamisch eingestellt. Wie oben erwähnt, steuert der Erfassungsbereich ein Ausmaß (z. B. eine Entfernung von der Maschine 102), in dem das System 310 das Gelände und/oder Objekterkennungssystem 308 erfasst. Alternativ oder zusätzlich kann der Erfassungsbereich genutzt werden, um die Visualisierung des Maschinenpfads zu steuern. Dies wird nachstehend ausführlicher erörtert.
Der Erfassungsbereich kann vom Benutzer gewählt werden, wie etwa durch eine manuelle Auswahl durch den Bediener 108 über die Bedienerschnittstellenmechanismen 110 und/oder auf Grundlage von Benutzerpräferenzen im Zusammenhang mit dem Bediener 108. Dies wird durch Block 412 dargestellt. Alternativ oder zusätzlich kann der Erfassungsbereich automatisch dynamisch eingestellt werden. Dies wird durch Block 414 dargestellt. Beispielsweise kann der Erfassungsbereich auf erfassten Betriebseigenschaften der Maschine 102 basieren, wie etwa einem Zielbetrieb, einer Maschinengeschwindigkeit, einer Maschinenkonfiguration usw. In einem weiteren Beispiel basiert er auf der Arbeitsstelle, auf der die Maschine 102 betrieben wurde. Selbstverständlich kann der Erfassungsbereich auch auf andere Weise automatisch eingestellt oder angepasst werden. Dies wird durch Block 416 dargestellt.
Bei Block 418 werden das System (die Systeme) und/oder der Sensor (die Sensoren) der Maschine 102 auf Grundlage des Erfassungsbereichs gesteuert. Beispielsweise wird bei Block 419 das Maschinenpfadsystem 330 gesteuert, um den projizierten Maschinenpfad innerhalb des Erfassungsbereichs zu bestimmen. Dies kann das Steuern des Bildsensors/der Bildsensoren 140, die die Bilder erhalten, auf denen die Maschinenpfadbestimmung basiert, sowie das Steuern des Geländeerkennungssystems 310 und/oder des Visualisierungssystems 250 beinhalten, um die Maschinenpfaderkennung und -visualisierung auf den Erfassungsbereich zu beschränken. Außerdem kann das Objekterkennungssystem 308 auf Grundlage des Erfassungsbereichs gesteuert werden. Beispielsweise kann (können) Objekterkennungssensor(en) 132 (z. B. Radarsensor(en)) gesteuert werden, um Objekterkennung auf den Erfassungsbereich zu beschränken. Dies kann beispielsweise Sensorsteuerlogik 306 beinhalten, die eine Reichweite eines Transceivers (z. B. eines Radar-Sender-Empfängergerät) steuert, der ein Erkennungssignal sendet und empfängt, das von der Objekterkennungslogik 320 verwendet wird, um Objekte auf dem Gelände zu erkennen.
Bei Block 420 wird/werden ein/mehrere Bild(er) der Arbeitsstelle in der Nähe der Maschine 102 empfangen. Die Bilder können eine Zeitreihe von Bildern oder ein Video umfassen. Dies wird durch Block 422 dargestellt. Selbstverständlich können die Bilder auch auf andere Weise empfangen werden. Dies wird durch Block 424 dargestellt.
In einem Beispiel werden die Bilder von einer nach hinten gerichteten Kamera empfangen (z. B. Bildsensor(en) 140, 205). Dies wird durch Block 426 dargestellt. Selbstverständlich können die Bilder auch von anderen Bildsensoren empfangen werden. Dies wird durch Block 428 dargestellt.
Bei Block 430 wird die Bildverarbeitung durch die Logik 312 an dem/den bei Block 420 empfangenen Bild(em) durchgeführt. Beispiele für die Bildverarbeitung werden nachstehend ausführlicher erörtert. Kurz gesagt kann die Logik 312 jedoch eine dreidimensionale Punktwolke erzeugen, die die Oberfläche des Geländes und Objekte darstellt, die sich auf oder nahe bei dem Gelände befinden.
Bei Block 432 wird die Kontur des Geländes erkannt. In einem Beispiel basiert dies auf den Bildern, die bei Block 430 verarbeitet wurden. Dies wird durch Block 434 dargestellt. Zum Beispiel wird die Geländekontur aus der dreidimensionalen Punktwolke bestimmt, die durch die Logik 312 erzeugt wird. Alternativ oder zusätzlich kann die Kontur des Geländes auf Grundlage von Signalen von anderen Sensoren erkannt werden, wie unter anderem EMR-Sender/-Empfänger 162, SONAR 170, Gyroskope, Beschleunigungsmesser usw. Dies wird durch Block 436 dargestellt. Die Kontur kann basierend auf A-priori-Daten erkannt werden, die durch die Maschine 102 erhalten werden. Beispielsweise können die A-priori-Daten in Form einer Geländekarte von dem Remote-System 114 empfangen werden. Dies wird durch Block 438 dargestellt. Selbstverständlich kann die Kontur auch auf andere Weise erkannt werden. Dies wird durch Block 440 dargestellt.
Bei Block 444 wird ein (werden) Objekt(e) auf dem Gelände erkannt. In einem Beispiel bei Block 444 basiert dies auf den Bildern, die bei Block 430 verarbeitet wurden (z. B. basierend auf der dreidimensionalen Punktwolke, die durch die Logik 312 erzeugt wurde). Beispielsweise kann die Bildverarbeitung die Größe, Form und/oder Position eines Objekts bestimmen. Alternativ oder zusätzlich können Objekte auf Grundlage von Signalen von anderen Sensoren erkannt werden. Dies wird durch Block 446 dargestellt. Beispielsweise können Signale von Sensor(en) 132 verwendet werden, um die Objekte zu identifizieren. Außerdem können A-priori-Daten verwendet werden, um die Objekte zu identifizieren. Dies wird durch Block 448 dargestellt. Selbstverständlich können Objekte auch auf andere Weise erkannt werden. Dies wird durch Block 450 dargestellt.
Bei Block 452 wird eine Position jedes Objekts in Bezug auf die Maschine 102 bestimmt. Beispielsweise kann die Position eines Objekts auf Grundlage eines erkannten Abstands des Objekts von der Sensormontagestelle an der Maschine 102 bestimmt werden, d. h. eines geschätzten Abstands des Objekts von dem Sensor. Alternativ oder zusätzlich kann die Position auf Grundlage eines Winkels bestimmt werden, in dem sich das erkannte Objekt relativ zu der Sensormontagestelle befindet. Diese Beispiele dienen natürlich nur der Veranschaulichung.
Bei Block 454 wird (werden) Sensorsignal(e) empfangen, das/die eine befohlene Bewegung der Maschine 102 darstellt/darstellen. Dies kann beispielsweise Signale beinhalten, die Raddrehzahl (Block 456), Lenkwinkel (Block 458), Gelenkwinkel (Block 460), Differenialantriebsdrehzahl (Block 462), ein Gyroskop (Block 464) und auch andere Signale (Block 466) anzeigen.
Unter Bezugnahme auf das in 2 gezeigte Beispiel zeigt der Lenkwinkel (Block 458) einen Winkel der Vorder- und/oder Hinterräder in Bezug auf den Rahmen der Maschine 200 an. Der Gelenkwinkel (Block 460) gibt den Gelenkwinkel zwischen dem vorderen Abschnitt 228 und dem hinteren Abschnitt 231 an. Die Differenialantriebsdrehzahl (Block 462) gibt eine Differenz zwischen den Antriebsdrehzahlen von Traktionselementen auf gegenüberliegenden Seiten der Maschine an. Beispielsweise gibt bei Kompaktladern die Differentialantriebsdrehzahl eine Richtungs- und/oder Geschwindigkeitsdifferenz der Räder oder Raupenketten auf der linken Maschinenseite von der rechten Maschinenseite an. Der Mittelwert der beiden Geschwindigkeiten ergibt eine Vorwärts- oder Rückwärtsgeschwindigkeit. Der Krümmungsradius des Maschinenpfads kann basierend auf der Geschwindigkeit oder Bodengeschwindigkeit der Räder oder Raupenketten der Maschine und den Grad/Sekunden, in denen die Maschine über der Kurve fährt, bestimmt werden.
Bei Block 468 wird ein projizierter Pfad der Maschine 102 basierend auf der bei Block 432 erkannten Kontur des Geländes und basierend auf bei Block 454 empfangenen Sensorsignal(en) bestimmt. Bei Block 470 werden Geländeeigenschaften an jeder einer Vielzahl von Positionen entlang des projizierten Maschinenpfads bestimmt. Dies kann beispielsweise das Erfassen der Längsneigung (Block 472) und/oder Querneigung (Block 474) des Geländes an der Vielzahl von Positionen beinhalten. Selbstverständlich können auch andere Geländemerkmale bestimmt werden. Dies wird durch Block 476 dargestellt.
Bei Block 478 wird die Position (wie etwa Höhe oder relative Höhe) der Bodeneingriffselemente (z. B. Räder, Raupenketten usw.) der Maschine 102 an jeder der Vielzahl von Positionen entlang des Pfads bestimmt. Block 478 bestimmt veranschaulichend die Höhenänderung jedes der Bodeneingriffselemente der Maschine 102, wenn die Maschine 102 den projizierten Maschinenpfad durchquert.
Auf Grundlage der bei Block 478 bestimmten Informationen wird bei Block 480 eine Maschinenstellung an jeder der Vielzahl von Positionen bestimmt. Zum Beispiel kann Block 480 die Neigung (Block 482) und/oder das Rollen (Block 484) der Maschine 102 identifizieren. Selbstverständlich können auch andere Maschinenstellungseigenschaften bestimmt werden. Dies wird durch Block 486 dargestellt.
Bei Block 488 wird das Alarmauslösekriterium auf die bei Block 470 bestimmten Geländeeigenschaften und/oder die bei Block 480 bestimmte Maschinenstellung angewendet. Wenn ein Alarmauslösekriterium erfüllt ist, wird ein Alarm erzeugt und kann verwendet werden, um die Maschine 102 (oder andere Maschinen oder Systeme in Architektur 100) zu steuern. Zum Beispiel kann der erzeugte Alarm an den Bediener 108 ausgegeben werden. Dies kann eine Anzeige der Geländeeigenschaften und/oder Maschinenstellung für den Bediener 108 beinhalten. Alternativ oder zusätzlich kann der erzeugte Alarm vom Steuersystem 104 genutzt werden, um Teilsystem(e) 106 automatisch zu steuern, wie etwa um Lenkung und/oder Bodengeschwindigkeit zu steuern.
Das Alarmauslösekriterium kann auf verschiedene Art und Weise definiert werden. Zum Beispiel kann es vordefiniert sein (Block 490) und kann ausgewählt verwendet werden (Block 492). Das Auslösekriterium kann auch auf der Maschinenkonfiguration/den Maschineneinstellungen basieren. Dies wird durch Block 494 dargestellt. Beispielsweise können die Maschinenkonfiguration/-einstellungen Komponenten beinhalten, die mit der Maschine gekoppelt oder auf der Maschine installiert sind. Zum Beispiel können die Maschinenkonfigurationsinformationen angeben, welche Art von Schaufel von der Maschine 200 verwendet wird, die in 2 veranschaulicht ist. In einem weiteren Beispiel kann dies auf der Maschinengeschwindigkeitseinstellung basieren.
Außerdem kann das Alarmauslösekriterium auf Betriebsmerkmalen basieren. Dies wird durch Block 496 dargestellt. Beispielsweise kann ein Auslösekriterium auf der in der Schaufel 220 getragenen Last (z. B. Gewicht) basieren. Selbstverständlich kann das Alarmauslösekriterium auch auf andere Weise ausgewählt werden. Dies wird durch Block 498 dargestellt.
Beispiele für ein Alarmauslösekriterium können einen Neigungsschwellenwert (Block 500) und/oder einen Rollschwellenwert (Block 502) beinhalten. Selbstverständlich kann das Alarmauslösekriterium auch andere Arten von Kriterien umfassen. Dies wird durch Block 504 dargestellt.
Zur Veranschaulichung kann das Alarmauslösekriterium bei Block 488 für eine gegebene Position und Last in der Schaufel 220 einen Neigungs- und/oder Rollschwellenwert für die Maschine 200 angeben, bei dem ein Alarm erzeugt wird. In einem Beispiel wird dieser Schwellenwert ausgewählt, um einen instabilen Zustand zu vermeiden, der dazu führen könnte, dass die Maschine 200 umkippt oder anderweitig eine schlechte Leistung oder einen unsicheren Betriebszustand erfährt.
Bei Block 506 wird ein Steuersignal erzeugt, um die Maschine 102 auf der Grundlage des bei Block 468 bestimmten projizierten Maschinenpfads, der bei Block 470 bestimmten Geländeeigenschaften und/oder der bei Block 480 bestimmten Maschinenstellung zu steuern. Außerdem kann die Maschine auf Grundlage der bestimmten Positionen beliebiger Objekte in Bezug auf die Maschine 102, die bei Block 452 bestimmt werden, gesteuert werden. Außerdem kann die Maschine auf Grundlage des Alarmauslösekriteriums gesteuert werden, das bei Block 488 angewendet wird.
In einem Beispiel steuert das Steuersignal ein oder mehrere Teilsysteme 106. Dies wird durch Block 508 dargestellt. Beispielsweise kann ein Signal das Antriebs-Teilsystem 152 und/oder Lenkungs-Teilsystem 154 auf Grundlage der Maschinenposition steuern, die entlang des projizierten Maschinenpfads erwartet wird.
In einem Beispiel werden Mechanismen der Bedienerschnittstelle 110 bei Block 510 gesteuert. Zum Beispiel kann/können der/die Bedienerschnittstellenmechanismus/- mechanismen 110 gesteuert werden, um visuelle, akustische, haptische oder andere Arten von Ausgaben an den Bediener 108 wiederzugeben. Selbstverständlich kann die Maschine 102 auch auf andere Weise gesteuert werden. Dies wird durch Block 512 dargestellt. Bei Block 514 kehrt der Vorgang zu Block 510 zurück, wenn der Vorgang des Pfaderkennungssystems 126 fortgesetzt wird.
5 ist ein Ablaufdiagramm 550, das einen beispielhaften Vorgang des Visualisierungssystems 350 beim Erzeugen einer Bediener- (oder Benutzer-) Schnittstellenanzeige veranschaulicht (wie etwa bei Block 510 in 4). 5 wird in Verbindung mit 6 erörtert, die eine beispielhafte Benutzerschnittstellenanzeige 600 veranschaulicht.
Bei Block 552 werden Bilder angezeigt, die durch den/die Bildsensor(en) 140 erfasst wurden. Dies kann beispielsweise einen Video-Feed der Rückfahrkamera bei Block 554 beinhalten. Wie in 6 gezeigt, zeigt die Benutzerschnittstellenanzeige 600 ein Bild 602 an, das von einer nach hinten gerichteten Kamera auf der Maschine 102 aufgenommen wurde.
Bei Block 556 wird eine Anzeige 604 des projizierten Maschinenpfads angezeigt. In 6 ist eine Überlagerung gezeigt, die einen projizierten Pfad der Bodeneingriffselemente der Maschine 102 entlang des Geländes 606 angibt. Veranschaulichend beinhaltet das Gelände 606 eine oder mehrere Höhenänderungen oder -merkmale, wie etwa einen Erdhaufen oder eine Anhöhe 607. Dementsprechend ist die Überlagerung der Angabe 604 in mehreren Dimensionen bereitgestellt, um darzustellen, dass der projizierte Maschinenpfad mit der Querneigung des Hügels 607 verläuft. Das heißt, die Überlagerung ist nicht auf eine horizontale x-y-Bodenebene beschränkt, sondern zeigt Höhenänderungen des projizierten Maschinenpfads in Z- (d. h. vertikaler) Richtung an.
Bei Block 558 wird eine Angabe von Entfernung(n) auf der Anzeige 600 bereitgestellt. Dies kann beispielsweise Bereichslinien einschließen, wie bei Block 560 dargestellt. So werden im Beispiel von 6 Bereichslinien 608 angezeigt, die eine Entfernung in Bezug auf die Maschine 102 an verschiedenen Stellen in Bild 602 angeben. Jede Bereichslinie 608 kann einen numerischen Indikator 610 aufweisen, der den Abstand angibt, der durch die entsprechende Bereichslinie 608 dargestellt wird. Selbstverständlich können die Abstände auch auf andere Weise angezeigt werden. Dies wird durch Block 562 dargestellt.
Bei Block 564 wird eine Anzeige des Erfassungsbereichs angezeigt. Wie oben angemerkt, kann der Erfassungsbereich durch das System 342 auf mehrere verschiedene Arten dynamisch ausgewählt werden. In einem Beispiel von Block 564 ist das Ausmaß der Bereichslinien 608 begrenzt, um den Erfassungsbereich anzugeben. Dies wird durch Block 566 dargestellt. Beispielsweise ist in 6 der Erfassungsbereich auf 4,5 Meter eingestellt. Dementsprechend entspricht die Anzeige der äußersten Bereichslinie 608 in der Anzeige 600 dem Erfassungsbereich von 4,5 Metern. Selbstverständlich kann der Erfassungsbereich auch auf andere Weise angezeigt werden. Dies wird durch Block 568 dargestellt. Beispielsweise können visuelle Markierungen, wie etwa eine numerische Anzeige, eine farbcodierte Anzeige usw., auf der Anzeige 600 angezeigt werden, um den Erfassungsbereich anzuzeigen.
Bei Block 570 werden Angaben über erkannte Objekte angezeigt. Dies kann beispielsweise das Anzeigen einer Angabe der Objektposition auf dem Gelände beinhalten. Dies wird durch Block 572 dargestellt. Beispielsweise kann ein Teil des Bildes, das in der Anzeige 600 angezeigt wird, hervorgehoben oder anderweitig mit visuellen Markierungen versehen werden, die das Vorhandensein eines Objekts in dem Bild anzeigen. Alternativ oder zusätzlich kann die Position des Objekts relativ zu dem projizierten Maschinenpfad angezeigt werden. Dies wird durch Block 574 dargestellt. Wenn zum Beispiel das Objekt einen Abschnitt des projizierten Maschinenpfads überlappt, kann die Anzeige 600 modifiziert werden, um dies anzugeben, wie etwa durch Ändern der Farbe des Indikators 604 oder anderweitiges Rendern einer Ausgabe an den Bediener 108, die angibt, dass ein erkanntes Objekt innerhalb des projizierten Maschinenpfads liegt. Es kann auch ein Näherungsalarm bereitgestellt werden. Dies wird durch Block 576 dargestellt. Wenn sich das Objekt beispielsweise innerhalb eines Schwellenabstands von der Maschine 102 befindet, kann dem Bediener 108 ein visueller und/oder akustischer Alarm bereitgestellt werden. Selbstverständlich können Anzeigen der erkannten Objekte auch auf andere Weise bereitgestellt werden. Dies wird bei Block 578 dargestellt.
Bei Block 580 kann eine Angabe der Geländeeigenschaften und/oder Maschinenstellung bereitgestellt werden. In einem Beispiel kann dies das Ausgeben von Gelände- und/oder Maschinenstellungsalarmen bei Block 582 beinhalten. Beispiele für derartige Alarme werden vorstehend in Bezug auf Block 588 in 4 erörtert.
In einem Beispiel von Block 580 wird eine Darstellung der Längs- und/oder Querneigung des Geländes angezeigt. Dies wird bei Block 584 dargestellt. Zum Beispiel werden eine oder mehrere numerische Indikatoren 612 an einer Stelle auf der Anzeige 600 angezeigt und geben die Geländeneigung (z. B. in Grad) eines Teils des Geländes 606 an, das der Stelle in dem Bild entspricht. Dies wird bei Block 586 dargestellt. Veranschaulichend zeigt ein erster Indikator 612 an, dass die Region 614 des Geländes 606 eine Längsneigung von vier Grad aufweist, und ein zweiter Indikator 616 zeigt an, dass die Region 614 des Geländes 606 eine Querneigung von einem Grad aufweist. Wie oben angemerkt, können Alarme wiedergegeben werden, wenn die Neigungseigenschaften das Alarmauslösekriterium erfüllen (z. B. geben einer oder mehrere Indikatoren 612 und 616 eine Neigung über einem Schwellenwert an).
Alternativ oder zusätzlich können Darstellungen der Neigung durch Farbcodierabschnitte der Karte bereitgestellt werden (Block 588), oder sie können auch auf andere Weise bereitgestellt werden (dargestellt durch Block 590).
Außerdem können Darstellungen der projizierten Maschinenneigung und/oder - rollen bei Block 592 angezeigt werden. Zum Beispiel kann die Logik 336, wie vorstehend erörtert, auf Grundlage der bekannten Positionen der bodeneingreifenden Traktionselemente relativ zum projizierten Maschinenpfad die Stellung der Maschine an jeder von einer Vielzahl von Positionen entlang des Pfads bestimmen. Dies kann auch Maschinenkonfigurationen, wie etwa die von der Maschine 102 getragene Last, Aufhängungseigenschaften usw. berücksichtigen. Eine entsprechende Anzeige kann auf mehrere Arten auf der Anzeige 600 angezeigt werden. Auch hier kann eine numerische Angabe vorgesehen sein, es können farbcodierte Zeichen angezeigt werden. Diese dienen natürlich nur als Beispiel. Hinweise auf die Geländeeigenschaften und/oder Maschinenstellung können auch auf andere Weise bereitgestellt werden. Dies wird durch Block 594 dargestellt.
7 ist ein Ablaufdiagramm 650, das einen beispielhaften Kalibrierungsvorgang für das System 126 veranschaulicht. Der Kalibrierungsvorgang kann zu einem vordefinierten oder ausgewählten Zeitpunkt durchgeführt werden, wie etwa während eines anfänglichen Betriebs der Maschine 102, vor einem bestimmten Betrieb an der Arbeitsstelle mithilfe der Maschine 102 oder anderweitig. In einem Beispiel wird der Kalibrierungsvorgang mit der Maschine 102 durchgeführt, die auf einer bekannten Oberfläche platziert ist, wie beispielsweise auf relativ flachem Boden.
Bei Block 652 wird/werden Stereobild(er) von einer Stereokamera oder einem anderen Bildsensor 140 der Maschine 102 empfangen. Bei Block 654 werden dreidimensionale Informationen aus den Stereobildern extrahiert. In einem Beispiel beinhaltet dies das Bestimmen einer Disparität oder Verschiebung zwischen Punkten oder Pixeln, die in dem Bild erkannt werden. Dies wird bei Block 656 dargestellt. Aus diesen extrahierten Informationen wird bei Block 658 eine dreidimensionale Punktwolke erzeugt. Die Punkte in der Punktwolke stellen erkannte Pixel oder Gruppen von Pixeln im Bild dar. Aus dieser Punktwolke können Koordinaten des Kamerarahmens bei Block 660 bestimmt werden. In einem Beispiel beinhaltet dies die Verwendung einer Q-Matrix.
Bei Block 662 werden die Koordinaten der aus dem Bild erkannten Punkte umgewandelt oder mit Bodenkoordinaten korreliert. Somit korreliert Block 662 die erkannten Punkte von dem Bild mit Bodenkoordinaten, die mit der Position der Maschine 102 korreliert werden können.
Bei Block 664 wird das Bild auf Grundlage einer Region von Interesse (region of interest - ROI) gefiltert. Der Region von Interesse kann auf verschiedene Art und Weise bestimmt werden. In einem Beispiel kann die Region von Interesse auf Grundlage des Bereichs bestimmt werden, für den die Maschinenpfaderkennung und -visualisierung durchgeführt wird. Beispielsweise kann im Falle einer Rückfahrkamera die Region von Interesse mit dem Maschinenpfad korreliert werden.
Bei Block 666 sind die Punkte in der Region von Interesse an die Bezugsebene angepasst. In einem Beispiel wird eine Oberflächenrekonstruktion von der Punktwolke durchgeführt, indem die Projektion eines Gitterpunkts auf die Oberfläche mithilfe einer Regression vorhergesagt wird. Dies dient dazu, die Punkte an eine Ebenengleichung anzupassen. Dies wird bei Block 668 dargestellt. In einem Beispiel wird die Ebenengleichung ausgedrückt als a₁x + b₁y + c₁z + d₁ = 0, wobei die Variablen a₁, b₁, c₁, und d₁ die Position des Punktes auf der Ebene in einem kartesischen Koordinatensystem darstellen. Die Referenzebene, die mithilfe der Ebenengleichung bestimmt wird, stellt die Position der Bodenfläche relativ zur Maschine dar, wenn die Maschine auf einer im Wesentlichen ebenen Fläche platziert wird.
Die 8-1 und 8-2 (gemeinsam als 8 bezeichnet) stellen ein Ablaufdiagramm 700 bereit, das einen beispielhaften Vorgang des Systems 126 mithilfe der Kalibrierung veranschaulicht, die in 7 durchgeführt ist. Der veranschaulichte Prozess ist konfiguriert, um die Oberfläche des Geländes aus einer Punktwolke zu rekonstruieren, die aus RGB-Bildern oder Tiefenkarten erzeugt wird.
Bei Block 702 wird/werden Stereobild(er) empfangen und bei Block 704 werden dreidimensionale Informationen extrahiert. 9 veranschaulicht ein Beispiel für ein Bild 750, das von einer nach hinten gerichteten Kamera der Maschine 102 erhalten wurde. Wie in 9 gezeigt, zeigt Bild 750 das Gelände 752 mit einer Anzahl von Konturmerkmalen.
Eine 3D-Punktwolke wird bei Block 706 erzeugt, wie etwa durch Extrahieren von 3D-Informationen mithilfe einer Q-Matrix oder eines anderen Prozesses. Dies wird durch Block 708 dargestellt. Die Koordinaten von Punkten in der 3D-Punktwolke werden bei Block 710 in Bodenkoordinaten umgewandelt. In einem Beispiel sind die Blöcke 702-710 den vorstehend erörterten Blöcken 652-662 in Bezug auf 7 ähnlich.
Bei Block 712 werden Punkte in Segment- oder Netzgitterregionen von Interesse gruppiert. Regionen von Interesse, die eine Anzahl von Punkten aufweisen, die über oder unter dem Schwellenwert/den Schwellenwerten liegen, können herausgefiltert werden. Dies wird bei Block 714 dargestellt. Wenn beispielsweise eine Region von Interesse eine Anzahl von Punkten aufweist, die über einem Schwellenwert liegt, kann sie aus der nachfolgenden Verarbeitung entfernt werden. Gleichermaßen kann, wenn eine Region von Interesse eine Anzahl von Punkten unter einem Schwellenwert aufweist, die Region von Interesse ebenfalls entfernt werden. In einem Beispiel arbeitet die Filterung bei Block 714, um Bereiche des Bildes zu entfernen, die Objekte darstellen. Das heißt, wenn ein Bereich des Bildes einen Materialstapel darstellt, wie beispielsweise Baumaterialien usw., wird der Punkt, der in dem Bild erkannt wird, und diesen Materialien entspricht, herausgefiltert, um ihn aus der Bestimmung der Bodenkontur zu entfernen.
Bei Block 716 wird eine Regressionsoperation an den Punkten in jedem segmentierten Gitterbereich durchgeführt. Ebenen, die einen hohen Winkel nahe der kalibrierten Ebene aufweisen, können herausgefiltert werden. Dies wird bei Block 718 dargestellt. Gleichermaßen können Ebenen, die einen hohen Versatz von der kalibrierten Mittelebene aufweisen, auch bei Block 720 herausgefiltert werden. Wiederum kann die Filterung bei Blöcken 718 und 720 Bereiche identifizieren, in denen die Ebene sehr steil ist oder es anderweitig unwahrscheinlich ist, dass sie das Gelände darstellt. Beispielsweise führt ein Bereich in dem Bild, der einen Stapel von Baumaterialien oder Maschinenausrüstung (z. B. Reifen) darstellt, zu einer Ebene, die relativ zu den angrenzenden Ebenen sehr steil ist, und er wird somit bestimmt, einen anderen Bereich als den Boden darzustellen. Die Bestimmung des Winkels der Ebene kann auf mehrere Arten bestimmt werden. In einem Beispiel wird ein laufender Mittelwert einer vorbestimmten Anzahl von Ebenen (z. B. zehn Ebenen usw.) genutzt, um zu bestimmen, ob eine bestimmte Ebene einen hohen Winkel oder einen hohen Versatz relativ zu den benachbarten Ebenen aufweist.
Bei Block 722 werden Ecken jeder Netzgitterebene identifiziert und bei Block 724 werden die Ecken jedes Netzgitters mit benachbarten Ecken gemittelt. Das Netzgitter des Bodens wird relativ zur Maschine bei Block 726 berechnet. Das Netzgitter stellt die dreidimensionale Kontur des Geländes in einer Region von Interesse relativ zur Maschine dar.
Die 10-1 und 10-2 (gemeinsam als 10 bezeichnet) veranschaulichen ein Beispiel für ein Netzgitter, das aus dem in 9 gezeigten Bild erzeugt wurde. Wie veranschaulicht, wird eine Anzahl von Punkten 760 aus den segmentierten Gitterregionen erzeugt. Diese Ebenen sind miteinander vernetzt, um das Netzgitter 762 zu bilden, das die Geländekontur darstellt. Unter erneuter Bezugnahme auf 8 kann das Steuersystem 104 bei Block 728 ein Steuersignal erzeugen, um die Bedienerschnittstelle mit der eingestellten Überlagerung auf Grundlage des berechneten Netzgitters zu aktualisieren. Bei Block 730 kann der Prozess für nachfolgende von der Kamera erfasste Einzelbilder fortgesetzt werden.
Einige mobile Maschinen verwenden eine Rückfahrkamera, die eine Rückansicht von der Maschine zum Bediener anzeigt, zusammen mit einer Anzeige des Maschinenpfads. Die Anzeige beinhaltet eine Überlagerung, wie etwa Linien, die sich biegen, um den Streckenverlauf der Maschine bei Kurven darzustellen. Die Überlagerung erscheint oben auf einem hinteren Kamerabild und wird auf eine horizontale Ebene projiziert, die sich nur in der horizontalen Ebene biegt. Obwohl ein solches System optisch den Bereich direkt hinter der Maschine abdeckt, der vom Bediener mithilfe von Spiegeln nicht gesehen werden kann, ist es für den Bediener oft schwierig, den Einfluss des Geländes auf die Maschinenbewegung zu bestimmen. Zum Beispiel gibt es keinen Hinweis auf einen Hang oder eine Neigung des Geländes, die instabile Maschinenpositionen und/oder Kontakt mit dem Gelände oder anderen Objekten verursachen könnten.
In der vorliegenden Erläuterung wurden Prozessoren und Server erwähnt. In einer Ausführungsform umfassen die Prozessoren und Server Computerprozessoren mit zugehörigem Speicher und Zeitsteuerungsschaltungen, die nicht separat gezeigt sind. Sie sind funktionale Teile der Systeme oder Geräte, zu denen sie gehören und durch die sie aktiviert werden, und erleichtern die Funktionalität der anderen Komponenten oder Elemente in diesen Systemen.
Es ist zu beachten, dass die vorstehende Erläuterung eine Vielzahl unterschiedlicher Systeme, Komponenten und/oder Logiken beschrieben hat. Es versteht sich, dass solche Systeme, Komponenten und/oder Logiken aus Hardwareelementen bestehen können (wie etwa Prozessoren und zugehörigem Speicher oder anderen Verarbeitungskomponenten, von denen einige unten beschrieben werden), die die Funktionen ausführen, die mit diesen Systemen, Komponenten und/oder Logiken verbunden sind. Darüber hinaus können die Systeme, Komponenten und/oder Logiken aus Software bestehen, die in einen Speicher geladen werden und anschließend von einem Prozessor oder Server oder einer anderen Rechnerkomponente ausgeführt werden, wie unten beschrieben. Die Systeme, Komponenten und/oder Logiken können auch aus verschiedenen Kombinationen von Hardware, Software, Firmware usw. bestehen, von denen einige Beispiele nachfolgend beschrieben werden. Dies sind nur einige Beispiele für unterschiedliche Strukturen, die zur Bildung der oben beschriebenen Systeme, Komponenten und/oder Logik verwendet werden können. Es können auch andere Strukturen verwendet werden.
Außerdem wurden eine Reihe von Anzeigen der Benutzerschnittstelle erörtert. Sie können mehrere verschiedene Formen annehmen und können mehrere verschiedene benutzergesteuerte Eingabemechanismen darauf aufweisen. Beispielsweise können die vom Benutzer aktivierbaren Eingabemechanismen Textfelder, Kontrollkästchen, Symbole, Links, Dropdown-Menüs, Suchfelder usw. sein. Sie können auch auf unterschiedlichste Weise betätigt werden. Sie können beispielsweise mit einer Point-and-Click-Vorrichtung (z. B. Trackball oder Maus) betätigt werden. Sie können über Hardwaretasten, Schalter, einen Joystick oder eine Tastatur, Daumenschalter oder Daumenpads usw. betätigt werden. Sie können auch über eine virtuelle Tastatur oder andere virtuelle Aktuatoren betätigt werden. Wenn der Bildschirm, auf dem sie angezeigt werden, ein berührungsempfindlicher Bildschirm ist, können sie außerdem mit Berührungsgesten betätigt werden. Wenn das Gerät, das sie anzeigt, Spracherkennungskomponenten aufweist, können sie auch mit Sprachbefehlen betätigt werden.
Eine Reihe von Datenspeichern wurde ebenfalls erörtert. Es wird darauf hingewiesen, dass diese jeweils in mehrere Datenspeicher aufgeteilt werden können. Alle können lokal für die auf sie zugreifenden Systeme sein, alle können entfernt sein, oder einige können lokal sein, während andere entfernt sind. Alle diese Konfigurationen sind hierin vorgesehen.
Außerdem zeigen die Figuren eine Reihe von Blöcken mit Funktionen, die jedem Block zugeordnet sind. Es wird darauf hingewiesen, dass weniger Blöcke verwendet werden können, so dass die Funktionalität von weniger Komponenten ausgeführt wird. Außerdem können mehr Blöcke verwendet werden, wobei die Funktionalität auf mehrere Komponenten verteilt ist.
11 ist ein Blockdiagramm eines Beispiels der Architektur der mobilen Maschine 100, gezeigt in 1, wobei die mobile Maschine 102 mit Elementen in einer Remote-Serverarchitektur 800 kommuniziert. In einem Beispiel kann die Remote-Serverarchitektur 800 Rechen-, Software-, Datenzugriffs- und Speicherdienste bereitstellen, die keine Kenntnisse des Endbenutzers über den physischen Standort oder die Konfiguration des Systems erfordern, das die Dienste bereitstellt. In verschiedenen Beispielen können entfernte Server die Dienste über ein Weitverkehrsnetzwerk, wie etwa das Internet, unter Verwendung geeigneter Protokolle bereitstellen. So können beispielsweise Remote-Serveranwendungen über ein Weitverkehrsnetzwerk bereitstellen und über einen Webbrowser oder eine andere Computerkomponente darauf zugreifen. Software oder Komponenten, die in 1 gezeigt sind, sowie die zugehörigen Daten können auf Servern an einem Remote-Standort gespeichert werden. Die Computerressourcen in einer Remote-Serverumgebung können an einem Remote-Standort des Rechenzentrums konsolidiert oder verteilt werden. Remote-Server-Infrastrukturen können Dienste über gemeinsam genutzte Rechenzentren bereitstellen, obwohl sie für den Benutzer als ein einziger Zugangspunkt erscheinen. Somit können die hierin beschriebenen Komponenten und Funktionen von einem Remote-Server an einem Remote-Standort über eine Remote-ServerArchitektur bereitgestellt werden. Alternativ können sie von einem herkömmlichen Server bereitgestellt werden, oder sie können direkt auf Endgeräten oder auf andere Weise installiert werden.
In dem in 11 gezeigten Beispiel sind einige Elemente den in 1 gezeigten und sie sind ähnlich nummeriert. 11 zeigt insbesondere, dass sich das System 126 und der Datenspeicher 128 an einem Remote-Serverstandort 802 befinden können. Daher greift die mobile Maschine 102 über den Remote-Serverstandort 802 auf diese Systeme zu.
11 veranschaulicht darüber hinaus ein weiteres Beispiel für eine Remote-Serverarchitektur. 11 zeigt, dass auch in Betracht gezogen wird, dass einige Elemente von 1 am Remote-Serverstandort 802 angeordnet sind, während andere dort nicht angeordnet sind. So kann beispielsweise der Datenspeicher 128 an einem von Standort 802 getrennten Standort angeordnet sein und es kann über den Remote-Server an Standort 802 darauf zugegriffen werden. Alternativ oder zusätzlich kann das System 126 an von Standort 802 getrennten Standort(en) angeordnet sein und es kann über den Remote-Server an Standort 802 darauf zugegriffen werden.
Unabhängig davon, wo sie sich befinden, kann direkt von der mobilen Maschine 102 über ein Netzwerk (entweder ein Weitverkehrsnetzwerk oder ein lokales Netzwerk) auf sie zugegriffen werden, sie können an einem Remote-Standort von einem Dienst gehostet werden, oder sie können als Dienst bereitgestellt oder es kann von einem Verbindungsdienst, der sich an einem Remote-Standort befindet, auf sie zugegriffen werden. Außerdem können die Daten an nahezu jedem Ort gespeichert und zeitweise von Interessenten abgerufen oder an diese weitergeleitet werden. So können beispielsweise physikalische Träger anstelle oder zusätzlich zu elektromagnetischen Strahlungsträgern verwendet werden. In einem solchen Beispiel, in dem die Netzabdeckung schlecht oder nicht vorhanden ist, kann eine andere mobile Maschine (beispielsweise ein Tankwagen) über ein automatisches System zur Informationserfassung verfügen. Wenn sich die mobile Maschine zum Betanken dem Tankwagen nähert, erfasst das System automatisch die Informationen von der Maschine oder überträgt Informationen über jede Art von drahtloser Ad-hoc-Verbindung an die Maschine. Die gesammelten Informationen können dann an das Hauptnetz weitergeleitet werden, wenn der Tankwagen einen Ort erreicht, an dem es eine Mobilfunkabdeckung (oder eine andere drahtlose Abdeckung) gibt. So kann beispielsweise der Tankwagen in einen überdachten Standort einfahren, wenn er zum Betanken anderer Maschinen fährt oder wenn er sich an einem Haupttanklager befindet. Alle diese Architekturen werden hierin betrachtet. Darüber hinaus können die Informationen auf der mobilen Maschine gespeichert werden, bis die mobile Maschine einen Bereich mit Netzabdeckung erreicht. Die mobile Maschine selbst kann dann die Informationen an das/von dem Hauptnetzwerk senden und empfangen.
Es wird auch darauf hingewiesen, dass die Elemente von 1, oder Teile davon, auf einer Vielzahl von unterschiedlichen Geräten angeordnet werden können. Einige dieser Geräte beinhalten Server, Desktop-Computer, Laptops, Tablet-Computer oder andere mobile Geräte, wie etwa Palmtop-Computer, Mobiltelefone, Smartphones, Multimedia-Player, persönliche digitale Assistenten usw.
12 ist ein vereinfachtes Blockdiagramm eines veranschaulichenden Beispiels einer tragbaren oder mobilen Computervorrichtung, die als Handgerät 16 eines Benutzers oder Kunden verwendet werden kann, in dem das vorliegende System (oder Teile davon) eingesetzt werden kann. So kann beispielsweise ein mobiles Gerät in der Bedienerkabine der mobilen Maschine 102 oder als Remote-System 114 eingesetzt werden. Die 13-14 sind Beispiele für tragbare oder mobile Geräte.
12 stellt ein allgemeines Blockdiagramm der Komponenten eines Endgeräts 16 bereit, das einige der in 1 dargestellten Komponenten ausführen kann, die mit ihnen interagieren, oder beides. In dem Gerät 16 wird eine Kommunikationsverbindung 13 bereitgestellt, die es dem Handgerät ermöglicht, mit anderen Rechengeräten zu kommunizieren, und die in einigen Ausführungsformen einen Kanal zum automatischen Empfangen von Informationen bereitstellt, wie zum Beispiel durch Scannen. Beispiele für die Kommunikationsverbindung 13 umfassen das Ermöglichen der Kommunikation durch ein oder mehrere Kommunikationsprotokolle, wie zum Beispiel drahtlose Dienste, die zum Bereitstellen eines zellularen Zugangs zu einem Netzwerk verwendet werden, sowie Protokolle, die lokale drahtlose Verbindungen zu Netzwerken bereitstellen.
In anderen Beispielen können Anwendungen auf einer entfernbaren „Secure Digital“-(SD-)Karte empfangen werden, die mit einer Schnittstelle 15 verbunden ist. Die Schnittstelle 15 und die Kommunikationsverbindungen 13 kommunizieren mit einem Prozessor 17 (der auch die Prozessoren oder Server aus den vorhergehenden FIG. verkörpern kann) über einen Bus 19, der ebenfalls mit dem Speicher 21 und den Ein-/Ausgabekomponenten (E/A) 23 sowie dem Taktgeber 25 und dem Ortungssystem 27 verbunden ist.
E/A-Komponenten 23 sind in einem Beispiel vorgesehen, um Ein- und Ausgabeoperationen zu erleichtern. EtA-Komponenten 23 für verschiedene Ausführungsformen der Geräte 16 können Eingabekomponenten, wie etwa Tasten, Tastsensoren, optische Sensoren, Mikrofone, Touchscreens, Näherungssensoren, Beschleunigungssensoren, Ausrichtungssensoren, und Ausgabekomponenten, wie etwa eine Anzeigevorrichtung, ein Lautsprecher und/oder ein Druckeranschluss beinhalten. Es können auch andere E/A-Komponenten 23 verwendet werden.
Die Uhr 25 umfasst veranschaulichend eine Echtzeituhrkomponente, die eine Uhrzeit und ein Datum ausgibt. Dieser kann auch, veranschaulichend, Timing-Funktionen für Prozessor 17 bereitstellen.
Das Ortungssystem 27 beinhaltet veranschaulichend eine Komponente, die eine aktuelle geografische Position des Geräts 16 ausgibt. Dies kann beispielsweise einen globalen Positionierungssystem-(GPS-)Empfänger, ein LORAN-System, ein Koppelnavigationssystem, ein zellulares Triangulationssystems oder ein anderes Positionierungssystems beinhalten. Es kann beispielsweise auch eine Karten- oder Navigationssoftware beinhalten, die gewünschte Karten, Navigationsrouten und andere geografische Funktionen erzeugt.
Der Speicher 21 speichert das Betriebssystem 29, die Netzwerkeinstellungen 31, die Anwendungen 33, die Anwendungskonfigurationseinstellungen 35, den Datenspeicher 37, die Kommunikationstreiber 39 und die Kommunikationskonfigurationseinstellungen 41. Der Speicher 21 kann alle Arten von greifbaren flüchtigen und nicht-flüchtigen computerlesbaren Speichervorrichtungen beinhalten. Er kann auch Computerspeichermedien beinhalten (siehe unten). Der Speicher 21 speichert computerlesbare Anweisungen, die, wenn sie von Prozessor 17 ausgeführt werden, den Prozessor veranlassen, computerimplementierte Schritte oder Funktionen gemäß den Anweisungen auszuführen. Der Prozessor 17 kann von anderen Komponenten aktiviert werden, um auch deren Funktionalität zu verbessern.
13 zeigt ein Beispiel, bei dem das Gerät 16 ein Tablet-Computer 850 ist. In 13 wird der Computer 850 mit dem Bildschirm der Benutzerschnittstelle 852 gezeigt. Der Bildschirm 852 kann ein Touchscreen oder eine stiftfähige Schnittstelle sein, die Eingaben von einem Stift oder Stylus empfängt. Er kann auch eine virtuelle Bildschirmtastatur verwenden. Natürlich kann der Bildschirm auch über einen geeigneten Befestigungsmechanismus, zum Beispiel eine drahtlose Verbindung oder einen USB-Anschluss, an eine Tastatur oder ein anderes Benutzereingabegerät angeschlossen werden. Der Computer 850 kann auch illustrativ Spracheingaben empfangen.
14 zeigt, dass das Gerät ein Smartphone 71 sein kann. Das Smartphone 71 verfügt über ein berührungsempfindliches Display 73, das Symbole oder Grafiken oder andere Benutzereingabemechanismen 75 anzeigt. Die Mechanismen 75 können von einem Benutzer verwendet werden, um Anwendungen auszuführen, Anrufe zu tätigen, Datenübertragungsvorgänge durchzuführen usw. Im Allgemeinen ist das Smartphone 71 auf einem mobilen Betriebssystem aufgebaut und bietet eine fortschrittlichere Rechenleistung und Konnektivität als ein Funktionstelefon.
Es ist zu beachten, dass andere Formen des Endgeräts 16 möglich sind.
15 ist ein Beispiel für eine Rechenumgebung, in der Elemente von 1, oder Teile davon, (zum Beispiel) eingesetzt werden können. Unter Bezugnahme auf 15 beinhaltet ein Beispielsystem zur Implementierung einiger Ausführungsformen ein Rechengerät in Form eines Computers 910. Komponenten des Computers 910 können, ohne hierauf beschränkt zu sein, unter anderem eine Verarbeitungseinheit 920 (die Prozessoren oder Server aus den vorstehenden FIGUREN beinhalten kann), einen Systemspeicher 930 und einen Systembus 921 umfassen, die verschiedene Systemkomponenten einschließlich des Systemspeichers mit der Verarbeitungseinheit 920 koppeln. Der Systembus 921 kann eine von mehreren Arten von Busstrukturen sein, einschließlich eines Speicherbusses oder einer Speichersteuerung, eines Peripheriebusses und eines lokalen Busses mit einer Vielzahl von Busarchitekturen. Speicher und Programme, die in Bezug auf 1 beschrieben sind, können in den entsprechenden Teilen von 15 eingesetzt werden.
Der Computer 910 beinhaltet typischerweise mehrere computerlesbare Medien. Computerlesbare Medien können beliebige verfügbare Medien sein, auf die der Computer 910 zugreifen kann und die sowohl flüchtige als auch nichtflüchtige Medien, entfernbare und nicht entfernbare Medien beinhalten. Computerlesbare Medien können beispielsweise Computerspeichermedien und Kommunikationsmedien umfassen. Computerspeichermedien unterscheiden sich von einem modulierten Datensignal oder einer Trägerwelle und beinhalten diese nicht. Dazu gehören Hardware-Speichermedien mit flüchtigen und nichtflüchtigen, entfernbaren und nicht entfernbaren Medien, die in einem beliebigen Verfahren oder einer Technologie für die Speicherung von Informationen, wie etwa computerlesbaren Befehlen, Datenstrukturen, Programmmodulen oder anderen Daten, implementiert sind. Rechenspeichermedien umfassen, sind aber nicht beschränkt auf, RAM, ROM, EEPROM, Flash-Speicher oder eine andere Speichertechnologie, CD-ROM, Digitalversatile-Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, -bänder, -plattenspeicher oder andere magnetische Speichergeräte oder jedes andere Medium, das verwendet werden kann, um die gewünschte Information zu speichern, auf die über den Computer 910 zugegriffen werden kann. Kommunikationsmedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten in einem Transportmechanismus enthalten und umfassen alle Informationslieferungsmedien. Der Begriff „moduliertes Datensignal“ bezeichnet ein Signal, bei dem eine oder mehrere seiner Merkmale so eingestellt oder geändert werden, dass Informationen in dem Signal codiert werden.
Der Systemspeicher 930 beinhaltet Computerspeichermedien in Form von flüchtigen und/oder nichtflüchtigen Speichern, wie etwa Festspeicher (ROM, Read Only Memory) 931 und Arbeitsspeicher (RAM, Random Access Memory) 932. Ein grundlegendes Ein-/Ausgabesystem 933 (BIOS), das die grundlegenden Programme enthält, die helfen, Informationen zwischen den Elementen innerhalb des Computers 910 zu übertragen, wie etwa beim Starten, wird typischerweise im ROM 931 gespeichert. RAM 932 enthält in der Regel Daten- und/oder Programmmodule, die unmittelbar für die Verarbeitungseinheit 920 zugänglich sind und/oder gegenwärtig von dieser bearbeitet werden. Beispielhaft und nicht einschränkend veranschaulicht 15 das Betriebssystem 934, die Anwendungsprogramme 935, weitere Programmmodule 936 und Programmdaten 937.
Der Computer 910 kann auch andere entfernbare/nicht entfernbare flüchtige/nichtflüchtige Computerspeichermedien beinhalten. Beispielsweise zeigt 15 ein Festplattenlaufwerk 941, das von nicht entfernbaren, nichtflüchtigen magnetischen Medien, einem optischen Plattenlaufwerk 955 und einer nichtflüchtigen optischen Platte 956 liest oder darauf schreibt. Das Festplattenlaufwerk 941 ist typischerweise über eine nicht-entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 940, mit dem Systembus 921 verbunden, und das optische Plattenlaufwerk 955 ist typischerweise über eine entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 950, mit dem Systembus 921 verbunden.
Alternativ oder zusätzlich kann die hierin beschriebene Funktionalität mindestens teilweise durch eine oder mehrere Hardware-Logikkomponenten ausgeführt werden. Zu den veranschaulichenden Arten von Hardware-Logikkomponenten, die verwendet werden können, gehören beispielsweise feldprogrammierbare Gate-Arrays (FPGAs), Applikations-spezifische integrierte Schaltungen (z. B. ASICs), Applikations-spezifische Standardprodukte (z. B. ASSPs), System-on-a-Chip-Systeme (SOCs), „Complex Programmable Logic Devices“ (CPLDs) usw.
Die Laufwerke und die zugehörigen Computerspeichermedien, die obenstehend erörtert und in 15 veranschaulicht sind, bieten eine Speicherung von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für den Computer 910. In 15 wird beispielsweise das Festplattenlaufwerk 941 als speicherndes Betriebssystem 944, Anwendungsprogramme 945, andere Programmmodule 946 und Programmdaten 947 dargestellt. Es sei angemerkt, dass diese Komponenten entweder gleich oder verschieden von dem Betriebssystem 934, den Anwendungsprogrammen 935, den anderen Programmmodulen 936 und den Programmdaten 937 sein können.
Ein Benutzer kann Befehle und Informationen in den Computer 910 über Eingabegeräte, wie etwa eine Tastatur 962, ein Mikrofon 963 und ein Zeigegerät 961, wie etwa eine Maus, einen Trackball oder ein Touchpad, eingeben. Andere Eingabevorrichtungen (nicht dargestellt) können einen Joystick, ein Gamepad, eine Satellitenschüssel, einen Scanner oder dergleichen beinhalten. Diese und andere Eingabegeräte sind oft über eine Benutzereingabeschnittstelle 960 mit der Verarbeitungseinheit 920 verbunden, die mit dem Systembus gekoppelt ist, aber auch über andere Schnittstellen- und Busstrukturen verbunden sein kann. Eine optische Anzeige 991 oder eine andere Art von Anzeigegerät ist ebenfalls über eine Schnittstelle, wie etwa eine Videoschnittstelle 990, mit dem Systembus 921 verbunden. Zusätzlich zum Monitor können Computer auch andere periphere Ausgabevorrichtungen, wie etwa die Lautsprecher 997 und den Drucker 996 beinhalten, die über eine Ausgabeperipherieschnittstelle 995 verbunden werden können.
Der Computer 910 wird in einer Netzwerkumgebung über logische Verbindungen (wie etwa LAN, WAN oder CAN) zu einem oder mehreren Remote-Computern, wie etwa einem Remote-Computer 980, betrieben.
Bei Verwendung in einer LAN-Netzwerkumgebung ist der Computer 910 über eine Netzwerkschnittstelle oder einen Adapter 970 mit dem LAN 971 verbunden. Bei Verwendung in einer WAN-Netzwerkumgebung beinhaltet der Computer 910 typischerweise ein Modem 972 oder ein anderes Mittel zum Herstellen einer Kommunikation über das WAN 973, wie etwa das Internet. In einer vernetzten Umgebung können Programmmodule auf einer externen Speichervorrichtung gespeichert werden. 15 veranschaulicht zum Beispiel, dass sich Remote-Anwendungsprogramme 985 auf dem Remote-Computer 980 befinden können.
Es sollte auch angemerkt werden, dass die verschiedenen hier beschriebenen Beispiele auf verschiedene Weise kombiniert werden können. Das heißt, Teile eines oder mehrerer Beispiele können mit Teilen eines oder mehrerer anderer Beispiele kombiniert werden. All dies wird hier in Betracht gezogen.
Beispiel 1 ist ein Verfahren zum Steuern einer mobilen Maschine mit einem Satz von Bodeneingriffselementen, wobei das Verfahren Folgendes umfasst:

Empfangen eines Bildes eines Geländes in der Nähe der mobilen Maschine;
Erkennen einer Geländekontur;
Bestimmen eines projizierten Pfads des Satzes von Bodeneingriffselementen auf Grundlage dererkannten Kontur des Geländes; und
Steuern einer Anzeigevorrichtung, um das Bild mit einer Überlagerung anzuzeigen, die den projizierten Pfad der Bodeneingriffselemente darstellt.

Beispiel 2 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die Überlagerung eine mehrdimensionale Überlagerung umfasst, die eine projizierte Bewegung der mobilen Maschine in mehreren Dimensionen darstellt.
Beispiel 3 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die mehrdimensionale Überlagerung einen Hang des Geländes entlang eines projizierten Pfades des Satzes von Bodeneingriffselementen darstellt.
Beispiel 4 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die mehrdimensionale Überlagerung eine projizierte Höhenänderung des Satzes von bodeneingreifenden Traktionselementen darstellt.
Beispiel 5 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die Überlagerung eine projizierte Änderung der Neigung der mobilen Maschine entlang des Maschinenpfads darstellt.
Beispiel 6 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die Überlagerung eine projizierte Änderung des Rollens der mobilen Maschine entlang des Maschinenpfads darstellt.
Beispiel 7 ist das Verfahren eines oder aller vorhergehenden Beispiele, ferner umfassend:

Empfangen einer Angabe eines Objekts, das auf dem Gelände erkannt wurde;
Bestimmen einer Position des Objekts relativ zu dem Maschinenpfad; und
Anzeigen eines Objektindikators, der die Position des Objekts relativ zum Maschinenpfad darstellt.

Beispiel 8 ist das Verfahren eines oder aller vorhergehenden Beispiele und umfasst ferner das Anzeigen einer Angabe eines Abstands des Objekts von der mobilen Maschine.
Beispiel 9 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die Angabe eine oder mehrere Bereichslinien umfasst.
Beispiel 10 ist das Verfahren eines oder aller vorhergehenden Beispiele und umfasst ferner:

Empfangen einer Bereichseingabe;
Auswählen eines Erfassungsbereichs auf Grundlage der Bereichseingabe; und
Erzeugen der Überlagerung basierend auf dem Erfassungsbereich.

Beispiel 11 ist das Verfahren eines oder aller vorhergehenden Beispiele und umfasst ferner das Anzeigen eines Bereichsindikators, der den ausgewählten Erfassungsbereich angibt.
Beispiel 12 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die mobile Maschine einen Rahmen und ein Werkzeug umfasst, das von dem Rahmen getragen wird und konfiguriert ist, um Material auf einer Arbeitsstelle zu bewegen.
Beispiel 13 ist das Verfahren eines oder aller vorhergehenden Beispiele und umfasst ferner das Bestimmen des Pfads auf Grundlage von mindestens einem von Folgendem:

einem Lenkwinkel;
einer Differentialantriebsdrehzahl eines ersten bodeneingreifenden Elements relativ zu einem zweiten bodeneingreifenden Element; oder
einem Gelenkwinkel der mobilen Maschine.

Beispiel 14 ist eine mobile Maschine, umfassend:

einen Satz von Bodeneingriffselementen;
einen Bildsensor, der konfiguriert ist, um ein Signal zu erzeugen, das ein Gelände in der Nähe der mobilen Maschine darstellt;
ein Geländeerkennungssystem, das konfiguriert ist, um eine Kontur des Geländes zu erfassen;
ein Maschinenpfadsystem, das konfiguriert ist, um einen Pfad des Satzes von Bodeneingriffselementen auf Grundlage der erkannten Kontur des Geländes zu bestimmen; und
ein Visualisierungssystem, das konfiguriert ist, um eine Anzeige der Benutzerschnittstelle zu erzeugen, die Folgendes beinhaltet:
- ein Bild des Geländes auf Grundlage des von dem Bildsensor erzeugten Signals; und
- eine Überlagerung, die den Pfad der Bodeneingriffselemente darstellt.

Beispiel 15 ist die mobile Maschine eines oder aller vorhergehenden Beispiele, wobei die Überlagerung eine mehrdimensionale Überlagerung umfasst, die eine projizierte Bewegung der mobilen Maschine in mehreren Dimensionen darstellt.
Beispiel 16 ist die mobile Maschine eines oder aller vorhergehenden Beispiele, wobei die Überlagerung mindestens eines der Folgenden darstellt:

eine projizierte Änderung der Neigung der mobilen Maschine entlang des Maschinenpfads, oder
eine projizierte Änderung des Rollens der mobilen Maschine entlang des Maschinenpfads.

Beispiel 17 ist die mobile Maschine eines oder aller vorhergehenden Beispiele, ferner umfassend:

ein Bereichssteuersystem, das konfiguriert ist, um:
- eine Bereichseingabe zu empfangen;
- auf Grundlage der Bereichseingabe einen Erfassungsbereich auszuwählen; und
- die Überlagerung basierend auf dem Erfassungsbereich zu erzeugen.

Beispiel 18 ist ein Steuersystem für eine mobile Maschine mit einem Satz von Bodeneingriffselementen, wobei das Steuersystem Folgendes umfasst:

Bildverarbeitungslogik, die konfiguriert ist, um ein Bild eines Geländes in der Nähe der mobilen Maschine zu empfangen;
Geländekonturerkennungslogik, die konfiguriert ist, um eine Kontur des Geländes zu erfassen;
projizierte Maschinenpfadbestimmungslogik, die konfiguriert ist, um einen projizierten Pfad des Satzes von Bodeneingriffselementen auf Grundlage der erkannten Kontur des Geländes zu bestimmen; und
Benutzerschnittstellenlogik, die konfiguriert ist, eine Anzeigevorrichtung zu steuern, um das Bild mit einer Überlagerung anzuzeigen, die den projizierten Pfad der Bodeneingriffselemente darstellt.

Beispiel 19 ist das Steuersystem eines oder aller vorhergehenden Beispiele, wobei die Überlagerung eine mehrdimensionale Überlagerung umfasst, die eine projizierte Bewegung der mobilen Maschine in mehreren Dimensionen darstellt.
Beispiel 20 ist das Steuersystem eines oder aller vorhergehenden Beispiele, ferner umfassend:

Bereichseinstelllogik, die konfiguriert ist, um:
- eine Bereichseingabe zu empfangen; und
- auf Grundlage der Bereichseingabe einen Erfassungsbereich auszuwählen; und Visualisierungslogik, die konfiguriert ist, um eine Visualisierung zu erzeugen, die den ausgewählten Erfassungsbereich auf der Anzeigevorrichtung darstellt.

Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr sind die oben beschriebenen besonderen Merkmale und Handlungen als beispielhafte Formen der Implementierung der Ansprüche offenbart.

Claims

Verfahren zum Steuern einer mobilen Maschine (102; 200) mit einem Satz von Bodeneingriffselementen (152; 228), wobei das Verfahren Folgendes umfasst: Empfangen (422) eines Bildes des Geländes in der Nähe der mobilen Maschine; Erfassen (432) einer Kontur des Geländes; Bestimmen (468) eines Maschinenpfads auf Grundlage der erfassten Kontur des Geländes; und Steuern (506) einer Anzeigevorrichtung, um das Bild mit einer Überlagerung anzuzeigen, die den Pfad der Bodeneingriffselemente darstellt.
Verfahren nach Anspruch 1, wobei die Überlagerung eine mehrdimensionale Überlagerung umfasst, die eine projizierte Bewegung der mobilen Maschine in mehreren Dimensionen darstellt.
Verfahren nach Anspruch 2, wobei die mehrdimensionale Überlagerung eine Neigung des Geländes entlang eines projizierten Pfads des Satzes von Bodeneingriffselementen darstellt.
Verfahren nach Anspruch 3, wobei die mehrdimensionale Überlagerung eine projizierte Höhenänderung des Satzes von bodeneingreifenden Traktionselementen darstellt.
Verfahren nach einem der Ansprüche 2 bis 4, wobei die Überlagerung eine projizierte Änderung der Neigung der mobilen Maschine entlang des Maschinenpfads darstellt.
Verfahren nach einem der Ansprüche 2 bis 5, wobei die Überlagerung eine projizierte Änderung des Rollens der mobilen Maschine entlang des Maschinenpfads darstellt.
Verfahren nach einem der Ansprüche 1 bis 6, ferner umfassend: Empfangen einer Angabe eines Objekts, das auf dem Gelände erkannt wurde; Bestimmen einer Position des Objekts relativ zu dem Maschinenpfad; und Anzeigen eines Objektindikators, der die Position des Objekts relativ zum Maschinenpfad darstellt.
Verfahren nach Anspruch 7, ferner umfassend das Anzeigen einer Angabe eines Abstands des Objekts von der mobilen Maschine.
Verfahren nach Anspruch 8, wobei die Angabe eine oder mehrere Bereichslinien umfasst.
Verfahren nach einem der Ansprüche 1 bis 9, ferner umfassend: Empfangen einer Bereichseingabe; Auswählen eines Erfassungsbereichs auf Grundlage der Bereichseingabe; und Erzeugen der Überlagerung basierend auf dem Erfassungsbereich.
Verfahren nach Anspruch 10, ferner umfassend das Anzeigen eines Bereichsindikators, der den ausgewählten Erfassungsbereich anzeigt.
Mobile Maschine (102; 200), umfassend: einen Satz von Bodeneingriffselementen (152; 228); einen Bildsensor (140), der konfiguriert ist, um ein Signal zu erzeugen, das ein Gelände in der Nähe der mobilen Maschine darstellt; ein Geländeerkennungssystem (310), das konfiguriert ist, um eine Kontur des Geländes zu erfassen; ein Maschinenpfadsystem (330), das konfiguriert ist, um einen Pfad des Satzes von Bodeneingriffselementen auf Grundlage der erkannten Kontur des Geländes zu bestimmen; und ein Visualisierungssystem (350), das konfiguriert ist, um eine Anzeige der Benutzerschnittstelle zu erzeugen, die Folgendes beinhaltet: ein Bild des Geländes auf Grundlage des von dem Bildsensor erzeugten Signals; und eine Überlagerung, die den Pfad der Bodeneingriffselemente darstellt.
Mobile Maschine nach Anspruch 12, wobei die Überlagerung eine mehrdimensionale Überlagerung umfasst, die eine projizierte Bewegung der mobilen Maschine in mehreren Dimensionen darstellt.
Mobile Maschine nach Anspruch 12 oder 13, wobei die Überlagerung mindestens eines der Folgenden darstellt: eine projizierte Änderung der Neigung der mobilen Maschine entlang des Maschinenpfads, oder eine projizierte Änderung des Rollens der mobilen Maschine entlang des Maschinenpfads.
Steuersystem (104) für eine mobile Maschine (102; 200) mit einem Satz von Bodeneingriffselementen (152; 228), wobei das Steuersystem Folgendes umfasst: Bildverarbeitungslogik (312), die konfiguriert ist, um ein Bild des Geländes in der Nähe der mobilen Maschine zu empfangen; Geländekonturerkennungslogik (316), die konfiguriert ist, um eine Kontur des Geländes zu erfassen; projizierte Maschinenpfadbestimmungslogik (331), die konfiguriert ist, um einen projizierten Pfad des Satzes von Bodeneingriffselementen auf Grundlage der erkannten Kontur des Geländes zu bestimmen; und Benutzerschnittstellenlogik (352), die konfiguriert ist, eine Anzeigevorrichtung zu steuern, um das Bild mit einer Überlagerung anzuzeigen, die den projizierten Pfad der Bodeneingriffselemente darstellt.