-
Die Erfindung betrifft eine Bedienerschnittstelle zur Kontrolle einer autonomen Maschine, umfassend:
- einen Bildschirm und
- einen Prozessor, der mit dem Bildschirm und einer Kommunikationsschnittstelle verbunden ist, welche mit einer Kommunikationsschnittstelle der autonomen Maschine in Verbindung steht,
- wobei der Prozessor konfiguriert ist, anhand von über die Kommunikationsschnittstelle empfangenen Daten den Bildschirm derart anzusteuern, dass der Bildschirm ein erstes virtuelles Modell der Maschine und ihrer Umgebung auf dem Bildschirm anzeigt, welches erstes virtuelle Modell eine anhand der Daten evaluierte, tatsächliche Ist-Position und Ausrichtung der Maschine repräsentiert.
-
Technologischer Hintergrund
-
Die fortschreitende Automatisierung landwirtschaftlicher Produktionssysteme hat zur Entwicklung von Konzepten für autonome und hochgradig automatisierte, allein oder gemeinsam und somit vernetzt arbeitende Maschinen geführt. Diese Konzepte sehen oftmals vor, dass ein Bedienerarbeitsplatz an Bord der Maschine entfällt, da die Anwesenheit eines lokalen, menschlichen Bedieners nicht mehr erforderlich ist. Die von einem Bediener wahrgenommenen Aufgaben, wie Navigation und Kontrolle von Arbeitswerkzeugen, werden durch Softwaresteuerungen übemommen. Der Aufgabenbereich des Bedieners verlagert sich hingegen auf die Beaufsichtigung des Prozesses und die gleichzeitige Verwaltung mehrerer Maschinen. Um die Erfüllung dieses Aufgabenbereichs zu unterstützen, ist es wünschenswert, wenn Bedienerschnittstellen (engl.: Human-Machine Interface, HMI) es dem von der Maschine beabstandeten Bediener erlauben, Informationen hinsichtlich der Betriebszustände der mobilen Arbeitsmaschinen zu empfangen und zu verstehen, um diese zu überwachen und nötigenfalls automatisch oder manuell gesteuerte Kontrollmöglichkeiten wahrzunehmen. Die Bedienerschnittstellen bisher üblicher, manuell kontrollierter Maschinen (wie Lenkrad, Pedale, Hebel und numerische Informationsanzeigen) unterstützen diesen Informationsaustausch nicht in sinnvoller Weise.
-
Zum Stand der Technik für beabstandete Bedienerschnittstellen sei auf folgende Dokumente verwiesen:
- In der DE 197 05 842 A1 wird vorgeschlagen, dass durch eine Leitstelle die Bahnführung von landwirtschaftlichen Erntemaschinen vorgegeben wird, während die Maschine die Einstellungen von Arbeitsparametern auf Sensoren basierend selbst vornimmt.
- In der DE 102 44 822 A1 wird eine Übertragung eines Kamerabilds und anderer Daten von einer Maschine an eine beabstandete Station vorgeschlagen, falls ein unerwartetes Hindernis erfasst wird, um von dort eine geeignete Reaktion zu veranlassen.
- Die DE 10 2017 201 425 A1 beschreibt eine mit einer autonomen Maschine verbundene Befehlszentrale, welche von der Maschine Kamerabilder zum Anzeigen erhält und Daten für Arbeitsparameter an die Maschine zurücksendet. Analog beschreibt die DE 10 2018 205 743 A1 eine Femzentrale mit einer Fembetriebsvorrichtung, welche ein Bild des Arbeitsfahrzeugs und seiner Umgebung empfängt und anzeigt und ggf. den Betrieb freigeben kann.
- Auch die DE 10 2019 219 212 A1 beschreibt eine Kamera zur Anzeige eines Bildes eines Mähdreschers auf einer (beabstandeten) Bedienerschnittstelle in Vogelperspektive, wobei die Position des Abtankrohrs mit einem Sensor erfasst und in das Bild eingefügt wird. Es kann eine Anzeigeeinrichtung für die Karte vorgesehen sein, mit welcher Bedienereingaben über Tasten oder Touchscreen eingegeben werden können. Auch die EP 3 125 059 A1 zeigt eine beabstandete, als Tablet o.ä. ausgeführte und mit Tasten zur Eingabebestätigung versehene Bedienerschnittstelle mit einer Anzeige eines Kamerabilds von einer autonomen Maschine, welche die Route der Maschine festsetzt und überwacht. Auch die EP 3 468 827 B1 und EP 3 469 436 B1 zeigen eine autonome Maschine, welche Anweisungen vom beabstandeten Bediener wie Wegplan, Kontrollbeginn, Einstellwerte empfängt.
- Die US 2015/0319913 A1 beschreibt eine beabstandete Bedienerschnittstelle für autonome Maschinen, welche Informationen von der Maschine anzeigt und Eingaben zur Kontrolle der Maschine ermöglicht, wie mission icons zur Auswahl der Mission und angezeigter Karte. Auch die US 2017/0315515 A1 beschreibt eine Fernkontrolle von Maschinen, wie analog auch die US 2018/0024549 A1 eine Kartenanzeige und Fernkontrolle mit Anzeige des Fahrzeugs, Informationen zum Zustand und Eingabe von Arbeitsparametern wie Geschwindigkeit zeigt. Die WO 2020/206936 A1 zeigt eine reine Fernbedienung eines Mähdreschers, bei welcher ein von einer am Mähdrescher angebrachten Kamera erzeugtes Bild auf der Fernbedienung angezeigt wird.
- Schließlich zeigen die DE 10 2014 218 059 A1 und DE 10 2016 118 237A1 jeweils Maschinen mit Kameras, deren Bild in eine virtuelle Ansicht der Maschine eingefügt wird, während die US 2016/0138247 A1 und die WO 2015/049847 A1 virtuelle Bilder der Maschine mit ihrer Umgebung von oben oder in perspektivischer Darstellung zeigen und die DE 10 2006 026 572 A1 eine virtuelle Draufsicht die Maschine mit einer Darstellung eines geplanten Wegs und des anhand des derzeitigen Lenkwinkels zu erwartenden Wegs beschreibt.
-
Aufgabe
-
Es ist im Stand der Technik somit bekannt, auf einem Bildschirm einer Bedienerschnittstelle, die sich an Bord einer Maschine oder im Abstand davon befindet, ein virtuelles Modell der Maschine in einer Draufsicht oder perspektivischen Darstellung gemeinsam mit einer virtuellen Darstellung der Umgebung und dem voraussichtlichen und ggf. geplanten Weg der Maschine anzuzeigen, wozu beispielsweise auf die
DE 10 2006 026 572 A1 ,
DE 10 2019 219 212 A1 und die
US 2016/0138247 A1 verwiesen sei. Hierdurch kann der Bediener beispielsweise erkennen, ob die Maschine voraussichtlich mit einem Hindernis kollidieren wird oder - vgl.
DE 10 2006 026 572 A1 - ob sie zur Seite vom geplanten Weg abweicht.
-
Allerdings ist im Stand der Technik nicht erkennbar, ob die Maschine den Arbeitsauftrag mit der vorgesehenen Geschwindigkeit durchgeführt hat. Dem soll die vorliegende Erfindung abhelfen.
-
Lösung
-
Dieses Problem wird erfindungsgemäß durch die Lehre des Patentanspruches 1 gelöst, wobei in den weiteren Patentansprüchen Merkmale aufgeführt sind, die die Lösung in vorteilhafter Weise weiterentwickeln.
-
Eine Bedienerschnittstelle zur Kontrolle einer autonomen Maschine umfasst einen Bildschirm und einen Prozessor, der mit dem Bildschirm und einer Kommunikationsschnittstelle verbunden ist, welche mit einer Kommunikationsschnittstelle der autonomen Maschine in Verbindung steht, wobei der Prozessor konfiguriert ist, anhand von über die Kommunikationsschnittstelle empfangenen Daten den Bildschirm derart anzusteuern, dass der Bildschirm ein erstes virtuelles Modell der Maschine und ihrer Umgebung auf dem Bildschirm anzeigt, welches erstes virtuelle Modell eine anhand der Daten evaluierte, tatsächliche Ist-Position und Ausrichtung der Maschine repräsentiert, wobei der Prozessor konfiguriert ist, den Bildschirm derart anzusteuern, dass der Bildschirm dem ersten virtuellen Modell überlagert ein zweites virtuelles Modell der Maschine anzeigt, welches zweites virtuelle Modell eine anhand eines von der Maschine abgearbeiteten Arbeitsauftrags vorgegebene Soll-Position und Ausrichtung der Maschine repräsentiert.
-
Auf diese Weise kann der Bediener erkennen, wenn die Maschine vom im Arbeitsauftrag vorgesehenen Weg abweicht oder den Arbeitsauftrag schneller oder langsamer als vorgesehen abarbeitet und nötigenfalls entsprechende Maßnahmen vorsehen.
-
Der Prozessor kann konfiguriert sein, den Bildschirm derart anzusteuern, dass der Bildschirm das zweite virtuelle Modell in Phantomlinien oder in einer beliebigen, jedoch vom ersten virtuellen Modell abweichenden Darstellungsform darstellt, um dem Bediener eine Unterscheidung der Modelle zu erleichtern oder ermöglichen.
-
Der Prozessor kann konfiguriert sein, den Bildschirm derart anzusteuern, dass ein virtuelles Modell eines mit der Maschine verbundenen Arbeitsgeräts anhand von über die Kommunikationsschnittstelle empfangenen Daten gemeinsam mit dem virtuellen Modell der Maschine angezeigt wird. Insbesondere kann der Prozessor konfiguriert sein, den Bildschirm derart anzusteuern, dass das virtuelle Modell des mit der Maschine verbundenen Arbeitsgeräts in einer anhand von über die Kommunikationsschnittstelle empfangenen Daten erkannten, sensorisch erfassten Position gegenüber dem Modell der Maschine angezeigt wird. Es kann somit angezeigt werden, ob das Arbeitsgerät in eine Betriebsstellung ausgeschwenkt oder in eine Transportstellung eingeklappt ist, und ggf. in welcher Höhe es über den Boden geführt wird. Hierbei kann das angezeigte Modell des Arbeitsgeräts das erste Modell (Istposition) oder das zweite Modell (Sollposition) oder beide repräsentieren. Die Darstellungsweise kann insbesondere mit jener des Modells der Maschine übereinstimmen.
-
Der Prozessor kann weiterhin konfiguriert sein, über die Kommunikationsschnittstelle Daten für das virtuelle Modell der Maschine von der Kommunikationsschnittstelle der Maschine oder anhand einer von der Maschine bereitgestellten Identifikation der Maschine von einer beabstandeten Stelle oder einem Speicher der Bedienerschnittstelle herunterzuladen.
-
Auch kann der Prozessor konfiguriert sein, über die Kommunikationsschnittstelle Daten hinsichtlich der Position und Ausrichtung der Maschine und/oder eine Karte eines zu bearbeitenden Felds von der Kommunikationsschnittstelle der Maschine zu erhalten.
-
Der Prozessor kann konfiguriert sein, den Arbeitsauftrag über die Kommunikationsschnittstelle an die Maschine zu übersenden (wenn der Arbeitsauftrag mittels der Bedienerschnittstelle erstellt wird) und/oder ihn von der Maschine zu erhalten (wenn der Arbeitsauftrag nicht mittels der Bedienerschnittstelle, sondern an anderer Stelle erstellt wird).
-
Der Prozessor kann konfiguriert sein, den Bildschirm derart anzusteuern, dass gemeinsam mit dem Modell der Maschine ihr zu erwartender Weg und/oder ihre Geschwindigkeit angezeigt wird.
-
Es wird ferner eine Kombination aus einer Bedienerschnittstelle mit mindestens einer autonomen Maschine beschrieben, wobei die Maschine eine elektronische Kontrolleinheit umfasst, in welcher der abzuarbeitende Arbeitsauftrag abgespeichert ist und die konfiguriert ist, anhand eines satellitenbasierten Positionsbestimmungssystems und/oder lokaler Sensoren die Maschine selbsttätig über ein Feld zu leiten und den Arbeitsauftrag durchzuführen, in welchem die zurückzulegenden Wege und zugehörigen Geschwindigkeiten der Maschine definiert sind.
-
In dem in der Kontrolleinheit abgespeicherten Arbeitsauftrag können weitere Arbeitsparameter der Maschine und/oder eines Arbeitsgerätes, wie Bearbeitungstiefen und Ausbringparameter für Produkte, definiert sein.
-
Figurenliste
-
In den Zeichnungen sind nachfolgend näher beschriebene Ausführungsbeispiele dargestellt. Es zeigen:
- 1 eine schematische seitliche Ansicht eines Systems, das aus zwei autonomen Maschinen aufgebaut ist, sowie eine Bedienerschnittstelle für das System,
- 2 eine Ansicht eines ersten Bildschirms der Bedienerschnittstelle,
- 3 eine Ansicht eines zweiten Bildschirms der Bedienerschnittstelle, und
- 4 ein Flussdiagramm, nach welchem die Bedienerschnittstelle betrieben werden kann.
-
Die 1 zeigt eine schematische seitliche Ansicht eines Systems zur Bearbeitung landwirtschaftlicher Felder, das aus zwei autonomen, selbstfahrenden und automatisch gesteuerten Maschinen 10, 20 aufgebaut ist, sowie eine Bedienerschnittstelle 30 für die beiden Maschinen 10, 20.
-
Die erste Maschine 10 umfasst ein tragendes Gestell 12, das durch vordere Rädern 14 und hintere Räder 16 in einer Vorwärtsrichtung über ein Feld bewegbar ist. Die Räder 14, 16 werden elektrisch durch zugehörige Einzelradantriebe 22, 24 angetrieben und eine erste elektronische Kontrolleinheit 18 kontrolliert die Fahrgeschwindigkeit und die Lenkrichtung der ersten Maschine 10, sei es mittels eines Lenkaktors zur Verschwenkung der vorderen Räder 14 um die Hochachse und/oder durch unterschiedliche Umfangsgeschwindigkeiten der Räder 14, 16 auf der linken und rechten Seite.
-
Die erste Maschine 10 wird über ein erstes Kabel 26 elektrisch versorgt, das bei der Arbeit auf dem Feld von einer Kabeltrommel 31 abgewickelt wird, die an der Vorderseite der ersten Maschine 10 angebracht ist. Das erste Kabel 26 wird von der Kabeltrommel 31 über einen Baum 32 mit einem bewegbaren Ausleger 28 geführt, um es an geeigneten Stellen auf dem Feld abzulegen, wenn sich die erste Maschine 10 von einer Stromquelle entfernt und es auf dem Weg zurück zur Stromquelle wieder aufzunehmen. Das andere Ende des ersten Kabels 26 wird an einer geeigneten Stelle mit dem öffentlichen Stromnetz oder einer beliebigen, anderen Stromquelle verbunden.
-
An der Rückseite der ersten Maschine 10 ist ein erstes Arbeitsgerät 32 durch einen von der ersten elektronischen Kontrolleinheit 18 gesteuerten Aktor 38 höhenverstellbar und aushebbar angebracht. Die Schnittstelle 40 zwischen dem tragenden Gestell 12 und dem erstes Arbeitsgerät 32 kann beispielsweise als an sich bekannte Dreipunktkupplung ausgeführt sein, während der Aktor 38 als Kraftheber zum Anheben der Unterlenker der Dreipunktkupplung dient.
-
Die zweite Maschine 20 umfasst ebenfalls ein tragendes Gestell 34, das sich in der dargestellten Ausführungsform jedoch über ein Paar an Raupenlaufwerken 36 auf dem Boden abstützt. Die Raupenlaufwerke 36 werden ebenfalls elektrisch angetrieben. Die Stromversorgung der zugehörigen Elektromotore erfolgt über ein zweites Kabel 42, das in Schlaufen an einer Leine 44 hängt, die zwischen einem rückwärtigen Mast 46 der ersten Maschine 10 und einem Mast 48 der zweiten Maschine 20 gespannt ist. Die Leine 44 kann auf einer Haspel aufgewickelt werden, um sie hinreichend stramm zu halten. Die zweite Maschine 20 umfasst eine aktorisch höhenverstellbare und aushebbare Schnittstelle 50, an der ein zweites Arbeitsgerät 52 befestigt ist, das zumindest in der Straßenfahrposition, wie sie in der 1 gezeigt ist, auf Rädern 54 läuft. Die zweite Maschine 20 umfasst eine zweite elektronische Kontrolleinheit 56, welche die Elektromotoren für den Antrieb der Raupenlaufwerke 36 und den Aktor für die Schnittstelle 50 steuert.
-
Die Maschinen 10, 20 können dazu dienen, beliebige landwirtschaftliche Arbeiten durchzuführen. Im dargestellten Beispiel können die Arbeitsgeräte 32, 52 zur Bodenbearbeitung dienen. Die Arbeitsgeräte 32, 52 können gleichartig sein und sich nebeneinander über das Feld bewegen, um jeweils dieselbe Aufgabe durchführen, oder sie sind unterschiedlich und führen (hintereinander über das Feld geführt) jeweils unterschiedliche Aufgaben aus, wie Bodenbearbeitung und Säen.
-
Der technische Aufbau der ersten und zweiten Maschine 10, 20, ihre Stromversorgung und Kontrolle wird in den Dokumenten
DE 10 2019 203 653 A1 ,
DE 2019 202 826 A1 ,
DE 10 2017 217 481 A1 ,
DE 10 2017 215 822 A1 und
DE 10 2017 201 544 A1 , Pfaffmann, S. et al.,, Landwirtschaftliche Schwarmeinheit mit integriertem Energieverteilungssystem, verfasst für die Proceedings of the 6th Commercial Vehicle Technology Symposium - CVT 2020, 10.-12.3.2020 an der TU Kaiserslautern, zur Veröffentlichung vorgesehen für 2021, ISBN 978-3-658-29716-9, sowie de Moraes Boos, F. et al., Automation of a Grid Connected Agricultural Swarm, a.a.O., im Detail beschrieben, deren Offenbarung durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird. Die Maschinen 10, 20 sind hier lediglich als Beispiel für beliebige, autonom arbeitende Maschinen zu verstehen. Sie könnten auch allein anstelle gemeinsam arbeiten und mit Verbrennungsmotoren oder anderen Mitteln zur Energieversorgung ausgestattet sein, wie Batterien, Solarzellen, Brennstoffzellen etc. Es muss sich nicht unbedingt um landwirtschaftliche Maschinen handeln, sondern sie können auch gartenbauliche Aufgaben erfüllen oder als Bau- oder Straßenbaumaschine ausgeführt sein.
-
Während die beiden Maschinen 10, 20 grundsätzlich durch die zugehörigen elektronischen Kontrolleinheiten 18, 56 ohne menschliches Zutun gesteuert werden, indem sie beispielsweise anhand einer abgespeicherten Karte und satellitenbasierter Positionsbestimmungssysteme 58, 60 (GNSS, engl.: Global Navigation Satellite Systems, wie GPS, Galileo, Glonass etc.), die durch lokale oder weiträumige Differenzsignale (DGPS), Trägheitssensoren, Sensoren zur Erfassung der Bewegung der Räder 14, 16 bzw. Raupenlaufwerke 36, maschinenbasierte Sensoren wie Kameras 62, 64 und/oder Laserscanner zur Spurführung und Hinderniserkennung unterstützt werden können, selbsttätig über das Feld geführt werden, um einen vorbestimmten Arbeitsauftrag durchzuführen, in welchem die zurückzulegenden Wege und zugehörigen Geschwindigkeiten und ggf. sonstige Arbeitsparameter, wie Bearbeitungstiefen und Ausbringparameter für Produkte, im Vorab festgelegt wurden, ist zur Überwachung und Beauftragung der Maschinen 10, 20 die Bedienerschnittstelle 30 vorgesehen, die als stationäres oder tragbares Gerät ausgeführt sein kann, z.B. als stationärer Computer oder mobiler Laptop- oder Tablet-Computer oder Smartphone. Es wäre auch denkbar, die Bedienerschnittstelle 30 dauerhaft oder lösbar in einer Bedienerstation einer der Maschinen 10, 20 anzubringen. Die Bedienerschnittstelle 30 umfasst einen Bildschirm 66, einen Prozessor 68, einen Speicher 72, eine Stromversorgung 74 und eine Kommunikationsschnittstelle 70, mittels welcher sie über ein beliebiges Protokoll (z.B. Intemetprotokoll, WLAN, GSM, LTE oder 5G) mit geeigneten Schnittstellen 78, 80 der elektronischen Kontrolleinheiten 18 und/oder 56 kommunizieren kann, sei es direkt oder dazwischengeschaltete Übertragungssystem. Die Schnittstellen 78, 80 der elektronischen Kontrolleinheiten 18, 56 können untereinander ebenfalls über ein beliebiges Protokoll kommunizieren, z.B. durch entlang des Kabels 42 übertragene Signale oder über denselben Weg, auf dem sie mit der Kommunikationsschnittstelle 70 der Bedienerschnittstelle 30 kommunizieren. Eine der Kontrolleinheiten 18 oder 56 könnte standardmäßig oder als Rückfallposition eine indirekte Kommunikation der jeweils anderen Kontrolleinheit 56 oder 18 mit der Bedienerschnittstelle 30 ermöglichen.
-
Die Bedienerschnittstelle 30 ermöglicht einem von den Maschinen 10, 20 beabstandeten Bediener eine Kenntnisnahme der Produktionsumgebung (Feld) der Maschinen 10, 20, und ruft diese in sein Bewusstsein, indem sie den Betrieb der Maschinen 10, 20 in einer virtuellen Umgebung darstellen, die eine beliebige Beobachtungsperspektive erlaubt und durch überlagerte Informationen ergänzt werden kann. Zudem wird durch eine Anzeige von Rückkopplungs- und Einstellwerten das Verständnis der erzielten Leistungen und des Zustands durch eine eindeutige Anzeige von gewünschten und aktuellen Maschinenzuständen erleichtert, einschließlich einer Identifikation eventueller Fehlerzustände. Die Kombination von Einstellwerten, Rückkopplungswerten (Istzuständen) und auszuführenden Auftragsplänen wie auch von in die Zukunft projizierten Wegen kann somit in einer vorbeugenden Weise dramatische Fehlerzustände wie drohende Kollisionen zwischen einzelnen und mehreren, sich gleichzeitig bewegenden Maschinen 10, 20 anzeigen. Schließlich benötigt die hier gezeigte, virtuelle Umgebung gegenüber einer Bildübertragung der kompletten Umgebung der Maschinen 10, 20 eine verminderte Bandbreite aufgrund der relativ kleinen, zu übertragenden Informationsmengen, was einen Datenaustausch bei interaktiven Geschwindigkeiten ermöglicht.
-
Die vorliegend beschriebene Bedienerschnittstelle 30 basiert auf bereits verfügbaren, mobilen Maschinen 10, 20, die bereits Verbindungsmöglichkeiten aufweisen, welche die Übertragung von Daten ermöglichen, während sich durch Technologien wie offene und private 5G-Netzwerke die Fähigkeiten zur Kommunikation in Zukunft weiter verbessem werden. Zudem sind autonome und hoch automatisierte Maschinen von sich aus mit Sensoren ausgestattet, die alle zur Herstellung der Automatisierung benötigten Maschinenfunktionen abdecken, um auf diese Weise die Daten bereitzustellen, um digital und beabstandet den vollen Umfang der Position und Ausrichtung der Maschinen 10, 20, den Zustand der Aktoren und Einstellwerte zu reproduzieren.
-
Eine erste Ausführungsform zur Darstellung der Maschinen 10, 20 auf dem Bildschirm 66 der Bedienerschnittschnittstelle 30 ist in der 2 gezeigt. Der Bildschirm 66 kann als berührungsempfindlicher Bildschirm 66 ausgeführt sein und/oder die Bedienerschnittstelle 30 ist mit anderen Eingabemitteln, wie Tastatur, Maus etc. ausgestattet.
-
Auf dem Bildschirm 66 wird ein Visualisierungsfenster A gezeigt. Dieses zeigt eine Ansicht, mit welcher der Bediener die virtuelle Umgebung der Maschinen 10, 20 darstellen kann. Sie kann so kontrolliert werden, dass sie die vom Bediener gewünschte Perspektive anzeigt. Mit anderen Worten ist die Perspektive durch den Bediener wählbar. Es kann also die in den 2 und 3 gezeigte, dreidimensionale Vogelperspektive schräg von oben und von der Seite gezeigt werden, oder eine beliebige andere Perspektive z.B. die Maschinen 10, 20 genau von oben oder von der Seite her (zweidimensional oder dreidimensional) zeigen.
-
Die dreidimensionalen Modelle (Metadaten) der Maschinen 10, 20, auf denen die Darstellung (z.B. A1) in den Figuren beruht, können in den elektronischen Kontrolleinheiten 18, 56 abgespeichert sein und bei einer ersten Verbindungsaufnahme über die Kommunikationsschnittstellen 70, 78, 80 an die Bedienerschnittstelle 30 übertragen werden, oder sie werden durch den Prozessor 68 der Bedienerschnittstelle 30 anhand einer übertragenen Information aus dem Speicher 72 oder von einer beabstandeten Datenbank abgerufen. Die Modelle werden anschließend basierend auf Daten von Rückkopplungssensoren animiert. Mehrere Sensoren tragen zu einer realistischen Darstellung bei, wie die Positionsdaten von den Positionsbestimmungssystemen 58, 60, Lenkwinkelsensoren 82, Positionssensoren 84, 86 zur Erfassung der Position der Schnittstellen 40, 50 für die Arbeitsgeräte 32, 52, um zu erkennen, ob die Arbeitsgeräte 32, 52 angehoben oder abgesenkt und ggf. aus einer Transportposition in eine Arbeitsposition ausgeklappt sind. Im Visualisierungsfenster A werden die (ersten Modelle A1 der) Maschinen 10, 20 somit in korrekter Position und Ausrichtung nicht nur der Maschinen 10, 20, sondern auch (die Modelle A1) der Arbeitsgeräte 32, 52 gezeigt. Auch die Lenkrichtung der lenkbaren Räder 14 kann dargestellt werden. Die beschriebene Darstellung der Modelle der Maschinen 10, 20 und Arbeitsgeräte 32, 52 entspricht den mittels der in diesem Absatz beschriebenen Sensoren ermittelten Istwerten für Position und Ausrichtung der Maschinen 10, 20 und Arbeitsgeräten 32, 52.
-
In der 3 sind nicht nur die ersten Modelle (A1) der Istwerte der Positionen und Ausrichtungen der Maschinen 10, 20 und Arbeitsgeräten 32, 52 im Feld in durchgezogenen Linien gezeigt, sondern auch ein zweites Modell (A2) zumindest der Maschine 10 in Phantomlinien. Das zugehörige zweite Modell wird auf analoge Weise wie das erste Modell erzeugt, jedoch basierend auf Sollwerten der elektronischen Kontrolleinheiten 18, 56. Diese Sollwerte können durch einen Arbeitsauftrag vorgegeben sein, der von den Maschinen 10, 20 abgearbeitet wird. Das auf den Sollwerten beruhende Modell (A2) stellt den von den elektronischen Kontrolleinheiten 18, 56 gewünschten Zustand der Maschinen 10, 20 dar. Dieses Modell ist anders als das auf den Istwerten beruhende Modell (A1) texturiert (hier in Phantomlinien), um den Unterschied visuell zu repräsentieren. Während eines normalen Betriebs werden bei einem autonomen oder hochgradig automatisierten System aus den beiden Maschinen 10, 20 das auf Istwerten beruhende Modell A1 und das auf Sollwerten beruhende Modell A2 recht eng zusammen oder übereinander liegen. Durch die Visualisierung der Unterschiede zwischen den Modellen A1, A2 kann der Bediener nicht nur eventuelle Abweichungen von einem normalen Betrieb erkennen, sondern auch beurteilen, welche Teile der Maschine 10, 20 betroffen sind, um die Natur und ggf. Ursache der Abweichung zu erkennen und sie nötigenfalls beheben zu können. Zu beachten ist, dass hier nicht nur eine Abweichung zwischen Soll- und Istwerten der beidem Modelle A2, A1 in seitlicher Richtung, sondern auch in Vorwärtsrichtung der Maschinen 10, 20 angezeigt wird. Dadurch lässt sich erkennen, ob Arbeitsauftrag schneller oder langsamer als in der Planung des Arbeitsauftrags vorgesehen war, abgearbeitet wird. Anders als gezeigt, kann das zweite angezeigte Modell (A2) auch das zweite Modell des Arbeitsgeräts 32, 52 repräsentieren. Die Darstellungsweise kann insbesondere mit jener des zweiten Modells (A2) der Maschine 10, 20 übereinstimmen.
-
Auf dem Bildschirm 66 wird (mit A3 gekennzeichnet) eine Darstellung der erwarteten Trajektorie der Maschinen 10, 20 angezeigt, basierend auf ihrer Ausrichtung, Geschwindigkeit und auf dem Lenkwinkel bzw. Geschwindigkeitsdifferenz der linken und rechten Räder 14, 16 bzw. Raupenlaufwerke 36 beruhender Krümmung der Trajektorie. Hierzu kann ein kinematisches Modell anhand der Metadaten erstellt und zur Berechnung der zukünftigen Trajektorie verwendet. Die Darstellung A3 der Trajektorie ist linienförmig und vor oder hinter der Maschine 10, 20 angeordnet, um die Bewegungsrichtung zu verdeutlichen.
-
Die Linien der Trajektorien sind proportional zum Lenkwinkel gekrümmt, um darzustellen, wo die Maschine 10, 20 entlang fahren wird, wenn derselbe Lenkwinkel aufrechterhalten wird. Zudem ist die Länge der Linien der Trajektorie proportional zur jeweiligen Geschwindigkeit der Maschine 10, 20, um eine visuelle Anzeige sowohl der Geschwindigkeit wie auch der zum Anhalten erforderlichen Entfernung zu geben.
-
Numerische und farbkodierte Informationen können in dynamisch in der Nähe des Modells der Maschinen 10, 20 als dynamisches Popup-InformationsfensterA4 angezeigt werden, um lesbare Daten bereitzustellen, ohne einen Wechsel der Aufmerksamkeit zu anderen Stellen des Bildschirms 66 zu erfordern.
-
Die im Arbeitsauftrag, der durch den Bediener über die Bedienerschnittstelle 30 in die elektronischen Kontrolleinheiten 18, 56 hochgeladen oder von den elektronischen Kontrolleinheiten 18, 56 der Maschinen 10, 20 selbst festgelegt wurde, definierten Bearbeitungslinien der Maschinen 10, 20 werden ebenfalls dargestellt (A5). Der Bediener erhält dadurch eine Information für die geplante Trajektorie der Maschinen 10, 20. Die einzelnen Abschnitte der Bearbeitungslinien A5 können, abhängig von der jeweiligen Funktion des Abschnitts, wie Vorgewende und Feldarbeit, unterschiedlich gefärbt sein. Die Arbeitsaufträge können durch Betätigen des Elements C im Detail eingesehen und ggf. modifiziert oder eingegeben werden.
-
In einem Fenster A6 kann der Bediener die Videoströme von verschiedenen Quellen, wie den Kameras 62, 64 der Maschinen 10, 20, als auch von anderen Kameras, die z.B. an einer Drone angebracht sind (vgl. Fenster A6 in 3), zur Anzeige bringen. Die im Fenster A angezeigte virtuelle Umgebung der Maschinen 10, 20 unterstützen und informieren den Bediener bei der Entscheidung, ob und ggf. welcher Videostrom relevante Information enthält, die ansehenswert ist.
-
Im Fenster A1 wird (durch A7 gekennzeichnet) zudem eine Umgebungskarte gezeigt, die mittels der Kommunikationsschnittstellen 70, 78, 80 von den elektronischen Kontrolleinheiten 18, 56 der Maschinen 10, 20 heruntergeladen oder als lokale Kopie im Speicher 72 abgelegt oder von einer beliebigen anderen Quelle heruntergeladen wurde, z.B. von Luft- oder Satellitenbilddatenbanken, oder lediglich aus Feldgrenzen bestehen kann.
-
Mit A8 sind Kontrollelemente der Bedienerschnittstelle gezeigt, die beispielsweise unter Verwendung geeigneter Eingabemittel, wie Tastatur, Maus, Touchpad, Touchscreen, zur Auswahl der Kamera 62, 64, deren Bilder jeweils angezeigt werden, dienen können. Hiermit kann auch die Ausrichtung, der Bildwinkel und die Schärfeebene der Kamera durch den Bediener variiert werden.
-
In einem Feld B kann die Verbindung zu den Maschinen 10, 20 verwaltet werden, wobei Informationen zu Verbindungseigenschaften wie Verbindungsqualität gezeigt werden. In einem Feld C können Arbeitsaufträge an die Maschinen 10, 20 ausgewählt, verwaltet, angezeigt und ihre Ausführung veranlasst werden. Durch Kontrollelemente D auf dem Bildschirm 66 der Bedienerschnittstelle 30 können Anweisungen an die beabstandeten Maschinen 10, 20 abgegeben werden. Wichtige Aktionen, wie Start und Stopp, sollten schnell zugänglich sein (Feld D1). Zudem sind Felder D2 für die einzelnen Maschinen 10, 20 für detaillierte Informationen bereitgestellt, wie auch zur Auswahl von Kontrollverfahren wie manuelles, beabstandetes Lenken (manuelle Fernsteuerung durch den Bediener) oder anderer Merkmale, wie Aktivierung der Arbeitsgeräte 32, 52.
-
Die
4 zeigt ein Flussdiagramm, nach welchem das System der
1 betrieben werden kann. Nach dem Start im Schritt 100, der durch Betätigen eines entsprechenden Elements der Bedienerschnittstelle 30 betätigt veranlasst werden kann, folgt der Schritt 102, in welchem ein Arbeitsauftrag für die Maschinen 10, 20 erstellt wird. Dieser Arbeitsplan kann durch den Prozessor 68 der Bedienerschnittstelle 30 oder einen beliebigen anderen Prozessor erstellt werden, in der Regel basierend auf Daten hinsichtlich des zu bearbeitenden Feldes (Lage, Grenzen, Bodeneigenschaften, Vorgeschichte einschließlich ggf. vorhandener Pflanzen etc.) und der Maschinen 10, 20, wie Arbeitsbreite, Lenkradius und anderer technischer Daten, unter Verwendung einer geeigneten Planungssoftware (hierzu vgl.
EP 3 278 645 A1 und dort zitierter Stand der Technik). Der Arbeitsplan kann durch Bedienereingaben beeinflusst oder geändert werden.
-
Der fertige Arbeitsplan wird dann im Schritt 104 an die Maschinen 10, 20 gesendet und diese werden zum Feld verbracht, sei es durch entsprechende Lenk- und Geschwindigkeitsvorgaben an die Maschinen 10, 20 selbst (insbesondere, wenn diese auf nicht-öffentlichen Wegen zum Feld kommen), oder sie werden dorthin auf einem Fahrzeug transportiert. Im Schritt 106 wird der Arbeitsauftrag durchgeführt, wobei Daten hinsichtlich der Position der Maschinen 10, 20 und die oben beschriebenen Sensorwerte fortlaufend (telemetrisch) an die Bedienerschnittstelle 30 übermittelt werden. Letztere kann sich in der Nähe des Feldes oder an einer beliebigen, anderen Stelle befinden. Im Schritt 108 erfolgt eine Darstellung der virtuellen Karte des Feldes mit den Modellen der Maschinen 10, 20 auf dem Bildschirm 66 der Bedienerschnittstelle 30, vorzugsweise aber nicht notwendigerweise mit einer Darstellung der aktuellen Position der Maschinen (A1 in 2 und 3) und einer Darstellung der gemäß Arbeitsauftrag vorgesehenen Position der Maschinen (A1 in 2 und 3). Die Darstellung der der gemäß Arbeitsauftrag vorgesehenen Position der Maschinen (A1 in 2 und 3) kann auch entfallen, solange die Abweichung zwischen beiden (Soll- und Ist-) Positionen unterhalb eines vorbestimmten, vernachlässigbaren Schwellenwertes liegt. Es folgt der Schritt 110, in welchem abgefragt wird, ob der Arbeitsauftrag komplett abgearbeitet wurde, und wieder der Schritt 106, wenn das nicht der Fall ist und anderenfalls wird der Vorgang im Schritt 112 beendet, woraufhin die Maschinen 10, 20 wieder zu ihrer Heimatposition auf einem landwirtschaftlichen Betrieb bzw. Lohnunternehmen zurück oder zur Durchführung eines weiteren Arbeitsauftrags auf ein anderes Feld verbracht werden.
-
Bezugszeichenliste
-
- 100
- Start
- 102
- Arbeitsauftrag erstellen
- 104
- Arbeitsauftrag an Maschine senden, Maschine auf Feld positionieren
- 106
- Arbeitsauftrag durchführen, Positionen und Sensorwerte fortlaufend an 30 senden
- 108
- Darstellung der virtuellen Karte mit Maschine an Soll- und Istposition
- 110
- fertig?
- 112
- Ende
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 19705842 A1 [0003]
- DE 10244822 A1 [0003]
- DE 102017201425 A1 [0003]
- DE 102018205743 A1 [0003]
- DE 102019219212 A1 [0003, 0004]
- EP 3125059 A1 [0003]
- EP 3468827 B1 [0003]
- EP 3469436 B1 [0003]
- US 2015/0319913 A1 [0003]
- US 2017/0315515 A1 [0003]
- US 2018/0024549 A1 [0003]
- WO 2020/206936 A1 [0003]
- DE 102014218059 A1 [0003]
- DE 102016118237 A1 [0003]
- US 2016/0138247 A1 [0003, 0004]
- WO 2015/049847 A1 [0003]
- DE 102006026572 A1 [0003, 0004]
- DE 102019203653 A1 [0024]
- DE 2019202826 A1 [0024]
- DE 102017217481 A1 [0024]
- DE 102017215822 A1 [0024]
- DE 102017201544 A1 [0024]
- EP 3278645 A1 [0040]
