-
Die Erfindung betrifft ein Verfahren und eine Einrichtung zum Kollisionen bedingt zulassenden Betrieb von insbesondere autonom agierenden Arbeitsmaschinen, insbesondere von wenigstens eine Kinematik bzw. ein Werkzeug aufweisenden mobilen Arbeitsmaschinen, gemäß den Oberbegriffen der jeweiligen unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung sind auch ein Computerprogramm, ein maschinenlesbarer Datenträger zur Speicherung des Computerprogramms und ein elektronisches Steuergerät, mittels derer das Verfahren durchführbar ist.
-
Stand der Technik
-
Hier betroffene Maschinen, z.B. fahrende Baumaschinen wie Schaufelbagger oder fahrende forst- oder landwirtschaftliche Maschinen wie Traktoren oder Mähdrescher, werden zunehmend autonom oder von einem Fahrerassistenzsystem unterstützt bzw. assistiert betrieben. Eine wesentliche Voraussetzung dafür ist eine zuverlässige und vorausschauende Erkennung einer Umgebungs- bzw. Verkehrssituation um die Maschine bzw. das entsprechende Fahrzeug herum. Ein dabei bekanntermaßen eingesetztes Umgebungsmodell enthält dazu notwendige Informationen, um eine Situationsanalyse abzuleiten und eine Manöverplanung durchführen zu können. Das Umgebungsmodell repräsentiert also die Umgebung des Fahrzeugs. Zum Beispiel weist das Umgebungsmodell Infrastrukturelemente und/oder andere Verkehrsteilnehmer, insbesondere Fahrzeuge, in der Umgebung des Fahrzeugs auf. Das auf dem Fahrzeug installierte Sensorsystem muss dazu bewegte bzw. ortsveränderliche und ortsfeste Objekte erkennen und entscheiden, ob es notwendig ist zu bremsen und/oder auf Basis einer Trajektorienplanung und eines geeigneten Systemeingriffs auszuweichen, oder ob ein eingreifendes Manöver nicht erforderlich ist. Zur Erstellung des Umgebungsmodells werden von fahrzeugeigenen Sensoren und/oder von Sensoren anderer Fahrzeuge und/oder von in der Umgebung ortsfest installierten Sensoren bereitgestellte Daten bzw. Informationen mit vorliegenden Topographie- bzw. Infrastrukturdaten abgeglichen.
-
Der räumliche Zustand einer Arbeitsmaschine lässt sich durch die aus der Robotik bekannte „Pose“ beschreiben. Diese stellt eine vollständige geometrische Beschreibung einer Vorrichtung dar, indem sie alle räumlichen Freiheitsgrade der Vorrichtung quantifiziert. Bei räumlich starren Vorrichtungen, z.B. bei einem Kraftfahrzeug, sind dies die Position eines Referenzpunktes des Fahrzeugs im Raum sowie die räumliche Orientierung des Fahrzeugs. Bei einer mehrgelenkigen Arbeitsmaschiene beschreibt die Pose zusätzlich die Stellung jedes einzelnen Gelenks der Maschine.
-
Ausgehend vom Begriff der Pose ist im Folgenden der Begriff der „Trajektorie“ als zeitlicher Verlauf der Pose einer jeweiligen Arbeitsmaschine zu verstehen.
-
Während bei Fahrzeugen im Straßenverkehr in der Regel jegliche Kollisionen des Fahrzeugs mit seiner Umgebung zu vermeiden sind und Annäherungen an Objekte mit einem Kollisionspotential generell zu Warnungen führen, ergeben sich bei Arbeitsmaschinen und deren Werkzeugen notwendigerweise prozessbedingte Kontakte mit und in die Arbeitsgegenstände bzw. Werkstücke bzw. Werkstoffe hinein („gewollte Kollisionen“).
-
Offenbarung der Erfindung
-
Der Erfindung liegt die Idee zugrunde, räumliche (3D-) Bereiche in der Umgebung der Arbeitsmaschine, in denen für einen vorliegenden Arbeitsprozess bedingte Kollisionen zulässig sind sowie Bereiche, in denen Kollisionen z.B. aus Gründen des Personenschutzes nicht zulässig sind, zu erkennen bzw. zu ermitteln. Unter einer zulässigen Kollision kann eine Kollision verstanden werden, die von einem Bediener der Maschine bzw. der Kinematik erwünscht ist, bspw. um Material aufzunehmen oder abzugeben bzw. um eine Umgebung der Maschine mittels der Kinematik zu bearbeiten. Unter einer nicht zulässigen Kollision kann eine Kollision verstanden werden, die von dem Bediener nicht erwünscht ist bzw. die einen Unfall mit Sach- oder Personenschaden zur Folge hat.
-
Die Erkenntnis über solche räumlichen Bereiche ermöglicht eine vorhersehbare und damit überprüfbare Interaktion von Maschine und/oder Kinematik bzw. Werkzeug und/oder Arbeitsgegenstand und/oder Personen in einer Umgebung, welche bevorzugt semantisch repräsentiert wird. Dabei kommt eine semantische 3D-Karte zum Einsatz, welche eine in der mobilen Robotik bereits eingesetzte metrische Karte darstellt und welche neben geometrischen oder topographischen Informationen zu 3D-Messpunkten zusätzlich semantische Bezeichnungen der jeweiligen Messpunkte enthält. Das heißt, mit anderen Worten, unter einer semantischen Karte kann eine metrische bzw. geometrische und/oder topographische Karte verstanden werden, die zusätzliche Informationen in Form von Bezeichungen bzw. Beschriftungen von Punkten in der Karte aufweist. Mittels solcher Karten lassen sich Bereiche mit zulässigen Interaktionen von denen mit unzulässigen Interaktionen unterscheiden und darauf basierend Kollisionswarnungen und Systemeingriffe in Arbeitsbereichen und Arbeitsprozessen realisieren.
-
Mittels einer geeigneten Anordnung von Sensoren sowie einer geeigneten Zusammenführung entsprechend erfasster Sensorsignale können die räumliche Position und Orientierung, die sog. „Pose“, einer hier betroffenen Arbeitsmaschine und/oder eines Werkzeugs der Arbeitsmaschine in Bezug auf die Umgebung, z.B. anhand eines die Pose des Werkzeugs definierenden, sogenannten „Tool Center Point“ (TCP), präzise ermittelt werden. Dadurch werden insbesondere entsprechende Automatisierungsfunktionen bei einer autonom agierenden bzw. betriebenen Arbeitsmaschine ermöglicht.
-
Es ist anzumerken, dass die Bestimmung des TCP bekanntermaßen die Grundlage nahezu jedes Assistenzsystems für Maschinen mit Manipulator-Kinematik, z.B. für Bagger, Telehandler, Forstmaschinen, Baukräne oder LKW-Ladekrane, darstellt. Zudem ermöglicht die genaue Kenntnis des TCP eine präzise Begrenzung des Arbeitsbereichs der Maschine sowie ein genaues Protokollieren des Baufortschritts insbesondere bei einem automatischen bzw. teilautomatischen Betrieb der Maschine.
-
Die Erfindung schlägt ein Verfahren zum Kollisionen bedingt zulassenden Betrieb von hier betroffenen Arbeitsmaschinen vor, wobei die Pose der Maschine und/oder der Kinematik bzw. des Werkzeugs anhand eines die Posenbestimmung durchführenden, insbesondere signaltechnischen, Messverfahrens ermittelt wird, wobei die so ermittelte Pose der Maschine bzw. der Kinematik mit der semantischen 3D-Karte verglichen wird, und wobei mögliche bedingt zulässige oder nicht zulässige Kollisionen mit Objekten in der Umgebung der Maschine zuverlässig erkannt bzw. ermittelt werden. Das Messverfahren kann das Erfassen der Pose der Maschine und/oder des Werkzeugs basierend auf mittels Sensorik erzeugten Messdaten umfassen. Bei dem Verfahren kann mittels an der Arbeitsmaschine angeordneter Umgebungssensoren und/oder mittels Sensoren anderer Maschinen und/oder mittels ortsfest in der Umgebung der Maschine installierter Sensoren auf der Grundlage einer vorliegenden semantischen Karte ein Umgebungsmodell für die Maschine erstellt werden.
-
Bei dem Verfahren können zudem Bereiche in der semantischen Karte identifiziert werden, in denen die Maschine auch bei möglichen Kollisionen mit den Objekten zulässig betrieben werden darf, und Bereiche in der semantischen Karte identifiziert werden, in denen die Maschine bezüglich der möglichen Kollisionen mit den Objekten bewegt werden darf, ohne mit den Objekten zu kollidieren. Die so identifizierten Bereiche der semantischen Karte können mit TCP-Positionsdaten der Kinematik abgeglichen werden.
-
Auch kann bei dem Verfahren vorgesehen sein, dass die Objekte in der semantischen Karte bezüglich möglicher Kollisionen mit der Maschine und/oder der Kinematik als bedingt zulässig oder als nicht zulässig klassifiziert werden. Im Betrieb der Maschine kann ferner vorgesehen sein, dass aufgrund einer geplanten oder prognostizierten Bewegungstrajektorie der Maschine und/oder der Kinematik bezüglich der klassifizierten Objekte im Bereich der geplanten oder prognostizierten Bewegungstrajektorie unzulässige Interaktionen erkannt werden und dass bei wenigstens einer erkannten Interaktion eine Warnmeldung an einen Bediener der Maschine ausgegeben wird und/oder ein kollisionsverhindernder Eingriff in den Betrieb der Maschine vorgenommen wird.
-
Die ebenfalls vorgeschlagene Einrichtung macht sich mittels einer genannten Sensorik und/oder Signaltechnik erfasste Posedaten der Maschine und/oder der Kinematik zunutze, um anhand von Sensor- bzw. Posedaten der Maschine bzw. der Kinematik mittels einer semantischen 3D-Karte mögliche bedingt zulässige oder nicht zulässige Kollisionen mit Objekten in der Umgebung der Maschine zuverlässig zu erkennen bzw. zu ermitteln und die Maschine bzw. an der Kinematik der Maschine angeordnete Aktuatoren in der Weise anzusteuern, dass nur bedingt zulässige Kollisionen mit den Objekten zugelassen werden.
-
Die Einrichtung kann ein Lokalisierungselement zur Lokalisierung der Maschine mittels einer semantischen Karte, ein Planungselement zur Planung von seitens der Maschine durchzuführenden Arbeitsaufgaben und Arbeitsschritten, ein Trajektorenplanungselement zur Planung, Prognose und Beobachtung der Bewegung der Maschine und/oder der Kinematik und/oder von in der Umgebung der Maschine angeordneten Objekten, einem auf der semantischen Karte beruhenden Umgebungsmodell, einem Szeneninterpretationselement zum Prognostizieren potentieller Kollisionen mit dem wenigstens einen Objekt, und einem Aktuationsmanagementelement zur Durchführung geeigneter Maßnahmen zur Vermeidung einer nicht zulässigen Kollision mit dem wenigstens einen Objekt aufweisen.
-
Zudem kann die Einrichtung ein Fahrzeugmodell betreffend die Bewegungsdynamik der Maschine und das Steuer- und Regelverhalten der Maschine aufweisen bzw. bereitstellen.
-
Bei der Einrichtung kann ferner vorgesehen sein, dass mittels des Szeneninterpretationselementes Interaktionen von in der Umgebung der Maschine befindlichen weiteren Maschinen, Werkzeugen, Werkstücken oder Arbeitsgegenständen sowie damit verbundene Veränderungen in der Umgebung der Maschine prognostiziert, erkannt und/oder plausibilisiert werden.
-
Die Erfindung ermöglicht somit vorteilhaft den autonomen oder automatisierbaren Betrieb einer hier betroffenen Arbeitsmaschine.
-
Die Erfindung kann insbesondere bei bzw. in einer mobilen Arbeitsmaschine, z.B. einem Schaufelbagger oder einer Mähmaschine, zum Einsatz kommen.
-
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere wenn es auf einem Rechengerät oder einem Steuergerät abläuft. Es ermöglicht die Implementierung des Verfahrens auf einem elektronischen Steuergerät, ohne an diesem bauliche Veränderungen vornehmen zu müssen. Hierzu ist der maschinenlesbare Datenträger vorgesehen, auf welchem das Computerprogramm gespeichert ist. Durch Aufspielen des Computerprogramms auf ein elektronisches Steuergerät wird das elektronische Steuergerät erhalten, welches eingerichtet ist, um eine hier betroffene Maschine mittels des vorgeschlagenen Verfahrens zu betreiben bzw. zu steuern.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Figurenliste
-
- 1 zeigt schematisch einen eine Kinematik aufweisenden Schaufelbagger gemäß dem Stand der Technik, zur Erläuterung der Bestimmung eines „Tool Center Point“ (TCP).
- 2 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens anhand eines Flussdiagramms.
- 3 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung anhand eines Blockdiagramms.
-
Beschreibung von Ausführungsbeispielen
-
1 zeigt schematisch einen seitlichen Schnitt durch einen Schaufelbagger zur Illustration der Bestimmung eines genannten TCP („Tool Center Point“) mittels von an Teilen eines Baggerarms angeordneten Wegsensoren.
-
Der Schaufelbagger umfasst einen Unterwagen 100 sowie einen an dem Unterwagen 100 über eine Drehverbindung 103 drehbar gelagerten Oberwagen 105. An dem Oberwagen 105 ist eine Kinematik in Form eines Baggerarms angeordnet, und zwar mit einem ersten Gelenkarm 110, einem daran angeordneten zweiten Gelenkarm 115 sowie einen wiederum daran angeordneten dritten Gelenkarm 120. An dem dritten Gelenkarm 120 befindet sich eine Schaufel 125, in deren oberen Bereich der TCP 127 angeordnet ist. Der erste Gelenkarm 110 ist über ein erstes Verbindungsstück 130 schwenkbar an dem Oberwagen 105 angeordnet und über ein zweites Verbindungsstück 135 wiederum mit dem zweiten Gelenkarm 115 schwenkbar verbunden. Entsprechend sind der dritte Gelenkarm 120 sowie die Schaufel 125 über entsprechende Verbindungsstücke 137, 138 schwenkbar verbunden.
-
Im Betrieb des Schaufelbaggers sind die Gelenkarme 110, 115, 120 nicht völlig verwindungssteif und die Verbindungsstücke 130, 135, 137, 138 weisen Gelenkspiel auf, so dass es zu nicht vorhersehbaren Ungenauigkeiten bzw. Toleranzen bei der Position der Schaufel 125 und insbesondere des TCP 127 kommt. Zudem werden die Gelenkarme 110, 115, 120 sowie die Schaufel 125 hydraulisch mittels Hydraulikzylindern 140, 155, 170, 185 betrieben, wobei es an deren Verbindungstücken 145, 150, 160, 165, 175, 180, 190, 195 ebenfalls zu Gelenkspiel und damit zu weiteren Ungenauigkeiten bzw. Toleranzen bei der Positionsbestimmung des TCP 127 kommt.
-
Die relative Position des TCP 127 in Bezug auf einen Oberwagen 105 eines in 1 gezeigten Schaufelbaggers kann auf unterschiedliche Weise gemessen werden. So können dazu Inertialsensoren und Drehwinkelgeber eingesetzt werden. Allerdings ist die Posebestimmung anhand der Lage von Kinematik-Elementen mittels Inertialsensoren insbesondere bei Drehungen des Oberwagens meist relativ ungenau. Bei einem vorliegenden Sichtkontakt zwischen dem jeweiligen Sensor auf dem Oberwagen und dem TCP 127 kann daher auf der Grundlage einer Modellrechnung ein Abgleich zwischen der z.B. über Peilsender erfassten tatsächlichen räumlichen Position des TCP 127 und den über genannte Inertialsensoren und/oder über an hydraulischen Zylindern angeordnete Drucksensoren modellierten Position durchgeführt werden. Alternativ oder zusätzlich kommen direkte Messverfahren in Betracht, bei denen mittels wenigstens eines hochfrequenten Signalgebers bzw. Signalempfängers und/oder mittels wenigstens einer optischen Kamera und/oder mittels wenigstens eines Laserentfernungsmessers und/oder mittels wenigstens eines Ultraschallsensors die genaue TCP-Position erfasst wird.
-
Bei dem im Folgenden anhand des in 2 gezeigten Flussdiagramms beschriebenen Verfahren zur Erkennung bzw. Ermittlung von möglichen, bedingt zulässigen oder nicht zulässige Kollisionen mit Objekten in der Umgebung einer hier betroffenen Arbeitsmaschine wird zunächst mittels an der Arbeitsmaschine angeordneter Umgebungssensoren 205 und/oder mittels Sensoren anderer Maschinen auf der Grundlage einer Topographie oder Infrastruktur ein 3D-Umgebungsmodell bzw. eine 3D-Umgebungskarte 200 erstellt. Dabei können zusätzlich mittels an sich bekannter Verfahren des maschinellen Sehens oder der Mustererkennung auch ortsfeste Objekte, z.B. Gebäude, Straßen/Wege, Baugrube, Lichtmasten, Bäume oder Baumaterial, und nicht ortsfeste Objekte, z.B. stehende Maschinen, stehende Fahrzeuge oder stehende Personen, sowie bewegliche Objekte, z.B. laufende Personen, fahrende Fahrzeuge oder arbeitende Maschinen, erkannt und klassifiziert werden. Vorzugsweise werden die erkannten Objekte in einer semantische Karte erfasst, die optional z.B. auch noch mittels eines globalen Navigationssystems (GNSS) und zusätzlich mittels einer sogenannten „Real Time Kinematik“ (RTK) georeferenziert sein kann. Die somit vorliegende Arbeitsmaschine kann sich somit eigenständig und/oder assistiert in der semantischen Karte lokalisieren und darin navigieren.
-
Im Weiteren werden durch die nachfolgend beschriebenen Funktionen die jeweiligen Bereiche bzw. Teile der semantischen Karte identifiziert 210, in denen mit der Maschine gearbeitet werden darf (zulässige Kollisionen) und Bereiche bzw. Teile der semantischen Karte, in denen die Maschine bewegt werden darf, ohne mit Objekten zu kollidieren. Bei einer ggf. wiederholten Prüfung 215 auf mögliche Kollisionen tatsächlich sich ergebenden Kollisionen der Kinematik bzw. des Werkzeugs der Arbeitsmaschine mit Objekten der Umgebung können die genannten Bereiche bzw. Teile der semantischen Karte mit in der genannten Weise erfassten bzw. ermittelten TCP-Positionsdaten 225 verglichen werden 220.
-
Aufgrund der Bewegungsdynamik der Maschine (bzw. des Fahrzeugs) und ihrer Werkzeuge ergibt sich neben den möglichen und prognostizierbaren Bewegungstrajektorien auch ein notwendiger bzw. sinnvoller Kontakt mit der Umgebung und/oder mit einem zu bearbeitenden Werkstück bzw. Arbeitsstoff. So muss z.B. ein Radlader mit seiner Schaufel in einen Erdhaufen fahren können, um Schüttgut aufzunehmen, ein Presslufthammer in einem stumpfen Winkel seinen Meißel auf ein steiniges Werkstück bzw. Arbeitsmaterial aufsetzen können, um Material abzumeißeln, oder ein Bohrer sich senkrecht in das jeweilige Erdreich vorarbeiten können. Dadurch ergeben sich erforderliche Kontakte mit den betroffenen Objekten (Werkstück oder Arbeitsstoff) sowie von dem Werkzeug bzw. dem jeweiligen Arbeitsprozess abhängige Veränderungen an diesen Objekten, die mittels des hierin beschriebenen Verfahrens und der Einrichtung sicher und zuverlässig erkannt werden können.
-
In der semantischen Karte werden diejenigen Bereiche/Teile identifiziert, welche sich im logischen Zusammenhang von Werkzeug, Werkstück und Arbeitsprozess befinden. So wird die Annäherung des Werkzeugs entlang einer prognostizierten Trajektorie hin zu einem erkannten bzw. klassifizierten Werkstück und/oder aus Arbeitsprozesssicht plausible Interaktionen und Veränderungen am Werkstück, in der semantischen Karte als zulässige Kollisionsbereiche markiert.
-
Werden nun im durch die gestrichelte Linie 230 abgegrenzten Betriebsvorgang der Arbeitsmaschine aufgrund einer geplanten bzw. prognostizierten 235 Bewegungstrajektorie sowie der klassifizierten Objekte im Bereich der Trajektorie unzulässige Interaktionen erkannt 240, dann wird gewarnt und/oder eingegriffen 245, um die Maschine und/oder die Kinematik bzw. das Werkzeug zu stoppen und/oder gegenüber dem jeweiligen Objekt auszuweichen. So darf eine prognostizierte Trajektorie zwar nicht durch eine Person oder durch eine andere Arbeitsmaschine hindurch laufen, jedoch ist ein im Folgenden beschriebener im Rahmen eines vorliegenden Arbeitsprozesses gewollter Kontakt zwischen der Maschine bzw. dem Werkzeug und dem jeweiligen Objekt zulässig.
-
Zur Trajektorienplanung kann anhand der Bewegungsdynamik der Maschine bzw. des Werkzeugs sowie der Steuerbefehle des Bedieners die Trajektorie des Werkzeugs bzw. der Maschine prognostiziert werden. Würde die prognostizierte Trajektorie sich mit dem Körper einer Person überschneiden, dann wird die Maschine bzw. das Werkzeug sofort bzw. unmittelbar gestoppt. Bewegt sich nun die Person und lässt sich ihre Bewegungstrajektorie abschätzen, dann kann diese Trajektorie in das Kollisionsmanagement mit einbezogen werden.
-
Zusätzlich kann mittels eines zusätzlichen sogenannten „Driver Monitoring“-Systems anhand der Blickrichtung des Bedieners der Maschine erkannt werden, ob der Bediener die im Interaktionsbereich seiner Maschine befindliche Person wahrgenommen hat und auch bei der Bewegung der Maschine im Blick hat. Die klassifizierte Person befindet sich dann auf einer durch eine entsprechende „Driver Monitoring“-Kamera erkannten unverstellten bzw. unverdeckten Verlängerung der Blickrichtung des Bedieners. Ist dies nicht gegeben, kann die Maschine unmittelbar gestoppt werden.
-
Verfügt ein genanntes Kamerasystem zusätzlich über eine Gestenerkennung, dann kann diese auch in das Kollisionsmanagement einbezogen werden. So kann eine den Bediener einer Maschine einweisende Person in deren Interaktionsbereich z.B. mit einem Handzeichen anzeigen, dass die Zielposition eines Werkzeugs bzw. einer zu bewegenden Last erreicht ist oder eine Richtung des Werkzeugs zu ändern ist oder eine Last z.B. nach oben bewegt oder abgesetzt werden soll.
-
Es kann zudem zweckmäßig sein, in der semantischen 3D-Karte den Bereich oberhalb von Personen generell als unzulässigen Bewegungsbereich von Maschinen bzw. Werkzeugen zu markieren.
-
Wird an der Arbeitsmaschine ein Werkzeug gewechselt, dann wird dies durch die Einrichtung erkannt und beim Kollisionsmanagement berücksichtigt. So kann ein Wechsel von einer Schaufel auf einen Meißel an einem Bagger andere notwendige, zulässige bzw. sinnvolle Arbeitsaufgaben, Umgebungen, Szenen, Trajektorien, Bedienungen, Kollisionsmanagement und Systemeingriffe bewirken.
-
Die genannten arbeitsprozessualen bzw. technischen Zusammenhänge können vorab z.B. in einer Entwicklungs- und Applikationsphase bestimmt und in einer vorliegenden Steuereinheit der Maschine abgespeichert werden.
-
Im Folgenden wird am Beispiel einer landwirtschaftlichen Arbeitsmaschine, und zwar eines Mähdreschers, beschrieben, wie eine beschriebene Kollisionsüberwachung zur Steuerung und Regelung des Mähdreschers in seiner Umgebung anhand einer genannten semantischen Karte durchgeführt wird.
-
Die folgenden von Sensoren oder anderen Quellen bereitgestellten Informationen können bei dieser landwirtschaftlichen Maschine als Grundlage für das Kollisionsmanagement berücksichtigt werden:
- - Umfeld- Informationen, z.B. die Topologie, Vegetation, Lebewesen, Wetter, bewegliche bzw. unbewegliche Objekte;
- - aktuelle Lokalisierung bzw. Standort der Maschine sowie von Objekten in der Umgebung, semantische und/oder globale Karteninformationen, Feldkarten;
- - Erntegut- und Gutflussinformationen um und in der Maschine;
- - Maschinen- und Betriebsstoffinformationen, z.B. Betriebspunkte der Maschinenkomponenten, Zustandsinformationen, physikalische Größen;
- - Bedienerinformationen, z.B. die Stellung der Bedienelemente an der Maschine sowie die Blickrichtung/Aufmerksamkeit/Müdigkeit und die arbeitsprozessuale Intentionen des Fahrers/Bedieners;
- - aktuelle Zeit und Datum.
-
Anhand dieser Informationen werden Schlüsse über den jeweiligen maschinentechnischen oder arbeitsprozessualen Kontext zur Kollisionsvermeidung gezogen. Der so ermittelte Kontext wird von der Einrichtung verwendet, um ihr Verhalten anzupassen. Denn während einer Erntefahrt des Mähdreschers kommt es darauf an, das Erntegut aufzunehmen und zu verarbeiten, ohne für die Maschine potentiell gefährliche Objekte mit dem Erntevorsatz aufzunehmen und in die Verarbeitungskomponenten des Mähdreschers zu befördern.
-
In diesem Anwendungsbeispiel wäre eine Kollisionsvermeidung mittels einer semantischen Karte dadurch realisierbar, dass der Mähdrescher mittels seiner Sensorik aktiv zwischen Erntegut und nicht Erntematerial unterscheidet und bei einer Kollisionserkennung eine weitere Erntefahrt stoppt oder dem jeweiligen Hindernis ausweicht. Die aktuellen Analyseergebnisse anhand der Umgebungsdaten können in die sematische Karte abgespeichert werden, um diese bei einer erneuten Erntefahrt bzw. Bearbeitung des Feldes wiederverwenden zu können.
-
Eine erste zulässige Kollision zwischen dem Mähdrescher und Objekten der Umgebung wird bei Ankunft an einem abzuerntenden Feld mit noch stehender Frucht ermittelt. Der Mähdrescher nähert sich dabei mit einem angebauten Werkzeug, z.B. einem Schneidwerk, den dortigen Pflanzen und beschneidet diese mit einer zulässigen Kollision, um die abgeschnittenen Pflanzenteile daraufhin den maschineninternen Verarbeitungskomponenten zuzuführen. Folgt der Mähdrescher dabei dem Früchteverlauf auf dem Feld, dann wird dieser zu einem Zeitpunkt am Ende einer Fahrspur auf dem Feld gelangen. Der Feldfruchtbestand endet dort und die Maschine müsste an dieser Stelle eine Kollision zwischen dem Schneidwerk und umgebenden Objekten, z.B. Hecken oder Bäumen, verhindern, um Beschädigungen z.B. an dem Schneidwerk zu vermeiden.
-
Im Verlauf einer Erntefahrt kommt es regelmäßig auch zu einer Umladung des Erntegutes aus einem Korntank des Mähdreschers auf ein Transportfahrzeug. Dies kann im Stillstand oder noch während der Erntefahrt erfolgen. Hierzu wird ein Abtank- bzw. Überladerohr aus einem eingeklappten Zustand zu einem Transportanhänger hin verschwenkt, um daraufhin das Material umzuladen. Während des Schwenkvorganges kann es aufgrund der Bewegungstrajektorie des Überladerohres zumindest für eine kurze Zeit zu einer nicht zulässigen Annäherung zwischen Anhänger und Überladerohr kommen. Auch dieser Kollisionszustand kann mit dem beschriebenen Verfahren erkannt werden und der Mähdrescher entsprechend dem Kontext so angesteuert werden, dass es hierbei nicht zu einer Kollision kommen kann.
-
Ein weiterer Anwendungsfall aus dem Bereich Landwirtschaft ist die notwendige Kollision zwischen einem mit einem Bodenbearbeitungsgerät oder einer Sähmaschine ausgestatteten Traktor und dem zu bearbeitenden Feld. So wird z.B. ein Pflug oder ein Grubber bewusst mit seinen Zinken bzw. Pflugscharen in den Boden hinein abgesenkt, um eine Wendung bzw. Mischung des Erdreichs zu erreichen. Hierbei kommt es vor allem auf eine gleichmäßig Bearbeitung und gleichmäßige Durchmischung an. Die Aufgabe des für das Kollisionsmanagement verwendeten Kontextsystems besteht in diesem Anwendungsfall darin, das Gerät mit einer gleichmäßigen Arbeitstiefe und einer konstanten Geschwindigkeit in dem Bearbeitungsprozess zu halten. Wenn z.B. mehr Pflanzenreste oder ein steiniger bzw. verfestigter Boden im Vorfeld erkannt wird, wird das Bodenbearbeitungsgerät kontextgemäß entweder angehoben oder seine Bewegungsgeschwindigkeit verändert.
-
Weitere entsprechende oder ähnliche Anwendungsbeispiele sind z.B. in den Bereichen Feldhäcksler, Hoflader, Teleskoplader oder dergleichen denkbar.
-
Auch im Bereich des Bauwesens kommt es, wie bereits erläutert, bei der Benutzung von Baumaschinen häufig zu gewollten Kollisionen bzw. Bewegungsmustern, die von einem maschinellen Algorithmus potenziell als Kollision bzw. Gefährdung der eigenen Maschine erkannt werden, obwohl die Bewegung bzw. Annäherung durch den Fahrer der Maschine selbst (bewusst) ausgelöst wurde. So können das hierin beschriebene Verfahren und die Einrichtung auch bei Baggern und Radladern, die im Arbeitsprozess zum einen eine bewusste Kollision mit einem Erdmaterial bzw. Schüttgut erfordern und die Kollision bzw. das gedachte Eintauchen einer materialtragenden Schaufel mit in einen Transportbehälter erfordern, angewendet werden.
-
Ein weiteres Anwendungsbeispiel ist das Verschwenken von zwei Fahrzeugräumen bei der Beladung eines Lkws durch einen Gabelstapler oder einen Teleskoplader. Hierbei wird das zu ladende Gut auf den Zinken des Gabelstaplers in eine Fahrzeughüllkurve des Lkw-Trailers bewegt. Für ein Kollisionswarnsystem würde diese Annäherung eine unzulässige Kollision bedeuten, wobei diese situationsbedingt durch den Fahrer jedoch bewusst herbeigeführt wird.
-
3 zeigt Funktionselemente einer Einrichtung zum Kollisionen bedingt zulassenden Betrieb einer hier betroffenen Arbeitsmaschine. Mittels eines Lokalisierungselements 300 erfolgt eine Lokalisierung anhand von semantischen Karten, insbesondere semantischen 3D-Karten, sowie eine globale bzw. auf GNSS basierende Lokalisierung einer jeweiligen Maschine bzw. eines Werkzeugs der Maschine und/oder von Personen und/oder von Interaktionsbereichen und/oder von Objekten.
-
Beschrieben wird hierbei eine maximal ausgestattete Einrichtung zum Betrieb einer hier betroffenen Arbeitsmaschine. So sind Teile und/oder Vervielfachungen und/oder weitere Kombinationen der Einrichtung denkbar.
-
Ein zweites Funktionselement 302 führt eine Planung von Arbeitsaufgaben und Arbeitsschritten bzw. Arbeitsabläufen oder Teilen davon durch (sog. „Task Planning“). Die Planung erfolgt entweder durch den Bediener 305 und/oder einem „Building Information Model“ (BIM) und/oder anhand von vorab gelernten Bedien- und/oder Arbeitssequenzen. Ein drittes Funktionselement 310 führt eine Planung, Prognose und Beobachtung der Bewegung von Maschinen und/oder Werkzeugen, aber auch von Personen, durch (sog. „Trajektory Planning“). Anhand eines vierten Funktionselementes 320 werden die in der Trajektorienplanung 310, einem auf einer semantischen 3D-Karte 312 beruhenden Umgebungsmodell 315 sowie einer Szeneninterpretation 335 prognostizierten potentiellen Kollisionen und Unplausibilitäten erkannt und anhand eines fünften Funktionselementes 330 Maßnahmen durch Systemeingriffe (sog. „Actuator Management)“ bzw. durch Aktualisierung der Taskplanung 302 und Trajektorienplanung 310 vermieden (sog. „Collision Management“ 320).
-
Die Interaktionen von Bediener und Bedien- und Anzeigeelementen als auch das Driver Monitoring erfolgen mittels einer Mensch-Maschine Schnittstelle 322. Ein Fahrzeugmodell 325 („Vehicle Model“) beinhaltet die Kinematik und Dynamik der jeweiligen fahrbaren Maschine sowie das Steuer- und Regelverhalten der Maschine. Die genannte Aktuatorverwaltung 330 („Actuator Management“) berücksichtigt, je nach vorliegender Betriebsstrategie, eine Aufteilung der Längs- und Querbewegungen von Fahrzeug und Werkzeug auf die zugehörigen Aktuatoren. Mittels der genannten szenischen Auswertung 335 („Scene Interpretation“) werden die Interaktionen von Maschinen, Werkzeugen, Werkstücken bzw. Arbeitsgegenständen sowie die damit verbundenen Veränderungen in der Umgebung bzw. an den Objekten prognostiziert, erkannt und plausibilisiert und entsprechende Hinweise bzw. Anweisungen für das Kollisionsmanagement und Systemeingriffen 340 mittels des genannten „Actuator Management“ 330 ausgegeben.
-
Das beschriebene Verfahren bzw. die Einrichtung können auch in eigens dafür entwickelten Steuergeräten zum Einsatz kommen.
-
Das beschriebene Verfahren kann in Form eines Steuerprogramms für ein elektronisches Steuergerät zur Steuerung einer hier betroffenen Maschine oder in Form einer oder mehrerer entsprechender elektronischer Steuereinheiten (ECUs) realisiert werden.
