-
Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen eines Lastschwerpunkts eines homogenen Objekts, das durch eine mobile Arbeitsmaschine aufgenommen werden soll, mittels eines elektromagnetischen Sensors und eine Steuerung der mobilen Arbeitsmaschine abhängig von der Lage des Lastschwerpunkts. Ferner betrifft die Erfindung ein Computerprogramm, das jeden Schritt des Verfahrens ausführt, wenn es auf einem Rechengerät abläuft, sowie ein maschinenlesbares Speichermedium, welches das Computerprogramm speichert. Schließlich betrifft die Erfindung ein elektronisches Steuergerät, welches eingerichtet ist, das erfindungsgemäße Verfahren auszuführen.
-
Stand der Technik
-
Bei mobilen Arbeitsmaschinen, wie z. B. Gabelstaplern oder Flurförderzeugen, kommt es immer wieder zu Unfällen durch falsche Beladung oder Überbeladung. Vor allem, wenn der Lastschwerpunkt eines transportierten Objekts - auch als Last oder Ladung bezeichnet - eine ungünstige Lage einnimmt, kann dies zu einem Kippen der mobilen Arbeitsmaschine führen. Bei solchen Unfällen kann es sowohl zu Beschädigungen des Objekts und der mobilen Arbeitsmaschine als auch zu Verletzungen von Personen kommen. Neben der Masse der Ladung ist vor allem die Lage des Lastschwerpunkts der Ladung eine wesentliche Information für den sicheren Betrieb der mobilen Arbeitsmaschine.
-
Üblicherweise liegt es in der Verantwortung des Bedieners der mobilen Arbeitsmaschine zu prüfen, ob die Arbeitsmaschine die Ladung sicher anheben und transportieren kann. Hierfür nutzt er die ihm bekannten Informationen über die Ladung und ein Lastdiagramm für die mobile Arbeitsmaschine. Das Lastdiagramm zeigt für eine Masse der Last und einen Abstand des Lastschwerpunkts sichere und kritische Bereiche an. Die Informationen über die Ladung entnimmt der Bediener üblicherweise aus dem Lieferschein oder aus Aufdrucken auf der Ladung. Häufig ist die Masse der aufzunehmenden Ladung bekannt, jedoch muss die Lage des Lastschwerpunkts vom Bediener geschätzt werden.
-
Bei Gabelstaplern ist bekannt, zusätzliche Messtechnik direkt an der Gabel zu implementieren. Diese Lösung bietet diverse Nachteile. Zum einen erfolgt eine prinzipielle Änderung der Geometrie der Gabel - sie wird meist breiter und/oder höher -, was vor allem beim Einführen der Gabel in eine Palette nachteilig ist. Zum zweiten kann keine Kenntnis über den Gesamtschwerpunkt aus Lastschwerpunkt des Objekts und Schwerpunkt des Gabelstaplers erhalten werden, da die Gabel an verschiedenen Gabelstaplern als Nachrüstlösung verbaut werden kann. Zum dritten führt die zusätzliche Messtechnik zu erhöhten Kosten.
-
Die Erkennung von Objekten mittels optischer Sensoren, wie z. B. einer optischen Kamera, aber auch anderen Sensoren, welche elektromagnetische Wellen messen, ist an sich bekannt. Vor allem bei Kameras sind Vorrichtungen und Verfahren bekannt, mit denen sich Merkmale aus den Kameraaufnahmen extrahieren lassen und dann eine Objektdetektion und Objektklassifikation durchgeführt werden kann. In dem Fachbuch „Handbuch Fahrerassistenzsysteme“ von H. Winner, S. Hakuli, F. Lotz u. C. Singer, Springer Vieweg Verlag 2015, ist in Abschnitt 21.5.1 die Objektdetektion anhand von charakteristischen Merkmalen für einen Objekttyp mittels Trainieren eines Klassifikators beschrieben.
-
Offenbarung der Erfindung
-
Es wird ein Verfahren zum Bestimmen eines Lastschwerpunkts eines homogenen Objekts, das durch eine mobile Arbeitsmaschine aufgenommen werden soll, vorgeschlagen. Die mobile Arbeitsmaschine ist insbesondere ein Gabelstapler oder auch ein Flurförderzeug, welche das Objekt typischerweise anhebt und transportiert. Ein solches Objekt wird oftmals als Last oder Ladung bezeichnet. Als homogenes Objekt wird hierbei ein massehomogenes Objekt verstanden, welches aus einem einzigen Material besteht und im Wesentlichen eine einheitliche Dichte mit einer einheitlichen Masseverteilung aufweist. Bei einem homogenen Objekt liegt der Lastschwerpunkt im geometrischen Schwerpunkt. Ist in dieser Anmeldung die Rede von einem Objekt, so bezieht es sich immer auf ein homogenes Objekt, außer es wird explizit anders beschrieben.
-
Das Objekt wird von einem elektromagnetischen Sensor der mobilen Arbeitsmaschine erfasst. Unter einem elektromagnetischen Sensor versteht die vorliegende Anmeldung einen Sensor zum Empfangen von elektromagnetischen Wellen. Aus den Aufnahmen des elektromagnetischen Sensors werden dann mittels einer Klassifikation das Volumen und die Kontur des Objekts ermittelt. Optional kann das Volumen aus der ermittelten Kontur berechnet werden.
-
Eine Klassifikation von Aufnahmen von elektromagnetischen Sensoren ist bereits bekannt. Bei der Klassifikation werden im Vorhinein charakteristische Merkmale für eine Vielzahl von unterschiedlichen Referenzobjekten als Ausprägungen für einen Objekttyp eingelernt, die zuvor unter verschiedenen Bedingungen aus Referenzaufnahmen erzeugt werden. Ein Klassifikator wird mit den charakteristischen Merkmalen für den Objekttyp und mit Gegenbeispielen trainiert. Bei der Objektdetektion werden die charakteristischen Merkmale aus den aktuellen Aufnahmen der elektromagnetischen Sensoren erzeugt. Dann werden die aktuellen charakteristischen Merkmale mit den im Vorhinein eingelernten charakteristischen Merkmalen auf Übereinstimmung verglichen und durch den Klassifikator werden dann Merkmalszahlen zugeordnet. Die Merkmalszahlen werden schließlich über verschachtelte und automatisch generierte Gewichte in eine Zahl umgerechnet, die die Wahrscheinlichkeit für das zu klassifizierende Objekt in der Aufnahme angibt.
-
Des Weiteren werden Informationen über das Material (Im Folgenden als Materialinformationen bezeichnet) erhalten. Beispiele für Materialinformationen sind der Materialtyp, die Dichte, die Struktur usw. Die Materialinformationen können vorzugsweise direkt aus den Aufnahmen des elektromagnetischen Sensors mittels der Objektdetektion bei der Klassifikation erhalten werden (siehe unten).
-
Aus dem Volumen und der Information über das Material wird dann die Masse des Objekts ermittelt wird. Hierbei kann die Masse in einfacher Weise berechnet werden, wenn die erhaltenen Materialinformationen die Dichte einschließt. Alternativ kann aus den Materialinformationen mittels einer Klassifikation auf ein Referenzobjekt, welches aus demselben Material besteht, geschlossen werden, dessen Masse (für das gleiche Volumen) bereits bekannt ist.
-
Daneben wird der Lastschwerpunkt des homogenen Objekts aus der ermittelten Kontur des Objekts berechnet. Bei einem homogenen Objekt liegt der Lastschwerpunkt im geometrischen Schwerpunkt. Um den geometrischen Schwerpunkt zu ermitteln, können für einfache geometrische Körper, wie (Hohl-)Zylinder, Quader usw., einfache geometrische Zusammenhänge herangezogen werden. Im Allgemeinen können Methoden aus der analytischen Geometrie herangezogen werden, um die Kontur zu beschreiben und mittels Integration oder durch andere mathematische Mittel den Lastschwerpunkt des homogenen Objekts zu ermitteln.
-
Aus dem ermittelten Lastschwerpunkt, der ermittelten Masse des Objekts, einem bekannten Schwerpunkt der mobilen Arbeitsmaschine und einer bekannten Masse der mobilen Arbeitsmaschine wird der Gesamtschwerpunkt für die mobile Arbeitsmaschine mitsamt des Objekts als aufgenommene Last ermittelt. Der Fahrzeugschwerpunkt und die Fahrzeugmasse sind konstruktionsbedingt und können im Vorhinein, insbesondere durch einen Hersteller oder Betreiber ermittelt und zur Verfügung gestellt werden.
-
Abhängig vom ermittelten Gesamtschwerpunkt wird ein Steuersignal an die mobile Arbeitsmaschine ausgegeben, um die mobile Arbeitsmaschine und/oder dessen Werkzeug abhängig vom Gesamtschwerpunkt und/oder vom Lastschwerpunkt des Objekts zu steuern.
-
Durch dieses Verfahren lässt sich der Lastschwerpunkt und somit der Gesamtschwerpunkt bereits bestimmen, bevor die Last von der mobilen Arbeitsmaschine und/oder deren Werkzeug angehoben wird. Dadurch lässt sich die Kippgefahr und/oder Übergewicht bereits abschätzen, bevor die Gefahrensituation durch das Anheben überhaupt entsteht. Im Gegenzug können entsprechende Gegenmaßnahmen eingeleitet werden. Als Beispiel kann bei einer zu hohen Kippgefahr oder einem zu großen Übergewicht, ein Anheben durch die vorliegende mobile Arbeitsmaschine verboten werden und gegebenenfalls eine andere, geeignete mobile Arbeitsmaschine angefordert werden. Ist die Kippgefahr bei richtiger Beladung klein genug, kann auch vorgesehen sein, die mobile Arbeitsmaschine so zu steuern, dass diese und/oder deren Werkzeug das Objekt in geeigneter Weise selbstständig anhebt oder dass einem Benutzer angezeigt wird, wie das Objekt in geeigneter Weise angehoben werden kann, um eine möglichst kleine Kippgefahr zu erreichen.
-
Der zumindest eine elektromagnetische Sensor kann einer der folgenden Arten von Sensoren sein:
- • eine optische Kamera;
- • eine Thermokamera (auch Wärmebildkamera genannt), die Infrarotstrahlung erfasst;
- • ein Radarsensor;
- • ein Lidarsensor; und/oder
- • eine Time-of-Flight-Kamera (ToF-Kamera).
-
Die unterschiedlichen Arten von Sensoren bieten für unterschiedliche Anwendungen Vorteile. Bei einer optischen Kamera lassen sich bestimmte Objektmerkmale und/oder Material wie z. B. Farbe (leichter) erkennen. Die Objektdetektion mit optischen Kameras ist zudem bereits weit fortgeschritten. Zudem sind heutzutage oftmals Kameras bereits an mobilen Arbeitsmaschinen vorhanden. Die Aufnahmen dieser Kameras können für das vorliegende Verfahren verwendet werden, sodass keine neuen Sensoren angebracht werden müssen, was zu einer Kostenersparnis führt.
-
Die Kontur des Objekts kann rein prinzipiell mit jedem der genannten Sensoren erfasst werden. Für den Fall, dass das Objekt durch eine Verpackung, wie z. B. einem Karton nicht direkt einsehbar ist, bieten vor allem Radarsensoren und gegebenenfalls Thermokameras die Möglichkeit durch die Verpackung hindurch Merkmale des Objekts zu erfassen.
-
Die Klassifikation der Objekte kann für jede verwendete Art von Sensoren separat durchgeführt werden.
-
Vorzugsweise sind mehrere Sensoren an der mobilen Arbeitsmaschine angeordnet. Durch eine räumliche Verteilung von mehreren Sensoren der gleichen Art, kann eine größere räumliche Abdeckung durch die Sensoren erreicht werden. Da mit unterschiedlichen Arten von Sensoren auch unterschiedliche Merkmale erfasst werden, ist es vorteilhaft unterschiedliche Arten von Sensoren mit unterschiedlichen Eigenschaften (orthogonale Sensoren) in Kombination zu verwenden, um die obengenannten Vorteile abdecken zu können. Hierzu können die Daten (auf Objektebene oder bereits in den Rohdaten) der einzelnen orthogonalen Sensoren im Rahmen einer Sensordatenfusion so zusammengeführt werden, dass Stärken gewinnbringend kombiniert und/oder Schwächen reduziert werden.
-
Bevorzugt werden Aufnahmen aus verschiedenen Winkeln - vorteilhafterweise schon während der Anfahrt zum Objekt - erstellt, um die Kontur und das Volumen zu ermitteln. Hierfür können vorzugsweise Stereokameras oder Monokameras mit einer an sich bekannten Funktion „Structure of Motion“ verwendet werden.
-
Gemäß einem Aspekt können die Materialinformationen des homogenen Objekts durch Auswerten der Kameraaufnahmen und einer Objektdetektion mittels einer Klassifikation für das Material erhalten werden, bei der der Klassifikator anhand von Bilddaten von Referenzobjekten und deren Materialien eingelernt wird. Als Beispiele können hierbei die Objektoberfläche, die Farbe des Materials, die Textur des Materials und Ähnliches als charakteristische Merkmale verwendet werden. Dadurch kann die Materialart bestimmt werden.
-
Besondere Bedeutung als Information über das Material kommt der Dichte des Objekts zuteil. Die Masse kann in besonders einfacher Weise aus der Dichte und dem Volumen berechnet werden, indem die Dichte mit dem Volumen multipliziert wird. Im einfachsten Fall kann die Materialart aus den Materialinformationen bestimmt werden und die zugehörige Dichte zu der jeweiligen Materialart aus vorhandenen Tabellen ausgelesen werden.
-
Alternativ kann die Dichte durch Auswerten der Kameraaufnahmen und einer Objektdetektion mittels der Klassifikation für das Material erhalten werden. Der Klassifikator wird eingelernt, indem eine Arbeitsmaschine mit den elektromagnetischen Sensoren im Vorhinein ein Referenzobjekt eines zu klassifizierenden Objekttyps erfasst und wie oben beschrieben (mittels Klassifikation) dessen Volumen ermittelt. Für den Fall das gleichartiger oder ähnlicher Objekte mit gleicher Materialart, deren Größe variieren (z.B. Rohrlängen, Brettlängen, usw.) kann ein Klassifikator zur Bestimmung der Dichte wie folgt trainiert werden. Das Referenzobjekt wird von der mobilen Arbeitsmaschine unter Bedienung des Bedieners (handgeführt) aufgenommen. Mittels Kraftsensoren, welche die Betriebskräfte auf das Werkzeug messen können, wie beispielsweise die im Stand der Technik beschriebene Messtechnik direkt an der Gabel eines Gabelstaplers oder eines Kraftmessbolzens zwischen dem Hubmast und einem Rahmen des Gabelstaplers, wird dann die Masse des einen Referenzobjekts ermittelt. Die Oberflächen, die Kontur des Referenzobjektes und gegebenenfalls das Volumen des Referenzobjektes werden währenddessen aus den Kameraaufnahmen bestimmt. Schließlich wird die Dichte des Referenzobjekts berechnet, indem die Masse des Referenzobjekts durch dessen Volumen geteilt wird. Zum Training des Klassifikators werden die Referenzobjektbilddaten (Oberflächen, Kontur und ggf. Volumen) in Korrelation mit der berechneten Dichte verwendet. Die Dichte des Referenzobjekts ist somit für diesen Objekttyp gespeichert und für die Klassifikation von Objekten desselben Objekttyps verwendbar. Besonders vorteilhaft ist dies, wenn eine Vielzahl von gleichartigen oder ähnlichen Objekten aufgenommen werden soll, wie es z. B. in einem Materiallager der Fall ist.
-
Gemäß einem weiteren Aspekt können die Materialinformationen des homogenen Objekts aus der Kontur des Objekts erhalten werden. Dabei werden bestimmte, charakteristische Konturen von Referenzobjekten erfasst und zumindest einem Material zugeordnet. Dies ist insbesondere bei Fertigteilen aus dem immer gleichen Material von Vorteil, da diese meist eine für den jeweiligen Einsatzort einmalige Kontur aufweisen. Nur als Beispiel ist ein Objekt, das eine Doppel-T-Trägerform aufweist, meist ein Strahlträger, sodass jedes Objekt mit der Kontur einer Doppel-T-Trägerform das Material Stahl zugewiesen werden kann. Die Zuweisung erfolgt vorzugsweise bei einer Klassifikation durch Einlernen eines Klassifikators. Da das Material direkt aus der Kontur ermittelt werden kann, können Thermokameras, Radarsensoren, Lidarsensoren und Time-of-Flight-Kameras verwendet werden. Eine optische Kamera ist hierfür nicht nötig.
-
Gemäß einem weiteren Aspekt sind die Informationen über das Material des Objekts bereits im Vorhinein bekannt. Insbesondere sind die Informationen über das Material auf einem Datenblatt, das dem Objekt zugeordnet ist, vermerkt. Des Weiteren können die Informationen über das Material bereits im Vorhinein ermittelt worden sein Die Informationen über das Material, insbesondere auf dem Datenblatt, können an die mobile Arbeitsmaschine übermittelt werden, z. B. von einer Leitstelle über Funk, oder vom Bediener eingegeben werden oder von der optischen Kamera der mobilen Arbeitsmaschine, z.B. mittels Verfahren zur Schrift- bzw. Zeichenerkennung gelesen werden.
-
Bei der Klassifikation wird die Homogenität des Objekts anhand der Materialinformationen überprüft wird. Die Homogenität kann anhand von charakteristischen Merkmalen der Objektoberfläche, wie z. B. Textur, Farbe, oder der Struktur überprüft werden. Gehören alle (exklusive der im Rahmen der Klassifikation üblichen Fehler) charakteristischen Merkmale für das gesamte Objekt zum gleichen Materialtyp, so kann eine Homogenität des Objekts angenommen werden. Werden bei der Klassifikation hingegen unterschiedliche Materialtypen ermittelt, weist dies auf eine Materialkombination hin und das Objekt kann nicht als homogen angesehen werden. So lassen sich Materialkombinationen wie z. B. Holz-Metall von reinem Holz und reinem Metall unterscheiden. Für den Fall, dass das Objekt nicht als homogen angesehen werden kann, kann dies dem Bediener und/oder der Leitstelle als Warnhinweis angezeigt werden und das Verfahren beendet werden.
-
Vorzugsweise wird die mobile Arbeitsmaschine gestoppt, wenn der Gesamtschwerpunkt einen vordefinierten Bereich überschreitet.
-
Vorteilhafterweise wird mit Hilfe des ermittelten Gesamtschwerpunkts und/oder des ermittelten Lastschwerpunkts eine prädiktive Trajektorie für die mobile Arbeitsmaschine und/oder ein Werkzeug der mobilen Arbeitsmaschine berechnet, die zu einer stabilen und kippfreien Aufnahme des Objekts durch die Arbeitsmaschine führt. Vorzugsweise werden die Kontur des Objekts und gegebenenfalls das Volumen verwendet, um den räumlichen Körper des Objekts nachzubilden. Die prädiktive Trajektorie wird dem Bediener angezeigt, sodass dieser die mobile Arbeitsmaschine und/oder das Werkzeug anhand dieser Trajektorie steuern kann. Dadurch wird der Bediener unterstützt und die Gefahr eines Kippens wird verringert. Zudem kann die mobile Arbeitsmaschine und/oder das Werkzeug autonom entlang dieser Trajektorie gesteuert werden. Dadurch wird eine automatisierte Assistenzfunktion für eine stabile Lastaufnahme bereitgestellt. Auch kann es vorgesehen sein, dass dem Bediener angezeigt wird, wenn das Objekt erfasst wurde, der Lastschwerpunkt ermittelt wurde, die Trajektorie berechnet wurde und die Assistenzfunktion für eine stabile Lastaufnahme bereitsteht, woraufhin der Bediener die Assistenzfunktion z. B. haptisch und/oder akustisch oder vorab aktivieren kann.
-
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere, wenn es auf einem Rechengerät oder Steuergerät durchgeführt wird. Es ermöglicht die Implementierung des Verfahrens in einem herkömmlichen elektronischen Steuergerät, ohne hieran bauliche Veränderungen vornehmen zu müssen. Hierzu ist es auf dem maschinenlesbaren Speichermedium gespeichert.
-
Durch Aufspielen des Computerprogramms auf ein herkömmliches elektronisches Steuergerät, wird das elektronische Steuergerät erhalten, welches eingerichtet ist, einen Lastschwerpunkt zu bestimmen und ein Steuersignal an die mobile Arbeitsmaschine auszugeben, um die mobile Arbeitsmaschine und/oder ein Werkzeug der mobilen Arbeitsmaschine abhängig vom Lastschwerpunkt des homogenen Objekts zu steuern.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
- 1 zeigt eine schematische Darstellung eines Gabelstaplers mit optischen Kameras von der Seite.
- 2 zeigt ein Ablaufdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens.
-
Ausführungsbeispiele der Erfindung
-
1 zeigt als Beispiel für eine mobile Arbeitsmaschine einen Gabelstapler 1 in einer Seitenansicht. Das erfindungsgemäße Verfahren kann allerdings auch auf andere mobile Arbeitsmaschinen angewendet werden. Der Gabelstapler 1 weist eine Gabel 10 auf, die über einen Hubmast 11 (auch Hubgerüst oder Hubrahmen genannt) mit einem Rahmen 13 des Gabelstaplers 1 verbunden ist. Die Gabel 10 kann in der Höhe verstellt werden und der Hubmast 11 kann gekippt werden.
-
Vor dem Gabelstapler 1 befindet sich ein homogenes Objekt 2 (auch als Last oder Ladung bezeichnet), welches durch den Gabelstapler 1 aufgenommen werden soll. Das Objekt 2 ist in diesem Beispiel ein Betonfertigteil, das vollständig aus Beton besteht, der in diesem Zusammenhang als homogenes Material angesehen werden soll. Der Lastschwerpunkt LS des (masse-) homogenen Objekts 2 befindet sich im Zentrum des Objekts 2, kann sich aber bei anderen Objekten auch an einer anderen Stelle befinden und soll durch das erfindungsgemäße Verfahren bestimmt werden. Wenn der Lastschwerpunkt LS und der Schwerpunkt FS des Gabelstaplers 1 nicht übereinstimmen, kann der Gabelstapler 1 im ungünstigen Fall durch falsche Beladung oder Überbeladung kippen. Die Drehachse D für solch ein Kippen verläuft in dieser Ausführung entlang der Vorderachse des Gabelstaplers 1.
-
Außerdem weist der Gabelstapler 1 mehrere optische Kameras 14 auf, die dachseitig am Rahmen 13 des Gabelstaplers 1 und am oberen Ende des Hubmasts 11 angeordnet sind. Die Kamera 14 am Hubmast 11 ist nach vorne hin ausgerichtet und je eine Kamera 14 am Rahmen 13 ist nach hinten und zu beiden Seiten (es ist nur eine seitliche Kamera 14 dargestellt) ausgerichtet, sodass sie die gesamte Umgebung und den Boden erfassen. Generell sind auch weniger Kameras oder auch mehr Kameras denkbar und die Kameras können beliebig angeordnet und ausgerichtet sein. Der Einfachheit halber werden in diesem Ausführungsbeispiel nur optische Kameras verwendet, die heutzutage bei Gabelstaplern oftmals für andere Verfahren bereits im Einsatz sind. In weiteren, in diesem Abschnitt nicht weiter beschriebenen Ausführungsbeispielen können zusätzlich oder alternativ andere Arten von elektromagnetischen Sensoren verwendet werden, wie z. B.:
- • Thermokameras;
- • Radarsensoren;
- • Lidarsensoren; und/oder
- • Time-of-Flight-Kameras
-
Des Weiteren weist der Gabelstapler 1 ein elektronisches Steuergerät 15 auf, das eingerichtet ist, das erfindungsgemäße Verfahren durchzuführen. Die Kameras 14 (und weiteren elektromagnetischen Sensoren) sind mit dem elektronischen Steuergerät verbunden und übersenden diesem ihre Aufnahmen. Zudem ist ein Touchscreen 16 als Mensch-Maschine-Schnittstelle vorgesehen, welche mit dem elektronischen Steuergerät 15 verbunden ist. Über den Touchscreen können Befehle an das elektronische Steuergerät 15 übertragen werden und auf dem Touchscreen 16 können Hinweismeldungen angezeigt werden.
-
2 zeigt ein Ablaufdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens. Zu Beginn werden, während sich der Gabelstapler 1 auf das Objekt zubewegt, mehrere Kameraaufnahmen 100 der Umgebung erstellt und somit das Objekt 2 bei entsprechender Anfahrt unter verschiedenen Winkeln erfasst. Bevor der Gabelstapler 1 das Objekt 2 erreicht, erfolgt im Rahmen einer Klassifikation 110 eine Objektdetektion, mit der das Objekt 2 in den Kameraaufnahmen erkannt wird. Objektdetektion und Klassifikation sind an sich bekannt. Daher werden im Folgenden nur die für dieses Verfahren gemäß der Erfindung relevanten Klassifikationstypen und speziellen charakteristischen Merkmale herausgestellt. Bei der Klassifikation 110 wird die Kontur K des Objekts 2 mittels charakteristischen Merkmalen der Oberfläche ermittelt 111.
-
Des Weiteren werden Materialinformationen MI ermittelt 112. In diesem Ablaufdiagramm sind drei unterschiedliche Varianten dargestellt. Zum einen erfolgt eine Klassifikation 112a des Materials anhand der Farbe des Objekts 2. Anstelle der Farbe können auch andere charakteristische Merkmale der Oberfläche, wie z. B. die Textur verwendet werden. Werden anstelle der optischen Kameras 14 andere Arten von Sensoren verwendet, kann auch die innere Struktur als charakteristisches Merkmal für die Materialinformationen MI dienen. Zum zweiten erfolgt die Klassifikation 112b des Materials anhand der ermittelten Kontur K. Dabei wird ein Klassifikator mit bestimmten, charakteristischen Konturen von Referenzobjekten und dem zugehörigen Material des Referenzobjekts eingelernt. Da das Material direkt aus der Kontur ermittelt werden kann, können anstelle der optischen Kameras 14 auch andere Arten von Sensoren verwendet werden. Zum dritten können die Materialinformationen MI bereits im Vorhinein aus einem Datenblatt für das Objekt 2 bekannt 112c sein. Eine der Materialinformationen MI ist die Dichte ρ des Materials, die aus den Materialinformationen MI erhalten werden kann. Als Alternative zur Ermittlung 112 der Materialinformationen MI kann die Dichte ρ direkt bei der Klassifikation 110 ermittelt werden (113). Hierfür wird ein Klassifikator mit Referenzobjekten eingelernt, bei denen im Vorhinein das Volumen und die Masse ermittelt wurden und daraus die Dichte berechnet wurde.
-
Darüber hinaus wird bei der Klassifikation 110 eine Prüfung 115 der Homogenität des Objekts 2 anhand der Materialinformationen MI durchgeführt. Die Homogenität kann aus charakteristischen Merkmalen der Objektoberfläche wie z. B. die bereits bei der Klassifikation 112a des Materials verwendete Farbe oder die Textur überprüft werden. Gehören alle (exklusive der im Rahmen der Klassifikation auftretenden Fehler) charakteristischen Merkmale für die gesamte Objektoberfläche zum gleichen Materialtyp, so wird die Homogenität des Objekts bestätigt. Werden bei der Klassifikation hingegen unterschiedliche Materialtypen ermittelt, weist dies auf eine Materialkombination hin und das Objekt kann nicht als homogen angesehen werden. Für diesen Fall wird dem Bediener über den Touchscreen 16 ein Warnhinweis angezeigt und der Warnhinweis wird an eine Leistelle weitergeleitet (nicht dargestellt). Daraufhin wird das Verfahren beendet 116, da der Lastschwerpunkt LS nicht eindeutig ermittelt werden kann.
-
Nachdem die Kontur K ermittelt wurde und die Homogenität bestätigt wurde, wird aus der Kontur K das Volumen V des Objekts 2 berechnet 120. Bei einfachen geometrischen Körpern, wie (Hohl-)Zylinder, Quader usw., werden einfache geometrische Zusammenhänge verwendet, um das Volumen V des Objekts 2 aus der einfachen Kontur K zu berechnen 120. Im Allgemeinen können Methoden aus der analytischen Geometrie und eine Integration herangezogen werden, um aus jedweder Kontur K das Volumen V des Objekts 2 zu berechnen. In anderen Ausführungsbeispielen wird das Volumen V direkt während der Klassifikation 110 ermittelt. Aus der Dichte ρ und dem Volumen V des Objekts 2 wird durch Multiplikation der beiden Größen die Masse mL des Objekts 2 berechnet 130.
-
Daneben wird aus der ermittelten Kontur K des homogenen Objekts 2 und der berechneten Masse mL des homogenen Objekts 2 dessen Lastschwerpunkt LS ermittelt 140. Beim homogenen Objekt 2 liegt der Lastschwerpunkt LS im geometrischen Schwerpunkt. Um den geometrischen Schwerpunkt zu ermitteln, werden für einfache geometrische Körper, wie (Hohl-)Zylinder, Quader usw., einfache geometrische Zusammenhänge herangezogen. Im Allgemeinen werden Methoden aus der analytischen Geometrie und herangezogen, um mittels Integration oder durch andere mathematische Mittel den Lastschwerpunkt LS des homogenen Objekts 2 zu ermitteln 140.
-
Aus der Lage des Lastschwerpunkts LS und der Masse mL des Objekts 2 sowie dem Schwerpunkt FS und der Masse mF des Gabelstaplers 1 wird schließlich der Gesamtschwerpunkt GS des Gabelstaplers 1 ermittelt 150. Im Anschluss erfolgt eine Prüfung 151 ob der Gesamtschwerpunkt GS innerhalb eines vordefinierten Bereichs liegt. Liegt der Gesamtschwerpunkt GS außerhalb des vordefinierten Bereichs, besteht die Gefahr des Kippens. Folglich wird ein Steuersignal an den Gabelstapler 1, die Gabel 10 und/oder den Hubmast 11 ausgesendet und diese gestoppt 160, bevor der Gabelstapler 1 das Objekt 2 aufnimmt. Es wird dem Bediener über den Touchscreen 16 ein Warnhinweis angezeigt und der Warnhinweis wird an eine Leistelle weitergeleitet (nicht dargestellt).
-
Liegt der Gesamtschwerpunkt GS innerhalb des vordefinierten Bereichs, so kann das Objekt 2 sicher aufgenommen werden. Mit Hilfe des ermittelten Lastschwerpunkts oder des ermittelten Gesamtschwerpunkts wird eine prädiktive Trajektorie T für den Gabelstapler 1, die Gabel 10 und den Hubmast 11 berechnet 170, die zu einer stabilen und kippfreien Aufnahme des Objekts 2 führt. Die prädiktive Trajektorie T wird dem Bediener auf dem Touchscreen 16 angezeigt. Auf Grundlage der prädiktiven Trajektorie T wird eine automatisierte Assistenzfunktion 171 für eine stabile Lastaufnahme bereitgestellt, bei welcher der Gabelstapler 2, die Gabel 10 und der Hubmast 11 autonom entlang dieser Trajektorie T gesteuert werden. Der Bediener löst die Assistenzfunktion durch Auswahl auf dem Touchscreen 16 aus. Selbstverständlich können auch andere Methoden zur Eingabe - z. B. haptische oder akustische Eingaben - verwendet werden.
-
Die obengenannten Parameter Kontur K, Materialinforationen MI, Dichte p, Volumen V, Masse mL, Lastschwerpunkt LS und/oder Gesamtschwerpunkt GS können dem Bediener über den Touchscreen 16 dargestellt werden (nicht gezeigt) und die Parameter können gespeichert werden.
