EP2653429A1

EP2653429A1 - Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug

Info

Publication number: EP2653429A1
Application number: EP13162430.6A
Authority: EP
Inventors: Volker Viereck; Tino Krüger-Basjmeleh; Dr. Ralf König
Original assignee: STILL GmbH
Current assignee: STILL GmbH
Priority date: 2012-04-20
Filing date: 2013-04-05
Publication date: 2013-10-23
Anticipated expiration: 2033-04-05
Also published as: EP2653429B1; DE102012108034A1

Abstract

Bei einem Steuerungsverfahren für ein Flurförderzeug mit mindestens einer auf den Bereich eines Lastaufnahmemittels (9) ausgerichteten Kamera (10), einem Monitor (23) und einer Steuerungsvorrichtung (31), werden, wenn sich das Flurförderzeug mit dem Lastaufnahmemittel (9) vor einer aufzunehmenden Last (15) befindet, die Schritte durchgeführt: Erfassen der Last (15) mittels Bildverarbeitungsverfahren, Suchen einer Lasttransportvorrichtung (18) der Last (15), Bestimmen der relativen Position der Lasttransportvorrichtung (18) gegenüber dem Lastaufnahmemittel (9) und der relativen Position der Aufnahmeelemente (22) der Lasttransportvorrichtung (18), die für das Lastaufnahmemittel (9) des Flurförderzeugs vorgesehen sind, Darstellen von zumindest Teilen der Last (15) sowie der Aufnahmeelemente (22) auf dem Monitor (23), Markieren der Aufnahmeelemente (22) in der Darstellung auf dem Monitor (23), Abfragen eine Bestätigungseingabe (S1) sowie im Falle einer Bestätigungseingabe (S1) Aufnehmen der Last (15) auf das Lastaufnahmemittel (9) durch automatisches Einstellen und Ausrichten der durch die Steuerungsvorrichtung (31) ansteuerbaren Funktionen (26) des Lastaufnahmemittels und der durch die Steuerungsvorrichtung (31) ansteuerbaren Fahrfunktionen (29) des Flurförderzeugs und Anzeigen von einzustellenden Werten für Funktionen (26) des Lastaufnahmemittels und Fahrfunktionen (29) des Flurförderzeugs auf dem Monitor (23), die nicht automatisch durch die Steuerungsvorrichtung (31) angesteuert werden können.

Description

Die Erfindung betrifft ein Steuerungsverfahren für ein Flurförderzeug mit mindestens einer auf den Bereich eines Lastaufnahmemittels ausgerichteten Kamera, einem Monitor und einer Steuerungsvorrichtung, wobei bei dem Steuerungsverfahren, wenn sich das Flurförderzeug mit dem Lastaufnahmemittel vor einer aufzunehmenden Last befindet, die Schritte Erfassen der Last mittels Bildverarbeitungsverfahren durch die Steuerungsvorrichtung, wie beispielsweise Muster- oder Objekterkennung, Suchen einer Lasttransportvorrichtung der Last durch die Steuerungsvorrichtung, Bestimmen der relativen Position der Lasttransportvorrichtung gegenüber dem Lastaufnahmemittel und der relativen Position der Aufnahmeelemente der Lasttransportvorrichtung, die für das Lastaufnahmemittel des Flurförderzeugs vorgesehen sind, durch die Steuerungsvorrichtung durchgeführt werden.
Als Flurförderzeuge kommen neben Gabelhubwagen in sehr großem Umfang Gabelstapler und Schubmaststapler zum Einsatz, wobei diese Arten von Flurförderzeugen vor allem auf Paletten angeordnete Lasten transportieren. Dabei sind im Regelfall zur Bildung einer Lastgabel an einem Gabelträger zwei Gabelzinken angeordnet, mit denen bei dem Aufnehmen einer Last durch entsprechendes Manövrieren des Gabelstapler sowie Ansteuern eines Hubmastes, an dem die Lastgabel höhenbeweglich geführt ist, zugeordnete Aufnahmeöffnungen einer Palette angesteuert werden können. Insbesondere bei ungünstigen Sichtbedingungen, wie etwa bei sehr hoch angehobener Lastgabel oder in schlecht beleuchteten Bereichen eines Lagers, kann dies mühsam sein bzw. zumindest erhebliche Zeit erfordern, da besonders langsam und sorgfältig gesteuert werden muss. Weiterhin werden die Umschlagsleistung und der effiziente Einsatz von Flurförderzeugen auch dadurch beeinträchtigt, dass Fahrer bzw. Bedienpersonen von Flurförderzeugen eventuell noch keine ausreichende Übung im Bedienen und im Steuern des Flurförderzeugs haben.
Bekannt ist, durch Videovorrichtungen die Lastaufnahmevorrichtung und ein gegebenenfalls vor oder auf der Lastaufnahmevorrichtung befindliches Transportmittel mit Last, wie etwa eine beladene Palette, zu erfassen und zeitgleich auf einem Monitor abzubilden. Dies soll es dem Fahrer ermöglichen bzw. erleichtern, die Lastaufnahmevorrichtung optimal zu positionieren. Ebenso können solche Systeme aus Kamera und Monitor auch den Umgebungsbereich des Flurförderzeugs im Fahrbetrieb ganz allgemein abbilden und darstellen. Primäre Anwendungsfelder sind hierbei die Lastaufnahme in großen Hubhöhen und das Fahren bei eingeschränkten Sichtverhältnissen wie vor allem die Rückwärtsfahrt sowie das Vorwärtsfahren bei Sichtbehinderung durch die aufgenommene Last.
Bekannt sind auch fahrerlose Transportsysteme, bei denen durch eine Kamera gewonnene Bilddaten zur Generierung von Steuerbefehlen an die Fahrzeugsteuerung verwendet werden.
Im Verhältnis zu dem Nutzen der zuvor beschriebenen Technologien nach dem Stand der Technik entstehen bedingt durch den erforderlichen Aufwand relativ hohe Kosten. Der Nutzen liegt rein in der Ergonomieverbesserung durch Verbesserung der Sichtsituation des Fahrers ohne diesen durch weitere Funktionen in der Handhabung der Last oder dem Fahrbetrieb zu unterstützen. Im Hinblick auf den erforderlichen Kostenaufwand kommen die beschriebenen Technologien bisher überwiegend nur in einer geringen Zahl von Anwendungsfällen zum Einsatz, wie zum Beispiel bei Fahrzeugen für Hochregallager mit sehr großen Hubhöhen.
Optische Sensoren stehen inzwischen in sehr kompakten Maßen und kostengünstig gerade als miniaturisierte Kameras zur Verfügung, z. B. für den verbreiteten Einsatz in Mobiltelefonen. Auch kann durch den Einsatz mehrerer optischer Sensoren innerhalb eines Gehäuses der Abbildungsbereich vergrößert werden bzw. können dreidimensionale Daten durch Kombination der Sensordaten der einzelnen Sensoren gewonnen werden. Zudem stehen aus dem Bereich der Video-Entertainment-Branche Bildsensorkombinationen zur Verfügung, die neben bildgebenden Kamerasensoren hiermit korrelierte Tiefenmesssensoriken einsetzen und dadurch dreidimensionale Bilddaten bereitstellen können.
Aus der DE10 2006 012 205 A1 ist eine Erfassung der Form und der Position einer Last durch eine dreidimensionale Kamera bekannt, die im Infrarotbereich arbeitet. Eine Bedienperson wird beim Aufnehmen der Last insoweit unterstützt, als bei Gefahr einer Kollision des Lastaufnahmemittels mit der Last oder dem Regal eine Warnung abgegeben wird sowie Fahr- und/oder Hubbewegungen des Flurförderzeugs unterbunden werden.
Nachteilig an diesem Stand der Technik ist, dass dadurch nicht ermöglicht wird, auch bei Einsatz von Bedienpersonen mit wenig Erfahrung eine hohe Umschlagsleistung bzw. Arbeitsleistung des Flurförderzeugs zu erzielen.
Aus der DE 10 2008 027 701 A1 ist ein Steuerungsverfahren für ein autonomes, vollautomatisches Flurförderzeug mit einem Lasersensor im Bereich des Lastaufnahmemittels bekannt. Aus Daten des Sensors kann die relative Position einer aufzunehmenden Last gegenüber einem Lastaufnahmemittel durch eine Steuerungsvorrichtung bestimmt werden und nachfolgend die Sollausrichtung des Lastaufnahmemittels für die Aufnahme der Last berechnet werden. Die Istausrichtung des Lastaufnahmemittels wird durch die Steuerungsvorrichtung vollautomatisch korrigiert.
Nachteilig an diesem Stand der Technik ist, dass es jedoch sehr aufwändig und kostenintensiv ist, diese Steuerung so sicher auszulegen, dass eine Funktionsweise ohne menschliche Überwachung zulässig und möglich ist. Auch ist dieser Stand der Technik naturgemäß nur anwendbar, wenn sämtliche Bedienungsfunktionen wie Ansteuerfunktionen einer Arbeitshydraulik, eines Lastaufnahmemittels und Fahrfunktionen des Flurförderzeugs voll automatisiert betätigt werden können.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Steuerungsverfahren für ein Flurförderzeug sowie ein zugehöriges Flurförderzeug zur Verfügung zu stellen, mit dem eine leichte Bedienbarkeit auch für mit der Bedienung unerfahrene Personen ermöglicht wird und mit dem die Umschlagsleistung des Flurförderzeugs erhöht werden kann.
Diese Aufgabe wird durch ein Steuerungsverfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 sowie durch ein Flurförderzeug mit den Merkmalen des unabhängigen Patentanspruchs 18 gelöst. Vorteilhafte Weiterbildungen des Steuerungsverfahrens werden in den Unteransprüchen angegeben.
Die Aufgabe wird durch ein Steuerungsverfahren für ein Flurförderzeug mit mindestens einer auf den Bereich eines Lastaufnahmemittels ausgerichteten Kamera, einem Monitor und einer Steuerungsvorrichtung gelöst, wobei bei dem Steuerungsverfahren, wenn sich das Flurförderzeug mit dem Lastaufnahmemittel vor einer aufzunehmenden Last befindet, die folgenden Schritte durchgeführt werden:
Erfassen der Last mittels Bildverarbeitungsverfahren durch die Steuerungsvorrichtung, wie beispielsweise Muster- oder Objekterkennung, Suchen einer Lasttransportvorrichtung der Last durch die Steuerungsvorrichtung, Bestimmen der relativen Position der Lasttransportvorrichtung gegenüber dem Lastaufnahmemittel und der relativen Position der Aufnahmeelemente der Lasttransportvorrichtung, die für das Lastaufnahmemittel des Flurförderzeugs vorgesehen sind, durch die Steuerungsvorrichtung, Darstellen von zumindest Teilen der Last sowie der Aufnahmeelemente auf dem Monitor, Markieren der Aufnahmeelemente in der Darstellung auf dem Monitor, Abfragen einer Bestätigungseingabe, sowie im Falle einer Bestätigungseingabe Aufnehmen der Last auf das Lastaufnahmemittel durch automatisches Einstellen und Ausrichten der durch die Steuerung ansteuerbaren Funktionen des Lastaufnahmemittels und der durch die Steuerungsvorrichtung ansteuerbaren Fahrfunktionen des Flurförderzeugs und Anzeigen von einzustellenden Werten für Funktionen des Lastaufnahmemittels und Fahrfunktionen des Flurförderzeugs auf dem Monitor, die nicht automatisch durch die Steuerungsvorrichtung angesteuert werden können.
Vorteilhaft kann damit die Umschlagsleistungen und der effiziente Einsatz von Flurförderzeugen erhöht werden, wenn eine Bedienperson noch relativ ungeübt in der Bedienung des Flurförderzeugs ist. Gerade das zuverlässige und sichere Aufnehmen einer Last, ohne die Last oder sonstige Gegenstände in der Nähe zu beschädigen, erfordert einige Übung und ist erst nach einiger Routine mit größerer Geschwindigkeit durchführbar. Dies gilt umso mehr, wenn die Last zum Beispiel sich in einem hohen Regal in einer höheren Lagerposition befindet. In einem solchen Fall bestehen zum einen ungenügende Sichtverhältnisse und zum anderen wirken sich Steuerbefehle des Bedieners des Flurförderzeugs, etwa beispielsweise eines Schubmaststaplers oder aber auch eines Gegengewichtsgabelstapler oder Gabelhochhubwagens, in abweichender Art und Weise aus, wie bei einer Position nahe am Boden. Beispielsweise kann es zu Schwingungen und Verzögerungen kommen durch die Elastizität eines Hubmastes. Die Gefahr von Unfällen, Beschädigungen der Last, Schäden an dem Flurförderzeug sowie von Schäden etwa an Regalen wird verringert und zugleich können auch weniger geübte Fahrer, wie etwa temporäre Arbeitskräfte oder nur in zeitlich geringem Umfang als Aushilfe tätige Arbeitskräfte eingesetzt werden. Sobald die Steuerungsvorrichtung eine Abfolge von Ansteuerbefehlen der Funktionen des Lastaufnahmemittels sowie gegebenenfalls von Fahrbewegungen des Flurförderzeugs bestimmt hat, um das Lastaufnahmemittel, beispielsweise eine Lastgabel mit den Gabelzinken, in die Aufnahmeelemente einer Lasttransportvorrichtung für die Last, beispielsweise einer Palette mit den für die Gabelzinken vorgesehenen Öffnungen, zu bewegen, werden diese Aufnahmeelemente auf dem Monitor, alternativ aber auch auf einer anderen geeigneten, gegebenenfalls bereits vorhandenen Anzeigevorrichtung des Flurförderzeugs, markiert dargestellt. Die automatische Ansteuerung der Funktionen bzw. Fahrbewegung erfolgt erst, nachdem die Steuerungsvorrichtung ein Signal erhält, dass eine Bestätigungseingabe durch den Fahrer erfolgt ist. Eine solche Bestätigungseingabe kann ein eigens vorgesehener Schalter, ein Schaltfeld auf dem auf Berührungen reagierenden Monitor, oder eine sonstige geeignete, jedoch bewusst durch den Fahrer zu betätigende Eingabe sein. Anschließend führt die Steuerungsvorrichtung diejenigen erforderlichen Bewegungen aus, um das Lastaufnahmemittel in die Aufnahmeelemente zu bewegen, die als Bewegungen von der Steuerungsvorrichtung automatisch vorgenommen werden können. Üblicherweise erfolgen die Funktionen eines Lastaufnahmemittels durch Arbeitshydrauliken, deren Ventile im Regelfall als elektrisch betätigbare Steuerventile ausgeführt sind, wobei von Hand durchgeführte Bedienungseingaben über Bedienelemente erfolgen, die ein elektrisches Signal abgeben. Dies ermöglicht eine vollautomatische Ansteuerung durch die Steuerungsvorrichtung bei dem erfindungsgemäßen Verfahren, die kostengünstig umzusetzen ist. Für Funktionen, die nicht über die Steuerungsvorrichtung angesteuert werden können, werden durch eine grafische Anzeige auf dem Monitor, aber auch gegebenenfalls auf einer anderen alternativ zur Verfügung stehenden Anzeigemöglichkeit, die einzustellenden Werte für das Bedienelement angezeigt. Dies können beispielsweise Umdrehungen eines Lenkrads sein, aber auch eine über Pfeile gesteuerte Anzeige, die vorgibt, in welcher Richtung ein Bedienelement zu betätigen ist, bis der einzustellende Wert erreicht ist. Auf dieselbe Weise ist dies auch für Bedienhebel für eine Hubhöhe, einen Seitenschub, einen Mastschub, eine Neigung des Lastaufnahmemittels oder eine Mastneigung möglich. Es kann auch vorgesehen werden, dass Funktionen, die von der Steuerungsvorrichtung vollautomatisch angesteuert werden könnten, auf diese Weise betätigt werden. Vorteilhaft unterliegen die automatisierten Bewegungen des Flurförderzeugs somit einer menschlichen Kontrolle sowohl hinsichtlich der richtigen Bestimmung eines vorgesehenen automatisierten Bewegungsablaufs als auch während des automatisierten Bewegungsablaufs des Flurförderzeugs. Daher können Sicherheitsanforderungen leichter erfüllt werden und kann ein erforderlicher größerer Aufwand wie bei autonomen Flurförderzeugen vermieden werden. Das Verfahren ist auch insofern kostengünstig umzusetzen, da für eine Vielzahl der Funktionen des Lastaufnahmemittels wie auch der Fahrfunktionen des Flurförderzeugs bereits die Möglichkeit einer automatisierten Ansteuerung besteht und für die verbleibenden erforderlichen Funktionen eine solche nicht erforderlich ist. Insbesondere kann beispielsweise eine Steuerung eines Bremspedals und eines Gaspedals allein unter menschlicher Kontrolle verbleiben.
Vorteilhaft ist die Lasttransportvorrichtung eine Palette und sind die Aufnahmeelemente Öffnungen für Gabelzinken einer Lastgabel als Lastaufnahmeelement.
Die Aufnahme einer Palette mit einer Lastgabel erfordert eine relativ genaue Ausrichtung der Gabelzinken hinsichtlich des Abstands zwischen diesen, der Höhe und Längsausrichtung, um diese in die Öffnungen der Palette einführen zu können. Hierbei erweist sich das erfindungsgemäße Verfahren als besonders vorteilhaft.
In einer günstigen Weiterbildung des erfindungsgemäßen Verfahrens werden von der Steuerungsvorrichtung die Kanten der Last und/oder die Kanten der Lasttransportvorrichtung erfasst.
Bei vielen Lasttransportvorrichtungen, insbesondere Paletten, befinden sich diese unterhalb der Last. Durch das Aufsuchen von Kanten und äußeren Konturen, insbesondere senkrecht stehenden Kanten, kann daher bei einem Bildmuster die Lasttransportvorrichtung gefunden werden, die sich am unteren Ende dieser Kanten befinden muss. Die Last kann aber natürlich auch vollständig von der Lasttransportvorrichtung umschlossen sein, wie etwa im Fall eines Gitterkorbs, bei dem im Regelfall durch das Erfassen der Last bereits die Lasttransportvorrichtung erfasst wird.
Vorteilhaft können eine oder mehrere weitere Bestätigungseingaben vor oder zwischen der Ansteuerung einzelner Funktionen des Lastaufnahmemittels und/oder der Ansteuerung einzelner Fahrfunktionen des Flurförderzeugs abgefragt werden.
Die automatisierte Ansteuerung einzelner Funktionen des Lastaufnahmemittels und/oder einzelner Fahrfunktionen des Flurförderzeugs kann nacheinander, aber auch zur zeitlichen Optimierung gleichzeitig erfolgen. Überdies kann auch gleichzeitig die Ansteuerung derjenigen Funktionen durch die Bedienperson erfolgen, die nicht automatisiert angesteuert werden können. Dabei kann vorgesehen werden, dass weitere Bestätigungseingaben auf die gleiche, oben beschriebene Art und Weise erfolgen müssen, um Sicherheitsanforderungen zu erfüllen, beispielsweise wenn bei einer bestimmten automatisierten Bewegungen eine verstärkte Überwachung durch die Bedienperson sichergestellt werden soll.
In einer günstigen Ausführungsform des erfindungsgemäßen Verfahrens wird eine andauernde Bestätigungseingabe abgefragt und bei Fehlen eines Bestätigungssignals die Ansteuerung der Funktionen des Lastaufnahmemittels und/oder der Fahrfunktionen des Flurförderzeugs gestoppt.
Eine Bestätigungseingabe kann auch dadurch vorgesehen werden, dass ein entsprechendes Signal andauernd gegeben werden muss und bei einem "Loslassen" alle automatisierten Bewegungen gestoppt werden.
Das Lastaufnahmemittel kann an einem Hubmast höhenbeweglich geführt sein und Funktionen des Lastaufnahmemittels können die Hubhöhe und/oder eine Neigung und/oder ein Mastschub des Hubmastes sein.
Das erfindungsgemäße Verfahren ist besonders vorteilhaft wenn Lasten auch in großen Höhen aufgenommen werden müssen, da es zu Schwingungen und elastischen Verformungen des Hubmastes bei großen Hubhöhen kommen kann, die die Bedienung zusätzlich erschweren können. Insbesondere sind jedoch die Sichtverhältnisse bei großer Hubhöhe ungünstig. Vorteilhaft unterstützt das erfindungsgemäße Verfahren als Assistenzsystem eine Bedienperson im Gegensatz beispielsweise zu einem reinen Kamerasystem nach dem Stand der Technik auch bei der Bedienung und vermeidet so die Probleme, die auftreten können, wenn eine Bedienperson nur anhand eines Kamerabildes Bewegungen eines Lastaufnahmemittels steuern muss.
Eine Funktion des Lastaufnahmemittels kann eine Seitenschubvorrichtung sein.
Vorteilhaft ist das Lastaufnahmemittel eine Lastgabel und eine Funktion des Lastaufnahmemittels eine Gabelzinkenverstellung.
Eine schnelle seitliche Ausrichtung der Gabelzinken und rasche Einstellung des Abstands zwischen den Gabelzinken wird sich vorteilhaft auf die Umschlagsleistung des Flurförderzeugs aus.
In der günstigen Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die Anzeige von einzustellenden Werten für Funktionen des Lastaufnahmemittels und für Fahrfunktionen des Flurförderzeugs auf dem Monitor kontinuierlich, bis das Lastaufnahmemittel sich in den Aufnahmeelementen befindet.
Es ist besonders vorteilhaft, die einzustellenden Werte für die Bedienelemente, die von der Bedienperson von Hand bedient werden, kontinuierlich und eventuell korrigiert anzuzeigen, bis das Lastaufnahmemittel in den Aufnahmeelementen der Lasttransportvorrichtung angelangt ist.
Vorteilhaft wird für den Lenkwinkel als Fahrfunktion des Flurförderzeugs als einzustellender Wert ein Wertebereich eines erforderlichen Lenkeinschlags angezeigt sowie der Istwert des Lenkeinschlags.
Vorteilhaft erfordert das erfindungsgemäße Verfahren keine autonome Lenkung mit den entsprechenden Anforderungen an Sicherheit und Zuverlässigkeit.
Das Lastaufnahmemittel kann eine Lastgabel sein und auf dem Monitor der Weg der Gabelzinken in die Aufnahmeelemente der Lasttransportvorrichtung dargestellt werden.
Eine solche Darstellung lässt eine intuitive Überprüfung durch die Bedienperson zu, ob die Gefahr von Kollisionen besteht.
In günstiger Ausgestaltung des Verfahrens erfolgt bei Erkennen einer Kollisionsgefahr ein Warnton und/oder die weitere Ansteuerung der Funktionen des Lastaufnahmemittels und/oder der Fahrfunktionen des Flurförderzeugs wird gestoppt.
Es kann auch gegen Ende der Bewegung in die Aufnahmeelemente ein Abbremsen erfolgen, insbesondere wenn Gabelzinken eine Palette aufnehmen und an das Ende des Einfahrens in die Palette gelangen.
Es können weitere optische Sensoren für die Erfassung der Last vorgesehen sein, die mit der Steuerungsvorrichtung verbunden sind.
Durch weitere optische Sensoren kann die Genauigkeit der Erfassung verbessert werden. Solche optischen Sensoren stehen als CMOS-Bildsensoren aber auch als miniaturisierte Kameras preisgünstig als Massenprodukte zur Verfügung. Die weiteren optischen Sensoren können vorzugsweise neben den bereits genannten Bildinformationen, etwa codiert in Helligkeits- und Farbwerte der Bildpunkte, weitere Informationen erfassen, wie beispielsweise Entfernungsinformationen in Form von Punktwolken. Vorteilhaft kann ganz allgemein durch zwei Kameras ein Stereobild gewonnen werden, aus dem sich Informationen über die Entfernung der einzelnen Bildpunkte gewinnen lassen.
In einer Weiterbildung kann die Kamera eine Time Of Flight Kamera sein.
Durch eine solche Kamera lässt sich für jeden Bildpunkt auch eine Entfernungsinformation gewinnen und verwerten.
In einer vorteilhaften Ausgestaltung des Verfahrens ist die Kamera eine Stereokamera.
Durch eine Stereokamera lässt sich sehr kompakt in einer Kamera ein doppeltes Bild gewinnen, aus dem sich eine Entfernungsinformation berechnen lässt.
In einer vorteilhaften Weiterbildung ist die Kamera an einem Gabelträger des Lastaufnahmemittels angeordnet, insbesondere in der Höhe verfahrbar angeordnet und kann in eine Position unterhalb des Lastaufnahmemittels verfahren werden.
Beispielsweise kann die Kamera an einer senkrechten Schiene hinter dem bevorzugt als Lastgabel ausgebildeten Lastaufnahmemittel so an dem Gabelträger in der Höhe verfahrbar angeordnet sein, dass diese bei einer auf der Lastgabel aufliegenden Last nach unten verfahren werden kann, bis die Kamera ein Blickfeld unter den Gabelzinken der Lastgabel erreicht. Es ist auch möglich, generell für die Bildaufnahme bei dem erfindungsgemäßen Verfahren die Kamera in diese untere Position zu verfahren. Denkbar sind auch verfahrbare Kameras, die nicht senkrecht, sondern waagerecht bewegt werden können.
Der Monitor kann ein Touchscreen sein.
Das erfindungsgemäße Verfahren ist auch anwendbar, wenn eine Lasttransportvorrichtung keine Last trägt, etwa wenn eine einzelne leere Palette ohne Last aufgenommen wird. In einem solchen Fall muss die Bildverarbeitung entsprechend angepasst werden, so dass das Muster einer leeren Lasttransportvorrichtung ohne Last erkannt wird. Das erfindungsgemäße Verfahren kann dabei insofern auch modifiziert werden, als nicht nach einer eigentlichen Last gesucht wird.
Die Aufgabe wird auch durch ein Flurförderzeug mit mindestens einer auf den Bereich eines Lastaufnahmemittels ausgerichteten Kamera, einem Monitor und einer Steuerungsvorrichtung gelöst, bei dem die Steuerungsvorrichtung ein zuvor beschriebenes Verfahren durchführt.
Das Flurförderzeug weist die bereits zuvor geschilderten Vorteile auf.
Weitere Vorteile und Einzelheiten der Erfindung werden anhand der in den schematischen Figuren dargestellten Ausführungsbeispiele näher erläutert. Hierbei zeigt

Fig.1: ein Flurförderzeug in Perspektivansicht,
Fig. 2: stark schematisch ein Flurförderzeug der Fig. 1 sowie eine aufzunehmende Last in Aufsicht,
Fig. 3: eine aufzunehmende Last im Perspektivansicht,
Fig. 4: ein Monitorbild und
Fig. 5: ein Schema des erfindungsgemäßen Verfahrens.

In der Fig. 1 ist ein Flurförderzeug in perspektivischer Ansicht dargestellt, bei dem das erfindungsgemäße Steuerungsverfahren zur Anwendung kommt. Bei dem Flurförderzeug handelt es sich um einen Schubmaststapler mit einem ersten Radarm 1 mit einer Laufrolle 2 und einem zweiten Radarm 3, ebenfalls mit einer Laufrolle 2. Das erfindungsgemäße Verfahren ist jedoch jederzeit auch bei jeder anderen Art eines Flurförderzeugs und insbesondere Gabelstaplers, wie etwa einem Gegengewichtsgabelstapler, oder etwa eine Gabelhochhubwagen einsetzbar. Vor allem ist das erfindungsgemäße Steuerungsverfahren auch einsetzbar bei Flurförderzeugen, die keinen Hubmast aufweisen. Bei dem beispielhaft dargestellten Schubmaststapler ist an einem Hubmast 4 ein Gabelträger 11 angeordnet, an dem eine Lastgabel 5 als Lastaufnahmemittel 9 befestigt ist. Hinter dem Hubmast 4 ist eine Batterie 6 angeordnet. Der die Lastgabel 5 tragende Gabelträger 11 ist an dem Hubmast 4 mittels eines Hubantriebs anhebbar und absenkbar. Der Hubmast 4 kann zwischen den Radarmen 1, 3 nach vorne verschoben werden, um eine Last aufzunehmen. An den in einer Fahrzeuglängsachse des Schubmaststaplers vorderen Ende des ersten Radarms 1 befindet sich über der Laufrolle 2 ein erstes Schutzblech 7 und über der Laufrolle 2 des zweiten Radarms 3 ebenfalls ein zweites Schutzblech 8. An dem Gabelträger 11 ist eine Kamera 10 angeordnet. Im dargestellten Ausführungsbeispiel ist die Kamera 10 in Fahrzeugquerrichtung im mittleren Bereich des Gabelträgers 11 angeordnet. Die Kamera 10 ist bevorzugt in der Höhe verstellbar an dem Gabelträger 11 angeordnet und kann in eine Position unterhalb der Lastgabel 5 gefahren werden. Weiterhin kann an einer Gabelzinke 12 eine Minikamera 13 als weiterer optischer Sensor 14 angeordnet werden. Solche Minikameras 13 stehen in robuster und kostengünstiger Ausführung zur Verfügung und werden beispielsweise zahlreich eingesetzt in Mobiltelefonen.
Die Fig. 2 zeigt schematisch das erfindungsgemäße Flurförderzeug in Sicht von oben. Zwischen dem ersten Radarm 1 und dem zweiten Radarm 3 mit der Laufrolle 2 ist der Hubmast 4 mit der Lastgabel 5 angeordnet. An dem Gabelträger 11 mit der Lastgabel 5 ist die Kamera 10 angeordnet, die mit ihrem Erfassungsbereich 17 eine vor der Lastgabel 5 als Lastaufnahmemittel 9 befindliche Last 15 erfasst.
Eine nicht näher dargestellte Steuerungsvorrichtung erkennt aus den Bilddaten der Kamera 10 die relative, im Beispielsfall verdrehte Anordnung der Last 15 bzw. Palette 16.
Die Fig. 3 zeigt eine Perspektivansicht der aufzunehmenden Last 15 auf einer Palette 16 als Lasttransportvorrichtung 18. Die Steuerungsvorrichtung sucht mithilfe von Bildverarbeitungsmethoden nach charakteristischen Punkten an Last 15 und Lasttransportvorrichtung 18, vorzugsweise senkrechten Kanten 19 der Last 15, anhand derer die jeweiligen Enden der Lasttransportvorrichtung 18 gefunden werden können. Anhand dieser Kanten 19 wird an deren jeweils unteren Ende die Transportvorrichtung 18 gesucht. Anhand von Kanten 20 der Kontur der Lasttransportvorrichtung 18, hier der Palette 16, wird deren Lage und relative Ausrichtung bestimmt. Dadurch können Öffnungen 21 der Palette 16, die für die Aufnahme der Gabelzinken 12 der Lastgabel 5 dienen und Aufnahmeelemente 22 für das Lastaufnahmemittel 9 des Flurförderzeugs bilden, gefunden werden.
Die Fig. 4 zeigt ein Monitorbild eines Monitors 23, der im Sichtbereich der Bedienperson des Flurförderzeugs angeordnet ist. Auf diesem Monitorbild ist ein Ausschnitt der durch die Kamera 10 erfassten Darstellung der Last 15 mit der Lasttransportvorrichtung 18 in Form einer Palette 16 aus der Fig. 3 abgebildet. Durch eingeblendete Pfeile sind die durch die Steuerungsvorrichtung erkannten Öffnungen 21 entsprechend den Aufnahmeelementen 22 für das Lastaufnahmemittel 9 des Flurförderzeugs hervorgehoben.
Eine Bedienperson des Flurförderzeugs kann nun das richtige Erkennen der Öffnungen 21 bestätigen und durch eine Bestätigungseingabe, beispielsweise durch einen hier nicht dargestellten Schalter oder auch ein Bedienfeld 24 des als Touchscreen 25 ausgebildeten Monitors 23, das automatische Ansteuern der Funktionen des Lastaufnahmemittels 9 sowie der Fahrfunktionen des Flurförderzeugs starten. Zugleich wird auf dem Monitor 23 für nicht automatisch ansteuerbare Funktionen, im vorliegenden Fall die Lenkung des Flurförderzeugs, ein einzustellender Wert angezeigt. Dadurch richtet sich die Lastgabel 5 entsprechend den Öffnungen 21 aus und, wenn die Bedienperson die entsprechenden Anweisungen über die einzustellenden Werte beachtet, gelangen die Gabelzinken 12 der Lastgabel 5 in die Öffnungen 21. Durch diese Assistenzfunktion können auch Bedienpersonen mit wenig Erfahrung eine Last 15 mitsamt Lasttransportvorrichtung 18 sicher aufnehmen.
Die Steuerungsvorrichtung kann dabei in einen Steuerungscomputer des Fahrzeugs integriert sein oder vollständig bzw. in Teilen aus einem eigenen Computer bestehen.
Die Fig. 5 zeigt ein Schema des erfindungsgemäßen Verfahrens. Der Monitor 23 kann aus jeder Form von Bildwiedergabemitteln bestehen, z. B. einem Farbbildschirm in LCD-Technik. Die Funktionen 26 des Lastaufnahmemittels 9 werden durch die Bedienperson im normalen Betrieb über Arbeitshydraulikbedienelemente 27 angesteuert und bestehen im Regelfall aus hydraulischen Elementen, die durch elektrisch ansteuerbare Ventile zumeist bereits automatisiert ansteuerbar sind. Über eine Fahrantriebsbedienung 28 der Fahrfunktionen 29 des Flurförderzeugs ist eine Bedienperson in der Lage, die Fahrzeugbewegung zu kontrollieren. Bei einem Gabelstapler beispielsweise durch eine Bedienung mittels Lenkrad, Fahrtrichtungswahlschalter, Fahrpedal und Bremspedal. Eine Bildverarbeitungseinheit 30 bildet einen Teil einer Steuerungsvorrichtung 31, die die Signale eines oder mehrerer optischer Sensoren 10, 14 in Echtzeit erfassen und verarbeiten kann. Einen optischen Sensor stellen dabei in dem vorliegenden Beispielsfall die Kamera 10 sowie der optische Sensor 14 in der Fig. 1 dar. Die optischen Sensoren 10, 14 sind in der Lage, Helligkeits- und Farbinformationen durch beispielsweise einen Kamerachip aufzunehmen und können bei entsprechender Auslegung auch Entfernungen zu Objekten mit optischen Mitteln bestimmen.
Die Funktionen 26 des Lastaufnahmemittels 9 sowie die Fahrfunktionen 29 des Flurförderzeugs sind in der Darstellung der Fig. 5 zu Fahrzeugantrieben 32 zusammengefasst. Die Arbeitshydraulikbedienelemente 27, die Fahrantriebsbedienung 28 und der Monitor 23 sind im Bereich eines Fahrerarbeitsplatzes 33 angeordnet. Die Bildverarbeitungseinheit 30 sowie die optischen Sensoren 10, 14 sind im Bereich des Lastaufnahmemittels 9, hier dem Gabelträger 11 und der Gabelzinke 12 angeordnet.
Eine Fahrzeugsteuerung 34 bildet im vorliegenden Beispielsfall ebenfalls einen Teil der Steuerungsvorrichtung 31 und verbindet über uni- oder bidirektionale Kommunikationsmittel die zuvor genannten Elemente.
Die Bildverarbeitungseinheit 30 kann alternativ auch an anderer Stelle angeordnet sein und/oder in die Fahrzeugsteuerung 34 ebenfalls integriert werden, so dass die Fahrzeugsteuerung 34 zugleich die vollständige Steuerungsvorrichtung 31 des zuvor beschriebenen Ausführungsbeispiels bildet.
Ein Signal S1 überträgt ein Bestätigungssignal, das bei der Abfrage der Bestätigungseingabe durch die Bedienperson erzeugt wird, sowie weitere Auswahl-und Steuersignale.
Das Signal S2 überträgt das Bild der Kamera 10, dessen Qualität durch Bildverarbeitungsalgorithmen der Steuerungsvorrichtung 31 verbessert werden kann und das zusätzlich mit überlagerten algorithmisch generierte Zusatzinformationen versehen werden kann, z. B. Distanzinformationen, Wegvorgaben und Markierungen von Gefahrenbereichen. Das Signal S3 umfasst Steuersignale der Arbeitshydraulikbedienelemente 27 und das Signal S4 Steuersignale der Fahrantriebsbedienung 28. Das Signal S5 ist das Bildinformationssignal der Kamera 10 und das Signal S6 ist das Bildinformationssignal des optischen Sensors 14.
Über ein Signal S7 werden generierte Steuersignale der Bildverarbeitungseinheit 30 zu der Fahrzeugsteuerung 34 übertragen. Ein Signal S8 bildet die Steuersignale der Funktionen 26 des Lastaufnahmemittels 9 und ein Signal S9 dient zur Ansteuerung der Fahrfunktionen 29.

Claims

Steuerungsverfahren für ein Flurförderzeug mit mindestens einer auf den Bereich eines Lastaufnahmemittels (9) ausgerichteten Kamera (10), einem Monitor (23) und einer Steuerungsvorrichtung (31), wobei bei dem Steuerungsverfahren, wenn sich das Flurförderzeug mit dem Lastaufnahmemittel (9) vor einer aufzunehmenden Last (15) befindet, die folgenden Schritte durchgeführt werden:
- Erfassen der Last (15) mittels Bildverarbeitungsverfahren durch die Steuerungsvorrichtung (31), wie beispielsweise Muster- oder Objekterkennung,

- Suchen einer Lasttransportvorrichtung (18) der Last (15) durch die Steuerungsvorrichtung (31),

- Bestimmen der relativen Position der Lasttransportvorrichtung (18) gegenüber dem Lastaufnahmemittel (9) und der relativen Position der Aufnahmeelemente (22) der Lasttransportvorrichtung (18), die für das Lastaufnahmemittel (9) des Flurförderzeugs vorgesehen sind, durch die Steuerungsvorrichtung (31),

- Darstellen von zumindest Teilen der Last (15) sowie der Aufnahmeelemente (22) auf dem Monitor (23),

- Markieren der Aufnahmeelemente (22) in der Darstellung auf dem Monitor (23),

- Abfragen eine Bestätigungseingabe (S1),

- im Falle einer Bestätigungseingabe (S1) Aufnehmen der Last (15) auf das Lastaufnahmemittel (9) durch automatisches Einstellen und Ausrichten der durch die Steuerungsvorrichtung (31) ansteuerbaren Funktionen (26) des Lastaufnahmemittels und der durch die Steuerungsvorrichtung (31) ansteuerbaren Fahrfunktionen (29) des Flurförderzeugs und

- Anzeigen von einzustellenden Werten für Funktionen (26) des Lastaufnahmemittels und Fahrfunktionen (29) des Flurförderzeugs auf dem Monitor (23), die nicht automatisch durch die Steuerungsvorrichtung (31) angesteuert werden können.
Steuerungsverfahren nach Anspruch 1,
dadurch gekennzeichnet,
dass die Lasttransportvorrichtung (18) eine Palette (16) ist und die Aufnahmeelemente (22) Öffnungen (21) für Gabelzinken (12) einer Lastgabel (5) als Lastaufnahmeelement (9) sind.
Steuerungsverfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass von der Steuerungsvorrichtung die Kanten (19) der Last (15) und/oder die Kanten (20) der Lasttransportvorrichtung (18) erfasst werden.
Steuerungsverfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet,
dass eine oder mehrere weitere Bestätigungseingaben vor oder zwischen der Ansteuerung einzelner Funktionen (26) des Lastaufnahmemittels und/oder der Ansteuerung einzelner Fahrfunktionen (29) des Flurförderzeugs abgefragt werden.
Steuerungsverfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet,
dass eine andauernde Bestätigungseingabe abgefragt wird und bei Fehlen eines Bestätigungssignals die Ansteuerung der Funktionen (26) des Lastaufnahmemittels und/oder der Fahrfunktionen (29) des Flurförderzeugs gestoppt wird.
Steuerungsverfahren nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet,
dass das Lastaufnahmemittel (9) an einem Hubmast (4) höhenbeweglich geführt ist und Funktionen (26) des Lastaufnahmemittels die Hubhöhe und/oder eine Neigung und/oder ein Mastschub des Hubmastes (4) sind.
Steuerungsverfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet,
dass eine Funktion (26) des Lastaufnahmemittels eine Seitenschubvorrichtung ist.
Steuerungsverfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet,
dass das Lastaufnahmemittel (9) eine Lastgabel (5) ist und eine Funktion des Lastaufnahmemittels (9) eine Gabelzinkenverstellung ist.
Steuerungsverfahren nach einem der Ansprüche 1 bis 8,
dadurch gekennzeichnet,
dass die Anzeige von einzustellenden Werten für Funktionen (26) des Lastaufnahmemittels (9) und für Fahrfunktionen (29) des Flurförderzeugs auf dem Monitor (23) kontinuierlich erfolgt, bis das Lastaufnahmemittel (9) sich in den Aufnahmeelementen (22) befindet.
Steuerungsverfahren nach Anspruch 9,
dadurch gekennzeichnet,
dass für den Lenkwinkel als Fahrfunktion (29) des Flurförderzeugs als einzustellender Wert ein Wertebereich eines erforderlichen Lenkeinschlags angezeigt wird sowie der Istwert des Lenkeinschlags.
Steuerungsverfahren nach Anspruch 10,
dadurch gekennzeichnet,
dass das Lastaufnahmemittel (9) eine Lastgabel (5) ist und auf dem Monitor (23) der Weg der Gabelzinken (12) in die Aufnahmeelemente (22) der Lasttransportvorrichtung (18) dargestellt wird.
Steuerungsverfahren nach einem der Ansprüche 1 bis 11,
dadurch gekennzeichnet,
dass bei Erkennen einer Kollisionsgefahr ein Warnton erfolgt und/oder die weitere Ansteuerung der Funktionen (26) des Lastaufnahmemittels (9) und/oder der Fahrfunktionen (29) des Flurförderzeugs gestoppt wird.
Steuerungsverfahren nach einem der Ansprüche 1 bis 12,
dadurch gekennzeichnet,
dass weitere optische Sensoren (14) für die Erfassung der Last (15) vorgesehen sind, die mit der Steuerungsvorrichtung (31) verbunden sind.
Steuerungsverfahren nach einem der Ansprüche 1 bis 13,
dadurch gekennzeichnet,
dass die Kamera (10) eine Time Of Flight Kamera ist.
Steuerungsverfahren nach einem der Ansprüche 1 bis 13,
dadurch gekennzeichnet,
dass die Kamera (10) eine Stereokamera ist.
Steuerungsverfahren nach Anspruch 14 oder 15,
dadurch gekennzeichnet,
dass die Kamera (10) an einem Gabelträger (11) des Lastaufnahmemittels (9) angeordnet ist, insbesondere in der Höhe verfahrbar angeordnet und in eine Position unterhalb des Lastaufnahmemittels (9) verfahren werden kann.
Steuerungsverfahren nach einem der Ansprüche 1 bis 16,
dadurch gekennzeichnet,
dass der Monitor (23) eine Touchscreen (25) ist.
Flurförderzeug mit mindestens einer auf den Bereich eines Lastaufnahmemittels (9) ausgerichteten Kamera (10), einem Monitor (23) und einer Steuerungsvorrichtung (31), die ein Verfahren nach einem der Ansprüche 1 bis 14 durchführt.