-
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug. Ebenfalls betrifft die Erfindung ein Flurförderzeug, das, in der Lage ist, Abstandswerte relativ zu dem Flurförderzeug mit einer 2D-Kamera zu bestimmen.
-
Die Erfindung dient dazu, dreidimensionale Bildinformationen von der Umgebung des Flurförderzeugs zu erzeugen. Hierbei kann es sich um manuell durch einen Fahrzeugbediener oder um automatisch gesteuerte Fahrzeuge handeln. Die gewonnenen Abstandswerte können ebenso voll- oder teilautomatisch in dem Flurförderzeug verarbeitet werden und/oder optisch aufbereitet, dem Fahrzeugbediener zur Verfügung gestellt werden. Ein wichtiges Beispiel, bei dem Abstandswerte sehr hilfreich sind, ist beispielsweise das Aufnehmen und Absetzen von Lasten, da hierbei die Gabelzinken des Flurförderzeugs nah oder eng zu umgebenden Objekten, wie beispielsweise Regalträgern, Ladungsträgern, anderen Fahrzeugen oder allgemeinen Hindernissen gelangen. Auch bei Ein- und Auslagervorgängen sind Abstandswerte sehr hilfreich für eine Bedienperson, um das Fahrzeug mit seinen Gabelzinken genau zu steuern. Neben dem Ein- und Auslagern von Paletten sind aber auch andere Situationen denkbar, in denen eine gute Kenntnis der Abstandswerte hilft, das Fahrzeug besser einzusetzen.
-
Aus dem Stand der Technik ist eine Reihe von Kamerasystemen zur Beobachtung eines Bereichs vor dem Lastaufnahmemittel bekannt. Beispielsweise ist es bekannt, Gabelzinken-Kameras als 2D-Kamerasysteme einzusetzen und der Bedienperson so einen optischen Eindruck von der Situation unmittelbar vor der Gabelspitze zu geben. Neben der Verwendung von Gabelzinken-Kameras ist es auch bekannt, 3D-Kamerasysteme an den Gabelzinken einzusetzen. Diese sind jedoch vom Aufbau her empfindlich und von der Anschaffung vergleichsweise teuer, so dass sie nur begrenzt zum Einsatz kommen.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren für ein Flurförderzeug sowie ein solches bereitzustellen, das mit möglichst einfachen Mitteln eine zuverlässige Ermittlung von Abstandswerten erlaubt.
-
Erfindungsgemäß wird die Aufgabe durch ein Verfahren mit den Merkmalen aus Anspruch 1 gelöst, sowie durch ein Flurförderzeug mit den Merkmalen aus Anspruch 10. Vorteilhafte Ausgestaltungen bilden die Gegenstände der Unteransprüche.
-
Das erfindungsgemäße Verfahren mit den Merkmalen aus Anspruch 1 verwendet eine 2D-Kamera, die Bilder in einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug aufnimmt. Die 2D-Kamera nimmt jeweils Bilder von einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug auf. Die aufgenommenen Bilder werden an eine Auswerteeinheit weitergeleitet, die für mindestens einen Teil des Bildbereichs der aufgenommenen Bilder einen oder mehrere Abstandswerte relativ zu dem Flurförderzeug auswertet. Das erfindungsgemäße Verfahren beruht darauf, dass in einer ersten Kameraposition mit der 2D-Kamera ein erstes Bild aufgezeichnet wird. Nachfolgend bewegt die Kamera sich um eine Strecke aus der ersten Kameraposition in eine zweite Kameraposition. In der zweiten Kameraposition wird dann ein zweites Bild mit der 2D-Kamera aufgezeichnet. Um die beiden Bilder auswerten zu können, ist es wichtig, dass die Strecke zwischen der ersten und der zweiten Kameraposition erfasst wird. Strecke bedeutet hierbei, dass der Abstand zwischen der ersten und der zweiten Kameraposition erfasst wird und die räumliche Orientierung der Verbindungslinie von der ersten und der zweiten Kameraposition vorliegen. Beides ist von der Strecke zwischen den beiden Kamerapositionen umfasst. Nachfolgend wird in einem Überlappungsbereich der beiden Bilder unter Berücksichtigung der Strecke ein Abstandswert für zumindest einen Punkt und/oder ein Bereich von Punkten bestimmt. Das Besondere an dem erfindungsgemäßen Verfahren ist, dass hier die Bilder einer 2D-Kamera ausgewertet werden, um so Abstandswerte in dem Überlappungsbereich der Bildbereiche zu erzielen. Das erfindungsgemäße Verfahren beruht auf der Erkenntnis, dass gerade bei Flurförderzeugen mit ihrem üblichen Einsatzgebiet in einer Lagerumgebung, Veränderungen vergleichsweise langsam erfolgen, so dass zwei zeitlich nacheinander aufgenommene Bilder, bei dem die 2D-Kamera von einer ersten Kameraposition in eine zweite Kameraposition verfahren wurde, zuverlässig für Abstandswerte ausgewertet werden können. Die Bezeichnung 2D-Kamera bedeutet, dass ein 2D-Bild von der Kamera bereitgestellt wird, auch dann, wenn die Kamera andere Bildinformationen zur Verfügung stellen kann. Der ausgewertete Abstandswert erlaubt es auch, insbesondere auch in Kombination mit den sonstigen Bildinformationen, eine Position im dreidimensionalen Raum zu bestimmen.
-
In einer bevorzugten Ausgestaltung ist die Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts angebracht. Die Kamera fährt also bei einem Heben- oder Senkvorgang in unterschiedliche Höhen und damit nimmt die Kamera unterschiedliche Höhenpositionen ein. Die zweite Kameraposition unterscheidet sich, wenn das Flurförderzeug sich ansonsten nicht bewegt, ausschließlich in der Höhe.
-
Ebenfalls bevorzugt ist auch eine seitliche Kamerafahrt möglich, beispielsweise bei einem Seitenschub für eine oder beide Gabelzinken, wobei bei der seitlichen Kamerafahrt die Kamera aus horizontal unterschiedlichen Positionen Bilder aufnimmt.
-
In einer weiteren bevorzugten Ausgestaltung ist die Kamera fahrzeugfest an dem Flurförderzeug angebracht und wird durch eine Fahrbewegung des Flurförderzeugs in die beiden Kamerapositionen bewegt. Selbstverständlich kann auch bei einer 2D-Kamera, die an dem Hubgerüst montiert ist, die Fahrbewegung mitberücksichtigt werden. In diesem Fall ergibt sich die Strecke zwischen den beiden Kamerapositionen nicht nur durch eine vertikale Bewegung der 2D-Kamera, sondern damit überlagert auch durch eine horizontale Bewegung des Flurförderzeugs.
-
Bei dem erfindungsgemäßen Verfahren wird für den Überlappungsbereich eine Disparitätskarte erzeugt. Die Disparitätskarte gibt für Bildbereiche, die sich in beiden Bildern aus den unterschiedlichen Kamerapositionen befinden, einen ersten Eindruck davon, welche Bereiche im Bild näher zum Fahrzeug sind oder weiter von diesem entfernt. Die Disparität beruht auf dem Umstand, dass als gleich erkannte Bildbereiche bei einer Betrachtung aus zwei unterschiedlichen Kamerapositionen unterschiedliche Positionen im Bild haben und so über den Unterschied in den Positionen in den Bildern eine genauere Abstandsbestimmung zulassen.
-
Um übereinstimmende Bildbereiche in den beiden Bildern zu verwenden, werden bevorzugt Block-Matching-Verfahren eingesetzt. Von den Block-Matching-Verfahren gibt es eine Reihe von verschiedenen Ansätzen, die zum Einsatz kommen können. Für die stark strukturierten Umgebungen bei Flurförderzeugen hat sich die Verwendung von Block-Matching-Verfahren, insbesondere von einem Semi-Global-Block-Matching-Verfahren, als besonders vorteilhaft herausgestellt.
-
Bei dem erfindungsgemäßen Verfahren wird bevorzugt die Strecke zwischen der ersten und der zweiten Kameraposition durch das Flurförderzeug erfasst. Bei einer am Hubgerüst angebrachten Kamera kann dies erfolgen, indem beispielsweise die Hub-/Senkgeschwindigkeit und die Dauer des Hub- bzw. Senkvorgangs verfasst wird. Auch andere Messungen, beispielsweise erfasst durch einen Hubhöhensensor, die beispielsweise direkt Positionen an dem Hubgerüst messen, können zur Bestimmung der Bewegung herangezogen werden.
-
Mögliche Fehlerquellen können bei der Ermittlung der Strecke berücksichtigt werden. So ist bekannt, dass das Hubgerüst in Abhängigkeit der aufgenommenen Last und der Hubhöhe eine unterschiedliche Verbiegung aufweist, die bei großen Hubhöhen auch einen relevanten horizontalen Anteil aufweisen und bei der Ermittlung der Strecke relevant sein können.
-
Das erfindungsgemäße Verfahren kann auch dahingehend erweitert werden, dass entlang einer Bahnkurve der 2-D Kamera eine Vielzahl von Bildern aufgezeichnet und an die Auswerteeinheit weitergeleitet wird. Die Bahnkurve muss hierbei nicht notwendig eine gekrümmte Kurve sein, sondern auch ein vertikales Verfahren einer 2D-Kamera an dem Hubgerüst erfüllt die Aufgabe einer Bahnkurve, ebenso wie eine horizontale Fahrbewegung des Flurförderzeugs. Bevorzugt werden die Bilder entlang der Bahnkurve dahingehend ausgewertet, welche die Strecke der Kamera zwischen den Bildern zurückgelegt hat. Hierbei wird die Strecke zwischen den Kamerapositionen von zwei Bildern erfasst, indem die entlang der Bahnkurve aufgenommenen Bilder ausgewertet werden. Alternativ werden unter der Bezeichnung „Structure-from-Motion“ Verfahren gefasst, bei denen die Kamerapositionen und ihr Abstand bei den Aufnahmen aus markanten Merkmalen in den Bildern geschätzt werden.
-
Die erfindungsgemäße Aufgabe wird ebenfalls durch ein Flurförderzeug mit den Merkmalen aus Anspruch 10 gelöst. Das erfindungsgemäße Flurförderzeug weist eine 2D-Kamera und eine Auswerteeinheit auf. An der Auswerteeinheit liegen die Bilder der 2D-Kamera an. Ferner ist eine Messeinheit vorgesehen, die eine Strecke für eine Veränderung der Kameraposition an oder mit dem Flurförderzeug erfasst und an die Auswerteeinheit anlegt. Die Messeinheit kann dabei je nach Art der Kamerabewegung ausgestaltet sein. Bei einer 2D-Kamera, die mit dem Hubgerüst verfährt, kann die Messeinheit eine Veränderung der Höhenposition an dem Hubgerüst messen. Bei einer fahrzeugfest vorgesehenen 2D-Kamera, die ihre Kameraposition durch eine Fahrbewegung des Flurförderzeugs ändert, kann die Messeinrichtung eine Fahrbewegung des Flurförderzeugs erfassen und so die Veränderung der Kameraposition ermitteln. Auch ist es möglich, dass die Messeinheit dazu ausgebildet ist, aus einer Vielzahl von Bildern eine Bahnkurve aus den Bildern zu ermitteln und aus der ermittelten Bahnkurve die Strecke zwischen den einzelnen Bildern der Kamera. Bei dem erfindungsgemäßen Flurförderzeug ist die Auswerteeinheit dazu ausgebildet, aus mindestens zwei anliegenden Bildern und der Strecke zwischen den Kamerapositionen der Bilder einen Abstandswert für mindestens einen Punkt in einem Überlappungsbereich der beiden Bildbereiche zu ermitteln. Der Überlappungsbereich stellt sicher, dass derselbe Punkt oder derselbe Bereich von Punkten aus zwei unterschiedlichen Kamerapositionen aufgenommen wird. Dies erlaubt es, für Kameras, deren Abbildungsverhältnisse bekannt sind, zuverlässig einen Abstandswert zu ermitteln. Das erfindungsgemäße Flurförderzeug stellt mit einer einfachen 2D-Kamera, deren Abbildungsverhältnisse bekannt sind, zuverlässig Abstandswerte aus dem Bildbereich der Kamera zur Verfügung, nachdem diese in die zweite Kameraposition verfahren ist.
-
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Flurförderzeugs ist die 2D-Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts angebracht. Durch das Verstellen der 2D-Kamera in der Höhe, ist es möglich, Bilder in unterschiedlichen Höhen an dem Flurförderzeug zu erfassen. Auch ist es möglich, die 2D-Kamera an dem Flurförderzeug fahrzeugfest anzubringen, so dass die beiden Kamerapositionen sich durch eine horizontale Bewegungsstrecke voneinander unterscheiden.
-
Bevorzugt könnten auch bei mit einem Seitenschieber ausgestatteten Fahrzeugen aus der horizontalen Bewegung einer oder beide Gabelzinken Bilder aus unterschiedlichen seitlichen Positionen aufgenommen und die unterschiedlichen Kamerapositionen ausgewertet werden.
-
In einer bevorzugten Ausgestaltung ist die Messeinheit dazu ausgebildet, die Strecke zwischen den Kamerapositionen aus einer Folge von Bildern zu bestimmen. Hierbei erfolgt die Bestimmung der Strecke zwischen zwei Kamerapositionen durch eine Bahnkurve, entlang derer die Folge von Bildern aufgenommen wurde.
-
Die Erfindung wird nachfolgend anhand von zwei Ausführungsbeispielen näher erläutert. Es zeigen:
- 1 ein Flurförderzeug mit einer Gabelzinkenkamera bei der Palettenaufnahme aus dem Regal,
- 2 die Verwendung einer Gabelzinken-Kamera beim Seitenschub zum Aufnehmen einer Last,
- 3 eine fahrzeugfeste Kamera, die einen Abstand entlang der Seite des Flurförderzeugs erfasst,
- 4 das geometrische Prinzip, mit dem der Abstand zu einem Punkt P bestimmt wird, und
- 5 das Prinzip einer Lochbildkamera und deren Abbildungsverhältnisse.
-
1 zeigt ein Flurförderzeug 10, das mit einem Hubgerüst 12 ausgestattet ist. Entlang dem Hubgerüst 12 ist ein Lasttragmittel 14 in der Höhe verstellbar. Das Lasttragmittel 14 besitzt an seinen Lastgabeln eine Gabelzinken-Kamera 16 in 2D, deren Bildbereich 18 über die Gabelspitze hinausgeht. In der schematischen Skizze erstreckt sich der Bildbereich 18 symmetrisch zu der Gabelspitze, was einer seitlich an der Lastgabeln angebrachten Kamera entspricht. Grundsätzlich ist es auch möglich, eine unterhalb der Lastgabel montierte Gabelzinken-Kamera vorzusehen, deren Bildbereich 18 unterhalb der Lastgabel beschränkt ist.
-
Das Flurförderzeug 10 befindet sich vor einem Regal 20 mit einer aufzunehmenden Last 22, die auf einer schematisch dargestellten Paletten 24 als Lastträger ruht. Durch ein Anheben des Lasttragmittels 14 zum Zeitpunkt to bis zum Zeitpunkt t1 um eine Strecke 26 geht der Bildbereich 18 in einen Bildbereich 18' über. Die Bildbereiche 18 und 18' überlappen sich in einem Überlappungsbereich 28. Für den Überlappungsbereich 28 liegen somit zwei Bilder desselben Gegenstands aus unterschiedlicher Perspektive vor, die eine Abstandsauswertung gestatten. Mit der Abstandsauswertung 30 ist dann beispielsweise der Abstand der Kamera 16 von der Frontseite des Regals bekannt. Über den Abstand der Kamera 16 von der Gabelspitze kann so auf den Abstand der Gabelspitze zur Regalfront geschlossen werden.
-
2 zeigt eine weitere Variante für eine Abstandsmessung, bei der eine seitliche Bewegung des Lasttragmittels relativ zu der Palette 24 und der darauf befindlichen Last 22 erfolgt. Bei der Abstandsmessung in 2 ist eine Kamera 16 auf der Innenseite der rechten Gabelzinke angebracht. Die Kamera 16 erfasst mit der Gabelzinke 32 ein erstes Bild. In der um die Strecke 34 verschobenen Position, besitzt die Gabelzinke 32' eine zweite Position für die Kamera 16. Es entsteht ein Überlappungsbereich 36, der Auskunft über den Abstand zur Regalfront gibt. Je nach Ausgestaltung kann hier beispielsweise die seitliche Position des Lasttragmittels relativ zu einem mittigen Block der Palette 24 erfasst werden. Auch kann eine Ausrichtung der Gabelzinken an seitlichen Begrenzungen der Palette 24 als Lastträger erfolgen. Bei bekannter Geometrie der Paletten, erlaubt dies eine zuverlässige seitliche Ausrichtung der Gabelzinken.
-
3 zeigt eine weitere Ausgestaltung, bei der ein Flurförderzeug 10 entlang seiner Fahrzeuglängsrichtung 38 verfährt. Das Flurförderzeug 10 nimmt mit seiner Seitenkamera 40 in einer ersten Position ein Bild 1 auf. Nachdem das Flurförderzeug in seine neue Position als Flurförderzeug 10' verfahren ist, nimmt die Seitenkamera 40 ein zweites Bild auf. Die beiden Bildbereiche besitzen einen Überlappungsbereich 42, in dem für ein oder mehrere Punkte ein seitlicher Abstand zu dem Flurförderzeug 10 berechnet werden kann. Der seitliche Abstand kann beispielsweise dazu dienen, einen Abstand zu einem Regal oder einer Wand bei der Fahrt automatisch einzuhalten. Die Kamera 40 mit der Abstandsbestimmung kann auch zusätzlich zu anderen Verfahren, wie beispielsweise Infrarotsensoren oder Ultraschallmessungen eingesetzt werden.
-
Für die Auswertung der Daten und die Bestimmung der Abstandswerte hilft 4. Hierbei bezeichnen L und R eine Lochkamera in zwei Kamerapositionen mit parallelen optischen Achsen. Der Einfachheit halber sei angenommen, dass die erste und die zweite Kameraposition sich entlang der X-Achse der beiden Lochkameras verschiebt. Ferner sei die gleiche Brennweite mit f bezeichnet. In dem ersten Bild der Lochkamera L erscheint der Punkt P um x1 gegenüber der optischen Achse der Kamera LI verschoben. Wie nachfolgend noch erläutert wird, ergibt sich hieraus ein Strahl, auf dem der Bildpunkt in den Weltkoordinaten liegt. Für die um die Strecke b verschobene Kameraposition R liegt der Punkt P um die Strecke x2 gegenüber der optischen Achse verschoben. Die Disparität des Punktes P wird üblicherweise angegeben als Differenz der Werte x1 und x2.
-
Werden die beiden Bilder der Kamerapositionen L und R in ihrem Überlappungsbereich miteinander verglichen, so kann eine Disparitätskarte erstellt werden. In der Disparitätskarte sind dann gleiche Differenzen für die Abstände zu der optischen Achse Bereiche gleicher Entfernung der Punkte. Der Abstand A des Punktes P von der X-Achse ergibt sich somit zu:
wobei b die Strecke zwischen den Kamerapositionen L und R bezeichnet, f die Brennweite der Kamera und x
1 und x
2 den Abstand des Punktes P von der optischen Achse des Lochbildes in den Kamerapositionen 1 und 2.
-
Zum besseren Verständnis sei in 5 der vollständige Zusammenhang der Koordinaten dargestellt. Eine Lochbildkamera besitzt einen Brennpunkt fc mit drei orthogonalen Kameraachsen Xc, Yc, Zc. Üblicherweise wird angenommen, dass die optische Achse der Lochkamera mit der Z-Achse des Dreibeins zusammenfällt. Die Lochkamera nimmt ein Bild auf, in dem ein Pixel die Koordinaten U und V besitzt. Wie in 5 dargestellt, kann für das Bild der Lochkamera angenommen werden, dass dieses sich im Abstand der Brennweite f senkrecht zur Z-Achse befindet. Aus dieser geometrischen Überlegung kann nun ein Strahl konstruiert werden, der den Brennpunkt der Lochkamera über den Pixelwert UV bestimmt. Dieser Strahl rührt dann von dem beispielhaft eingezeichneten Punkt P mit seinen Koordinaten X, Y, Z her. Für das Verständnis der Verwendung der beiden Kamerapositionen L und R ist es wichtig, einzusehen, dass die Strahlen bei einem Bild der Lochkamera in Kameraposition L und in Kameraposition R sich schneiden. Durch den Schnittpunkt wird dann auf dem Strahl die Position des Punktes P in dem Koordinatensystem eindeutig festgelegt.
-
Bezugszeichenliste
-
- 10
- Flurförderzeug
- 12
- Hubgerüst
- 14
- Lasttragmittel
- 16
- 2D-Kamera
- 18
- Bildbereich
- 18'
- Bildbereich
- 20
- Regal
- 22
- Last
- 24
- Paletten
- 26
- Strecke
- 28
- Überlappungsbereich
- 30
- Abstandsauswertung
- 32
- Gabelzinke
- 32'
- Gabelzinke
- 34
- Strecke
- 36
- Überlappungsbereich
- 38
- Fahrzeuglängsrichtung
- 40
- Seitenkamera
- 42
- Überlappungsbereich