DE102020126401A1 - Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches - Google Patents

Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches Download PDF

Info

Publication number
DE102020126401A1
DE102020126401A1 DE102020126401.1A DE102020126401A DE102020126401A1 DE 102020126401 A1 DE102020126401 A1 DE 102020126401A1 DE 102020126401 A DE102020126401 A DE 102020126401A DE 102020126401 A1 DE102020126401 A1 DE 102020126401A1
Authority
DE
Germany
Prior art keywords
camera
distance
images
industrial truck
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020126401.1A
Other languages
English (en)
Inventor
Jérôme Rolink
Sebastian ROCKEL
Ralf Wetegrove
Hannes Bistry
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jungheinrich AG
Original Assignee
Jungheinrich AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jungheinrich AG filed Critical Jungheinrich AG
Priority to DE102020126401.1A priority Critical patent/DE102020126401A1/de
Priority to EP21199889.3A priority patent/EP3981731A1/de
Publication of DE102020126401A1 publication Critical patent/DE102020126401A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0755Position control; Position detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug, das mit einer 2D-Kamera ausgestattet ist, die Bilder in einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug aufnimmt und diese an eine Auswerteeinheit weiterleitet, die für mindestens einen Teil des Bildbereichs der aufgenommenen Bilder einen oder mehrere Abstandswerte relativ zu dem Flurförderzeug auswertet, wobei das Verfahren folgende Schritte aufweist:o Aufzeichnen eines ersten Bildes mit der 2D-Kamera in einer ersten Kameraposition,o Bewegen der Kamera um eine Strecke aus der ersten Kameraposition in eine zweite Kameraposition,o Erfassen der Strecke zwischen der ersten und der zweiten Kameraposition,o Aufzeichnen eines zweiten Bildes mit der 2D-Kamera in der zweiten Kameraposition undo Auswerten der beiden Bilder, wobei ein Überlappungsbereich der beiden Bilder zwischen den beiden Kamerapositionen ermittelt und in dem Überlappungsbereich unter Berücksichtigung der Strecke ein Abstandswert für mindestens einen Punkt und/oder einen Bereich von Punkten bestimmt.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug. Ebenfalls betrifft die Erfindung ein Flurförderzeug, das, in der Lage ist, Abstandswerte relativ zu dem Flurförderzeug mit einer 2D-Kamera zu bestimmen.
  • Die Erfindung dient dazu, dreidimensionale Bildinformationen von der Umgebung des Flurförderzeugs zu erzeugen. Hierbei kann es sich um manuell durch einen Fahrzeugbediener oder um automatisch gesteuerte Fahrzeuge handeln. Die gewonnenen Abstandswerte können ebenso voll- oder teilautomatisch in dem Flurförderzeug verarbeitet werden und/oder optisch aufbereitet, dem Fahrzeugbediener zur Verfügung gestellt werden. Ein wichtiges Beispiel, bei dem Abstandswerte sehr hilfreich sind, ist beispielsweise das Aufnehmen und Absetzen von Lasten, da hierbei die Gabelzinken des Flurförderzeugs nah oder eng zu umgebenden Objekten, wie beispielsweise Regalträgern, Ladungsträgern, anderen Fahrzeugen oder allgemeinen Hindernissen gelangen. Auch bei Ein- und Auslagervorgängen sind Abstandswerte sehr hilfreich für eine Bedienperson, um das Fahrzeug mit seinen Gabelzinken genau zu steuern. Neben dem Ein- und Auslagern von Paletten sind aber auch andere Situationen denkbar, in denen eine gute Kenntnis der Abstandswerte hilft, das Fahrzeug besser einzusetzen.
  • Aus dem Stand der Technik ist eine Reihe von Kamerasystemen zur Beobachtung eines Bereichs vor dem Lastaufnahmemittel bekannt. Beispielsweise ist es bekannt, Gabelzinken-Kameras als 2D-Kamerasysteme einzusetzen und der Bedienperson so einen optischen Eindruck von der Situation unmittelbar vor der Gabelspitze zu geben. Neben der Verwendung von Gabelzinken-Kameras ist es auch bekannt, 3D-Kamerasysteme an den Gabelzinken einzusetzen. Diese sind jedoch vom Aufbau her empfindlich und von der Anschaffung vergleichsweise teuer, so dass sie nur begrenzt zum Einsatz kommen.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren für ein Flurförderzeug sowie ein solches bereitzustellen, das mit möglichst einfachen Mitteln eine zuverlässige Ermittlung von Abstandswerten erlaubt.
  • Erfindungsgemäß wird die Aufgabe durch ein Verfahren mit den Merkmalen aus Anspruch 1 gelöst, sowie durch ein Flurförderzeug mit den Merkmalen aus Anspruch 10. Vorteilhafte Ausgestaltungen bilden die Gegenstände der Unteransprüche.
  • Das erfindungsgemäße Verfahren mit den Merkmalen aus Anspruch 1 verwendet eine 2D-Kamera, die Bilder in einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug aufnimmt. Die 2D-Kamera nimmt jeweils Bilder von einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug auf. Die aufgenommenen Bilder werden an eine Auswerteeinheit weitergeleitet, die für mindestens einen Teil des Bildbereichs der aufgenommenen Bilder einen oder mehrere Abstandswerte relativ zu dem Flurförderzeug auswertet. Das erfindungsgemäße Verfahren beruht darauf, dass in einer ersten Kameraposition mit der 2D-Kamera ein erstes Bild aufgezeichnet wird. Nachfolgend bewegt die Kamera sich um eine Strecke aus der ersten Kameraposition in eine zweite Kameraposition. In der zweiten Kameraposition wird dann ein zweites Bild mit der 2D-Kamera aufgezeichnet. Um die beiden Bilder auswerten zu können, ist es wichtig, dass die Strecke zwischen der ersten und der zweiten Kameraposition erfasst wird. Strecke bedeutet hierbei, dass der Abstand zwischen der ersten und der zweiten Kameraposition erfasst wird und die räumliche Orientierung der Verbindungslinie von der ersten und der zweiten Kameraposition vorliegen. Beides ist von der Strecke zwischen den beiden Kamerapositionen umfasst. Nachfolgend wird in einem Überlappungsbereich der beiden Bilder unter Berücksichtigung der Strecke ein Abstandswert für zumindest einen Punkt und/oder ein Bereich von Punkten bestimmt. Das Besondere an dem erfindungsgemäßen Verfahren ist, dass hier die Bilder einer 2D-Kamera ausgewertet werden, um so Abstandswerte in dem Überlappungsbereich der Bildbereiche zu erzielen. Das erfindungsgemäße Verfahren beruht auf der Erkenntnis, dass gerade bei Flurförderzeugen mit ihrem üblichen Einsatzgebiet in einer Lagerumgebung, Veränderungen vergleichsweise langsam erfolgen, so dass zwei zeitlich nacheinander aufgenommene Bilder, bei dem die 2D-Kamera von einer ersten Kameraposition in eine zweite Kameraposition verfahren wurde, zuverlässig für Abstandswerte ausgewertet werden können. Die Bezeichnung 2D-Kamera bedeutet, dass ein 2D-Bild von der Kamera bereitgestellt wird, auch dann, wenn die Kamera andere Bildinformationen zur Verfügung stellen kann. Der ausgewertete Abstandswert erlaubt es auch, insbesondere auch in Kombination mit den sonstigen Bildinformationen, eine Position im dreidimensionalen Raum zu bestimmen.
  • In einer bevorzugten Ausgestaltung ist die Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts angebracht. Die Kamera fährt also bei einem Heben- oder Senkvorgang in unterschiedliche Höhen und damit nimmt die Kamera unterschiedliche Höhenpositionen ein. Die zweite Kameraposition unterscheidet sich, wenn das Flurförderzeug sich ansonsten nicht bewegt, ausschließlich in der Höhe.
  • Ebenfalls bevorzugt ist auch eine seitliche Kamerafahrt möglich, beispielsweise bei einem Seitenschub für eine oder beide Gabelzinken, wobei bei der seitlichen Kamerafahrt die Kamera aus horizontal unterschiedlichen Positionen Bilder aufnimmt.
  • In einer weiteren bevorzugten Ausgestaltung ist die Kamera fahrzeugfest an dem Flurförderzeug angebracht und wird durch eine Fahrbewegung des Flurförderzeugs in die beiden Kamerapositionen bewegt. Selbstverständlich kann auch bei einer 2D-Kamera, die an dem Hubgerüst montiert ist, die Fahrbewegung mitberücksichtigt werden. In diesem Fall ergibt sich die Strecke zwischen den beiden Kamerapositionen nicht nur durch eine vertikale Bewegung der 2D-Kamera, sondern damit überlagert auch durch eine horizontale Bewegung des Flurförderzeugs.
  • Bei dem erfindungsgemäßen Verfahren wird für den Überlappungsbereich eine Disparitätskarte erzeugt. Die Disparitätskarte gibt für Bildbereiche, die sich in beiden Bildern aus den unterschiedlichen Kamerapositionen befinden, einen ersten Eindruck davon, welche Bereiche im Bild näher zum Fahrzeug sind oder weiter von diesem entfernt. Die Disparität beruht auf dem Umstand, dass als gleich erkannte Bildbereiche bei einer Betrachtung aus zwei unterschiedlichen Kamerapositionen unterschiedliche Positionen im Bild haben und so über den Unterschied in den Positionen in den Bildern eine genauere Abstandsbestimmung zulassen.
  • Um übereinstimmende Bildbereiche in den beiden Bildern zu verwenden, werden bevorzugt Block-Matching-Verfahren eingesetzt. Von den Block-Matching-Verfahren gibt es eine Reihe von verschiedenen Ansätzen, die zum Einsatz kommen können. Für die stark strukturierten Umgebungen bei Flurförderzeugen hat sich die Verwendung von Block-Matching-Verfahren, insbesondere von einem Semi-Global-Block-Matching-Verfahren, als besonders vorteilhaft herausgestellt.
  • Bei dem erfindungsgemäßen Verfahren wird bevorzugt die Strecke zwischen der ersten und der zweiten Kameraposition durch das Flurförderzeug erfasst. Bei einer am Hubgerüst angebrachten Kamera kann dies erfolgen, indem beispielsweise die Hub-/Senkgeschwindigkeit und die Dauer des Hub- bzw. Senkvorgangs verfasst wird. Auch andere Messungen, beispielsweise erfasst durch einen Hubhöhensensor, die beispielsweise direkt Positionen an dem Hubgerüst messen, können zur Bestimmung der Bewegung herangezogen werden.
  • Mögliche Fehlerquellen können bei der Ermittlung der Strecke berücksichtigt werden. So ist bekannt, dass das Hubgerüst in Abhängigkeit der aufgenommenen Last und der Hubhöhe eine unterschiedliche Verbiegung aufweist, die bei großen Hubhöhen auch einen relevanten horizontalen Anteil aufweisen und bei der Ermittlung der Strecke relevant sein können.
  • Das erfindungsgemäße Verfahren kann auch dahingehend erweitert werden, dass entlang einer Bahnkurve der 2-D Kamera eine Vielzahl von Bildern aufgezeichnet und an die Auswerteeinheit weitergeleitet wird. Die Bahnkurve muss hierbei nicht notwendig eine gekrümmte Kurve sein, sondern auch ein vertikales Verfahren einer 2D-Kamera an dem Hubgerüst erfüllt die Aufgabe einer Bahnkurve, ebenso wie eine horizontale Fahrbewegung des Flurförderzeugs. Bevorzugt werden die Bilder entlang der Bahnkurve dahingehend ausgewertet, welche die Strecke der Kamera zwischen den Bildern zurückgelegt hat. Hierbei wird die Strecke zwischen den Kamerapositionen von zwei Bildern erfasst, indem die entlang der Bahnkurve aufgenommenen Bilder ausgewertet werden. Alternativ werden unter der Bezeichnung „Structure-from-Motion“ Verfahren gefasst, bei denen die Kamerapositionen und ihr Abstand bei den Aufnahmen aus markanten Merkmalen in den Bildern geschätzt werden.
  • Die erfindungsgemäße Aufgabe wird ebenfalls durch ein Flurförderzeug mit den Merkmalen aus Anspruch 10 gelöst. Das erfindungsgemäße Flurförderzeug weist eine 2D-Kamera und eine Auswerteeinheit auf. An der Auswerteeinheit liegen die Bilder der 2D-Kamera an. Ferner ist eine Messeinheit vorgesehen, die eine Strecke für eine Veränderung der Kameraposition an oder mit dem Flurförderzeug erfasst und an die Auswerteeinheit anlegt. Die Messeinheit kann dabei je nach Art der Kamerabewegung ausgestaltet sein. Bei einer 2D-Kamera, die mit dem Hubgerüst verfährt, kann die Messeinheit eine Veränderung der Höhenposition an dem Hubgerüst messen. Bei einer fahrzeugfest vorgesehenen 2D-Kamera, die ihre Kameraposition durch eine Fahrbewegung des Flurförderzeugs ändert, kann die Messeinrichtung eine Fahrbewegung des Flurförderzeugs erfassen und so die Veränderung der Kameraposition ermitteln. Auch ist es möglich, dass die Messeinheit dazu ausgebildet ist, aus einer Vielzahl von Bildern eine Bahnkurve aus den Bildern zu ermitteln und aus der ermittelten Bahnkurve die Strecke zwischen den einzelnen Bildern der Kamera. Bei dem erfindungsgemäßen Flurförderzeug ist die Auswerteeinheit dazu ausgebildet, aus mindestens zwei anliegenden Bildern und der Strecke zwischen den Kamerapositionen der Bilder einen Abstandswert für mindestens einen Punkt in einem Überlappungsbereich der beiden Bildbereiche zu ermitteln. Der Überlappungsbereich stellt sicher, dass derselbe Punkt oder derselbe Bereich von Punkten aus zwei unterschiedlichen Kamerapositionen aufgenommen wird. Dies erlaubt es, für Kameras, deren Abbildungsverhältnisse bekannt sind, zuverlässig einen Abstandswert zu ermitteln. Das erfindungsgemäße Flurförderzeug stellt mit einer einfachen 2D-Kamera, deren Abbildungsverhältnisse bekannt sind, zuverlässig Abstandswerte aus dem Bildbereich der Kamera zur Verfügung, nachdem diese in die zweite Kameraposition verfahren ist.
  • In einer bevorzugten Ausgestaltung des erfindungsgemäßen Flurförderzeugs ist die 2D-Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts angebracht. Durch das Verstellen der 2D-Kamera in der Höhe, ist es möglich, Bilder in unterschiedlichen Höhen an dem Flurförderzeug zu erfassen. Auch ist es möglich, die 2D-Kamera an dem Flurförderzeug fahrzeugfest anzubringen, so dass die beiden Kamerapositionen sich durch eine horizontale Bewegungsstrecke voneinander unterscheiden.
  • Bevorzugt könnten auch bei mit einem Seitenschieber ausgestatteten Fahrzeugen aus der horizontalen Bewegung einer oder beide Gabelzinken Bilder aus unterschiedlichen seitlichen Positionen aufgenommen und die unterschiedlichen Kamerapositionen ausgewertet werden.
  • In einer bevorzugten Ausgestaltung ist die Messeinheit dazu ausgebildet, die Strecke zwischen den Kamerapositionen aus einer Folge von Bildern zu bestimmen. Hierbei erfolgt die Bestimmung der Strecke zwischen zwei Kamerapositionen durch eine Bahnkurve, entlang derer die Folge von Bildern aufgenommen wurde.
  • Die Erfindung wird nachfolgend anhand von zwei Ausführungsbeispielen näher erläutert. Es zeigen:
    • 1 ein Flurförderzeug mit einer Gabelzinkenkamera bei der Palettenaufnahme aus dem Regal,
    • 2 die Verwendung einer Gabelzinken-Kamera beim Seitenschub zum Aufnehmen einer Last,
    • 3 eine fahrzeugfeste Kamera, die einen Abstand entlang der Seite des Flurförderzeugs erfasst,
    • 4 das geometrische Prinzip, mit dem der Abstand zu einem Punkt P bestimmt wird, und
    • 5 das Prinzip einer Lochbildkamera und deren Abbildungsverhältnisse.
  • 1 zeigt ein Flurförderzeug 10, das mit einem Hubgerüst 12 ausgestattet ist. Entlang dem Hubgerüst 12 ist ein Lasttragmittel 14 in der Höhe verstellbar. Das Lasttragmittel 14 besitzt an seinen Lastgabeln eine Gabelzinken-Kamera 16 in 2D, deren Bildbereich 18 über die Gabelspitze hinausgeht. In der schematischen Skizze erstreckt sich der Bildbereich 18 symmetrisch zu der Gabelspitze, was einer seitlich an der Lastgabeln angebrachten Kamera entspricht. Grundsätzlich ist es auch möglich, eine unterhalb der Lastgabel montierte Gabelzinken-Kamera vorzusehen, deren Bildbereich 18 unterhalb der Lastgabel beschränkt ist.
  • Das Flurförderzeug 10 befindet sich vor einem Regal 20 mit einer aufzunehmenden Last 22, die auf einer schematisch dargestellten Paletten 24 als Lastträger ruht. Durch ein Anheben des Lasttragmittels 14 zum Zeitpunkt to bis zum Zeitpunkt t1 um eine Strecke 26 geht der Bildbereich 18 in einen Bildbereich 18' über. Die Bildbereiche 18 und 18' überlappen sich in einem Überlappungsbereich 28. Für den Überlappungsbereich 28 liegen somit zwei Bilder desselben Gegenstands aus unterschiedlicher Perspektive vor, die eine Abstandsauswertung gestatten. Mit der Abstandsauswertung 30 ist dann beispielsweise der Abstand der Kamera 16 von der Frontseite des Regals bekannt. Über den Abstand der Kamera 16 von der Gabelspitze kann so auf den Abstand der Gabelspitze zur Regalfront geschlossen werden.
  • 2 zeigt eine weitere Variante für eine Abstandsmessung, bei der eine seitliche Bewegung des Lasttragmittels relativ zu der Palette 24 und der darauf befindlichen Last 22 erfolgt. Bei der Abstandsmessung in 2 ist eine Kamera 16 auf der Innenseite der rechten Gabelzinke angebracht. Die Kamera 16 erfasst mit der Gabelzinke 32 ein erstes Bild. In der um die Strecke 34 verschobenen Position, besitzt die Gabelzinke 32' eine zweite Position für die Kamera 16. Es entsteht ein Überlappungsbereich 36, der Auskunft über den Abstand zur Regalfront gibt. Je nach Ausgestaltung kann hier beispielsweise die seitliche Position des Lasttragmittels relativ zu einem mittigen Block der Palette 24 erfasst werden. Auch kann eine Ausrichtung der Gabelzinken an seitlichen Begrenzungen der Palette 24 als Lastträger erfolgen. Bei bekannter Geometrie der Paletten, erlaubt dies eine zuverlässige seitliche Ausrichtung der Gabelzinken.
  • 3 zeigt eine weitere Ausgestaltung, bei der ein Flurförderzeug 10 entlang seiner Fahrzeuglängsrichtung 38 verfährt. Das Flurförderzeug 10 nimmt mit seiner Seitenkamera 40 in einer ersten Position ein Bild 1 auf. Nachdem das Flurförderzeug in seine neue Position als Flurförderzeug 10' verfahren ist, nimmt die Seitenkamera 40 ein zweites Bild auf. Die beiden Bildbereiche besitzen einen Überlappungsbereich 42, in dem für ein oder mehrere Punkte ein seitlicher Abstand zu dem Flurförderzeug 10 berechnet werden kann. Der seitliche Abstand kann beispielsweise dazu dienen, einen Abstand zu einem Regal oder einer Wand bei der Fahrt automatisch einzuhalten. Die Kamera 40 mit der Abstandsbestimmung kann auch zusätzlich zu anderen Verfahren, wie beispielsweise Infrarotsensoren oder Ultraschallmessungen eingesetzt werden.
  • Für die Auswertung der Daten und die Bestimmung der Abstandswerte hilft 4. Hierbei bezeichnen L und R eine Lochkamera in zwei Kamerapositionen mit parallelen optischen Achsen. Der Einfachheit halber sei angenommen, dass die erste und die zweite Kameraposition sich entlang der X-Achse der beiden Lochkameras verschiebt. Ferner sei die gleiche Brennweite mit f bezeichnet. In dem ersten Bild der Lochkamera L erscheint der Punkt P um x1 gegenüber der optischen Achse der Kamera LI verschoben. Wie nachfolgend noch erläutert wird, ergibt sich hieraus ein Strahl, auf dem der Bildpunkt in den Weltkoordinaten liegt. Für die um die Strecke b verschobene Kameraposition R liegt der Punkt P um die Strecke x2 gegenüber der optischen Achse verschoben. Die Disparität des Punktes P wird üblicherweise angegeben als Differenz der Werte x1 und x2.
  • Werden die beiden Bilder der Kamerapositionen L und R in ihrem Überlappungsbereich miteinander verglichen, so kann eine Disparitätskarte erstellt werden. In der Disparitätskarte sind dann gleiche Differenzen für die Abstände zu der optischen Achse Bereiche gleicher Entfernung der Punkte. Der Abstand A des Punktes P von der X-Achse ergibt sich somit zu: A = b ƒ x 1 x 2 ,
    Figure DE102020126401A1_0001
    wobei b die Strecke zwischen den Kamerapositionen L und R bezeichnet, f die Brennweite der Kamera und x1 und x2 den Abstand des Punktes P von der optischen Achse des Lochbildes in den Kamerapositionen 1 und 2.
  • Zum besseren Verständnis sei in 5 der vollständige Zusammenhang der Koordinaten dargestellt. Eine Lochbildkamera besitzt einen Brennpunkt fc mit drei orthogonalen Kameraachsen Xc, Yc, Zc. Üblicherweise wird angenommen, dass die optische Achse der Lochkamera mit der Z-Achse des Dreibeins zusammenfällt. Die Lochkamera nimmt ein Bild auf, in dem ein Pixel die Koordinaten U und V besitzt. Wie in 5 dargestellt, kann für das Bild der Lochkamera angenommen werden, dass dieses sich im Abstand der Brennweite f senkrecht zur Z-Achse befindet. Aus dieser geometrischen Überlegung kann nun ein Strahl konstruiert werden, der den Brennpunkt der Lochkamera über den Pixelwert UV bestimmt. Dieser Strahl rührt dann von dem beispielhaft eingezeichneten Punkt P mit seinen Koordinaten X, Y, Z her. Für das Verständnis der Verwendung der beiden Kamerapositionen L und R ist es wichtig, einzusehen, dass die Strahlen bei einem Bild der Lochkamera in Kameraposition L und in Kameraposition R sich schneiden. Durch den Schnittpunkt wird dann auf dem Strahl die Position des Punktes P in dem Koordinatensystem eindeutig festgelegt.
  • Bezugszeichenliste
  • 10
    Flurförderzeug
    12
    Hubgerüst
    14
    Lasttragmittel
    16
    2D-Kamera
    18
    Bildbereich
    18'
    Bildbereich
    20
    Regal
    22
    Last
    24
    Paletten
    26
    Strecke
    28
    Überlappungsbereich
    30
    Abstandsauswertung
    32
    Gabelzinke
    32'
    Gabelzinke
    34
    Strecke
    36
    Überlappungsbereich
    38
    Fahrzeuglängsrichtung
    40
    Seitenkamera
    42
    Überlappungsbereich

Claims (15)

  1. Verfahren zur Bestimmung von Abstandswerten (A) zu einem Flurförderzeug (10), das mit einer 2D-Kamera (16) ausgestattet ist, die Bilder in einem vorbestimmten Bildbereich (18) relativ zu dem Flurförderzeug (10) aufnimmt und diese an eine Auswerteeinheit weiterleitet, die für mindestens einen Teil des Bildbereichs der aufgenommenen Bilder einen oder mehrere Abstandswerte (A) relativ zu dem Flurförderzeug auswertet, wobei das Verfahren folgende Schritte aufweist: ○ Aufzeichnen eines ersten Bildes mit der 2D-Kamera (16) in einer ersten Kameraposition (L), ○ Bewegen der 2D-Kamera (16) um eine Strecke (26) aus der ersten Kameraposition (L) in eine zweite Kameraposition (R), ○ Erfassen der Strecke (26) zwischen der ersten und der zweiten Kameraposition (L, R), ○ Aufzeichnen eines zweiten Bildes mit der 2D-Kamera (16) in der zweiten Kameraposition (R) und ○ Auswerten der beiden Bilder, wobei ein Überlappungsbereich (28) der beiden Bilder zwischen den beiden Kamerapositionen ermittelt und in dem Überlappungsbereich (28) unter Berücksichtigung der Strecke (b) ein Abstandswert für mindestens einen Punkt (P) und/oder einen Bereich von Punkten bestimmt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die 2D-Kamera (16) an einem in der Höhe verstellbaren Teil des Hubgerüsts (12) angebracht ist und durch ein Heben oder Senken des Hubgerüsts (12) in die beiden Kamerapositionen bewegt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die 2D-Kamera (16) an einem horizontal verstellbaren Teil angebracht ist und durch ein seitliches Verschieben in die beiden Kamerapositionen bewegt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die 2D-Kamera (40) fahrzeugfest an dem Flurförderzeug angebracht ist und durch eine Fahrbewegung des Flurförderzeugs die 2D-Kamera (40) in die beiden Kamerapositionen bewegt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für den Überlappungsbereich eine Disparitätskarte erzeugt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der mindestens eine Punkt (P) für den Abstandswert mittels einem Block-Matching-Verfahren bestimmt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Strecke (b) zwischen der ersten und der zweiten Kameraposition durch das Flurförderzeug erfasst wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass entlang einer Bahnkurve der 2D-Kamera eine Vielzahl von Bildern aufgezeichnet und an die Auswerteeinheit weitergeleitet wird.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bilder entlang der Bahnkurve dahingehend ausgewertet werden, welche Strecke die Kamera zwischen den Bildern zurückgelegt hat.
  10. Flurförderzug mit einer 2D-Kamera und einer Auswerteeinheit, an der Bilder der 2D-Kamera (16) anliegen, wobei eine Messeinheit vorgesehen ist, die eine Strecke für eine Veränderung der Kameraposition an oder mit dem Flurförderzeug (10) erfasst und an die Auswerteeinheit anlegt, die dazu ausgebildet ist, aus mindestens zwei anliegenden Bildern und der Strecke (b) zwischen den Kamerapositionen einen Abstandwert für mindestens einen Punkt in einem Überlappungsbereich der beiden Bilder zu ermitteln.
  11. Flurförderzeug nach Anspruch 10, dadurch gekennzeichnet, dass die 2D-Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts (12) angebracht ist.
  12. Flurförderzeug nach Anspruch 10, dadurch gekennzeichnet, dass ein Seitenschieber vorgesehen ist, an dem die 2D-Kamera (16) angebracht ist.
  13. Flurförderzeug nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die 2D-Kamera an dem Flurförderzeug fahrzeugfest angebracht ist.
  14. Flurförderzeug nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die Messeinheit die Strecke zwischen den Kamerapositionen durch eine Fahrbewegung des Fahrzeugs und/oder durch eine Hubbewegung des Hubgerüsts erfasst.
  15. Flurförderzeug nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass die Messeinheit dazu ausgebildet ist, die Strecke zwischen den Kamerapositionen durch aus einer Folge von Bildern bestimmt.
DE102020126401.1A 2020-10-08 2020-10-08 Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches Pending DE102020126401A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102020126401.1A DE102020126401A1 (de) 2020-10-08 2020-10-08 Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches
EP21199889.3A EP3981731A1 (de) 2020-10-08 2021-09-29 Verfahren zur bestimmung von abstandswerten zu einem flurförderzeug sowie ein solches

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020126401.1A DE102020126401A1 (de) 2020-10-08 2020-10-08 Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches

Publications (1)

Publication Number Publication Date
DE102020126401A1 true DE102020126401A1 (de) 2022-04-14

Family

ID=78232250

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020126401.1A Pending DE102020126401A1 (de) 2020-10-08 2020-10-08 Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches

Country Status (2)

Country Link
EP (1) EP3981731A1 (de)
DE (1) DE102020126401A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009789A1 (de) 2013-06-11 2016-04-20 Yamaha Hatsudoki Kabushiki Kaisha Verfahren zur stereoabstandsschätzung mit einer monokularen bewegung sowie vorrichtung zur stereoabstandsschätzung mit einer monokularen bewegung
US20170285643A1 (en) 2016-03-30 2017-10-05 Kabushiki Kaisha Toyota Jidoshokki Mobile apparatus
DE102017124850A1 (de) 2017-10-24 2019-04-25 Jungheinrich Ag Flurförderzeug mit einer Gabel und einer Gabelzinkenkamera sowie Verfahren zum Betreiben eines solchen Flurförderzeugs
DE102018205964A1 (de) 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs
DE102018112171A1 (de) 2018-05-22 2019-11-28 Connaught Electronics Ltd. Verfahren zum Beurteilen von Objekten in einer Umgebung eines Kraftfahrzeugs anhand einer dreidimensionalen Fusionskarte, Steuereinrichtung; Fahrerassistenzsystem, Computerprogrammprodukt
DE102020103252A1 (de) 2019-03-07 2020-09-10 Mitsubishi Heavy Industries Ltd. Selbstlokalisierungsvorrichtung, selbstlokalisierungsverfahren und programm

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3000773B1 (de) * 2014-09-25 2017-04-12 Toyota Material Handling Manufacturing Sweden AB Verfahren in Gabelstapler zur Bestimmung einer Ladeposition in einem Ladegestell
DE102017120996A1 (de) * 2017-09-12 2019-03-14 Still Gmbh Verfahren und Vorrichtung zur Kollisionsvermeidung beim Betrieb eines Flurförderzeugs
US11709495B2 (en) * 2019-03-29 2023-07-25 SafeAI, Inc. Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009789A1 (de) 2013-06-11 2016-04-20 Yamaha Hatsudoki Kabushiki Kaisha Verfahren zur stereoabstandsschätzung mit einer monokularen bewegung sowie vorrichtung zur stereoabstandsschätzung mit einer monokularen bewegung
US20170285643A1 (en) 2016-03-30 2017-10-05 Kabushiki Kaisha Toyota Jidoshokki Mobile apparatus
DE102017124850A1 (de) 2017-10-24 2019-04-25 Jungheinrich Ag Flurförderzeug mit einer Gabel und einer Gabelzinkenkamera sowie Verfahren zum Betreiben eines solchen Flurförderzeugs
DE102018205964A1 (de) 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs
DE102018112171A1 (de) 2018-05-22 2019-11-28 Connaught Electronics Ltd. Verfahren zum Beurteilen von Objekten in einer Umgebung eines Kraftfahrzeugs anhand einer dreidimensionalen Fusionskarte, Steuereinrichtung; Fahrerassistenzsystem, Computerprogrammprodukt
DE102020103252A1 (de) 2019-03-07 2020-09-10 Mitsubishi Heavy Industries Ltd. Selbstlokalisierungsvorrichtung, selbstlokalisierungsverfahren und programm

Also Published As

Publication number Publication date
EP3981731A1 (de) 2022-04-13

Similar Documents

Publication Publication Date Title
DE10026586B4 (de) Objekterfassungssystem
DE4130010C2 (de) Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes
DE69826753T2 (de) Optischer Profilsensor
DE112012000950B4 (de) Ermitteln des Abstands zwischen verschiedenen Punkten an einem abgebildeten Gegenstand
DE102017001667A1 (de) Bildverarbeitungseinrichtung zum Anzeigen eines Objekts, das anhand einer Eingabebildaufnahme erkannt wird
DE102012108034A1 (de) Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
DE102008030555A1 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE102008004632A1 (de) Vorrichtung und Verfahren zur Vermessung einer Parklücke
DE112007001977T5 (de) Verfahren zur Generierung dreidimensionaler Modelldaten und Vorrichtung zur Generierung dreidimensionaler Modelldaten
DE112008001487T5 (de) Messvorrichtung, Messverfahren, Programm und computerlesbarer Träger
DE102018205964A1 (de) Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs
DE102007046287A1 (de) Verfahren zur Kalibrierung einer Sensoranordnung und Sensoranordnung
EP3872521A1 (de) Verfahren zum kalibrieren einer sensoreinheit eines flurförderzeugs
DE19902401C2 (de) Verfahren und Vorrichtung zur Bestimmung der Geometrie von blattförmigem Gut oder Stapeln davon
DE112015002764B4 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
DE102012108028A1 (de) Steuerverfahren für Lastabsetzung eines Flurförderzeugs sowie Flurförderzeug
DE102018218191A1 (de) Flurförderfahrzeug mit einer Lastgabel, Verfahren zum Betreiben, Steuergerät, Computer-Programm und Computer-Programm-Produkt
DE4109159C2 (de) Verfahren und Vorrichtung zum Verfolgen eines einem Fahrzeug vorausfahrenden Fahrzeugs
EP3118153B1 (de) Verfahren zur hinderniserfassung bei einem flurförderzeug
DE102019202269B4 (de) Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
EP3707569B1 (de) Kalibrierung eines stationären kamerasystems zur positionserfassung eines mobilen roboters
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE102020126401A1 (de) Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches
AT509118B1 (de) Verfahren und vorrichtung zum erfassen der position eines fahrzeuges in einem definierten bereich
DE10323643A1 (de) Sensorsystem für ein autonomes Flurförderfahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified