EP3981731A1 - Verfahren zur bestimmung von abstandswerten zu einem flurförderzeug sowie ein solches - Google Patents

Verfahren zur bestimmung von abstandswerten zu einem flurförderzeug sowie ein solches Download PDF

Info

Publication number
EP3981731A1
EP3981731A1 EP21199889.3A EP21199889A EP3981731A1 EP 3981731 A1 EP3981731 A1 EP 3981731A1 EP 21199889 A EP21199889 A EP 21199889A EP 3981731 A1 EP3981731 A1 EP 3981731A1
Authority
EP
European Patent Office
Prior art keywords
camera
distance
industrial truck
images
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21199889.3A
Other languages
English (en)
French (fr)
Inventor
Dr. Jérôme Rolink
Dr. Sebastian Rockel
Ralf Wetegrove
Dr. Hannes Bistry
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jungheinrich AG
Original Assignee
Jungheinrich AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jungheinrich AG filed Critical Jungheinrich AG
Publication of EP3981731A1 publication Critical patent/EP3981731A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors

Definitions

  • the present invention relates to a method for determining distance values from an industrial truck.
  • the invention also relates to an industrial truck that is able to determine distance values relative to the industrial truck using a 2D camera.
  • the invention serves to generate three-dimensional image information from the surroundings of the industrial truck. These may be vehicles controlled manually by a vehicle operator or vehicles controlled automatically.
  • the distance values obtained can also be processed fully or partially automatically in the industrial truck and/or optically processed and made available to the vehicle operator.
  • An important example where distance values are very helpful is, for example, when picking up and setting down loads, since the forks of the industrial truck get close to surrounding objects such as shelf supports, load carriers, other vehicles or general obstacles.
  • Distance values are also very helpful for an operator during storage and retrieval processes in order to precisely control the vehicle with its forks. In addition to storing and retrieving pallets, other situations are also conceivable in which good knowledge of the distance values helps to use the vehicle better.
  • a number of camera systems for monitoring an area in front of the load handling device are known from the prior art. For example, it is known to use fork cameras as 2D camera systems and thus to give the operator a visual impression of the situation directly in front of the fork tip. In addition to using fork cameras, it is also known to use 3D camera systems on the forks. However, these are structural sensitive and comparatively expensive to purchase, so that they are only used to a limited extent.
  • the invention is based on the object of providing a method for an industrial truck and such a method that allows distance values to be reliably determined with the simplest possible means.
  • the object is achieved by a method having the features of claim 1 and by an industrial truck having the features of claim 10.
  • Advantageous refinements form the subject matter of the dependent claims.
  • the method according to the invention with the features of claim 1 uses a 2D camera that records images in a predetermined image area relative to the industrial truck.
  • the 2D camera records images from a predetermined image area relative to the industrial truck.
  • the recorded images are forwarded to an evaluation unit, which evaluates one or more distance values relative to the industrial truck for at least part of the image area of the recorded images.
  • the method according to the invention is based on the fact that a first image is recorded with the 2D camera in a first camera position. Subsequently, the camera moves a distance from the first camera position to a second camera position. A second image is then recorded with the 2D camera in the second camera position. In order to be able to evaluate the two images, it is important that the distance between the first and the second camera position is recorded.
  • Distance means that the distance between the first and the second camera position is recorded and the spatial orientation of the connecting line from the first and the second camera position is available. Both are included in the distance between the two camera positions.
  • a distance value is determined for at least one point and/or a range of points, taking the route into account. What is special about the method according to the invention is that the images from a 2D camera are evaluated here in order to achieve distance values in the overlapping area of the image areas.
  • the method according to the invention is based on the finding that changes take place comparatively slowly, especially in industrial trucks with their usual area of application in a warehouse environment, so that two images recorded in chronological succession, in which the 2D camera was moved from a first camera position to a second camera position, can be reliably evaluated for distance values.
  • the designation 2D camera means that a 2D image is provided by the camera, even if the camera can provide other image information.
  • the evaluated distance value also makes it possible, particularly in combination with the other image information, to determine a position in three-dimensional space.
  • the camera is attached to a height-adjustable part of the mast.
  • the camera therefore moves to different heights during a lifting or lowering process and the camera therefore assumes different height positions. If the industrial truck is otherwise not moving, the second camera position only differs in terms of height.
  • a lateral camera movement is likewise preferably possible, for example in the case of a side shift for one or both forks, with the camera recording images from horizontally different positions during the lateral camera movement.
  • the camera is fixed to the truck and is activated by a movement of the truck in moved the two camera positions.
  • the travel movement can also be taken into account with a 2D camera mounted on the mast.
  • the distance between the two camera positions results not only from a vertical movement of the 2D camera, but also from a horizontal movement of the industrial truck.
  • a disparity map is generated for the overlapping area.
  • the disparity map gives a first impression of which areas in the image are closer to the vehicle or further away from it.
  • the disparity is based on the fact that image areas recognized as the same have different positions in the image when viewed from two different camera positions and thus allow a more precise determination of the distance from the difference in the positions in the images.
  • block matching methods are preferably used.
  • block matching approaches There are a number of different block matching approaches that can be used.
  • the use of block matching methods, in particular a semi-global block matching method, has proven to be particularly advantageous for the heavily structured environments in industrial trucks.
  • the distance between the first and the second camera position is preferably recorded by the industrial truck.
  • this can be done, for example, by recording the lifting/lowering speed and the duration of the lifting/lowering process.
  • Other measurements for example recorded by a lifting height sensor, the For example, directly measuring positions on the mast can be used to determine the movement.
  • the method according to the invention can also be expanded in such a way that a large number of images are recorded along a trajectory of the 2D camera and forwarded to the evaluation unit.
  • the trajectory does not necessarily have to be a curved curve, but a vertical movement of a 2D camera on the mast also fulfills the task of a trajectory, as does a horizontal movement of the industrial truck.
  • the images along the trajectory are preferably evaluated in terms of the distance covered by the camera between the images.
  • the distance between the camera positions is captured by two images by evaluating the images taken along the trajectory.
  • the term "Structure-from-Motion" describes methods in which the camera positions and their distances are estimated from prominent features in the images.
  • the object of the invention is also achieved by an industrial truck with the features of claim 10.
  • the industrial truck according to the invention has a 2D camera and an evaluation unit. The images from the 2D camera are available on the evaluation unit. Furthermore, a measuring unit is provided, which detects a distance for a change in the camera position on or with the industrial truck and to the evaluation unit creates.
  • the measuring unit can be designed depending on the type of camera movement. With a 2D camera that moves with the mast, the measuring unit can measure a change in the height position on the mast. In the case of a 2D camera provided on the vehicle, which changes its camera position as a result of a movement of the industrial truck, the measuring device can detect a movement of the industrial truck and thus determine the change in the camera position.
  • the measuring unit is designed to determine a trajectory from the images from a large number of images and the distance between the individual images of the camera from the determined trajectory.
  • the evaluation unit is designed to determine a distance value for at least one point in an overlapping area of the two image areas from at least two adjacent images and the distance between the camera positions of the images.
  • the overlap area ensures that the same point or range of points is recorded from two different camera positions. This allows a distance value to be reliably determined for cameras whose imaging ratios are known.
  • the industrial truck according to the invention reliably provides distance values from the image area of the camera after it has moved to the second camera position.
  • the 2D camera is attached to a height-adjustable part of the mast.
  • the height of the 2D camera it is possible to capture images at different heights on the industrial truck. It is also possible to mount the 2D camera on the industrial truck so that the two camera positions differ from one another by a horizontal movement distance.
  • images could preferably also be taken from different lateral positions from the horizontal movement of one or both fork tines, and the different camera positions could be evaluated.
  • the measuring unit is designed to determine the distance between the camera positions from a sequence of images.
  • the distance between two camera positions is determined by a trajectory along which the sequence of images was recorded.
  • figure 1 shows an industrial truck 10 that is equipped with a mast 12 .
  • a load-carrying means 14 can be adjusted in height along the mast 12 .
  • the load carrying means 14 has a fork camera 16 in 2D on its load forks, the image area 18 of which extends beyond the tip of the fork.
  • the image area 18 extends symmetrically to the fork tip, which corresponds to a camera attached to the side of the fork.
  • the industrial truck 10 is located in front of a shelf 20 with a load 22 to be picked up, which rests on a pallet 24, shown schematically, as a load carrier.
  • a load carrier By raising the load-carrying means 14 by a distance 26 at time t o to time t 1 , the image area 18 transitions into an image area 18'.
  • the image areas 18 and 18' overlap in an overlapping area 28.
  • the distance evaluation 30 for example, the distance of the camera 16 from the front side of the shelf is then known. The distance between the fork tip and the front of the shelf can thus be inferred from the distance between the camera 16 and the tip of the fork.
  • figure 2 shows a further variant for a distance measurement, in which a lateral movement of the load carrying means takes place relative to the pallet 24 and the load 22 located thereon.
  • a camera 16 is mounted on the inside of the right fork. The camera 16 captures a first image with the fork 32 . In the position displaced by the distance 34, the fork tine 32' has a second position for the camera 16. An overlapping area 36 is created, which provides information about the distance to the shelf front.
  • the fork tines can also be aligned on the lateral boundaries of the pallet 24 as a load carrier. If the geometry of the pallets is known, this allows reliable lateral alignment of the forks.
  • figure 3 shows a further embodiment in which an industrial truck 10 moves along its vehicle longitudinal direction 38 .
  • the industrial truck 10 takes an image 1 with its side camera 40 in a first position. After the industrial truck has moved to its new position as an industrial truck 10', the side camera 40 takes a second picture.
  • the two image areas have an overlapping area 42 in which a lateral distance from the industrial truck 10 can be calculated for one or more points.
  • the lateral distance can be used, for example, to automatically maintain a distance from a shelf or a wall when driving.
  • the camera 40 with the distance determination can also be used in addition to other methods, such as infrared sensors or ultrasonic measurements.
  • L and R designate a pinhole camera in two camera positions with parallel optical axes.
  • the first and the second camera position shifts along the X-axis of the two pinhole cameras.
  • the same focal length is denoted by f.
  • the point P appears shifted by x1 with respect to the optical axis of the camera L1.
  • the point P is shifted by the distance x 2 with respect to the optical axis.
  • the disparity of the point P is usually given as the difference of the values x 1 and x 2 .
  • a disparity map can be created.
  • equal differences for the distances to the optical axis are areas of equal distance between the points.
  • a pinhole camera has a focal point f c with three orthogonal camera axes X C , Y C , Z C . It is commonly assumed that the optical axis of the pinhole camera coincides with the z-axis of the tripod.
  • the pinhole camera captures an image in which a pixel has U and V coordinates. As in figure 5 shown, it can be assumed for the image of the pinhole camera that this is at a distance of the focal length f perpendicular to the Z-axis. From this geometric consideration, a ray can now be constructed that determines the focal point of the pinhole camera via the pixel value UV.
  • This ray then originates from the point P drawn in as an example with its coordinates X, Y, Z.
  • the two camera positions L and R it is important to realize that the rays intersect in camera position L and camera position R in a pinhole image.
  • the position of the point P in the coordinate system is then clearly defined on the ray by the point of intersection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug, das mit einer 2D-Kamera ausgestattet ist, die Bilder in einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug aufnimmt und diese an eine Auswerteeinheit weiterleitet, die für mindestens einen Teil des Bildbereichs der aufgenommenen Bilder einen oder mehrere Abstandswerte relativ zu dem Flurförderzeug auswertet, wobei das Verfahren folgende Schritte aufweist:o Aufzeichnen eines ersten Bildes mit der 2D-Kamera in einer ersten Kameraposition,o Bewegen der Kamera um eine Strecke aus der ersten Kameraposition in eine zweite Kameraposition,o Erfassen der Strecke zwischen der ersten und der zweiten Kameraposition,o Aufzeichnen eines zweiten Bildes mit der 2D-Kamera in der zweiten Kameraposition undo Auswerten der beiden Bilder, wobei ein Überlappungsbereich der beiden Bilder zwischen den beiden Kamerapositionen ermittelt und in dem Überlappungsbereich unter Berücksichtigung der Strecke ein Abstandswert für mindestens einen Punkt und/oder einen Bereich von Punkten bestimmt.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug. Ebenfalls betrifft die Erfindung ein Flurförderzeug, das, in der Lage ist, Abstandswerte relativ zu dem Flurförderzeug mit einer 2D-Kamera zu bestimmen.
  • Die Erfindung dient dazu, dreidimensionale Bildinformationen von der Umgebung des Flurförderzeugs zu erzeugen. Hierbei kann es sich um manuell durch einen Fahrzeugbediener oder um automatisch gesteuerte Fahrzeuge handeln. Die gewonnenen Abstandswerte können ebenso voll- oder teilautomatisch in dem Flurförderzeug verarbeitet werden und/oder optisch aufbereitet, dem Fahrzeugbediener zur Verfügung gestellt werden. Ein wichtiges Beispiel, bei dem Abstandswerte sehr hilfreich sind, ist beispielsweise das Aufnehmen und Absetzen von Lasten, da hierbei die Gabelzinken des Flurförderzeugs nah oder eng zu umgebenden Objekten, wie beispielsweise Regalträgern, Ladungsträgern, anderen Fahrzeugen oder allgemeinen Hindernissen gelangen. Auch bei Ein- und Auslagervorgängen sind Abstandswerte sehr hilfreich für eine Bedienperson, um das Fahrzeug mit seinen Gabelzinken genau zu steuern. Neben dem Ein- und Auslagern von Paletten sind aber auch andere Situationen denkbar, in denen eine gute Kenntnis der Abstandswerte hilft, das Fahrzeug besser einzusetzen.
  • Aus dem Stand der Technik ist eine Reihe von Kamerasystemen zur Beobachtung eines Bereichs vor dem Lastaufnahmemittel bekannt. Beispielsweise ist es bekannt, Gabelzinken-Kameras als 2D-Kamerasysteme einzusetzen und der Bedienperson so einen optischen Eindruck von der Situation unmittelbar vor der Gabelspitze zu geben. Neben der Verwendung von Gabelzinken-Kameras ist es auch bekannt, 3D-Kamerasysteme an den Gabelzinken einzusetzen. Diese sind jedoch vom Aufbau her empfindlich und von der Anschaffung vergleichsweise teuer, so dass sie nur begrenzt zum Einsatz kommen.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren für ein Flurförderzeug sowie ein solches bereitzustellen, das mit möglichst einfachen Mitteln eine zuverlässige Ermittlung von Abstandswerten erlaubt.
  • Erfindungsgemäß wird die Aufgabe durch ein Verfahren mit den Merkmalen aus Anspruch 1 gelöst, sowie durch ein Flurförderzeug mit den Merkmalen aus Anspruch 10. Vorteilhafte Ausgestaltungen bilden die Gegenstände der Unteransprüche.
  • Das erfindungsgemäße Verfahren mit den Merkmalen aus Anspruch 1 verwendet eine 2D-Kamera, die Bilder in einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug aufnimmt. Die 2D-Kamera nimmt jeweils Bilder von einem vorbestimmten Bildbereich relativ zu dem Flurförderzeug auf. Die aufgenommenen Bilder werden an eine Auswerteeinheit weitergeleitet, die für mindestens einen Teil des Bildbereichs der aufgenommenen Bilder einen oder mehrere Abstandswerte relativ zu dem Flurförderzeug auswertet. Das erfindungsgemäße Verfahren beruht darauf, dass in einer ersten Kameraposition mit der 2D-Kamera ein erstes Bild aufgezeichnet wird. Nachfolgend bewegt die Kamera sich um eine Strecke aus der ersten Kameraposition in eine zweite Kameraposition. In der zweiten Kameraposition wird dann ein zweites Bild mit der 2D-Kamera aufgezeichnet. Um die beiden Bilder auswerten zu können, ist es wichtig, dass die Strecke zwischen der ersten und der zweiten Kameraposition erfasst wird. Strecke bedeutet hierbei, dass der Abstand zwischen der ersten und der zweiten Kameraposition erfasst wird und die räumliche Orientierung der Verbindungslinie von der ersten und der zweiten Kameraposition vorliegen. Beides ist von der Strecke zwischen den beiden Kamerapositionen umfasst. Nachfolgend wird in einem Überlappungsbereich der beiden Bilder unter Berücksichtigung der Strecke ein Abstandswert für zumindest einen Punkt und/oder ein Bereich von Punkten bestimmt. Das Besondere an dem erfindungsgemäßen Verfahren ist, dass hier die Bilder einer 2D-Kamera ausgewertet werden, um so Abstandswerte in dem Überlappungsbereich der Bildbereiche zu erzielen. Das erfindungsgemäße Verfahren beruht auf der Erkenntnis, dass gerade bei Flurförderzeugen mit ihrem üblichen Einsatzgebiet in einer Lagerumgebung, Veränderungen vergleichsweise langsam erfolgen, so dass zwei zeitlich nacheinander aufgenommene Bilder, bei dem die 2D-Kamera von einer ersten Kameraposition in eine zweite Kameraposition verfahren wurde, zuverlässig für Abstandswerte ausgewertet werden können. Die Bezeichnung 2D-Kamera bedeutet, dass ein 2D-Bild von der Kamera bereitgestellt wird, auch dann, wenn die Kamera andere Bildinformationen zur Verfügung stellen kann. Der ausgewertete Abstandswert erlaubt es auch, insbesondere auch in Kombination mit den sonstigen Bildinformationen, eine Position im dreidimensionalen Raum zu bestimmen.
  • In einer bevorzugten Ausgestaltung ist die Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts angebracht. Die Kamera fährt also bei einem Heben- oder Senkvorgang in unterschiedliche Höhen und damit nimmt die Kamera unterschiedliche Höhenpositionen ein. Die zweite Kameraposition unterscheidet sich, wenn das Flurförderzeug sich ansonsten nicht bewegt, ausschließlich in der Höhe.
  • Ebenfalls bevorzugt ist auch eine seitliche Kamerafahrt möglich, beispielsweise bei einem Seitenschub für eine oder beide Gabelzinken, wobei bei der seitlichen Kamerafahrt die Kamera aus horizontal unterschiedlichen Positionen Bilder aufnimmt.
  • In einer weiteren bevorzugten Ausgestaltung ist die Kamera fahrzeugfest an dem Flurförderzeug angebracht und wird durch eine Fahrbewegung des Flurförderzeugs in die beiden Kamerapositionen bewegt. Selbstverständlich kann auch bei einer 2D-Kamera, die an dem Hubgerüst montiert ist, die Fahrbewegung mitberücksichtigt werden. In diesem Fall ergibt sich die Strecke zwischen den beiden Kamerapositionen nicht nur durch eine vertikale Bewegung der 2D-Kamera, sondern damit überlagert auch durch eine horizontale Bewegung des Flurförderzeugs.
  • Bei dem erfindungsgemäßen Verfahren wird für den Überlappungsbereich eine Disparitätskarte erzeugt. Die Disparitätskarte gibt für Bildbereiche, die sich in beiden Bildern aus den unterschiedlichen Kamerapositionen befinden, einen ersten Eindruck davon, welche Bereiche im Bild näher zum Fahrzeug sind oder weiter von diesem entfernt. Die Disparität beruht auf dem Umstand, dass als gleich erkannte Bildbereiche bei einer Betrachtung aus zwei unterschiedlichen Kamerapositionen unterschiedliche Positionen im Bild haben und so über den Unterschied in den Positionen in den Bildern eine genauere Abstandsbestimmung zulassen.
  • Um übereinstimmende Bildbereiche in den beiden Bildern zu verwenden, werden bevorzugt Block-Matching-Verfahren eingesetzt. Von den Block-Matching-Verfahren gibt es eine Reihe von verschiedenen Ansätzen, die zum Einsatz kommen können. Für die stark strukturierten Umgebungen bei Flurförderzeugen hat sich die Verwendung von Block-Matching-Verfahren, insbesondere von einem Semi-Global-Block-Matching-Verfahren, als besonders vorteilhaft herausgestellt.
  • Bei dem erfindungsgemäßen Verfahren wird bevorzugt die Strecke zwischen der ersten und der zweiten Kameraposition durch das Flurförderzeug erfasst. Bei einer am Hubgerüst angebrachten Kamera kann dies erfolgen, indem beispielsweise die Hub- /Senkgeschwindigkeit und die Dauer des Hub- bzw. Senkvorgangs verfasst wird. Auch andere Messungen, beispielsweise erfasst durch einen Hubhöhensensor, die beispielsweise direkt Positionen an dem Hubgerüst messen, können zur Bestimmung der Bewegung herangezogen werden.
  • Mögliche Fehlerquellen können bei der Ermittlung der Strecke berücksichtigt werden. So ist bekannt, dass das Hubgerüst in Abhängigkeit der aufgenommenen Last und der Hubhöhe eine unterschiedliche Verbiegung aufweist, die bei großen Hubhöhen auch einen relevanten horizontalen Anteil aufweisen und bei der Ermittlung der Strecke relevant sein können.
  • Das erfindungsgemäße Verfahren kann auch dahingehend erweitert werden, dass entlang einer Bahnkurve der 2-D Kamera eine Vielzahl von Bildern aufgezeichnet und an die Auswerteeinheit weitergeleitet wird. Die Bahnkurve muss hierbei nicht notwendig eine gekrümmte Kurve sein, sondern auch ein vertikales Verfahren einer 2D-Kamera an dem Hubgerüst erfüllt die Aufgabe einer Bahnkurve, ebenso wie eine horizontale Fahrbewegung des Flurförderzeugs. Bevorzugt werden die Bilder entlang der Bahnkurve dahingehend ausgewertet, welche die Strecke der Kamera zwischen den Bildern zurückgelegt hat. Hierbei wird die Strecke zwischen den Kamerapositionen von zwei Bildern erfasst, indem die entlang der Bahnkurve aufgenommenen Bilder ausgewertet werden. Alternativ werden unter der Bezeichnung "Structure-from-Motion" Verfahren gefasst, bei denen die Kamerapositionen und ihr Abstand bei den Aufnahmen aus markanten Merkmalen in den Bildern geschätzt werden.
  • Die erfindungsgemäße Aufgabe wird ebenfalls durch ein Flurförderzeug mit den Merkmalen aus Anspruch 10 gelöst. Das erfindungsgemäße Flurförderzeug weist eine 2D-Kamera und eine Auswerteeinheit auf. An der Auswerteeinheit liegen die Bilder der 2D-Kamera an. Ferner ist eine Messeinheit vorgesehen, die eine Strecke für eine Veränderung der Kameraposition an oder mit dem Flurförderzeug erfasst und an die Auswerteeinheit anlegt. Die Messeinheit kann dabei je nach Art der Kamerabewegung ausgestaltet sein. Bei einer 2D-Kamera, die mit dem Hubgerüst verfährt, kann die Messeinheit eine Veränderung der Höhenposition an dem Hubgerüst messen. Bei einer fahrzeugfest vorgesehenen 2D-Kamera, die ihre Kameraposition durch eine Fahrbewegung des Flurförderzeugs ändert, kann die Messeinrichtung eine Fahrbewegung des Flurförderzeugs erfassen und so die Veränderung der Kameraposition ermitteln. Auch ist es möglich, dass die Messeinheit dazu ausgebildet ist, aus einer Vielzahl von Bildern eine Bahnkurve aus den Bildern zu ermitteln und aus der ermittelten Bahnkurve die Strecke zwischen den einzelnen Bildern der Kamera. Bei dem erfindungsgemäßen Flurförderzeug ist die Auswerteeinheit dazu ausgebildet, aus mindestens zwei anliegenden Bildern und der Strecke zwischen den Kamerapositionen der Bilder einen Abstandswert für mindestens einen Punkt in einem Überlappungsbereich der beiden Bildbereiche zu ermitteln. Der Überlappungsbereich stellt sicher, dass derselbe Punkt oder derselbe Bereich von Punkten aus zwei unterschiedlichen Kamerapositionen aufgenommen wird. Dies erlaubt es, für Kameras, deren Abbildungsverhältnisse bekannt sind, zuverlässig einen Abstandswert zu ermitteln. Das erfindungsgemäße Flurförderzeug stellt mit einer einfachen 2D-Kamera, deren Abbildungsverhältnisse bekannt sind, zuverlässig Abstandswerte aus dem Bildbereich der Kamera zur Verfügung, nachdem diese in die zweite Kameraposition verfahren ist.
  • In einer bevorzugten Ausgestaltung des erfindungsgemäßen Flurförderzeugs ist die 2D-Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts angebracht. Durch das Verstellen der 2D-Kamera in der Höhe, ist es möglich, Bilder in unterschiedlichen Höhen an dem Flurförderzeug zu erfassen. Auch ist es möglich, die 2D-Kamera an dem Flurförderzeug fahrzeugfest anzubringen, so dass die beiden Kamerapositionen sich durch eine horizontale Bewegungsstrecke voneinander unterscheiden.
  • Bevorzugt könnten auch bei mit einem Seitenschieber ausgestatteten Fahrzeugen aus der horizontalen Bewegung einer oder beide Gabelzinken Bilder aus unterschiedlichen seitlichen Positionen aufgenommen und die unterschiedlichen Kamerapositionen ausgewertet werden.
  • In einer bevorzugten Ausgestaltung ist die Messeinheit dazu ausgebildet, die Strecke zwischen den Kamerapositionen aus einer Folge von Bildern zu bestimmen. Hierbei erfolgt die Bestimmung der Strecke zwischen zwei Kamerapositionen durch eine Bahnkurve, entlang derer die Folge von Bildern aufgenommen wurde.
  • Die Erfindung wird nachfolgend anhand von zwei Ausführungsbeispielen näher erläutert. Es zeigen:
    • Fig. 1
    ein Flurförderzeug mit einer Gabelzinkenkamera bei der Palettenaufnahme aus dem Regal,
    Fig. 2
    die Verwendung einer Gabelzinken-Kamera beim Seitenschub zum Aufnehmen einer Last,
    Fig. 3
    eine fahrzeugfeste Kamera, die einen Abstand entlang der Seite des Flurförderzeugs erfasst,
    Fig. 4
    das geometrische Prinzip, mit dem der Abstand zu einem Punkt P bestimmt wird, und
    Fig. 5
    das Prinzip einer Lochbildkamera und deren Abbildungsverhältnisse.
  • Figur 1 zeigt ein Flurförderzeug 10, das mit einem Hubgerüst 12 ausgestattet ist. Entlang dem Hubgerüst 12 ist ein Lasttragmittel 14 in der Höhe verstellbar. Das Lasttragmittel 14 besitzt an seinen Lastgabeln eine Gabelzinken-Kamera 16 in 2D, deren Bildbereich 18 über die Gabelspitze hinausgeht. In der schematischen Skizze erstreckt sich der Bildbereich 18 symmetrisch zu der Gabelspitze, was einer seitlich an der Lastgabeln angebrachten Kamera entspricht. Grundsätzlich ist es auch möglich, eine unterhalb der Lastgabel montierte Gabelzinken-Kamera vorzusehen, deren Bildbereich 18 unterhalb der Lastgabel beschränkt ist.
  • Das Flurförderzeug 10 befindet sich vor einem Regal 20 mit einer aufzunehmenden Last 22, die auf einer schematisch dargestellten Paletten 24 als Lastträger ruht. Durch ein Anheben des Lasttragmittels 14 zum Zeitpunkt to bis zum Zeitpunkt t1 um eine Strecke 26 geht der Bildbereich 18 in einen Bildbereich 18' über. Die Bildbereiche 18 und 18' überlappen sich in einem Überlappungsbereich 28. Für den Überlappungsbereich 28 liegen somit zwei Bilder desselben Gegenstands aus unterschiedlicher Perspektive vor, die eine Abstandsauswertung gestatten. Mit der Abstandsauswertung 30 ist dann beispielsweise der Abstand der Kamera 16 von der Frontseite des Regals bekannt. Über den Abstand der Kamera 16 von der Gabelspitze kann so auf den Abstand der Gabelspitze zur Regalfront geschlossen werden.
  • Figur 2 zeigt eine weitere Variante für eine Abstandsmessung, bei der eine seitliche Bewegung des Lasttragmittels relativ zu der Palette 24 und der darauf befindlichen Last 22 erfolgt. Bei der Abstandsmessung in Figur 2 ist eine Kamera 16 auf der Innenseite der rechten Gabelzinke angebracht. Die Kamera 16 erfasst mit der Gabelzinke 32 ein erstes Bild. In der um die Strecke 34 verschobenen Position, besitzt die Gabelzinke 32' eine zweite Position für die Kamera 16. Es entsteht ein Überlappungsbereich 36, der Auskunft über den Abstand zur Regalfront gibt. Je nach Ausgestaltung kann hier beispielsweise die seitliche Position des Lasttragmittels relativ zu einem mittigen Block der Palette 24 erfasst werden. Auch kann eine Ausrichtung der Gabelzinken an seitlichen Begrenzungen der Palette 24 als Lastträger erfolgen. Bei bekannter Geometrie der Paletten, erlaubt dies eine zuverlässige seitliche Ausrichtung der Gabelzinken.
  • Figur 3 zeigt eine weitere Ausgestaltung, bei der ein Flurförderzeug 10 entlang seiner Fahrzeuglängsrichtung 38 verfährt. Das Flurförderzeug 10 nimmt mit seiner Seitenkamera 40 in einer ersten Position ein Bild 1 auf. Nachdem das Flurförderzeug in seine neue Position als Flurförderzeug 10' verfahren ist, nimmt die Seitenkamera 40 ein zweites Bild auf. Die beiden Bildbereiche besitzen einen Überlappungsbereich 42, in dem für ein oder mehrere Punkte ein seitlicher Abstand zu dem Flurförderzeug 10 berechnet werden kann. Der seitliche Abstand kann beispielsweise dazu dienen, einen Abstand zu einem Regal oder einer Wand bei der Fahrt automatisch einzuhalten. Die Kamera 40 mit der Abstandsbestimmung kann auch zusätzlich zu anderen Verfahren, wie beispielsweise Infrarotsensoren oder Ultraschallmessungen eingesetzt werden.
  • Für die Auswertung der Daten und die Bestimmung der Abstandswerte hilft Figur 4. Hierbei bezeichnen L und R eine Lochkamera in zwei Kamerapositionen mit parallelen optischen Achsen. Der Einfachheit halber sei angenommen, dass die erste und die zweite Kameraposition sich entlang der X-Achse der beiden Lochkameras verschiebt. Ferner sei die gleiche Brennweite mit f bezeichnet. In dem ersten Bild der Lochkamera L erscheint der Punkt P um x1 gegenüber der optischen Achse der Kamera L1 verschoben. Wie nachfolgend noch erläutert wird, ergibt sich hieraus ein Strahl, auf dem der Bildpunkt in den Weltkoordinaten liegt. Für die um die Strecke b verschobene Kameraposition R liegt der Punkt P um die Strecke x2 gegenüber der optischen Achse verschoben. Die Disparität des Punktes P wird üblicherweise angegeben als Differenz der Werte x1 und x2.
  • Werden die beiden Bilder der Kamerapositionen L und R in ihrem Überlappungsbereich miteinander verglichen, so kann eine Disparitätskarte erstellt werden. In der Disparitätskarte sind dann gleiche Differenzen für die Abstände zu der optischen Achse Bereiche gleicher Entfernung der Punkte. Der Abstand A des Punktes P von der X-Achse ergibt sich somit zu: A = b ⋅ f x 1 − x 2 ,
    Figure imgb0001
     wobei b die Strecke zwischen den Kamerapositionen L und R bezeichnet, f die Brennweite der Kamera und x1 und x2 den Abstand des Punktes P von der optischen Achse des Lochbildes in den Kamerapositionen 1 und 2.
  • Zum besseren Verständnis sei in Figur 5 der vollständige Zusammenhang der Koordinaten dargestellt. Eine Lochbildkamera besitzt einen Brennpunkt fc mit drei orthogonalen Kameraachsen XC, YC, ZC. Üblicherweise wird angenommen, dass die optische Achse der Lochkamera mit der Z-Achse des Dreibeins zusammenfällt. Die Lochkamera nimmt ein Bild auf, in dem ein Pixel die Koordinaten U und V besitzt. Wie in Figur 5 dargestellt, kann für das Bild der Lochkamera angenommen werden, dass dieses sich im Abstand der Brennweite f senkrecht zur Z-Achse befindet. Aus dieser geometrischen Überlegung kann nun ein Strahl konstruiert werden, der den Brennpunkt der Lochkamera über den Pixelwert UV bestimmt. Dieser Strahl rührt dann von dem beispielhaft eingezeichneten Punkt P mit seinen Koordinaten X, Y, Z her. Für das Verständnis der Verwendung der beiden Kamerapositionen L und R ist es wichtig, einzusehen, dass die Strahlen bei einem Bild der Lochkamera in Kameraposition L und in Kameraposition R sich schneiden. Durch den Schnittpunkt wird dann auf dem Strahl die Position des Punktes P in dem Koordinatensystem eindeutig festgelegt.
    • Bezugszeichenliste
    • 10
    Flurförderzeug
    12
    Hubgerüst
    14
    Lasttragmittel
    16
    2D-Kamera
    18
    Bildbereich
    18'
    Bildbereich
    20
    Regal
    22
    Last
    24
    Paletten
    26
    Strecke
    28
    Überlappungsbereich
    30
    Abstandsauswertung
    32
    Gabelzinke
    32'
    Gabelzinke
    34
    Strecke
    36
    Überlappungsbereich
    38
    Fahrzeuglängsrichtung
    40
    Seitenkamera
    42
    Überlappungsbereich

Claims (15)

  1. Verfahren zur Bestimmung von Abstandswerten (A) zu einem Flurförderzeug (10), das mit einer 2D-Kamera (16) ausgestattet ist, die Bilder in einem vorbestimmten Bildbereich (18) relativ zu dem Flurförderzeug (10) aufnimmt und diese an eine Auswerteeinheit weiterleitet, die für mindestens einen Teil des Bildbereichs der aufgenommenen Bilder einen oder mehrere Abstandswerte (A) relativ zu dem Flurförderzeug auswertet, wobei das Verfahren folgende Schritte aufweist:
    o Aufzeichnen eines ersten Bildes mit der 2D-Kamera (16) in einer ersten Kameraposition (L),
    o Bewegen der 2D-Kamera (16) um eine Strecke (26) aus der ersten Kameraposition (L) in eine zweite Kameraposition (R),
    o Erfassen der Strecke (26) zwischen der ersten und der zweiten Kameraposition (L, R),
    o Aufzeichnen eines zweiten Bildes mit der 2D-Kamera (16) in der zweiten Kameraposition (R) und
    o Auswerten der beiden Bilder, wobei ein Überlappungsbereich (28) der beiden Bilder zwischen den beiden Kamerapositionen ermittelt und in dem Überlappungsbereich (28) unter Berücksichtigung der Strecke (b) ein Abstandswert für mindestens einen Punkt (P) und/oder einen Bereich von Punkten bestimmt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die 2D-Kamera (16) an einem in der Höhe verstellbaren Teil des Hubgerüsts (12) angebracht ist und durch ein Heben oder Senken des Hubgerüsts (12) in die beiden Kamerapositionen bewegt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die 2D-Kamera (16) an einem horizontal verstellbaren Teil angebracht ist und durch ein seitliches Verschieben in die beiden Kamerapositionen bewegt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die 2D-Kamera (40) fahrzeugfest an dem Flurförderzeug angebracht ist und durch eine Fahrbewegung des Flurförderzeugs die 2D-Kamera (40) in die beiden Kamerapositionen bewegt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für den Überlappungsbereich eine Disparitätskarte erzeugt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der mindestens eine Punkt (P) für den Abstandswert mittels einem Block-Matching-Verfahren bestimmt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Strecke (b) zwischen der ersten und der zweiten Kameraposition durch das Flurförderzeug erfasst wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass entlang einer Bahnkurve der 2D-Kamera eine Vielzahl von Bildern aufgezeichnet und an die Auswerteeinheit weitergeleitet wird.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bilder entlang der Bahnkurve dahingehend ausgewertet werden, welche Strecke die Kamera zwischen den Bildern zurückgelegt hat.
  10. Flurförderzug mit einer 2D-Kamera und einer Auswerteeinheit, an der Bilder der 2D-Kamera (16) anliegen, wobei eine Messeinheit vorgesehen ist, die eine Strecke für eine Veränderung der Kameraposition an oder mit dem Flurförderzeug (10) erfasst und an die Auswerteeinheit anlegt, die dazu ausgebildet ist, aus mindestens zwei anliegenden Bildern und der Strecke (b) zwischen den Kamerapositionen einen Abstandwert für mindestens einen Punkt in einem Überlappungsbereich der beiden Bilder zu ermitteln.
  11. Flurförderzeug nach Anspruch 10, dadurch gekennzeichnet, dass die 2D-Kamera an einem in der Höhe verstellbaren Teil des Hubgerüsts (12) angebracht ist.
  12. Flurförderzeug nach Anspruch 10, dadurch gekennzeichnet, dass ein Seitenschieber vorgesehen ist, an dem die 2D-Kamera (16) angebracht ist.
  13. Flurförderzeug nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die 2D-Kamera an dem Flurförderzeug fahrzeugfest angebracht ist.
  14. Flurförderzeug nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die Messeinheit die Strecke zwischen den Kamerapositionen durch eine Fahrbewegung des Fahrzeugs und/oder durch eine Hubbewegung des Hubgerüsts erfasst.
  15. Flurförderzeug nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass die Messeinheit dazu ausgebildet ist, die Strecke zwischen den Kamerapositionen durch aus einer Folge von Bildern bestimmt.
EP21199889.3A 2020-10-08 2021-09-29 Verfahren zur bestimmung von abstandswerten zu einem flurförderzeug sowie ein solches Pending EP3981731A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020126401.1A DE102020126401A1 (de) 2020-10-08 2020-10-08 Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches

Publications (1)

Publication Number Publication Date
EP3981731A1 true EP3981731A1 (de) 2022-04-13

Family

ID=78232250

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21199889.3A Pending EP3981731A1 (de) 2020-10-08 2021-09-29 Verfahren zur bestimmung von abstandswerten zu einem flurförderzeug sowie ein solches

Country Status (2)

Country Link
EP (1) EP3981731A1 (de)
DE (1) DE102020126401A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3000773A1 (de) * 2014-09-25 2016-03-30 BT Products AB Verfahren in Gabelstapler zur Bestimmung einer Ladeposition in einem Ladegestell
EP3009789A1 (de) * 2013-06-11 2016-04-20 Yamaha Hatsudoki Kabushiki Kaisha Verfahren zur stereoabstandsschätzung mit einer monokularen bewegung sowie vorrichtung zur stereoabstandsschätzung mit einer monokularen bewegung
EP3453672A1 (de) * 2017-09-12 2019-03-13 STILL GmbH Verfahren und vorrichtung zur kollisionsvermeidung beim betrieb eines flurförderzeugs
US20200310442A1 (en) * 2019-03-29 2020-10-01 SafeAI, Inc. Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6492024B2 (ja) 2016-03-30 2019-03-27 株式会社豊田中央研究所 移動体
DE102017124850A1 (de) 2017-10-24 2019-04-25 Jungheinrich Ag Flurförderzeug mit einer Gabel und einer Gabelzinkenkamera sowie Verfahren zum Betreiben eines solchen Flurförderzeugs
DE102018205964A1 (de) 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs
DE102018112171A1 (de) 2018-05-22 2019-11-28 Connaught Electronics Ltd. Verfahren zum Beurteilen von Objekten in einer Umgebung eines Kraftfahrzeugs anhand einer dreidimensionalen Fusionskarte, Steuereinrichtung; Fahrerassistenzsystem, Computerprogrammprodukt
JP7220591B2 (ja) 2019-03-07 2023-02-10 三菱重工業株式会社 自己位置推定装置、自己位置推定方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009789A1 (de) * 2013-06-11 2016-04-20 Yamaha Hatsudoki Kabushiki Kaisha Verfahren zur stereoabstandsschätzung mit einer monokularen bewegung sowie vorrichtung zur stereoabstandsschätzung mit einer monokularen bewegung
EP3000773A1 (de) * 2014-09-25 2016-03-30 BT Products AB Verfahren in Gabelstapler zur Bestimmung einer Ladeposition in einem Ladegestell
EP3453672A1 (de) * 2017-09-12 2019-03-13 STILL GmbH Verfahren und vorrichtung zur kollisionsvermeidung beim betrieb eines flurförderzeugs
US20200310442A1 (en) * 2019-03-29 2020-10-01 SafeAI, Inc. Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control

Also Published As

Publication number Publication date
DE102020126401A1 (de) 2022-04-14

Similar Documents

Publication Publication Date Title
DE10026586B4 (de) Objekterfassungssystem
DE4130010C2 (de) Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes
DE102012108034A1 (de) Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
EP3281076B1 (de) Verfahren zur bearbeitung eines bodens
DE102007046287B4 (de) Verfahren zur Kalibrierung einer Sensoranordnung
DE102008004632A1 (de) Vorrichtung und Verfahren zur Vermessung einer Parklücke
EP1267178A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE102008030555A1 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE102018205964A1 (de) Verfahren und Steuergerät zum Navigieren eines autonomen Flurförderfahrzeugs
EP2246664B1 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgrösse
EP2653430B1 (de) Steuerverfahren für Lastabsetzung eines Flurförderzeugs sowie Flurförderzeug
DE102012216908A1 (de) Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem
EP3872521A1 (de) Verfahren zum kalibrieren einer sensoreinheit eines flurförderzeugs
DE102018218191A1 (de) Flurförderfahrzeug mit einer Lastgabel, Verfahren zum Betreiben, Steuergerät, Computer-Programm und Computer-Programm-Produkt
EP1531342A1 (de) Verfahren zur Erkennung von Fussgängern
DE19902401C2 (de) Verfahren und Vorrichtung zur Bestimmung der Geometrie von blattförmigem Gut oder Stapeln davon
DE112015002764B4 (de) Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera
EP3118153B1 (de) Verfahren zur hinderniserfassung bei einem flurförderzeug
DE4109159C2 (de) Verfahren und Vorrichtung zum Verfolgen eines einem Fahrzeug vorausfahrenden Fahrzeugs
DE102019202269B4 (de) Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE10323643B4 (de) Sensorsystem für ein autonomes Flurförderfahrzeug
EP3981731A1 (de) Verfahren zur bestimmung von abstandswerten zu einem flurförderzeug sowie ein solches
EP0290633A1 (de) Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges
AT509118B1 (de) Verfahren und vorrichtung zum erfassen der position eines fahrzeuges in einem definierten bereich

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220708

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230628

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230811