DE102021114067A1 - Industrial truck with an optical monitoring device - Google Patents
Industrial truck with an optical monitoring device Download PDFInfo
- Publication number
- DE102021114067A1 DE102021114067A1 DE102021114067.6A DE102021114067A DE102021114067A1 DE 102021114067 A1 DE102021114067 A1 DE 102021114067A1 DE 102021114067 A DE102021114067 A DE 102021114067A DE 102021114067 A1 DE102021114067 A1 DE 102021114067A1
- Authority
- DE
- Germany
- Prior art keywords
- pattern
- industrial truck
- camera
- cameras
- projector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Flurförderzeug mit einer optischen Überwachungseinrichtung, die mindestens einen Projektor und mindestens eine Kamera aufweist, wobei der Projektor ein Muster, bestehend aus einer Vielzahl von Musterelementen aussendet, dessen Abbild auf einem Gegenstand von der Kamera erfasst und ausgewertet wird, wobei das projizierte Muster derart orientiert ist, dass mehr Musterelemente mit horizontalen und vertikalen Kanten zusammentreffen als bei einer regulären Orientierung.Industrial truck with an optical monitoring device that has at least one projector and at least one camera, the projector emitting a pattern consisting of a large number of pattern elements, the image of which on an object is captured and evaluated by the camera, the projected pattern being oriented in this way , that more pattern elements meet with horizontal and vertical edges than with a regular orientation.
Description
Die vorliegende Erfindung betrifft ein Flurförderzeug mit einer optischen Überwachungseinrichtung. Flurförderzeuge mit optischen Überwachungseinrichtungen können sowohl bei autonom fahrenden Fahrzeugen als auch bei manuell geführten Fahrzeugen eingesetzt werden. Die optische Überwachungseinrichtung kann eine Vielzahl von unterschiedlichen Aufgaben erfüllen, so beispielsweise die Positionierung des Fahrzeugs relativ zu einer Last oder zu einem Regal unterstützen oder ein Hindernis oder dergleichen erkennen. Für die optische Überwachungseinrichtung ist es wichtig, dass dreidimensionale Daten in zuverlässiger Form gewonnen werden können.The present invention relates to an industrial truck with an optical monitoring device. Industrial trucks with optical monitoring devices can be used both in autonomous vehicles and in manually operated vehicles. The optical monitoring device can fulfill a large number of different tasks, for example supporting the positioning of the vehicle relative to a load or a shelf or detecting an obstacle or the like. It is important for the optical surveillance device that three-dimensional data can be obtained in a reliable form.
Zur Ermittlung von 3D-Daten mit nur einer Kamera kann ein bekanntes Muster auf das Zielobjekt projiziert werden. Das Muster kann aus Linien, Kreisen, Punkten oder sonstigen Musterelementen bestehen. Das Licht mit solchen Mustern wird auch als codiertes Licht bezeichnet. Durch die Höhenunterschiede auf dem Zielobjekt wird das projizierte Muster insbesondere an Kanten verformt. Anhand dieser Verzerrung kann auf Höhenunterschiede zurückgerechnet werden, wenn die Musterelemente dem Ursprungsmuster zugeordnet werden können. Bei Linien nutzt man beispielsweise ein barcode-ähnliches Prinzip, um die Eineindeutigkeit der projizierten Linie zu gewährleisten. Linien erlauben beispielsweise eine gute Kantenerkennung an dem Zielobjekt, da die Linien an den Kanten ihre Orientierung ändern. Bei der Verwendung von Punkten als Musterelemente können beispielsweise über Korrelationen zu benachbarten Punkten diese im Raum identifiziert werden. Je höher die Dichte der Informationen in dem projizierten Bild ist, desto genauer kann das Objekt in seiner Dreidimensionalität aufgelöst werden, wobei natürlich die Dichte der Informationen durch die optische Auflösung begrenzt ist.A known pattern can be projected onto the target object to obtain 3D data with just one camera. The pattern can consist of lines, circles, dots or other pattern elements. The light with such patterns is also referred to as coded light. Due to the height differences on the target object, the projected pattern is deformed, especially at edges. This distortion can be used to calculate differences in height if the pattern elements can be assigned to the original pattern. For lines, for example, a principle similar to a barcode is used to ensure that the projected line is unambiguous. For example, lines allow good edge detection on the target object, since the lines change their orientation at the edges. When using points as pattern elements, these can be identified in space, for example via correlations to neighboring points. The higher the density of the information in the projected image, the more precisely the object can be resolved in its three-dimensionality, the density of the information being of course limited by the optical resolution.
Wird eine zweite Kamera an einem bekannten Ort hinzugefügt, ergeben sich zwei weitere Vorteile. Einerseits kann die zweite Kamera aus einem anderen Blickwinkel verdeckte Linien erfassen, welche die erste Kamera nicht auswerten kann. Zum anderen können durch die stereoskopische Sicht auf das Objekt zusätzliche Informationen über dessen Dreidimensionalität gewonnen werden.Adding a second camera at a known location provides two additional benefits. On the one hand, the second camera can capture hidden lines from a different angle, which the first camera cannot evaluate. On the other hand, the stereoscopic view of the object can provide additional information about its three-dimensionality.
Der Erfindung liegt die Aufgabe zugrunde, ein Flurförderzeug mit einer optischen Überwachungseinrichtung bereitzustellen, das in einer Lagerumgebung mit einfachen Mitteln zuverlässig Objekte und Gegenstände erkennt.The object of the invention is to provide an industrial truck with an optical monitoring device that reliably detects objects and objects in a warehouse environment using simple means.
Erfindungsgemäß wird die Aufgabe durch ein Flurförderzeug mit den Merkmalen aus Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen bilden die Gegenstände der Unteransprüche.According to the invention, the object is achieved by an industrial truck with the features of claim 1. Advantageous configurations form the subject matter of the dependent claims.
Das erfindungsgemäße Flurförderzeug ist mit einer Überwachungseinrichtung ausgestattet, die mindestens einen Projektor und mindestens eine Kamera aufweist. Der Projektor sendet ein Muster, bestehend aus einer Vielzahl von Musterelementen aus. Das Abbild des Musters auf einem Gegenstand wird von der mindestens einen Kamera erfasst und ausgewertet. Bevorzugt ist das Muster mit seinen Musterelementen derart orientiert, dass möglichst viele Musterelemente mit horizontalen und vertikalen Kanten zusammentreffen. Das Zusammentreffen eines der Musterelemente mit einer horizontalen oder vertikalen Kante ergibt eine deutliche Veränderung in dem projizierten Musterelement, die gut von der Kamera ausgewertet werden kann. Die erfindungsgemäße Lösung zur Ausrichtung der optischen Überwachungseinrichtung beruht auf der Erkenntnis, dass Flurförderzeuge in ihrer Umgebung in der Regel mit vertikalen und horizontalen Kanten konfrontiert sind. Insofern ist es möglich, eine Orientierung für das projizierte Muster zu wählen, bei der viele Musterelemente mit horizontalen und vertikalen Kanten zusammentreffen. Erfindungsgemäß ist vorgesehen, dass mehr Musterelemente mit horizontalen und vertikalen Kanten zusammentreffen als in einer regulären Orientierung, also einer horizontalen oder vertikalen Orientierung. Es wird also angestrebt, dass ein zumindest lokales Maximum für das Zusammentreffen der Musterelemente mit den Kanten erzielt werden kann, wenn keine reguläre Orientierung vorliegt. Die Erfindung beruht auf der Erkenntnis, dass in einer Lagerumgebung überwiegend vertikale und horizontale Kanten vorgesehen sind. Von daher ist es möglich, allgemein eine solche, von der regulären Orientierung abweichende Orientierung zu finden, bei der möglichst viele Musterelemente auf vertikale oder horizontale Kanten stoßen.The industrial truck according to the invention is equipped with a monitoring device that has at least one projector and at least one camera. The projector emits a pattern consisting of a large number of pattern elements. The image of the pattern on an object is captured and evaluated by the at least one camera. The pattern with its pattern elements is preferably oriented in such a way that as many pattern elements as possible meet with horizontal and vertical edges. The meeting of one of the pattern elements with a horizontal or vertical edge results in a clear change in the projected pattern element, which can be well evaluated by the camera. The solution according to the invention for aligning the optical monitoring device is based on the knowledge that industrial trucks are generally confronted with vertical and horizontal edges in their environment. As such, it is possible to choose an orientation for the projected pattern where many pattern elements with horizontal and vertical edges meet. According to the invention it is provided that more pattern elements meet with horizontal and vertical edges than in a regular orientation, ie a horizontal or vertical orientation. It is therefore sought that an at least local maximum for the coincidence of the pattern elements with the edges can be achieved if there is no regular orientation. The invention is based on the finding that vertical and horizontal edges are predominantly provided in a storage environment. It is therefore possible to generally find an orientation that deviates from the regular orientation, in which as many pattern elements as possible encounter vertical or horizontal edges.
In einer bevorzugten Ausgestaltung weist die optische Überwachungseinrichtung zwei Kameras auf, die auf einen gemeinsamen Bildbereich gerichtet sind, in den das Muster projiziert wird. Die zwei Kameras erlauben einen stereoskopischen Blick auf den Gegenstand und auf das projizierte Muster auf dem Gegenstand.In a preferred embodiment, the optical monitoring device has two cameras, which are aimed at a common image area into which the pattern is projected. The two cameras allow a stereoscopic view of the object and of the projected pattern on the object.
In einer bevorzugten Ausgestaltung sind die beiden Kameras derart gegeneinander geneigt, dass Epipolarlinien geneigt zu vertikalen und/oder horizontalen Kanten in dem Bild verlaufen. Die Epipolarlinie ist die Linie, die in einer Bildebene zwischen dem Epipolarpol und dem entsprechenden Bildpunkt verläuft. Die Punkte auf einer Epipolarlinie entsprechen einer Reihe von Objektpunkten, die auf der entsprechenden anderen Bildebene nicht aufgelöst werden können, sondern auf einem Strahl liegen, der auf das Kamerazentrum der anderen Kamera verweist. Indem darauf geachtet wird, dass die Epipolarlinien geneigt zu vertikalen und/oder horizontalen Kanten in dem Bild verlaufen, wird sichergestellt, dass die Kante auch von beiden Kameras aufgenommen werden kann. Je nach Ausgestaltung können Epipolarlinien parallel angeordnet sein. Grundsätzlich funktioniert Stereoskopie auch ohne eine parallele Anordnung der Epipolarlinien, allerdings ist dann der betrachtete Bildbereich kleiner.In a preferred embodiment, the two cameras are inclined towards one another in such a way that epipolar lines run inclined to vertical and/or horizontal edges in the image. The epipolar line is the line that runs in an image plane between the epipolar pole and the corresponding pixel. The points on an epipolar line correspond to a series of object points that cannot be resolved on the corresponding other image plane, but lie on a ray that is on the camera center of the other camera. By making sure that the epipolar lines run inclined to vertical and/or horizontal edges in the image, it is ensured that the edge can also be recorded by both cameras. Depending on the configuration, epipolar lines can be arranged in parallel. In principle, stereoscopy also works without a parallel arrangement of the epipolar lines, but then the observed image area is smaller.
In einer Umgebung, in der Flurförderzeuge eingesetzt werden, hat es sich als besonders vorteilhaft herausgestellt, für das Muster Linien als Musterelemente zu verwenden, die parallel zueinander verlaufen. Die Linien sind schräg in einem Winkel gegenüber der Horizontalen angeordnet und schneiden so sowohl jede horizontale als auch vertikale Linie.In an environment in which industrial trucks are used, it has proven to be particularly advantageous to use lines as pattern elements for the pattern, which run parallel to one another. The lines are slanted at an angle to the horizontal, thus intersecting every horizontal and vertical line.
Alternativ hat sich auch als vorteilhaft herausgestellt, als Musterelemente Pixelpunkte zu verwenden. Die Pixelpunkte sind untereinander codiert und die relative Positionsveränderung der Pixelpunkte zueinander kann erfasst werden.Alternatively, it has also turned out to be advantageous to use pixel points as pattern elements. The pixel points are encoded among one another and the change in position of the pixel points relative to one another can be detected.
Die vorstehende Erfindung wird nachfolgend an einem Ausführungsbeispiel näher erläutert. Es zeigen:
-
1 ein Flurförderzeug in der Ansicht von oben mit zwei Kameras und einem Projektor am Rücken des Gabelträgers, -
2 ein Flurförderzeug in der Ansicht von oben mit zwei Kameras und einem Projektor benachbart zueinander an einer Seite des Gabelrückens angeordnet, -
3 ein Flurförderzeug in der Ansicht von oben mit zwei Kameras und einem Projektor in den Gabelspitzen, -
4 eine schematische Ansicht zur Verwendung von codiertem Licht mit zwei Kameras, -
5 eine Prinzipansicht zur Detektion eines Streifens mit Hilfe einer Kamera, -
6 die Projektion auf einen Palettenträger mit Streifen und -
7 die Rekonstruktion der Epipolarlinien bei eine Stereosicht.
-
1 an industrial truck viewed from above with two cameras and a projector on the back of the fork carriage, -
2 an industrial truck viewed from above with two cameras and a projector arranged adjacent to one another on one side of the back of the fork, -
3 an industrial truck viewed from above with two cameras and a projector in the fork tips, -
4 a schematic view for using coded light with two cameras, -
5 a schematic view of the detection of a strip with the help of a camera, -
6 the projection onto a pallet carrier with stripes and -
7 the reconstruction of the epipolar lines in a stereo view.
BezugszeichenlisteReference List
- 1010
- Flurförderzeugindustrial truck
- 1212
- Radarmwheel arm
- 1414
- Radarmwheel arm
- 1616
- Gabelträgerfork carriage
- 1818
- Lastgabelload fork
- 2020
- Lastgabelload fork
- 2222
- Gabelrückwandfork rear panel
- 2424
- Kameracamera
- 24'24'
- Kameracamera
- 24"24"
- Kameracamera
- 2626
- Kameracamera
- 26'26'
- Kameracamera
- 26"26"
- Kameracamera
- 2828
- Blickfeldfield of view
- 3030
- Blickfeldfield of view
- 3232
- Gegenstandobject
- 3636
- Projektorprojector
- 36'36'
- Projektorprojector
- 36"36"
- Projektorprojector
- 3838
- Mustersample
- 4040
- Linienlines
- 4242
- Quaderförmiger Gegenstandcuboid object
- 4444
- Laserlaser
- 4646
- Streifenstripes
- 4848
- Untergrundunderground
- 5050
- Bildpicture
- 5454
- Palettenträgerpallet carrier
- 5656
- Epipolarlinienepipolar lines
Claims (5)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021114067.6A DE102021114067A1 (en) | 2021-05-31 | 2021-05-31 | Industrial truck with an optical monitoring device |
EP22730781.6A EP4348175A1 (en) | 2021-05-31 | 2022-05-24 | Industrial truck having an optical monitoring device |
PCT/EP2022/064124 WO2022253652A1 (en) | 2021-05-31 | 2022-05-24 | Industrial truck having an optical monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021114067.6A DE102021114067A1 (en) | 2021-05-31 | 2021-05-31 | Industrial truck with an optical monitoring device |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021114067A1 true DE102021114067A1 (en) | 2022-12-01 |
Family
ID=82067808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021114067.6A Pending DE102021114067A1 (en) | 2021-05-31 | 2021-05-31 | Industrial truck with an optical monitoring device |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4348175A1 (en) |
DE (1) | DE102021114067A1 (en) |
WO (1) | WO2022253652A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005009606A1 (en) | 2005-02-28 | 2006-08-31 | Isra Vision Systems Ag | Sensor device, for three-dimensional position determination and monitoring of tool, e.g. for adhesive application, has cameras and projector which projects pattern for image evaluation |
DE102008020326B3 (en) | 2008-04-23 | 2009-09-03 | Sick Ag | Stereoscopic three-dimensional-safety camera for monitoring spatial area in safety engineering, has evaluation unit designed to combine entire image from three dimensional images of image sensors of stereoscopy systems |
DE102008001629A1 (en) | 2008-05-07 | 2009-11-12 | Robert Bosch Gmbh | Projection means comprehensive device |
DE102013002554A1 (en) | 2013-02-15 | 2014-08-21 | Jungheinrich Aktiengesellschaft | Method for detecting objects in a warehouse and / or for spatial orientation in a warehouse |
US20170336195A1 (en) | 2015-06-11 | 2017-11-23 | Panasonic Intellectual Property Management Co., Lt d. | Dimension measurement device and dimension measurement method |
DE102016120386A1 (en) | 2016-10-26 | 2018-04-26 | Jungheinrich Aktiengesellschaft | Method for detecting objects in a warehouse and industrial truck with a device for detecting objects in a warehouse |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10336085A1 (en) * | 2003-08-06 | 2005-03-10 | Siemens Ag | Determining the position of a cargo by combining local, absolute position measurement and relative position measurement |
DE10358544A1 (en) * | 2003-12-15 | 2005-07-14 | Daimlerchrysler Ag | Fast three dimensional object shape recording procedure uses projected stripe intersections with coordinate calculation by forward projection and line approximation |
US7620209B2 (en) * | 2004-10-14 | 2009-11-17 | Stevick Glen R | Method and apparatus for dynamic space-time imaging system |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
DE102019123647A1 (en) * | 2019-09-04 | 2021-03-04 | Still Gesellschaft Mit Beschränkter Haftung | Method for localizing a vehicle and vehicle for carrying out the method |
-
2021
- 2021-05-31 DE DE102021114067.6A patent/DE102021114067A1/en active Pending
-
2022
- 2022-05-24 WO PCT/EP2022/064124 patent/WO2022253652A1/en active Application Filing
- 2022-05-24 EP EP22730781.6A patent/EP4348175A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005009606A1 (en) | 2005-02-28 | 2006-08-31 | Isra Vision Systems Ag | Sensor device, for three-dimensional position determination and monitoring of tool, e.g. for adhesive application, has cameras and projector which projects pattern for image evaluation |
DE102008020326B3 (en) | 2008-04-23 | 2009-09-03 | Sick Ag | Stereoscopic three-dimensional-safety camera for monitoring spatial area in safety engineering, has evaluation unit designed to combine entire image from three dimensional images of image sensors of stereoscopy systems |
DE102008001629A1 (en) | 2008-05-07 | 2009-11-12 | Robert Bosch Gmbh | Projection means comprehensive device |
DE102013002554A1 (en) | 2013-02-15 | 2014-08-21 | Jungheinrich Aktiengesellschaft | Method for detecting objects in a warehouse and / or for spatial orientation in a warehouse |
US20170336195A1 (en) | 2015-06-11 | 2017-11-23 | Panasonic Intellectual Property Management Co., Lt d. | Dimension measurement device and dimension measurement method |
DE102016120386A1 (en) | 2016-10-26 | 2018-04-26 | Jungheinrich Aktiengesellschaft | Method for detecting objects in a warehouse and industrial truck with a device for detecting objects in a warehouse |
Also Published As
Publication number | Publication date |
---|---|
WO2022253652A1 (en) | 2022-12-08 |
EP4348175A1 (en) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102012112321B4 (en) | Device for optically scanning and measuring an environment | |
DE102012112322B4 (en) | Method for optically scanning and measuring an environment | |
DE69826753T2 (en) | Optical profile sensor | |
DE102014013677B4 (en) | Method for optically scanning and measuring an environment with a handheld scanner and subdivided display | |
EP3316181B1 (en) | Method for detecting objects in a bearing and industrial truck with a device for detecting objects in a storage location | |
DE102007028866B4 (en) | Apparatus for optically reading a graphical symbol constructed from a plurality of optically recognizable information unit sections | |
WO2015055298A1 (en) | Coding device, positioning-determining device, and positioning-determining method | |
DD228096A5 (en) | METHOD AND DEVICE FOR THE AUTOMATIC MANAGEMENT OF VEHICLES, ESPECIALLY OF DRIVEN ELECTRIC CARCASES | |
DE102011114674A1 (en) | Method and device for determining the 3D coordinates of an object | |
DE10026201A1 (en) | Device for determining the position of an object in an OXZ plane using an array of CCD cameras with a mask placed in front of them comprising an arrangement of sloping transparent and opaque bands | |
DE102017116758B4 (en) | Method and device for scanning surfaces with a stereo camera | |
DE102012023623B4 (en) | Method for assembling partial recordings of a surface of an object to a total record of the object and system for creating a complete record of an object | |
WO2012160056A1 (en) | Device and method for measuring the running gear of a motor vehicle | |
EP1022541A2 (en) | Procedure and device to determine the geometrical form of sheetlike articles or piles thereof | |
WO2015197641A1 (en) | Determination of at least one feature of a vehicle | |
DE102021114067A1 (en) | Industrial truck with an optical monitoring device | |
DE10112732C2 (en) | Method for determining the position of measurement images of an object relative to the object | |
DE102015106837A1 (en) | Method for controlling a 3D measuring device by means of gestures and device for this purpose | |
DE102017009153A1 (en) | Arrangement and method for inspection of moving plate-shaped objects | |
DE112022002520T5 (en) | Procedure for automatic calibration of cameras and creation of maps | |
EP4204762A1 (en) | Measuring panel for vehicle measurement | |
EP1586070B1 (en) | Method and device for identifying and compensating a perspectivistic deformation | |
DE202018105551U1 (en) | Positioning system for determining position in a room | |
EP3049757A1 (en) | Chassis measurement under ambient light | |
EP3018446B1 (en) | Identification device for an object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |