EP3483113A1 - Flurförderzeug mit einer gabel und einer gabelzinkenkamera sowie verfahren zum betreiben eines solchen flurförderzeugs - Google Patents

Flurförderzeug mit einer gabel und einer gabelzinkenkamera sowie verfahren zum betreiben eines solchen flurförderzeugs Download PDF

Info

Publication number
EP3483113A1
EP3483113A1 EP18201785.5A EP18201785A EP3483113A1 EP 3483113 A1 EP3483113 A1 EP 3483113A1 EP 18201785 A EP18201785 A EP 18201785A EP 3483113 A1 EP3483113 A1 EP 3483113A1
Authority
EP
European Patent Office
Prior art keywords
fork
camera
monitor
image data
forks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP18201785.5A
Other languages
English (en)
French (fr)
Other versions
EP3483113B1 (de
Inventor
Alexander Pautz
Lars Dohrmann
Sebastian Rockel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jungheinrich AG
Original Assignee
Jungheinrich AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jungheinrich AG filed Critical Jungheinrich AG
Publication of EP3483113A1 publication Critical patent/EP3483113A1/de
Application granted granted Critical
Publication of EP3483113B1 publication Critical patent/EP3483113B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors

Definitions

  • the invention relates to a method for operating an industrial truck with a fork having at least two prongs, a forklift camera, a monitor and a processing unit for reading and processing the image data captured by the forklift camera and for creating and transmitting processed image data displayed on the monitor. Furthermore, the invention relates to an industrial truck with an assistance system and with a fork with at least two forks, wherein the assistance system comprises at least one camera, a monitor and a processing unit.
  • the truck comprises a fork with typically two forks, which inserted for receiving the load in correspondingly provided openings of a pallet or stabbed.
  • the inclusion of a pallet and the correct insertion of the forks in the designated load receiving areas of the pallet is a difficult, sometimes tedious and time-consuming process, especially in adverse visibility conditions or very high lifted fork.
  • There is a reduction in the handling capacity of the truck In addition, high demands are placed on the operator of the truck, especially with regard to experience and skill.
  • Simpler systems include a video camera on the fork of a truck. With such a system, when picking up the pallet, the driver can simultaneously be provided with a direct view from the fork onto the pallet. This system is intended to make it easier for the driver to position the fork optimally in the load-bearing areas of the pallet.
  • the system can be supplemented by a line laser, which is also mounted on the fork carriage. It projects the stitching height onto the pallet depending on the current position of the fork. However, there is a risk that such a line laser is adjusted during operation of the truck, without the forklift driver notice immediately. The next time a pallet is dropped, the goods or the shelf may be damaged.
  • Object of the present invention is a method for operating a truck and a truck with a Assistance system to specify, wherein the inclusion of cargo, in particular pallets, should be reliable and simplified, but the system should also be robust and low error prone.
  • the object is achieved by a method for operating an industrial truck with a fork having at least two prongs, a forklift camera, a monitor and a processing unit for reading out and processing the image data captured by the forklift camera and for creating and transmitting processed image data displayed on the monitor, this method being further developed by placing the forkless camera on the fork such that at least part of a tip of at least one of the two forks is in the field of view of the forklift camera, and wherein the processing unit performs the steps of: detecting the at least one tip of the fork at least one fork in the captured image data, calculating at least one mark indicating a position of the fork and reproducing the image data overlaid by the mark and detected by the forklift camera on the monitor.
  • the forklift camera recognizes in the captured image data the at least one tip of the at least one fork.
  • the processing unit calculates marks to be displayed on the monitor based on the position of the forks, such as guides to be displayed. These guidelines help the forklift operator to better assess the exact position of the tip of the fork. This considerably facilitates the handling of the truck and accelerates the picking up of the loads.
  • the processing unit can recalculate the position of the forks at any time and thus also check whether they are still in the expected position. For example, jump If a fork is out of position, or if the camera is moved by a blow to the camera body, either a warning message can be displayed or the marker (eg guides) are simply recalculated and displayed in response to this new position.
  • the processing unit can optionally be integrated in the camera or in the monitor. It is also no longer necessary to use another unit, such as a line laser.
  • a fork-tip camera a digital 2D camera or even a 3D camera can be used. It is also possible to combine a 2D camera, for example, with a device for distance measurement.
  • the upper edge and the upper edges of the forks are provided as a marker.
  • the outer edges of the forks and / or the middle between the forks are displayed.
  • the shape of the marking for example in the middle between the forks, consists of two vertical lines which are the width of a connecting block of a Euro pallet away from each other. So these two lines can be brought when starting the Euro pallet in line with the middle block of Euro pallet, so that the forks can be easily and reliably inserted into the Euro pallet.
  • the processing unit further receives data indicative of an inclination angle of the fork and calculates, on the basis of this data, an assist mark indicative of a deviation of the position of the fork from a zero degree position of the fork, wherein image data superimposed on the assist mark and detected by the forklift camera is displayed on the fork Monitor can be played.
  • the data relating to the inclination angle of the fork receives the processing unit, for example from the operation control of the truck.
  • the processing unit is set up such that it retrieves the required data, for example. It is also provided that this requests the data in question (ie a request sent) and a little later receives the data on this request. Likewise, the data can be received via push message unasked.
  • the zero degree position of the fork is in particular a position in which the legs of the forks are level.
  • the auxiliary marker and the marker are in coincidence. In this orientation of the fork, the forks are inserted horizontally in the pallet. If the auxiliary marker and the marking deviate from one another, the fork tine tips are inserted into the pallet in the area of the auxiliary marker. Subsequently, however, the tops of the forks will come in contact with the pallet, so that the fork can not be fully inserted. This may be desirable.
  • the auxiliary marker, as well as the marker may be a line indicating the top of the forks.
  • the method is developed in particular by the fact that the processing unit further receives data relating to a steering angle and calculates, based on this data, another auxiliary mark indicative of a future deviation of the position of the fork from its current position in a conveying plane in an assumed travel under the steering angle, superimposed by the further auxiliary marking, image data captured by the forklift camera can be reproduced on the monitor.
  • the data concerning the steering angle receives the processing unit, for example, from the operation control of the truck.
  • the effects of the currently set steering angle can already be estimated in advance for the forklift driver. So the appropriate steering angle can be used consciously or avoided from the beginning.
  • the marker may include, for example, a vertical line indicative of the center between the tine tips, in addition to a horizontal line.
  • the further auxiliary marking may likewise be a vertical line which, for example, can be differentiated in color from the vertical line of the main marking. The larger the selected steering angle, the greater the deviation from the vertical auxiliary marker to the vertical main marker.
  • a male load with at least two visible load receiving areas is present, wherein nominal positions of the tips of the forks at penetration of the forks are calculated in the visible load receiving areas and captured by the forklift camera image data on the monitor in superposition with the calculated target position of the tips of the forks are displayed.
  • positions of the tips of the forks for example, schematically indicated forks can be displayed. Their position is continuously updated with decreasing distance of the fork from the load to be picked up.
  • the forklift operator can successively align or hold the virtual positions of the forks and the actual position of the forks, as can be observed in the live image of the forks, so that an optimal puncture into the pallet can take place. This considerably facilitates the operation of the truck for the forklift operator.
  • live image data is acquired by the forklift camera
  • the processing unit carries out said steps in real time and an overlay of a live image and the mark calculated in real time are reproduced on the monitor.
  • This may be modified to the effect that the fork positions and the resulting positions of the, in particular vertical and / or horizontal, markings, in particular main lines and / or auxiliary lines are calculated and are valid or displayed as long as the Forks can not be adjusted.
  • the forklift camera is a digital camera.
  • the processing unit is a computing unit, for example an embedded PC.
  • an industrial truck with an assistance system and with a fork with at least two forks, wherein the assistance system at least one forks camera, a monitor and a processing unit, wherein the truck is developed in that the forklift camera is arranged on the fork such that at least part of a tip of at least one of the two forks is in the field of view of the forklift camera, and wherein the processing unit is adapted to detecting at least one tip of the at least one fork in the image data, calculating at least one marker indicating a position of the fork, and displaying on the monitor superimposed image data superimposed on the forklift camera.
  • the truck is in particular developed by the mark indicating the tops and / or the outer edges of the forks and / or the middle between the forks.
  • the truck is, according to a further advantageous embodiment, further developed in that the processing unit is further adapted to receive data relating to an inclination angle of the fork and to calculate on the basis of this data an auxiliary marking which indicates a deviation of the position of the fork from a zero-degree position indicating the fork and superimposed on the auxiliary marker overlay, captured by the forklift camera image data on the monitor.
  • the industrial truck is formed by the fact that the processing unit is further adapted to data relating to a steering angle receive and calculate on the basis of this data, a further auxiliary mark indicating a future deviation of the position of the fork from its current position in a conveying plane in a presumed driving under the steering angle, and superimposed on the further auxiliary mark, captured by the forklift camera image data play the monitor.
  • a load to be recorded with at least two visible load receiving areas is provided, wherein the processing unit is further adapted to calculate nominal positions of the tips of the forks when they pierce the visible load receiving areas and detected by the forks camera Display image data superimposed on the monitor with the calculated setpoint position of the tips of the forks.
  • the truck is advantageously developed by the fact that the forks camera is adapted to capture live image data and the processing unit is adapted to perform said steps in real time and to display on the monitor a superimposition of a live image and the mark calculated in real time ,
  • This may be modified to the effect that the fork positions and the resulting positions of the, in particular vertical and / or horizontal, markings, in particular main lines and / or auxiliary lines are calculated and are valid or displayed as long as the Forks can not be adjusted.
  • Fig. 1 shows in a simplified schematic perspective view of an industrial truck 2 with a fork 4 with at least two forks 61, 62 and a mounted on the fork 4 fork tine camera 8, 8 '.
  • a forklift camera 8 may be arranged either at the fork back or in the form of an alternative or additional placement as a forklift camera 8 'directly to the fork 4, in this case the inside of a fork tine 61st
  • the industrial truck 2 which is, for example, a forklift truck, comprises a monitor, not shown in the figure, which is in the field of vision of a driver of the industrial truck 2.
  • a processing unit 10 is included, which is indicated schematically. This serves to read out and process the image data captured by the forklift camera 8, 8 'and to create and transmit processed image data displayed on the monitor. Notwithstanding the exemplary illustration in FIG Fig. 1
  • the processing unit 10 may also be integrated in the forklift camera 8, 8 'or in the monitor.
  • the fork-tooth camera 8, 8 ' is arranged on the fork 4 of the industrial truck 2 in such a way that at least part of a tip 71, 72 of at least one of the two fork tines 61, 62 is in the field of vision of the fork-tooth camera 8, 8'.
  • the industrial truck 2 comprises an assistance system, which comprises at least the forklift camera 8, 8 ', the monitor and the processing unit 10.
  • Fig. 2 shows in a simplified schematic perspective view a pallet 12, as it serves to receive goods and stored for example in a high-bay warehouse.
  • the truck 2 takes such a pallet 12 in the existing between adjacent pallet blocks 14a, 14b, 14c load receiving areas 16a, 16b.
  • the forks 61, 62 are inserted into the corresponding load receiving areas 16a, 16b.
  • the forklift camera 8, 8 provides the driver of the truck 2 on the monitor an image available, which facilitates the pallet penetration.
  • Fig. 3 shows an example reproduced on the monitor of the truck 2 image in a simplified schematic representation.
  • the image captured by the fork-tooth camera 8, 8 ' is overlaid with various markings 18.
  • the first main mark 20a for example a color-coded horizontal line, indicates a position of a top side 24 (cf. Fig. 1 ) of the forks 61, 62.
  • the position of this main mark 20a which indicates a position of the fork 4, is calculated by the processing unit 10 from the image data acquired by the forklift camera 8, 8 '.
  • a marker 18 the outer edges of the forks 61, 62 are displayed.
  • a second main mark 20b is visible, which is a middle between the two forks 61, 62 indicates. It is an example of a colored luminous vertical line.
  • the processing unit 10 further receives data concerning an inclination angle of the fork 4, and calculates the assist mark 22a on the basis of these data.
  • Fig. 3 shows a situation in which the fork 4 of the truck 2 is inclined for example downwards from the horizontal. This means that the tips 71, 72 of the forks 61, 62 are tilted out of a horizontal plane downwards. In such a position of the fork 4, the top 24 of the forks 61, 62 would collide with the puncture in the pallet 12 with this.
  • the first auxiliary marker 22a indicates the position of the top 24 of the forks 61, 62, if the angle of inclination, unlike actually present, would be zero degrees, so an upper surface 24 of the forks 61, 62 would be oriented at least approximately horizontally. Based on the deviation between the first auxiliary mark 22a and the first main mark 20a, the driver of the truck 2 is able to recognize how much the fork 4 is inclined.
  • the processing unit 10 is further configured to receive data relating to a steering angle of the truck 2. Based on this data, the second auxiliary mark 22b is calculated. This indicates a future deviation of the center between the forks 61, 62 when driving in the conveying plane with the chosen steering angle. With others In other words, the second auxiliary marking 22b indicates where the second main marking 20b will soon be located when driving at the selected steering angle. This information indicates to the driver of the truck 2 that he has currently taken a deviating from the straight-ahead steering angle.
  • the marking 22b allows the driver, for example, to aim for the middle pallet block 14b with the aid of the second auxiliary marking 22b, so that a successful puncture into the load receiving areas 16a, 16b of the pallet 12 takes place after the forklift 2 has completed travel.
  • Fig. 4 shows the reproduced on the monitor image of the forks camera 8, 8 ', wherein the main marks 20a, 20b and the auxiliary markings 22a, 22b are brought into coincidence.
  • the main markings 20a, 20b and the auxiliary markings 22a, 22b may be different in color or structurally distinguishable on the monitor.
  • the main marks 20a, 20b are shown in solid line and the auxiliary marks 22a, 22b are shown in dashed line.
  • it can also different colors, weights, brightnesses or similar. be provided for the corresponding markings 20a, 20b and 22a, 22b.
  • image data of a load to be recorded for example a pallet 12 are present in the acquired image data of the forklift camera 8, 8 ', wherein the processing unit 10 identifies load receiving areas 16a, 16b of this load to be recorded.
  • Fig. 5 shows a reproduced on the monitor image of the forks camera 8, 8 ', wherein the truck 2 by way of example to a schematically indicated shelf 26 with an exemplified compartment with a control shelf 28 moves.
  • the outer edges of the second fork 62 are shown by way of example.
  • set positions 30a, 30b of the tips 71, 72 of the forks 61, 62 are calculated during the insertion of the forks 61, 62 into the load receiving areas 16a, 16b.
  • target positions 30a, 30b for example, squares shown in color, are superimposed on the image data of the fork-tip camera 8, 8 'and displayed on the monitor. With decreasing distance of the fork 4, for example when driving on the shelf 26, these target positions 30a, 30b are dynamically adjusted.
  • the driver of the truck 2, the tips 71, 72 of the forks 61, 62 with these target positions 30a, 30b successively bring cover or hold, so that, for example, a safe and reliable pallet puncture is guaranteed.
  • the processing unit 10 is set up to perform real-time data processing.
  • the illustrated truck 2 is a forklift, and the load to be picked up is, for example, a pallet 12.
  • the system described above can also be used without restrictions in other forklifts or other loads to be picked up in a corresponding manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

Die Erfindung betrifft ein Flurförderzeug (2) und ein Verfahren zum Betreiben eines Flurförderzeugs (2). Das Flurförderzeug (2) umfasst ein Assistenzsystem und eine Gabel (4) mit zumindest zwei Gabelzinken (61, 62). Das Assistenzsystem umfasst zumindest eine Gabelzinkenkamera (8, 8'), einen Monitor und eine Verarbeitungseinheit (10). Die Gabelzinkenkamera (8, 8') ist derart an der Gabel (4) angeordnet, dass zumindest ein Teil einer Spitze (71, 72) zumindest einer der beiden Gabelzinken (61, 62) sich im Blickfeld der Gabelzinkenkamera (8, 8') befindet. Die Verarbeitungseinheit (10) ist dazu eingerichtet, zumindest eine Spitze (71, 72) der zumindest einen Gabelzinke (61, 62) in den Bilddaten zu erfassen, zumindest eine Markierung (18), die eine Position der Gabel (4) anzeigt, zu errechnen und mit der Markierung (18) überlagerte, von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor wiederzugeben.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Flurförderzeugs mit einer Gabel mit zumindest zwei Gabelzinken, einer Gabelzinkenkamera, einem Monitor und einer Verarbeitungseinheit zum Auslesen und Verarbeiten der von der Gabelzinkenkamera erfassten Bilddaten und zum Erstellen und Übertragen von auf dem Monitor dargestellten verarbeiteten Bilddaten. Ferner betrifft die Erfindung ein Flurförderzeug mit einem Assistenzsystem und mit einer Gabel mit zumindest zwei Gabelzinken, wobei das Assistenzsystem zumindest eine Kamera, einen Monitor und eine Verarbeitungseinheit umfasst.
  • Flurförderzeuge, wie beispielsweise Gabelhubwagen und Gabelstapler, dienen vielfach zum Transport von auf Paletten angeordneten Lasten. Hierzu umfasst das Flurförderzeug eine Gabel mit typischerweise zwei Gabelzinken, welche zum Aufnehmen der Last in entsprechend vorgesehene Öffnungen einer Palette eingeschoben oder eingestochen werden. Das Aufnehmen einer Palette und das korrekte Einstechen der Gabelzinken in die dafür vorgesehenen Lastaufnahmebereiche der Palette, ist jedoch vor allem bei ungünstigen Sichtbedingungen oder sehr hoch angehobener Lastgabel ein schwieriger, mitunter mühsamer und zeitraubender Vorgang. Es kommt zu einer Verringerung der Umschlagleistung des Flurförderzeugs. Außerdem werden hohe Anforderungen an die Bedienperson des Flurförderzeugs, insbesondere im Hinblick auf Erfahrung und Geschick, gestellt.
  • Ein Flurförderzeug und ein Steuerungsverfahren, bei dem das Lastaufnahmemittel des Flurförderzeugs automatisch gesteuert und auf die aufzunehmende Last ausgerichtet wird, sind beispielsweise aus der EP 2 653 429 B1 bekannt. Ein solches weitgehend automatisiertes System ist jedoch sehr aufwendig.
  • Einfachere Systeme umfassen eine Videokamera an der Gabel eines Flurförderzeugs. Mit einem solchen System kann beim Aufnehmen der Palette dem Fahrer gleichzeitig ein direkter Blick von der Gabel her auf die Palette bereitgestellt werden. Dieses System soll es dem Fahrer erleichtern, die Gabel optimal in den Lastaufnahmebereichen der Palette zu positionieren. Das System kann durch einen Linienlaser ergänzt werden, der ebenfalls am Gabelträger montiert ist. Er projiziert abhängig von der aktuellen Position der Gabel die Einstichhöhe auf die Palette. Es besteht jedoch die Gefahr, dass ein solcher Linienlaser im Betrieb des Flurförderzeugs verstellt wird, ohne dass dies der Staplerführer sofort mitbekommt. Beim nächsten Paletteneinstich kann es zu einer Beschädigung der Ware oder des Regals kommen.
  • Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Betreiben eines Flurförderzeugs sowie ein Flurförderzeug mit einem Assistenzsystem anzugeben, wobei die Aufnahme von Frachtgut, insbesondere Paletten, zuverlässig und vereinfacht sein soll, wobei das System jedoch außerdem robust und wenig fehleranfällig sein soll.
  • Die Aufgabe wird gelöst durch ein Verfahren zum Betreiben eines Flurförderzeugs mit einer Gabel mit zumindest zwei Gabelzinken, einer Gabelzinkenkamera, einem Monitor und einer Verarbeitungseinheit zum Auslesen und Verarbeiten der von der Gabelzinkenkamera erfassten Bilddaten und zum Erstellen und Übertragen von auf dem Monitor dargestellten verarbeiteten Bilddaten, wobei dieses Verfahren dadurch fortgebildet ist, dass die Gabelzinkenkamera derart an der Gabel angeordnet ist, dass sich zumindest ein Teil einer Spitze zumindest eines der beiden Gabelzinken im Blickfeld der Gabelzinkenkamera befindet, und wobei die Verarbeitungseinheit die folgenden Schritte ausführt: Erfassen der zumindest einen Spitze der zumindest einen Gabelzinke in den erfassten Bilddaten, Errechnen zumindest einer Markierung, die eine Position der Gabel anzeigt und Wiedergeben der von der Markierung überlagerten, von der Gabelzinkenkamera erfassten Bilddaten auf dem Monitor.
  • Die Gabelzinkenkamera erkennt in den erfassten Bilddaten die zumindest eine Spitze der zumindest einen Gabelzinke. Die Verarbeitungseinheit berechnet auf der Grundlage der Position der Gabelzinken auf dem Monitor wiederzugebende Markierungen, beispielsweise einzublendende Hilfslinien. Diese Hilfslinien helfen dem Staplerführer, die genaue Position der Gabelzinkenspitze besser einzuschätzen. Dies erleichtert den Umgang mit dem Flurförderzeug ganz erheblich und beschleunigt die Aufnahme der Lasten. Vorteilhaft ist es möglich, dass die Verarbeitungseinheit die Position der Gabelzinken jederzeit neu ermittelt und so außerdem überprüfen kann, ob diese noch an der erwarteten Position sind. Springt beispielsweise eine Gabelzinke aus der Position oder wird die Kamera durch einen Schlag auf das Kameragehäuse verschoben, so kann entweder eine Warnung angezeigt werden oder die Markierung (z.B. die Hilfslinien) werden einfach neu berechnet und in Abhängigkeit von dieser neuen Position angezeigt.
  • Sowohl für die Bilderfassung als auch für die Errechnung der Position der Gabelzinkenspitzen wird ein und dieselbe Kamera verwendet. Dies macht das System im Vergleich zu herkömmlichen Systemen weniger fehleranfällig. Ferner können mehrere Komponenten zusammengefasst werden. So kann beispielsweise die Verarbeitungseinheit wahlweise in die Kamera oder in den Monitor integriert sein. Es ist ferner nicht mehr erforderlich, eine weitere Einheit, wie beispielsweise einen Linienlaser, zu verwenden. Als Gabelzinkenkamera kann eine digitale 2D-Kamera oder auch eine 3D-Kamera eingesetzt werden. Es ist ebenso möglich, eine 2D-Kamera beispielsweise mit einer Vorrichtung zur Entfernungsmessung zu kombinieren.
  • Gemäß einer vorteilhaften Ausführungsform sind als Markierung die Oberkante bzw. die Oberkanten der Gabelzinken vorgesehen. Alternativ oder zusätzlich werden die Außenkanten der Gabelzinken und/oder die Mitte zwischen den Gabelzinken angezeigt. Es ist ebenso vorgesehen, dass die Form der Markierung, beispielsweise in der Mitte zwischen den Gabelzinken aus zwei senkrechten Linien besteht, die die Breite eines Verbindungsklotzes einer Europalette voneinander entfernt sind. So können diese beiden Linien beim Anfahren der Europalette in Deckung mit dem mittleren Klotz der Europalette gebracht werden, so dass die Gabelzinken einfach und zuverlässig in die Europalette eingestochen werden können.
  • Gemäß einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Verarbeitungseinheit ferner Daten betreffend einen Neigungswinkel der Gabel empfängt und auf der Grundlage dieser Daten eine Hilfsmarkierung errechnet, die eine Abweichung der Position der Gabel von einer Nullgrad-Position der Gabel anzeigt, wobei von der Hilfsmarkierung überlagerte, von der Gabelzinkenkamera erfasste Bilddaten auf dem Monitor wiedergegeben werden.
  • Die Daten betreffend den Neigungswinkel der Gabel empfängt die Verarbeitungseinheit beispielsweise aus der Betriebssteuerung des Flurförderzeugs. Hierzu ist die Verarbeitungseinheit derart eingerichtet, dass sie die erforderlichen Daten beispielsweise abruft. Es ist ebenso vorgesehen, dass diese die fraglichen Daten anfragt (also eine Anfrage versendet) und auf diese Anfrage hin wenig später die Daten empfängt. Ebenfalls können die Daten per Push-Mitteilung ungefragt empfangen werden. Die Nullgrad-Position der Gabel ist insbesondere eine Position, bei der die Schenkel der Gabelzinken waagerecht ausgerichtet sind.
  • Befindet sich die Gabel in der Nullgrad-Position befinden sich die Hilfsmarkierung und die Markierung in Deckung. Bei dieser Ausrichtung der Gabel werden die Gabelzinken waagerecht in die Palette eingestochen. Weichen die Hilfsmarkierung und die Markierung voneinander ab, so werden die Gabelzinkenspitzen im Bereich der Hilfsmarkierung in die Palette eingestochen. Anschließend werden jedoch die Oberseiten der Gabelzinken mit der Palette in Kontakt treten, so dass die Gabel nicht vollständig eingestochen werden kann. Dies kann unter Umständen erwünscht sein. Bei der Hilfsmarkierung kann es sich ebenso wie bei der Markierung beispielsweise um eine Linie handeln, welche die Oberkante der Gabelzinken angibt.
  • Ferner ist das Verfahren insbesondere dadurch fortgebildet, dass die Verarbeitungseinheit ferner Daten betreffend einen Lenkeinschlagswinkel empfängt und auf der Grundlage dieser Daten eine weitere Hilfsmarkierung errechnet, die eine zukünftige Abweichung der Position der Gabel von ihrer aktuellen Position in einer Förderebene bei einer angenommenen Fahrt unter dem Lenkeinschlagswinkel anzeigt, wobei von der weiteren Hilfsmarkierung überlagerte, von der Gabelzinkenkamera erfasste Bilddaten auf dem Monitor wiedergegeben werden.
  • Auch die Daten betreffend den Lenkeinschlagswinkel empfängt die Verarbeitungseinheit beispielsweise aus der Betriebssteuerung des Flurförderzeugs. Die Auswirkungen des aktuell eingestellten Lenkeinschlags lassen sich für den Staplerfahrer bereits im Vornherein abschätzen. So kann der entsprechende Lenkeinschlag bewusst eingesetzt oder aber auch von Anfang an vermieden werden.
  • Die Markierung kann neben einer horizontalen Linie beispielsweise eine vertikale Linie umfassen, welche die Mitte zwischen den Gabelzinkenspitzen angibt. Die weitere Hilfsmarkierung kann beispielsweise ebenfalls eine senkrechte Linie sein, welche beispielsweise farblich von der vertikalen Linie der Hauptmarkierung unterscheidbar ist. Je größer der gewählte Lenkeinschlag ist, desto größer ist die Abweichung von der vertikalen Hilfsmarkierung zu der vertikalen Hauptmarkierung.
  • Gemäß einer weiteren Ausführungsform ist vorgesehen, dass in den erfassten Bilddaten eine aufzunehmende Last mit zumindest zwei sichtbaren Lastaufnahmebereichen vorhanden ist, wobei Sollpositionen der Spitzen der Gabelzinken bei Einstich der Gabelzinken in die sichtbaren Lastaufnahmebereiche errechnet werden und von der Gabelzinkenkamera erfasste Bilddaten auf dem Monitor in Überlagerung mit der errechneten Sollposition der Spitzen der Gabelzinken angezeigt werden.
  • Als Sollpositionen der Spitzen der Gabelzinken können beispielsweise schematisch angedeutete Gabelzinken dargestellt werden. Deren Position wird mit sich verringernder Entfernung der Gabel von der aufzunehmenden Last laufend aktualisiert. So können vom Staplerführer die virtuellen Positionen der Gabelzinken und die tatsächlichen Position der Gabelzinken, wie sie im Live-Bild der Gabelzinkenkamera zu beobachten sind, sukzessive in Deckung gebracht oder gehalten werden, so dass ein optimaler Einstich in die Palette stattfinden kann. Dies erleichtert die Bedienung des Flurförderzeugs für den Staplerführer erheblich.
  • Gemäß einer weiteren Ausführungsform ist vorgesehen, dass von der Gabelzinkenkamera Live-Bilddaten erfasst werden, die Verarbeitungseinheit die genannten Schritte in Echtzeit ausführt und auf dem Monitor eine Überlagerung eines Live-Bilds und der in Echtzeit berechneten Markierung wiedergegeben werden. Dies ist gegebenenfalls dahingehend zu modifizieren, dass die Gabelzinkenpositionen und die sich daraus ergebenden Positionen der, insbesondere senkrechten und/oder waagerechten, Markierungen, insbesondere Hauptlinien und/oder Hilfslinien, berechnet werden und so lange gültig sind bzw. angezeigt wird oder werden, solange die Gabelzinken nicht verstellt werden.
  • Bei der Gabelzinkenkamera handelt es sich insbesondere um eine digitale Kamera. Die Verarbeitungseinheit ist eine Recheneinheit, beispielsweise ein Embedded-PC.
  • Die Aufgabe wird ferner gelöst durch ein Flurförderzeug mit einem Assistenzsystem und mit einer Gabel mit zumindest zwei Gabelzinken, wobei das Assistenzsystem zumindest eine Gabelzinkenkamera, einen Monitor und eine Verarbeitungseinheit umfasst, wobei das Flurförderzeug dadurch fortgebildet ist, dass die Gabelzinkenkamera derart an der Gabel angeordnet ist, dass zumindest ein Teil einer Spitze zumindest eines der beiden Gabelzinken sich im Blickfeld der Gabelzinkenkamera befindet, und wobei die Verarbeitungseinheit dazu eingerichtet ist, zumindest eine Spitze der zumindest einen Gabelzinke in den Bilddaten zu erfassen, zumindest eine Markierung, die eine Position der Gabel anzeigt, zu errechnen und mit der Markierung überlagerte, von der Gabelzinkenkamera erfasste Bilddaten auf dem Monitor wiederzugeben.
  • Auf das Flurförderzeug treffen gleiche oder ähnliche Vorteile zu, wie sie bereits im Hinblick auf das Verfahren zum Betreiben des Flurförderzeugs zuvor erwähnt wurden, so dass auf Wiederholungen verzichtet werden soll.
  • Das Flurförderzeug ist insbesondere dadurch fortgebildet, dass die Markierung die Oberseiten und/oder die Außenkanten der Gabelzinken und/oder die Mitte zwischen den Gabelzinken anzeigt.
  • Das Flurförderzeug ist gemäß einer weiteren vorteilhaften Ausführungsform dadurch fortgebildet, dass die Verarbeitungseinheit ferner dazu eingerichtet ist, Daten betreffend einen Neigungswinkel der Gabel zu empfangen und auf der Grundlage dieser Daten eine Hilfsmarkierung zu errechnen, die eine Abweichung der Position der Gabel von einer Nullgrad-Position der Gabel anzeigt und von der Hilfsmarkierung überlagerte, von der Gabelzinkenkamera erfasste Bilddaten auf dem Monitor wiederzugeben.
  • Ferner ist insbesondere vorgesehen, dass das Flurförderzeug dadurch fortgebildet ist, dass die Verarbeitungseinheit ferner dazu eingerichtet ist, Daten betreffend einen Lenkeinschlagswinkel zu empfangen und auf der Grundlage dieser Daten eine weitere Hilfsmarkierung zu errechnen, die eine zukünftige Abweichung der Position der Gabel von ihrer aktuellen Position in einer Förderebene bei einer angenommenen Fahrt unter dem Lenkeinschlagswinkel anzeigt, und von der weiteren Hilfsmarkierung überlagerte, von der Gabelzinkenkamera erfasste Bilddaten auf dem Monitor wiederzugeben.
  • Gemäß einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass in den erfassten Bilddaten eine aufzunehmende Last mit zumindest zwei sichtbaren Lastaufnahmebereichen vorhanden ist, wobei die Verarbeitungseinheit ferner dazu eingerichtet ist, Sollpositionen der Spitzen der Gabelzinken bei Einstich in die sichtbaren Lastaufnahmebereiche zu errechnen und von der Gabelzinkenkamera erfasste Bilddaten auf dem Monitor in Überlagerung mit der errechneten Sollposition der Spitzen der Gabelzinken anzuzeigen.
  • Schließlich ist das Flurförderzeug vorteilhaft dadurch fortgebildet, dass die Gabelzinkenkamera dazu eingerichtet ist, Live-Bilddaten zu erfassen und die Verarbeitungseinheit dazu eingerichtet ist, die genannten Schritte in Echtzeit auszuführen und auf dem Monitor eine Überlagerung eines Live-Bilds und der in Echtzeit berechneten Markierung wiederzugeben. Dies ist gegebenenfalls dahingehend zu modifizieren, dass die Gabelzinkenpositionen und die sich daraus ergebenden Positionen der, insbesondere senkrechten und/oder waagerechten, Markierungen, insbesondere Hauptlinien und/oder Hilfslinien, berechnet werden und so lange gültig sind bzw. angezeigt wird oder werden, solange die Gabelzinken nicht verstellt werden.
  • Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.
  • Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
    • Fig. 1
    ein Flurförderzeug in einer perspektivischen schematisch vereinfachten Darstellung,
    Fig. 2
    eine Palette für eine aufzunehmende Last in schematisch vereinfachter perspektivischer Darstellung,
    Fig. 3
    ein beispielhaftes, auf dem Monitor wiedergegebenes Bild, in welchem das von der Gabelzinkenkamera erfasste Bild mit einer Markierung überlagert dargestellt ist, wobei Hauptmarkierung und Hilfsmarkierung voneinander abweichen,
    Fig. 4
    ein beispielhaftes, auf dem Monitor wiedergegebenes Bild, in welchem das von der Gabelzinkenkamera erfasste Bild mit einer Markierung überlagert dargestellt ist, wobei Hauptmarkierung und Hilfsmarkierung in Deckung sind und
    Fig. 5
    von der Gabelzinkenkamera erfasste Bilddaten in Überlagerung mit errechneten Sollpositionen der Spitzen der Gabelzinken, wobei das Bild ein schematisch dargestelltes Regal zeigt.
  • In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
  • Fig. 1 zeigt in einer schematisch vereinfachten perspektivischen Darstellung ein Flurförderzeug 2 mit einer Gabel 4 mit zumindest zwei Gabelzinken 61, 62 und einer an der Gabel 4 montierten Gabelzinkenkamera 8, 8'. Im vorliegenden Ausführungsbeispiel kann eine Gabelzinkenkamera 8 entweder am Gabelrücken angeordnet sein oder in Form einer alternativen oder zusätzlichen Platzierung als Gabelzinkenkamera 8' direkt an der Gabel 4, in diesem Fall der Innenseite eines Gabelzinkens 61.
  • Ferner umfasst das Flurförderzeug 2, bei dem es sich beispielsweise um einen Stapler handelt, einen in der Figur nicht dargestellten Monitor, der sich im Blickfeld eines Fahrers des Flurförderzeugs 2 befindet. Außerdem ist eine Verarbeitungseinheit 10 umfasst, welche schematisch angedeutet ist. Diese dient zum Auslesen und Verarbeiten der von der Gabelzinkenkamera 8, 8' erfassten Bilddaten und zum Erstellen und Übertragen von auf dem Monitor dargestellten verarbeiteten Bilddaten. Abweichend von der beispielhaften Darstellung in Fig. 1 kann die Verarbeitungseinheit 10 auch in die Gabelzinkenkamera 8, 8' oder in den Monitor integriert sein. Die Gabelzinkenkamera 8, 8' ist derart an der Gabel 4 des Flurförderzeugs 2 angeordnet, dass sich zumindest ein Teil einer Spitze 71, 72 zumindest einer der beiden Gabelzinken 61, 62 im Blickfeld der Gabelzinkenkamera 8, 8' befindet. Das Flurförderzeug 2 umfasst ein Assistenzsystem, welches zumindest die Gabelzinkenkamera 8, 8', den Monitor und die Verarbeitungseinheit 10 umfasst.
  • Fig. 2 zeigt in schematisch vereinfachter perspektivischer Darstellung eine Palette 12, wie sie zur Aufnahme von Gütern dient und beispielsweise in einem Hochregallager gelagert wird. Das Flurförderzeug 2 nimmt eine solche Palette 12 in den zwischen benachbarten Palettenklötzen 14a, 14b, 14c vorhandenen Lastaufnahmebereichen 16a, 16b auf. Zu diesem Zweck werden die Gabelzinken 61, 62 in die entsprechenden Lastaufnahmebereiche 16a, 16b eingestochen. Vor allem bei schlechter Beleuchtung oder bei großer Arbeitshöhe erfordert dies viel Geschick im Umgang mit dem Flurförderzeug 2. Die Gabelzinkenkamera 8, 8' stellt dem Fahrer des Flurförderzeugs 2 auf dem Monitor ein Bild zur Verfügung, welches den Paletteneinstich erleichtert.
  • Fig. 3 zeigt beispielhaft ein auf dem Monitor des Flurförderzeugs 2 wiedergegebenes Bild in schematisch vereinfachter Darstellung. In der Darstellung auf dem Monitor ist das von der Gabelzinkenkamera 8, 8' erfasste Bild mit verschiedenen Markierungen 18 überlagert.
  • Sichtbar sind die Innenseiten der Gabelzinken 61, 62 in einer Blickrichtung in Richtung der jeweiligen Spitzen 71, 72 der Gabelzinken 61, 62. Als Markierungen 18 sind eine erste und eine zweite Hauptmarkierung 20a, 20b und eine erste und eine zweite Hilfsmarkierung 22a, 22b vorhanden. Die erste Hauptmarkierung 20a, eine beispielsweise farbig dargestellt waagerechte Linie, gibt eine Lage einer Oberseite 24 (vgl. auch Fig. 1) der Gabelzinken 61, 62 an. Die Lage dieser Hauptmarkierung 20a, welche eine Position der Gabel 4 anzeigt, wird von der Verarbeitungseinheit 10 aus den von der Gabelzinkenkamera 8, 8' erfassten Bilddaten errechnet.
  • Es ist ferner beispielhaft vorgesehen, dass als Markierung 18 die Außenkanten der Gabelzinken 61, 62 angezeigt werden. Hierauf soll jedoch im Zusammenhang mit Fig. 5 eingegangen werden. In Fig. 3 ist eine zweite Hauptmarkierung 20b sichtbar, die eine Mitte zwischen den beiden Gabelzinken 61, 62 anzeigt. Es handelt sich beispielhaft um eine farbig leuchtende senkrechte Linie. Beim Anfahren der beispielhaft in Fig. 2 dargestellten Palette 12 kann der Fahrer des Flurförderzeugs 2 den mittleren Palettenklotz 14b mit der zweiten Hauptmarkierung 20b anpeilen, so dass er die Spitzen 71, 72 der Gabelzinken 61, 62 sicher und zuverlässig in die zu beiden Seiten dieses mittleren Palettenklotzes 14b vorhandenen Lastaufnahmebereiche 16a, 16b einstechen kann.
  • Die Verarbeitungseinheit 10 empfängt ferner Daten betreffend einen Neigungswinkel der Gabel 4 und berechnet auf der Grundlage dieser Daten die Hilfsmarkierung 22a. Fig. 3 zeigt eine Situation, bei der die Gabel 4 des Flurförderzeugs 2 beispielhaft nach unten aus der Waagerechten geneigt ist. Dies bedeutet, dass die Spitzen 71, 72 der Gabelzinken 61, 62 aus einer waagerechten Ebene nach unten herausgekippt sind. Bei einer solchen Stellung der Gabel 4 würde die Oberseite 24 der Gabelzinken 61, 62 beim Einstich in die Palette 12 mit dieser kollidieren. Die erste Hilfsmarkierung 22a zeigt die Lage der Oberseite 24 der Gabelzinken 61, 62 an, wenn der Neigungswinkel, anders als tatsächlich vorliegend, Null Grad betragen würde, also eine Oberseite 24 der Gabelzinken 61, 62 zumindest näherungsweise waagerecht ausgerichtet wäre. Anhand der Abweichung zwischen der ersten Hilfsmarkierung 22a und der ersten Hauptmarkierung 20a ist der Fahrer des Flurförderzeugs 2 in der Lage zu erkennen, wie stark die Gabel 4 geneigt ist.
  • Die Verarbeitungseinheit 10 ist ferner dazu eingerichtet, Daten betreffend einen Lenkeinschlagswinkel des Flurförderzeugs 2 zu empfangen. Auf der Grundlage dieser Daten wird die zweite Hilfsmarkierung 22b errechnet. Diese gibt eine zukünftige Abweichung der Mitte zwischen den Gabelzinken 61, 62 bei Fahrt in der Förderebene mit dem eingeschlagenen Lenkeinschlagswinkel an. Mit anderen Worten zeigt also die zweite Hilfsmarkierung 22b an, wo die zweite Hauptmarkierung 20b bei einer Fahrt mit dem eingeschlagenen Lenkeinschlagswinkel demnächst liegen wird. Diese Information zeigt dem Fahrer des Flurförderzeugs 2 an, dass er derzeit einen von der Geradeausfahrt abweichenden Lenkeinschlagswinkel eingeschlagen hat. Ferner erlaubt die Markierung 22b dem Fahrer, beispielsweise, den mittleren Palettenklotz 14b mithilfe der zweiten Hilfsmarkierung 22b anzupeilen, so dass ein erfolgreicher Einstich in die Lastaufnahmebereiche 16a, 16b der Palette 12 nach vollzogener Fahrt des Flurförderzeugs 2 stattfindet.
  • Fig. 4 zeigt das auf dem Monitor wiedergegebene Bild der Gabelzinkenkamera 8, 8', wobei die Hauptmarkierungen 20a, 20b und die Hilfsmarkierungen 22a, 22b in Deckung gebracht sind. Dies bedeutet mit anderen Worten auch, dass die Gabel 4 des Flurförderzeugs 2 waagerecht ausgerichtet ist und der Lenkeinschlagswinkel für Geradeausfahrt identisch Null ist. Die Hauptmarkierungen 20a, 20b und die Hilfsmarkierungen 22a, 22b können in der Darstellung auf dem Monitor farblich oder auch strukturell unterscheidbar sein. Beispielhaft sind die Hauptmarkierungen 20a, 20b mit durchgezogener Linie und die Hilfsmarkierungen 22a, 22b in gestrichelter Linie dargestellt. Es können jedoch auch unterschiedliche Farben, Strichstärken, Helligkeiten o.ä. für die entsprechenden Markierungen 20a, 20b bzw. 22a, 22b vorgesehen sein.
  • Gemäß einer weiteren Ausführungsform ist vorgesehen, dass in den erfassten Bilddaten der Gabelzinkenkamera 8, 8' Bilddaten einer aufzunehmenden Last, beispielsweise einer Palette 12, vorhanden sind, wobei die Verarbeitungseinheit 10 Lastaufnahmebereiche 16a, 16b dieser aufzunehmenden Last identifiziert.
  • Fig. 5 zeigt ein auf dem Monitor wiedergegebenes Bild der Gabelzinkenkamera 8, 8', wobei das Flurförderzeug 2 beispielhaft auf ein schematisch angedeutetes Regal 26 mit einem beispielhaft dargestellten Fach mit einem Regelboden 28 zufährt. Als dritte Hauptmarkierung 20c sind beispielhaft die Außenkanten der zweiten Gabelzinke 62 angezeigt. Ausgehend von den im Regal 26 erkannten Lastaufnahmebereichen 16a, 16b (mit gestrichelter Linie angedeutet), werden Sollpositionen 30a, 30b der Spitzen 71, 72 der Gabelzinken 61, 62 beim Einstich der Gabelzinken 61, 62 in die Lastaufnahmebereiche 16a, 16b errechnet. Diese Sollpositionen 30a, 30b, beispielsweise farbig dargestellte Quadrate, werden den Bilddaten der Gabelzinkenkamera 8, 8' überlagert und auf dem Monitor dargestellt. Mit abnehmender Entfernung der Gabel 4, beispielsweise bei einer Fahrt auf das Regal 26 zu, werden diese Sollpositionen 30a, 30b dynamisch angepasst. Der Fahrer des Flurförderzeugs 2 kann die Spitzen 71, 72 der Gabelzinken 61, 62 mit diesen Sollpositionen 30a, 30b sukzessive in Deckung bringen oder halten, so dass beispielsweise ein sicherer und zuverlässiger Paletteneinstich gewährleistet ist.
  • Es ist insbesondere vorgesehen, dass die Gabelzinkenkamera 8, 8' Live-Bilddaten erfasst und auch die Verarbeitungseinheit 10 dazu eingerichtet ist, eine Echtzeitdatenverarbeitung durchzuführen. Es erfolgt also auf dem Monitor eine Darstellung eines Live-Bilds mit in Echtzeit berechneten Markierungen 18.
  • Bei dem dargestellten Flurförderzeug 2 handelt es sich beispielhaft um einen Stapler und bei der aufzunehmenden Last handelt es sich beispielhaft um eine Palette 12. Das zuvor beschriebene System ist jedoch ohne Einschränkungen auch bei anderen Flurförderzeugen oder anderen aufzunehmenden Lasten in entsprechender Weise anwendbar.
  • Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit "insbesondere" oder "vorzugsweise" gekennzeichnet sind, als fakultative Merkmale zu verstehen.
    • Bezugszeichenliste
    • 2
    Flurförderzeug
    4
    Gabel
    8, 8'
    Gabelzinkenkamera
    10
    Verarbeitungseinheit
    12
    Palette
    14a - 14c
    Palettenklötze
    16a, 16b
    Lastaufnahmebereiche
    18
    Markierung
    20a
    erste Hauptmarkierung
    20b
    zweite Hauptmarkierung
    20c
    dritte Hauptmarkierung
    22a
    erste Hilfsmarkierung
    22b
    zweite Hilfsmarkierung
    24
    Oberseite
    26
    Regal
    28
    Regalboden
    30a, 30b
    Sollpositionen
    61, 62
    Gabelzinken
    71, 72
    Spitzen

Claims (12)

  1. Verfahren zum Betreiben eines Flurförderzeugs (2) mit einer Gabel (4) mit zumindest zwei Gabelzinken (61, 62), einer Gabelzinkenkamera (8, 8'), einem Monitor und einer Verarbeitungseinheit (10) zum Auslesen und Verarbeiten der von der Gabelzinkenkamera (8, 8') erfassten Bilddaten und zum Erstellen und Übertragen von auf dem Monitor dargestellten verarbeiteten Bilddaten, dadurch gekennzeichnet, dass die Gabelzinkenkamera (8, 8') derart an der Gabel (4) angeordnet ist, dass sich zumindest ein Teil einer Spitze (71, 72) zumindest eines der beiden Gabelzinken (61, 62) im Blickfeld der Gabelzinkenkamera (8, 8') befindet, und wobei die Verarbeitungseinheit (10) die folgenden Schritte ausführt:
    Erfassen der zumindest einen Spitze (71, 72) der zumindest einen Gabelzinke (61, 62) in den erfassten Bilddaten,
    Errechnen zumindest einer Markierung (18), die eine Position der Gabel (4) anzeigt und
    Wiedergeben der von der Markierung (18) überlagerten von der Gabelzinkenkamera (8, 8') erfassten Bilddaten auf dem Monitor.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Markierung (18) die Oberseite (24) und/oder die Außenkanten der Gabelzinken (61, 62) und/oder die Mitte zwischen den Gabelzinken (61, 62) anzeigt.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Verarbeitungseinheit (10) ferner Daten betreffend einen Neigungswinkel der Gabel (4) empfängt und auf der Grundlage dieser Daten eine Hilfsmarkierung (22a) errechnet, die eine Abweichung der Position der Gabel (4) von einer Nullgrad-Position der Gabel (4) anzeigt, wobei von der Hilfsmarkierung (22a) überlagerte, von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor wiedergegeben werden.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Verarbeitungseinheit (10) ferner Daten betreffend einen Lenkeinschlagswinkel empfängt und auf der Grundlage dieser Daten eine weitere Hilfsmarkierung (22b) errechnet, die eine zukünftige Abweichung der Position der Gabel (4) von ihrer aktuellen Position in einer Förderebene bei einer angenommenen Fahrt unter dem Lenkeinschlagswinkel anzeigt, wobei von der weiteren Hilfsmarkierung (22b) überlagerte, von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor wiedergegeben werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in den erfassten Bilddaten eine aufzunehmende Last mit zumindest zwei sichtbaren Lastaufnahmebereichen (16a, 16b) vorhanden ist, wobei Sollpositionen (30a, 30b) der Spitzen (71, 72) der Gabelzinken (61, 62) bei Einstich der Gabelzinken (61, 62) in die sichtbaren Lastaufnahmebereiche (16a, 16b) errechnet werden und von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor in Überlagerung mit der errechneten Sollposition (30a, 30b) der Spitzen (71, 72) der Gabelzinken (61, 62) angezeigt werden.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass von der Gabelzinkenkamera (8, 8') Live-Bilddaten erfasst werden, die Verarbeitungseinheit (10) die genannten Schritte in Echtzeit ausführt und auf dem Monitor eine Überlagerung eines Live-Bilds und der in Echtzeit berechneten Markierung (18) wiedergegeben werden.
  7. Flurförderzeug (2) mit einem Assistenzsystem und mit einer Gabel (4) mit zumindest zwei Gabelzinken (61, 62), wobei das Assistenzsystem zumindest eine Gabelzinkenkamera (8, 8'), einen Monitor und eine Verarbeitungseinheit (10) umfasst, dadurch gekennzeichnet, dass die Gabelzinkenkamera (8, 8') derart an der Gabel (4) angeordnet ist, dass zumindest ein Teil einer Spitze (71, 72) zumindest eines der beiden Gabelzinken (61, 62) sich im Blickfeld der Gabelzinkenkamera (8, 8') befindet, und wobei die Verarbeitungseinheit (10) dazu eingerichtet ist,
    zumindest eine Spitze (71, 72) der zumindest einen Gabelzinke (61, 62) in den Bilddaten zu erfassen,
    zumindest eine Markierung (18), die eine Position der Gabel (4) anzeigt, zu errechnen und
    mit der Markierung (18) überlagerte, von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor wiederzugeben.
  8. Flurförderzeug (2) nach Anspruch 7, dadurch gekennzeichnet, dass die Markierung (18) die Oberseiten (24) und/oder die Außenkanten der Gabelzinken (61, 62) und/oder die Mitte zwischen den Gabelzinken (61, 62) anzeigt.
  9. Flurförderzeug (2) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Verarbeitungseinheit (10) ferner dazu eingerichtet ist, Daten betreffend einen Neigungswinkel der Gabel (4) zu empfangen und auf der Grundlage dieser Daten eine Hilfsmarkierung (22a) zu errechnen, die eine Abweichung der Position der Gabel (4) von einer Nullgrad-Position der Gabel (4) anzeigt und von der Hilfsmarkierung (22a) überlagerte, von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor wiederzugeben.
  10. Flurförderzeug (2) nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Verarbeitungseinheit (10) ferner dazu eingerichtet ist, Daten betreffend einen Lenkeinschlagswinkel zu empfangen und auf der Grundlage dieser Daten eine weitere Hilfsmarkierung (22b) zu errechnen, die eine zukünftige Abweichung der Position der Gabel (4) von ihrer aktuellen Position in einer Förderebene bei einer angenommenen Fahrt unter dem Lenkeinschlagswinkel anzeigt, und von der weiteren Hilfsmarkierung (22b) überlagerte, von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor wiederzugeben.
  11. Flurförderzeug (2) nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass in den erfassten Bilddaten eine aufzunehmende Last mit zumindest zwei sichtbaren Lastaufnahmebereichen (16a, 16b) vorhanden ist, wobei die Verarbeitungseinheit (10) ferner dazu eingerichtet ist, Sollpositionen (30a, 30b) der Spitzen (71, 72) der Gabelzinken (61, 62) bei Einstich in die sichtbaren Lastaufnahmebereiche (16a, 16b) zu errechnen und von der Gabelzinkenkamera (8, 8') erfasste Bilddaten auf dem Monitor in Überlagerung mit der errechneten Sollposition (30a, 30b) der Spitzen (71, 72) der Gabelzinken (61, 62) anzuzeigen.
  12. Flurförderzeug (2) nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass die Gabelzinkenkamera (8, 8') dazu eingerichtet ist, Live-Bilddaten zu erfassen und die Verarbeitungseinheit (10) dazu eingerichtet ist, die genannten Schritte in Echtzeit auszuführen und auf dem Monitor eine Überlagerung eines Live-Bilds und der in Echtzeit berechneten Markierung (18) wiederzugeben.
EP18201785.5A 2017-10-24 2018-10-22 Flurförderzeug mit einer gabel und einer gabelzinkenkamera sowie verfahren zum betreiben eines solchen flurförderzeugs Active EP3483113B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017124850.1A DE102017124850A1 (de) 2017-10-24 2017-10-24 Flurförderzeug mit einer Gabel und einer Gabelzinkenkamera sowie Verfahren zum Betreiben eines solchen Flurförderzeugs

Publications (2)

Publication Number Publication Date
EP3483113A1 true EP3483113A1 (de) 2019-05-15
EP3483113B1 EP3483113B1 (de) 2025-04-09

Family

ID=63965261

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18201785.5A Active EP3483113B1 (de) 2017-10-24 2018-10-22 Flurförderzeug mit einer gabel und einer gabelzinkenkamera sowie verfahren zum betreiben eines solchen flurförderzeugs

Country Status (3)

Country Link
US (1) US10981764B2 (de)
EP (1) EP3483113B1 (de)
DE (1) DE102017124850A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7172922B2 (ja) * 2019-09-05 2022-11-16 株式会社豊田自動織機 フォークリフト及びコンテナ姿勢検出方法
JP7287231B2 (ja) * 2019-10-02 2023-06-06 株式会社豊田自動織機 荷役車両の操作支援装置
CN112883754B (zh) * 2019-11-29 2024-04-12 华晨宝马汽车有限公司 叉车的辅助操作系统
CA3163133C (en) 2020-02-21 2025-05-27 Crown Equipment Corporation Position assistance system for a materials handling vehicle
JP7557954B2 (ja) * 2020-04-06 2024-09-30 三菱重工業株式会社 制御装置、移動制御システム、制御方法及びプログラム
DE102020126401A1 (de) 2020-10-08 2022-04-14 Jungheinrich Aktiengesellschaft Verfahren zur Bestimmung von Abstandswerten zu einem Flurförderzeug sowie ein solches
DE102021203671B4 (de) 2021-04-14 2023-02-09 Zf Friedrichshafen Ag Verfahren zur Zustandsüberwachung eines Hubwagens eines Staplerfahrzeugs
CN113582088A (zh) * 2021-07-29 2021-11-02 广州敏视数码科技有限公司 叉车叉取作业的控制方法、装置、叉车及电子设备
DE102023130656A1 (de) * 2023-11-06 2025-05-08 Jungheinrich Aktiengesellschaft Verfahren zur Überwachung von Lastaufnahmemitteln an Flurförderzeugen, Flurförderzeug und Softwareprogrammprodukt

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19822496A1 (de) * 1998-05-19 1999-11-25 Still Wagner Gmbh & Co Kg Videovorrichtung für ein Flurförderzeug
WO2010054785A1 (en) * 2008-11-11 2010-05-20 Deutsche Post Ag Guidance and collision warning device for forklift trucks
GB2497627A (en) * 2011-12-15 2013-06-19 Gm Global Tech Operations Inc A parking assist system for a motor vehicle
EP2653429A1 (de) * 2012-04-20 2013-10-23 STILL GmbH Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
EP3021178A1 (de) * 2014-11-14 2016-05-18 Caterpillar Inc. System mit Radarvorrichtung zur Unterstützung eines Benutzers einer Maschine mit einem Körper und einem Werkzeug
EP3037135A1 (de) * 2014-12-23 2016-06-29 Iveco Magirus Ag Nutzfahrzeug mit visuellem Hilfssystem zur Positionierung des Fahrzeugs und Verfahren zur Positionierung eines Nutzfahrzeuges

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006012205A1 (de) * 2006-03-16 2007-09-20 Still Gmbh Flurförderzeug mit einem Hubmast
DE102010004719B4 (de) * 2010-01-15 2025-01-30 Linde Material Handling Gmbh Flurförderzeug, insbesondere Lagertechnikstapler
JP6217472B2 (ja) * 2014-03-13 2017-10-25 株式会社豊田自動織機 フォークリフト作業支援装置
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19822496A1 (de) * 1998-05-19 1999-11-25 Still Wagner Gmbh & Co Kg Videovorrichtung für ein Flurförderzeug
WO2010054785A1 (en) * 2008-11-11 2010-05-20 Deutsche Post Ag Guidance and collision warning device for forklift trucks
GB2497627A (en) * 2011-12-15 2013-06-19 Gm Global Tech Operations Inc A parking assist system for a motor vehicle
EP2653429A1 (de) * 2012-04-20 2013-10-23 STILL GmbH Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
EP3021178A1 (de) * 2014-11-14 2016-05-18 Caterpillar Inc. System mit Radarvorrichtung zur Unterstützung eines Benutzers einer Maschine mit einem Körper und einem Werkzeug
EP3037135A1 (de) * 2014-12-23 2016-06-29 Iveco Magirus Ag Nutzfahrzeug mit visuellem Hilfssystem zur Positionierung des Fahrzeugs und Verfahren zur Positionierung eines Nutzfahrzeuges

Also Published As

Publication number Publication date
DE102017124850A1 (de) 2019-04-25
EP3483113B1 (de) 2025-04-09
US20190119084A1 (en) 2019-04-25
US10981764B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
EP3483113B1 (de) Flurförderzeug mit einer gabel und einer gabelzinkenkamera sowie verfahren zum betreiben eines solchen flurförderzeugs
EP2653429B1 (de) Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
EP3875990B1 (de) System zur inspektion eines lagers
EP3289852B2 (de) Transportfahrzeug
EP3323770B1 (de) Verfahren zur bereitstellung der positionen von lagerplätzen in einem lager und flurförderzeug
DE102010055774A1 (de) Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs
EP2692688B1 (de) Fahrassistenzvorrichtung für ein Flurförderzeug sowie Flurförderzeug
EP2653430B1 (de) Steuerverfahren für Lastabsetzung eines Flurförderzeugs sowie Flurförderzeug
EP2439165B1 (de) Flurförderzeug mit einem höhenverstellbaren Lasttragmittel
EP3316181B1 (de) Verfahren zum erkennen von objekten in einem lager und flurförderzeug mit einer einrichtung zum erkennen von objekten in einem lager
DE102008027701B4 (de) Steuerungsverfahren für Flurförderzeug
DE10305900B4 (de) Stapler
EP3118152B1 (de) Verfahren zur geschwindigkeitssteuerung eines kommissionierflurförderzeugs
EP3118706B1 (de) Verfahren zur steuerung eines kommissionierflurförderzeugs
EP3947246B1 (de) Verfahren zur lagerungsunterstützung bei einem flurförderzeug und flurförderzeug
DE102017131003A1 (de) Handlinganordnung
EP3118708A2 (de) Steuerverfahren für ein kommissionierflurförderzeug
EP0959038B1 (de) Videovorrichtung für ein Flurförderzeug
DE10305902B4 (de) Verfahren zum Betrieb eines Schubmaststaplers und Schubmaststapler zur Durchführung des Verfahrens
EP3514103B1 (de) Flurförderzeug
DE102019113606A1 (de) Flurförderzeug mit Kamerasystem
EP3434640B1 (de) Flurförderzeug
DE102013112016B4 (de) Flurförderzeug mit einem Hubhöhenassistenzsystem
DE102006040786B4 (de) Schlepper
EP1336580A1 (de) Stapeleinheit

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191029

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230517

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230628

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20241219

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

RIN1 Information on inventor provided before grant (corrected)

Inventor name: ROCKEL, SEBASTIAN

Inventor name: DOHRMANN, LARS

Inventor name: PAUTZ, ALEXANDER

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502018015723

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20250409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250811

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250710

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250709

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250709

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250809

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20251020

Year of fee payment: 8

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502018015723

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20251031

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20251024

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20251023

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250409

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: CH

Ref legal event code: L10

Free format text: ST27 STATUS EVENT CODE: U-0-0-L10-L00 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260218

26N No opposition filed

Effective date: 20260112