EP2468678A1 - Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs - Google Patents

Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs Download PDF

Info

Publication number
EP2468678A1
EP2468678A1 EP11010035A EP11010035A EP2468678A1 EP 2468678 A1 EP2468678 A1 EP 2468678A1 EP 11010035 A EP11010035 A EP 11010035A EP 11010035 A EP11010035 A EP 11010035A EP 2468678 A1 EP2468678 A1 EP 2468678A1
Authority
EP
European Patent Office
Prior art keywords
load
storage
sensor
forks
camera system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP11010035A
Other languages
English (en)
French (fr)
Other versions
EP2468678B1 (de
Inventor
Jonni Verch
Ernst-Peter Magens
Frank Mänken
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jungheinrich AG
Original Assignee
Jungheinrich AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jungheinrich AG filed Critical Jungheinrich AG
Publication of EP2468678A1 publication Critical patent/EP2468678A1/de
Application granted granted Critical
Publication of EP2468678B1 publication Critical patent/EP2468678B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors

Definitions

  • the invention relates to an industrial truck with a mast, on which a load carrying means with two forks is guided adjustable in height, arranged on the load supporting means sensor for detecting a spatial environment and an evaluation, which is designed to support a storage process from the detected by the sensor Data to determine a storage position, and a method for operating such a truck.
  • the use of a video camera has become known in the field of load carrying means whose image of the operator is displayed on a monitor.
  • the operator evaluates the video image and operates the vehicle in such a way that when stored the pallet above the shelf support collision-free deposited in the shelf and can be inserted without collision in the entry opening of the pallet during the removal of the fork.
  • Another known concept provides for fully automatic storage or retrieval with inductively or mechanically positively driven high-bay stackers. Due to the forced operation, the distance of the forks or the pallet to the shelf is kept constant within small tolerances.
  • the pallet is picked up or released laterally, transversely to the vehicle longitudinal direction, by special load-carrying means, for example swiveling push or telescopic forks.
  • the lateral alignment, in the direction of travel, is carried out with the aid of expensive displacement measuring devices and, if necessary, additional markings at the storage locations and corresponding sensors on the vehicle.
  • one-stack direction here transverse to the direction of travel can be worked with fixed displacement paths, since the distance of the vehicle to the shelf and the pallet length are known and constant.
  • a prerequisite for such concepts is a complex system consisting of both vehicle components and stationary components.
  • a manual stacking of pallets must be reliably prevented because otherwise can not be ensured that the pallets are positioned within the allowable tolerances.
  • Such a fully automatic system is thus costly in purchase and operation and still not very flexible.
  • the truck according to the invention has a mast on which a load carrying means with two forks is guided adjustable in height, arranged on the load supporting means sensor for detecting a spatial environment and an evaluation unit which is adapted to support a storage operation from the data collected by the sensor one Determine storage position.
  • the sensor has a time-of-flight camera system with a light source, a light sensor and a light entry opening, wherein at least the light entry opening is arranged in the region of a tip of one of the fork tines.
  • a time-of-flight camera system has a light source and a light sensor, wherein the light source transmits modulated, in particular pulsed, light which, after reflection from the objects in the image field, passes through a light entrance opening or the light entry opening onto a plurality of image points of the light sensor the rule are arranged like a matrix, impinges and is detected.
  • the light source transmits modulated, in particular pulsed, light which, after reflection from the objects in the image field, passes through a light entrance opening or the light entry opening onto a plurality of image points of the light sensor the rule are arranged like a matrix, impinges and is detected.
  • transit time differences of the light are evaluated, so that each pixel can be assigned a value for the distance of the object. Since the optical properties of the system are known, the position of an object detected by each pixel in space can be determined in all three spatial directions. With the time-of-flight camera system, therefore, a three-dimensional "vision" of the spatial area in the direction of the camera system is possible
  • the spatial image of the environment is always determined based on the location of the light sensor or the light entrance opening, so that by arranging the light entry opening in the region of a tip of one of the forks the immediate Environment of the fork tip, which is crucial for a collision-free storage and retrieval of loads, is detected particularly accurately.
  • a further advantage of the invention is that the image of the environment detected by the time-of-flight camera system provides a better basis for an automated evaluation of the image data than the use of a laser scanner proposed in the prior art, which additionally only provides data on individual observation planes detected.
  • the loading or unloading process can be optimally supported based on the data provided by the time-of-flight camera system.
  • At least the light entrance opening of the time-of-flight camera system is arranged in the region of a tip of one of the fork tines.
  • the associated light source and the light sensor can also be arranged in this area, in particular when using a camera system, are combined in the light source and light sensor to form a unit.
  • the light source may be arranged at a distance from the light sensor / the light entry opening, for example in the region of the tip of the other fork tine. This makes it possible to distribute the camera system on two particularly compact units, which can be accommodated more easily in the area of the forks.
  • the light sensor and / or the light source and / or the light entry opening is arranged in a recess of a fork tine tip.
  • Light sensor and / or light source and / or light inlet opening can be arranged so that they do not project beyond a contour of the fork tine at any point, whereby they are reliably protected from damage.
  • an arrangement behind a transparent window for the light used is also possible. As a result, in particular the light sensor or the light source is additionally present Damage protected.
  • light sensor and / or light source and / or light entrance opening not only in a recess of a fork tip, so in other words integrated into the fork tine itself, but also laterally or below the actual fork tip, where they are protected by a suitable housing or other protective Structures, for example in the form of adjacent reinforcing ribs, can be protected from damage.
  • a light sensor and / or a light source and / or a light inlet opening of a time-of-flight camera system is arranged in the region of each of the two tips of the forks, the fields of view are each directed obliquely outward from the.
  • the industrial truck has a display unit which is connected to the evaluation unit and is designed to display one or more of the following instructions to an operator as a function of a current position of the load carrier in relation to a detected storage position: raise or lower load carrier, Move the load support to the right or left, turn the load support around a vertical axis to the left or right, tilt the load support up or down from the horizontal, move the load support longitudinally from the rear or the back.
  • the indicated displays can be illustrated in particular by graphic symbols which simplify the detection of the respective instruction.
  • the instruction to Slope of the load bearing means may refer as usual to a slope of the mast with the load supporting means.
  • the instruction to rotate the load bearing means about a vertical axis may refer to a rotation of the entire truck with the load bearing means.
  • the instruction to move the load carrier to or from the rear may refer to movement of the entire truck with mast and load carrier or the mast with the load carrier.
  • Required rotation of the load bearing means about a vertical axis to the left or to the right, that is viewed from above in a clockwise or counterclockwise direction may, for example, be based on a front edge of the storage position detected by the camera system. It can be determined when the edge has a non-90 ° angle to a longitudinal direction of the load bearing means.
  • a required inclination of the load supporting means relative to the horizontal upwards or downwards that is a raising or lowering of the tips of the forks relative to the rear ends, in particular by means of a tilt sensor, which is arranged on the load supporting means and the measurement of an inclination of the forks relative to the Horizontal measures, be determined.
  • the tilt sensor may be connected to the display unit for this purpose. All of the aforementioned instructions or information displayed by the display system assist an operator in collision-free loading or unloading of a load.
  • the evaluation unit is spatially integrated into the time-of-flight camera system. This allows a particularly compact design. Retrofitting a conventional truck may also be easier.
  • the storage position which is determined based on the signals from the time-of-flight camera system, may be, for example, a parking space for a pallet on a shelf.
  • the storage position is then characterized by a horizontally extending support for the pallet, for example comprising one or more cross members, and vertical shelf posts defining the storage position on one or both sides.
  • a retraction position may consist in particular of the receptacles of a pallet into which the forks are moved. It has a defined and clearly defined position, which must be driven in with a fork to raise the pallet.
  • the determination of the storage or retraction position by means of methods of pattern recognition, wherein predefined geometric features of the storage positions or the loads to be absorbed are detected in the provided by the time-of-flight camera system data.
  • pallets have standardized dimensions and receptacles for the forks in defined areas that give a characteristic pattern.
  • these can be recognized in the acquired data and thus the storage or retraction positions or positions of the loads themselves can be determined.
  • the data collected by the time-of-flight camera system provides a particularly suitable basis for such pattern recognition methods.
  • an operator is presented with one or more of the following instructions in response to a current position of the load support relative to the sensed storage or retraction position: raise or lower load support, move load support to the right or left, load support means about a vertical axis to the left or turn right, tilt the load support up or down from the horizontal, move the load support longitudinally forward or backward.
  • the movement of the load carrying means is partially automatic, wherein an operator agrees to individual movement steps and the respective movement step is then carried out automatically without further user interaction.
  • the consent is given, for example, by pressing an enabling button.
  • the system automatically engages in the control of the movement of the load supporting means, wherein for individual movement steps in each case a prior consent of the operator is required. This procedure can lead to further rationalization of the stacking or unstacking operation, with the operator retaining the possibility of intervening, if necessary, before each movement step.
  • the movement of the load carrying means is fully automatic, wherein after a rough positioning of the truck and / or the load supporting means by an operator moving the load supporting means to the determined storage or retraction position and the recording or discontinuation of the load by agreement of the operator without further user interaction takes place.
  • the consent is given, for example, by pressing an enabling button.
  • the enabling button can be kept permanently depressed during the automatic movement sequences, so that the movement sequences can be interrupted at any time by releasing the button.
  • the system of the operator from further operating steps, which can lead to further rationalization.
  • a deposit and a removal process distinguished, in particular, the storage of a load is automatically prevented or a warning is displayed when the presence of a load is detected in the storage space in question.
  • An automatic differentiation between storage and retrieval processes is also useful in order to search in the evaluation of the signals of the camera system selectively either for a storage position or for a retraction position and / or the operator on a display unit only relevant to the process or information To give instructions.
  • a marking with a predetermined geometric shape is mounted on a shelf, which is automatically detected by the evaluation and used to determine a storage position.
  • the marking can be cuboid with defined dimensions, for example.
  • the recognition of the marking in the data captured by the camera system can be done, for example, with methods of pattern recognition. By such a mark the recognition of a storage position can be simplified and the accuracy of the position detection can be improved.
  • FIG. 1 shows an inventive truck, shown here by way of example as a counterbalance truck, which is equipped with an assistance system for storage and retrieval of pallets, in a side view.
  • the vehicle 1 consists of the main body 2 with front and rear axles, from the mast 3 rotatably mounted thereon, on which a load carriage 12 is guided vertically displaceable, and designated with 9 driver station module, which is mounted on the base vehicle 2 and the operator station 8 for contains the driver.
  • Attached to the load carriage 12 are two forks 4, at least one of which near the tip of the fork has a time-of-flight camera system 5, which is arranged, including its light entry opening, laterally next to the fork tine or in a corresponding recess within the fork tip.
  • an evaluation unit 6 can be seen, which can be integrated in the time-of-flight camera system or, as shown, can be separately attached to the mast 3, for example.
  • the time-of-flight camera system 5 is electrically connected to the evaluation unit 6 in the case of a separate arrangement for supplying voltage and for exchanging signals.
  • a display and control unit 7 is mounted for communication with the operator, which is also electrically connected to the evaluation unit 6 or in integrated construction with the time-of-flight camera system 5.
  • the beam path of the time-of-flight camera system 5 is indicated by the arrows 10.
  • a sensor is designated, which determines the inclination of the forks 4. If the forks are only height-adjustable with respect to the mast 3, this sensor 13 may be attached to the mast 3, the forks are 4 tilted relative to the mast 3, the sensor 13 should be attached to the load carriage 12.
  • a measuring device 14 for determining the lifting height of the forks 4 is provided.
  • FIG. 2 shows a plan view of the forks 4 and the load carriage 12, the remaining components of the truck are not shown.
  • the dashed-drawn time-of-flight camera system 5 is arranged centrally in the lower fork tine 4, for example, in its tip. Since the forks 4 and in particular their tips are exposed to high mechanical stresses in daily use, it makes sense to integrate the time-of-flight camera system 5 in the fork 4, so that it does not dominate the contour of the fork tip at any point. For this purpose, a corresponding cavity or recess can be inserted flush in this part of the fork 4. In addition to the illustrated central arrangement and a lateral arrangement in the fork tine tip 4 is possible.
  • time-of-flight camera system 5 if its size and mechanical design allows it, can also be arranged laterally on the outer edge of the fork prong 4. This assumes fewer modifications to the fork tine 4, but narrows the space for threading the fork tine tips into the entry openings of a pallet.
  • the beam path of the light pulses is marked with 21.
  • the beam path of the actual camera is again named 10. It can also be called the field of view of the camera system 5 or of the light sensor.
  • FIG. 3 again shows a top view of the forks 4 as in FIG. 2
  • the time-of-flight camera system 5 is here divided into two modules to reduce the size.
  • the light source 23 arranged with its beam path 21, while the light sensor 22 is arranged with its beam path 10 or field of view in the lower fork 4 in the image.
  • FIG. 4 shows a possible embodiment of a arranged in the control room of the truck display and control unit 7. On the example touch-sensitive screen 31, the necessary for the operation of the display are shown in the case of an assistance system.
  • a e.g. reversed L-shaped mark 34 symbolizing the forks 4.
  • Around this sign are e.g. arranged four arrows indicating whether the forks 4 are positioned correctly for safe, collision-free storage or retrieval in height and laterally.
  • the arrow with the top pointing up here indicated by a solid line indicates that the forks 4 still need to be raised. When the correct lifting height is reached, the arrow goes out.
  • Right and left of the L-shaped character corresponding arrows for the lateral alignment of the forks 4, transverse to the stacking direction, are shown. In the case shown, the fork tine 4 must be moved to the right.
  • the symbol 35 makes it clear how the vehicle and thus the forks 4 are aligned to the storage place.
  • the upper solid line indicates the shelf or the storage place, the lower line the alignment of a line over the front edges of the fork tine tips 4.
  • the vehicle is obliquely in front of the storage bin, it would have to be rotated in the counterclockwise direction, to store collision-free.
  • the other possibilities, misalignment in the opposite direction and parallelism, are shown in dashed lines.
  • the symbol 36 makes it clear how the forks 4 are aligned in their longitudinal direction to the horizontal.
  • the forks 4 are inclined backwards, so they must be rotated in the counterclockwise direction to achieve the horizontal orientation.
  • the dashed representations are to be understood analogously.
  • the character 37 indicates e.g. in the form of a traffic light, whether the storage or retrieval, ie the displacement of the forks 4 in their longitudinal direction, is permitted.
  • the traffic light is red, because the vehicle is still at an angle to the shelf, the forks 4 still raised, moved to the right and must be tilted counterclockwise.
  • the display panel 39 indicates to the operator which shelf level has been reached in the vertical direction by raising the forks 4 in order to perform a loading or unloading operation.
  • FIG. 5 shows the partial side view of an unloading process shortly before threading the forks 4 in the entry openings of the loaded with a load pallet 54.
  • This is in the second level of a shelf, which is formed from the uprights 50 and the cut shelves shown 51, 52 stacked.
  • the forks 4 were roughly positioned in the lifting height.
  • the correct fork tip inclination was adjusted by means of the sensor 14 and with the assistance of the time-of-flight camera system 5, the alignment of the forks 4 is checked to the front of the shelf supports 51 and then carried out a precise positioning of the forks 4 in the vertical and in the transverse direction to the fork longitudinal direction.
  • the time-of-flight camera system 5 detects the contours of the upper edge of the front support of the shelf supports 51 and the contour of the retraction openings of the pallet 54.
  • the operator is specified on the described displays, as he has to align the forks 4, a collision-free Allow retraction.
  • FIG. 6 shows the partial side view of a storage operation shortly before entering the loaded with the pallet 55 forks 4 in the shelf.
  • the height positioning takes place with the help of the time-of-flight camera system 5 and its beam path 10 and the upper edge of the front support of the shelf supports 51.
  • For the lateral alignment transverse to the longitudinal direction of the forks 4 is now the contour of the front of the two shelf stand 50 or Side contour of a pallet already stacked on the shelf next to the shelf.
  • the time-of-flight camera system 5 is used for aligning the pallet or the forks or the vehicle perpendicular to the shelf leading edge.
  • FIG. 7 shows a shelf, consisting of the illustrated stand 50 and the shelf supports 51, the loading units 54, 55, 61 and the forks 4 in a partial section in plan view.
  • FIG. 8 shows a block diagram of the electronic components of the assistance system.
  • the light sensor 22 is connected on the one hand to the separate light source 23 and on the other hand to the evaluation unit 6.
  • the result of the evaluation is communicated to the display and operating unit 7. This shows according to the operator FIG. 4 on how to use the truck.
  • the Hub Ounmess owned 13 and the tilt sensor 14 are connected to the display and control unit 7.
  • the actuation of the button 76 switches the display of Results of the image analysis of the time-of-flight camera system 5 on the screen of the display and control unit 7 a.
  • FIG. 9 shows a block diagram in the event that the assistance system described is extended so that a partially or fully automated storage or retrieval can be realized.
  • the display and operation unit 7 is as in FIG. 8 connected to the evaluation unit 6.
  • a wireless connection for example, a radio link 71 to a control system 70 and a connection to a consent button 72.
  • the Hub Ounmess owned 13 and the tilt sensor 14 are connected to an interface unit 73 to the signal network 74, for example, the CAN bus, the truck is connected with its control device 75.
  • the signal network 74 for example, the CAN bus
  • the truck is connected with its control device 75.
  • this network is also the connection to the display and control unit. 7
  • the vehicle-side part 92 of a positioning system a load detection sensor 93 and a device for loading units identification, e.g. Bar code reader 90, for reading a bar code 91 mounted on the loading unit.
  • a device for loading units identification e.g. Bar code reader 90
  • FIG. 10 shows a shelf consisting of the illustrated stand 50 and the shelf supports 51, the particularly wide loading units 84, 85 and the forks 4 with time-of-flight camera systems 5 with integrated light source in a partial section in plan view.
  • FIG. 11 shows a shelf, consisting of the illustrated stand 50 and the shelf supports 51, the particularly wide loading units 84, 85, the forks 4 with a light sensor 22 and a separate light source 23 in a partial section in plan view. Furthermore, rectangular markings 80, which are shown in dashed lines, attached to the shelf supports 51 also partially shown in dashed lines so that they are always assigned to the respective pallet space in the same way.
  • the system of time-of-light camera system 5, evaluation unit 6 and display and operating unit is used as an assistance system.
  • the driver of the truck is supported in the operation of the vehicle during storage and retrieval by displaying on the display and control unit 7.
  • a paging operation can be performed as follows:
  • the driver selects via the button 33 of the display and control unit 7, the function of outsourcing and positioned the truck in front of the shelf that the forks 4 only have to be moved laterally slightly when they have been raised to the correct lifting height. He then aligns the forks 4 horizontally with the aid of the sensor system 14 and the display 36 on the display and operating unit 7. Then with the help of the Hub Ounmess owned 13 and the display 39, the lifting of the horizontal forks 4 on the correct shelf level. Now, with the help of a button 76, the displays 34 and 35 can be activated.
  • the front of the shelf supports 51 and the pallet of the loading unit 54 are illuminated by the light source of the time-of-flight camera system 5 and the separate light source 23, the reflected light pulses are detected by the light sensor 22 and forwarded to the evaluation unit 6.
  • the display 37 shows, for example, the color red, ie the forks 4 must not yet be moved in the direction of the fork tines because, after evaluating the signals of the time-of-flight camera system 5, they are moved in accordance with FIG FIG. 4 still have to be moved to the right and up.
  • the display 35 in FIG. 4 shows, for example, two parallel lines.
  • the correction of the vertical position is made by utilizing the lift / lower function of the vehicle, for the correction in the transverse direction are known side thrusters that can move the forks 4 relative to the vehicle or mast or load carriage 12 in the transverse direction.
  • the forks 4 are correctly positioned in front of the entry openings of the pallet of the loading unit 54, only the fork 4, but no arrow is displayed in display 34 and the display 37 shows in the lower circle the color green, ie the forks 4 can now in their longitudinal direction by moving the mast and / or method of the vehicle to be moved in the fork longitudinal direction.
  • the operator lifts the forks 4 and thus also the loading unit 54 and stacks them.
  • the distance information of the time-of-flight camera system 5 is used to the shelf supports 51.
  • the time-of-flight camera system determines the distance to the front shelf support. With proper storage of the loading unit 54, this results in the required travel of the forks 4 in their longitudinal direction, so that the fork back comes to rest on the loading unit and the loading unit thus properly positioned on the forks 4.
  • the displacement of the forks 4 results depending on the vehicle type relative to the base vehicle. For the determination of these ways solutions are known and are therefore not described in detail.
  • the operator is indicated with the display 38 by the arrow pointing to the left, that the forks 4 must be moved in the direction of the shelf. If the forks 4 have passed the displacement path resulting from the loading units and rack dimensions, the arrow in display 38 goes out and thus indicates to the operator a sufficient displacement path.
  • a storage operation can be carried out as follows: The driver selects via the key 32 of the display and control unit 7, the function storage and positioned the truck in front of the shelf that loaded with the loading unit 55 forks 4 must be moved only slightly laterally, if they have been raised to the correct lifting height. He then aligns the forks 4 horizontally with the aid of the sensor system 14 and the display 36 on the display and operating unit 7. Then with the help of the Hub Ounmess owned 13 and the display 39, the lifting of the horizontal forks 4 on the correct shelf level. Now, with the help of a button 76, the displays 34 and 35 can be activated.
  • the front of the shelf supports 51 and the side of the empty pallet storage space located, vertical shelf stand 50 and the adjacent, standing on the shelf loading unit 61 after FIG. 7 are illuminated by the light source of the time-of-flight camera system 5 or the separate light source 23, the reflected light pulses are detected by the light sensor 22 of the time-of-flight camera system 5 and forwarded to the evaluation unit 6.
  • the display 37 shows, for example, the color red, ie the forks may not yet be moved in the fork tine longitudinal direction, because according to evaluation of the signals of the time-of-flight camera system 5 according to FIG. 4 still have to be moved to the right and up.
  • the display 35 in FIG. 4 shows, for example, two parallel lines.
  • the distance measurement described above can be used to indicate to the operator that the loading unit is sufficiently deep stacked.
  • the fork tines 4 when the fork tines 4 are not permitted to be retracted into the entry openings of the pallet or if the loading unit is not allowed to be stacked, both indicated by the red display 37, the forks 4 are automatically prevented in their longitudinal direction by moving the vehicle and / or advancing the mast can be moved.
  • the described processes can be partially automatic.
  • the operator positions the empty, or loaded with a loading unit forks 4 roughly in front of a shelf, raises the forks. 4 up to the lowermost shelf support, for example, and positions the vehicle with the aid of driving and steering maneuvers and the display 35 perpendicular to the shelf level as soon as the time-of-flight camera system 5 has detected the front of the shelf supports 51 and the display 35 with the button 76 was activated.
  • the bottom shelf level is particularly suitable for orientation because it can be easily seen by the driver.
  • the operator raises the forks 4 and the loading unit by means of the Hubtownn sensor 13, which is connected via the interface unit 73 and the CAN bus 74 with the vehicle control device 75 and the display and control unit 7, and the display 39 to the approximately correct Lifting height and actuates the enabling button 72.
  • the vehicle control device 75 receives the vehicle control device 75 via the vehicle signal network 74 of the display and control unit 7, the command "forks horizontal”.
  • the tilt sensor 14 which is connected via the interface unit 73 and the CAN bus 74 to the vehicle control device 75, the forks 4 are automatically aligned horizontally by the vehicle control device 75 and the vehicle functions.
  • the displacement of the fork tines 4 or of the loading unit in the fork longitudinal direction is also handled automatically by commands of the display and operating unit 7 to the vehicle control device 75.
  • the functions mast forward feed or vehicle travel forward in conjunction with the feed and / or travel measurement and the distance measurement via the time-of-flight camera system 5 are used. This description applies analogously to the loading and unloading of loading units.
  • the stacking of the charging unit is prevented when the time-of-flight camera system 5 detects the contour of a pallet, although the storage space for the intended storage (button E 32 actuated) of a loading unit must be free.
  • the signal of the load detection sensor 93 which detects the load unit located on the forks 4, with the signal of the time-of-flight camera system 5, that there is already a pallet in the designated storage space, linked and prevented so that a Loading unit is stacked on an occupied storage space.
  • a fully automatic storage and retrieval in addition to the explained partial automation, a wireless connection, in particular a radio link 71 between the display and control unit 7 on the vehicle and a stationary forklift control system 70 is used.
  • This control system 70 receives from a warehouse management system 77 the command, a particular loading unit (eg 54 or 55) on a certain shelf space or outsource.
  • the control system selects a suitable industrial truck and passes this to the corresponding infeed or removal order via the wireless radio link 71 to the on-board display and operating unit 7. There, this order is displayed to the operator.
  • the server will pick up at one Storage order, the loading unit at the specified, so-called source from, or moves in a removal order with unloaded forks 4 to the specified pickup location. He positioned the vehicle in front of the corresponding shelf and presses the consent button 72. Then, the display and control unit 7 generates the command "lifting" until the unit 7 known height of the first shelf support is reached.
  • the automatic interrogation of the signal of the time-of-flight camera system 5 for vertical alignment of the vehicle takes place in front of the shelf.
  • the driver is shown the current actual orientation with the aid of the display 35.
  • the display 35 shows, for example, two parallel lines and the operator actuates the consent key 72.
  • Now generates the display and control unit 7 the command "lifting" until the unit 7 off the height of the respective shelf support known using the input or Auslagercited using the signals of the height measuring device 13 is reached.
  • the correction in vertical and transverse direction with the aid of the signals of the time-of-flight camera system 5 and the automatic insertion of the forks or the charging unit are described above for partial automation.
  • a time-of-flight camera system 5 can be provided in each fork tip 4, wherein for the lateral orientation of the loading unit 85 located in the left fork prong 4, on the left lateral boundary (here the shelf stand 50) and the Camera system 5 located in the right fork prong 4 focuses on the right boundary (here the left corner of the loading unit 84).
  • outsourcing Fig. 10 above.
  • the respective time-of-flight camera system 5 focuses on the right or left entry opening of the pallet of a loading unit 84 to be outsourced.
  • the time-of-flight camera systems 5 in both cases use the upper edge of the front the two shelf supports 51.
  • each storage space on the shelf with one of the time-of-flight camera system 5 recognizable, three-dimensional, eg cuboid marking 80 are provided, since the truck facing side of the cuboid has a smaller distance from the time-of-flight camera system 5 serves as the front of the front of the two shelf supports 51, for lateral positioning in the transverse direction.
  • this embodiment as in the Figures 3 and 11 shown again to be worked with a single light sensor 22 and a separate light source 23.
  • the truck can be additionally equipped with one of the known positioning system 92, so that the operator is assisted in the search for the intended storage or retrieval space.
  • the operator is thereby e.g. by appropriate displays, as they are known from the field of passenger car navigation systems, informed on the screen of the display and control unit 7, in which direction he has to steer the truck to the input or Auslagerplatz, that of the display and control unit 7 is communicated from the warehouse management system 70 via the wireless communication 71.
  • a barcode scanner 90 is to be integrated within the load carriage 12 in such a way that, for example, barcode stickers 91 which are mounted on the loading unit 54, 55, 84, 85 in the detection area of the barcode reader are read automatically when retracting the forks 4 in the loading unit 54, 55, 84, 85.
  • the reading result is given by the identification unit 90 to the display and operating unit 7, where the identified loading unit with the respective place where the truck and thus the loading unit is located, is linked.
  • an additional load detection sensor 93 which detects whether or not a loading unit is located on the forks, it is now possible, if necessary with the aid of the knowledge of the respective current vehicle functions, e.g. Lifting, lowering, driving forward, reversing, etc., be inferred by logically linking the corresponding signals in the display and control unit 7 that e.g. a certain, identified loading unit was picked up or deposited at a certain location at a certain height, that is to say it was stored or retrieved.
  • This information can then be communicated from the display and control unit 7 via the wireless communication 71 and the control system 70 to the warehouse management system 77 where it is e.g. for updating and verifying the storage allocation stored in system 77.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

Flurförderzeug mit einem Hubgerüst (3), an dem ein Lasttragmittel mit zwei Gabelzinken (4) höhenverstellbar geführt ist, einem an dem Lasttragmittel angeordneten Sensor zur Erfassung einer räumlichen Umgebung und einer Auswerteeinheit (6), die dazu ausgebildet ist, zur Unterstützung eines Einlagerungsvorgangs aus den von dem Sensor erfassten Daten eine Lagerungsposition zu ermitteln, wobei der Sensor ein Time-of-Flight-Kamerasystem (5) mit einer Lichtquelle (23), einem Lichtsensor (22) und einer Lichteintrittsöffnung aufweist, wobei mindestens die Lichteintrittsöffnung im Bereich einer Spitze einer der Gabelzinken angeordnet ist.

Description

  • Die Erfindung betrifft ein Flurförderzeug mit einem Hubgerüst, an dem ein Lasttragmittel mit zwei Gabelzinken höhenverstellbar geführt ist, einem an dem Lasttragmittel angeordneten Sensor zur Erfassung einer räumlichen Umgebung und einer Auswerteeinheit, die dazu ausgebildet ist, zur Unterstützung eines Einlagerungsvorgangs aus den von dem Sensor erfassten Daten eine Lagerungsposition zu ermitteln, sowie ein Verfahren zum Betreiben eines solchen Flurförderzeugs.
  • In vielen Bereichen der Logistik, insbesondere der Intralogistik, kommen Flurförderzeuge zum Einsatz. Im Bereich des Stückguttransports werden häufig Ladehilfsmittel in Form von Paletten, Gitterboxen usw. eingesetzt, die einzelne, kleinere Stückgüter zu Ladeeinheiten zusammenfassen, die dann effektiv und wirtschaftlich mit Hilfe von Flurförderzeugen, die in der Regel mit Gabelzinken zur Aufnahme der Ladeeinheiten ausgerüstet sind, transportiert, verladen und gestapelt werden. Die Einstapelhöhen in Regalen erreichen Höhen bis zu 10 bis 13 Metern, wobei die Bedienperson auf dem Fahrzeug in Bodennähe verbleibt. Die Augen der Bedienperson sind daher von dem eigentlichen Ein- und Ausstapelvorgang im Regal unter Umständen 8 bis 11 Meter weit entfernt, was insbesondere unter schlechten Blickwinkeln, schlechter Beleuchtung und sonstigen Sichtbehinderungen den Ein-und Ausstapelvorgang erschwert. Die Bedienung solcher Flurförderzeuge erfordert viel Erfahrung, um diese Vorgänge dennoch schnell, sicher und effektiv durchführen zu können.
  • Zur Unterstützung der Bedienperson in dieser Situation ist der Einsatz einer Videokamera im Bereich des Lasttragmittels bekannt geworden, deren Bild der Bedienperson auf einem Monitor angezeigt wird. Die Bedienperson wertet das Videobild aus und bedient das Fahrzeug in der Art, dass bei der Einlagerung die Palette oberhalb der Regalauflage kollisionsfrei im Regalfach abgesetzt und bei der Auslagerung die Gabelzinke kollisionsfrei in die Einfahröffnung der Palette eingeschoben werden kann.
  • Aus der Druckschrift DE 10 2004 027 446 B4 ist eine Lösung bekannt geworden, die ein solches Kamera-Monitor-System mit einer Hubhöhenvorwahleinrichtung kombiniert. Dabei wird die gewünschte Hubhöhe von der Bedienperson vorgewählt und durch das Fahrzeug automatisch eingestellt. Während des Hubvorgangs wird die Anzeige für die Hubhöhenvorwahl aus- und das Videobild des Kamera-Monitor-Systems automatisch eingeblendet. Mit Hilfe des Videobildes nimmt der Bediener die seitliche Ausrichtung der Gabelzinken vor. Bei dem beschriebenen System kann die Position der Gabelzinkenspitze in Relation zur Regalauflage bzw. zur Einfahröffnung in die Palette relativ gut abgeschätzt werden, bei der Einlagerung einer Palette hingegen bereitet es nach wie vor große Schwierigkeiten, den seitlichen Abstand zu weiteren Paletten oder seitlichen Regalpfosten richtig einzuschätzen. Auch die erforderliche Einstapeltiefe kann nur schwer eingeschätzt werden.
  • Ein anderes bekanntes Konzept sieht eine vollautomatische Ein- oder Auslagerung mit induktiv oder mechanisch zwangsgeführten Hochregalstaplern vor. Durch die Zwangsführung wird die Entfernung der Gabelzinken bzw. der Palette zum Regal innerhalb kleiner Toleranzen konstant gehalten. Die Palette wird durch spezielle Lastaufnahmemittel, zum Beispiel Schwenkschub- oder Teleskopgabeln seitlich, quer zur Fahrzeuglängsrichtung, aufgenommen bzw. abgegeben. Die Hubhöheneinstellung erfolgt über eine Hubsteuereinrichtung, die mit einem Istwertsensor ausgerüstet ist. Die seitliche Ausrichtung, in Fahrtrichtung, wird mit Hilfe aufwendiger Wegmesseinrichtungen und ggfs. zusätzlicher Markierungen an den Lagerplätzen und entsprechender Sensoren am Fahrzeug durchgeführt. In Einstapelrichtung, hier quer zur Fahrtrichtung, kann mit fest eingestellten Verschiebewegen gearbeitet werden, da der Abstand des Fahrzeugs zum Regal und die Palettenlänge bekannt und konstant sind. Voraussetzung für derartige Konzepte ist jedoch ein aufwendiges, sowohl aus Fahrzeugkomponenten als auch ortsfesten Komponenten bestehendes System. Außerdem muss ein manuelles Einstapeln von Paletten zuverlässig verhindert werden, da anders nicht sichergestellt werden kann, dass die Paletten innerhalb der zulässigen Toleranzen positioniert werden. Ein solches vollautomatisches System ist somit kostenträchtig in Anschaffung und Betrieb und weiterhin wenig flexibel.
  • Aus der Druckschrift DE 10 2008 027 695 A1 ist ein Verfahren zur Lagerpositionsansteuerung mit Flurförderzeugen bekannt geworden. Die bekannten Flurförderzeuge weisen an einem Lastschlitten, unterhalb eines Lasttragmittels, einen Laserscanner auf, der eine räumliche Umgebung insbesondere unterhalb des Lasttragmittels erfasst. Aus den Daten des Laserscanners wird eine Lagerungsposition bestimmt. Anschließend wird eine Sollposition des Lasttragmittels zum Anfahren dieser Lagerungsposition ermittelt und schließlich die Ist-Position des Lasttragmittels entsprechend korrigiert.
  • Aus der Druckschrift US 2010/0091094 A1 ist eine Vorrichtung zur Messung eines Volumens einer Fracht bekannt geworden. Dabei wird die Fracht mit einem Time-of Flight-Kamerasystem aus unterschiedlichen Richtungen aufgenommen.
  • Davon ausgehend ist es die Aufgabe der Erfindung, ein Flurförderzeug mit den Merkmalen des Oberbegriffs des Anspruchs 1 zur Verfügung zu stellen, das eine Bedienperson besser beim Ein- und Auslagern von Lasten unterstützt, zuverlässig und flexibel einsetzbar ist und eine weitergehende Automatisierung ermöglicht, sowie ein Verfahren zum Betreiben eines solchen Flurförderzeugs.
  • Diese Aufgabe wird gelöst durch das Flurförderzeug mit den Merkmalen des Anspruchs 1. Vorteilhafte Ausgestaltungen sind in den sich anschließenden Unteransprüchen angegeben.
  • Das erfindungsgemäße Flurförderzeug hat ein Hubgerüst, an dem ein Lasttragmittel mit zwei Gabelzinken höhenverstellbar geführt ist, einen an dem Lasttragmittel angeordneten Sensor zur Erfassung einer räumlichen Umgebung und eine Auswerteeinheit, die dazu ausgebildet ist, zur Unterstützung eines Einlagerungsvorgangs aus den von dem Sensor erfassten Daten eine Lagerungsposition zu ermitteln. Der Sensor weist ein Time-of-Flight-Kamerasystem mit einer Lichtquelle, einem Lichtsensor und einer Lichteintrittsöffnung auf, wobei mindestens die Lichteintrittsöffnung im Bereich einer Spitze einer der Gabelzinken angeordnet ist.
  • Ein Time-of Flight-Kamerasystem weist eine Lichtquelle und einen Lichtsensor auf, wobei die Lichtquelle moduliertes, insbesondere gepulstes Licht aussendet, das nach Reflektion von den Gegenständen im Bildfeld durch eine Lichteintrittsöffnung bzw. die Lichteintrittsöffnung auf eine Vielzahl von Bildpunkten des Lichtsensors, die in der Regel matrixartig angeordnet sind, auftrifft und detektiert wird. Dabei werden Laufzeitunterschiede des Lichts ausgewertet, sodass jedem Bildpunkt ein Wert für die Entfernung des Gegenstands zugeordnet werden kann. Da die optischen Eigenschaften des Systems bekannt sind, kann die Lage eines von jedem Bildpunkt erfassten Objekts im Raum in allen drei Raumrichtungen bestimmt werden. Mit dem Time-of-Flight-Kamerasystem ist daher ein dreidimensionales "Sehen" des räumlichen Bereichs in Blickrichtung des Kamerasystems möglich.
  • Das räumliche Abbild der Umgebung wird dabei stets bezogen auf den Ort des Lichtsensors bzw. die Lichteintrittsöffnung ermittelt, sodass durch Anordnung der Lichteintrittsöffnung im Bereich einer Spitze einer der Gabelzinken die unmittelbare Umgebung der Gabelspitze, die für ein kollisionsfreies Ein- und Auslagern von Lasten entscheidend ist, besonders genau erfasst wird.
  • Ein weiterer Vorteil der Erfindung ist, dass das von dem Time-of-Flight-Kamerasystem erfasste Abbild der Umgebung eine bessere Grundlage für eine automatisierte Auswertung der Bilddaten bietet als die im Stand der Technik vorgeschlagene Verwendung eines Laserscanners, der zudem nur Daten über einzelne Beobachtungsebenen erfasst.
  • Insgesamt kann der Ein- oder Auslagervorgang auf Grundlage der von dem Time-of-Flight-Kamerasystem zur Verfügung gestellten Daten optimal unterstützt werden.
  • Bei der Erfindung ist mindestens die Lichteintrittsöffnung des Time-of-Flight-Kamerasystems im Bereich einer Spitze einer der Gabelzinken angeordnet. Die zugehörige Lichtquelle und der Lichtsensor können ebenfalls in diesem Bereich angeordnet sein, insbesondere bei Verwendung eines Kamerasystems, bei dem Lichtquelle und Lichtsensor zur einer Einheit kombiniert sind. Alternativ kann die Lichtquelle in einem Abstand von dem Lichtsensor/der Lichteintrittsöffnung angeordnet sein, beispielsweise im Bereich der Spitze der anderen Gabelzinke. Dies ermöglicht, das Kamerasystem auf zwei besonders kompakte Einheiten zu verteilen, die einfacher im Bereich der Gabelzinken untergebracht werden können.
  • In einer Ausgestaltung ist der Lichtsensor und/oder die Lichtquelle und/oder die Lichteintrittsöffnung in einer Ausnehmung einer Gabelzinkenspitze angeordnet. Lichtsensor und/oder Lichtquelle und/oder Lichteintrittsöffnung können so angeordnet sein, dass sie eine Kontur der Gabelzinke an keiner Stelle überragen, wodurch sie zuverlässig vor Beschädigungen geschützt sind. Ebenfalls möglich ist eine Anordnung hinter einem für das verwendete Licht transparenten Fenster. Dadurch wird insbesondere der Lichtsensor bzw. die Lichtquelle zusätzlich vor Beschädigung geschützt. Grundsätzlich können Lichtsensor und/oder Lichtquelle und/oder Lichteintrittsöffnung nicht nur in einer Ausnehmung einer Gabelzinkenspitze, also mit anderen Worten in die Gabelzinkenspitze selbst integriert, angeordnet werden, sondern auch seitlich oder unterhalb der eigentlichen Gabelzinkenspitze, wobei sie durch ein geeignetes Gehäuse oder sonstige schützende Strukturen, beispielsweise in Form benachbarter Verstärkungsrippen, vor einer Beschädigung geschützt werden können.
  • In einer Ausgestaltung ist im Bereich jeder der beiden Spitzen der Gabelzinken jeweils ein Lichtsensor und/oder eine Lichtquelle und/oder eine Lichteintrittsöffnung eines Time-of-Flight-Kamerasystems angeordnet, deren Blickfelder jeweils schräg nach außen vom gerichtet sind. Durch die Verwendung zweier Kamerasysteme kann die Umgebung der beiden Gabelspitzen besonders zuverlässig erfasst werden. Dies gilt insbesondere, wenn besonders breite Lasten, die einen relativ großen Abstand zwischen den beiden Gabelzinken erfordern, transportiert werden sollen. Grundsätzlich ist jedoch die Verwendung eines einzigen Kamerasystems ausreichend, das im Bereich einer Spitze einer der beiden Gabelzinken angeordnet ist.
  • In einer Ausgestaltung weist das Flurförderzeug eine Anzeigeeinheit auf, die mit der Auswerteeinheit verbunden ist und zur Anzeige einer oder mehrerer der folgenden Anweisungen an eine Bedienperson in Abhängigkeit von einer aktuellen Position des Lasttragmittels in Relation zu einer erfassten Lagerungsposition ausgebildet ist: Lasttragmittel anheben oder absenken, Lasttragmittel nach rechts oder links bewegen, Lasttragmittel um eine vertikale Achse nach links oder rechts drehen, Lasttragmittel gegenüber der Horizontalen nach oben oder unten neigen, Lasttragmittel in Längsrichtung nach vom oder hinten bewegen. Die genannten Anzeigen können insbesondere durch graphische Symbole veranschaulicht werden, die ein Erfassen der jeweiligen Anweisung vereinfachen. Die Anweisung zur Neigung des Lasttragmittels kann sich wie üblich auf eine Neigung des Masts mit dem Lasttragmittel beziehen. Die Anweisung zur Drehung des Lasttragmittels um eine vertikale Achse kann sich auf eine Drehung des gesamten Flurförderzeugs mit dem Lasttragmittel beziehen. Die Anweisung zur Bewegung des Lasttragmittels nach vom oder hinten kann sich auf eine Bewegung des gesamten Flurförderzeugs mit Mast und Lasttragmittel oder des Masts mit dem Lasttragmittel beziehen. Eine erforderliche Drehung des Lasttragmittels um eine vertikale Achse nach links oder rechts, das heißt von oben betrachtet im Uhrzeigersinn oder entgegen dem Uhrzeigersinn, kann zum Beispiel auf Grundlage einer von dem Kamerasystem erfassten vorderen Kante der Lagerungsposition erfolgen. Es kann festgestellt werden, wenn die Kante gegenüber einer Längsrichtung des Lasttragmittels einen von 90° abweichenden Winkel aufweist. Eine erforderliche Neigung des Lasttragmittels gegenüber der Horizontalen nach oben oder unten, das heißt ein Anheben oder Absenken der Spitzen der Gabelzinken gegenüber deren hinteren Enden, kann insbesondere mit Hilfe eines Neigungssensors, der an dem Lasttragmittel angeordnet ist und die Messung einer Neigung der Gabelzinken gegenüber der Horizontalen misst, festgestellt werden. Der Neigungssensor kann zu diesem Zweck mit der Anzeigeeinheit verbunden sein. Alle genannten, von dem Anzeigesystem angezeigten Anweisungen oder Informationen unterstützen eine Bedienperson bei einer kollisionsfreien Ein- oder Auslagerung einer Last.
  • In einer Ausgestaltung ist die Auswerteeinheit räumlich in das Time-of-Flight-Kamerasystem integriert. Dadurch wird ein besonders kompakter Aufbau ermöglicht. Auch eine Nachrüstung eines herkömmlichen Flurförderzeugs kann sich unter Umständen vereinfachen.
  • Die oben genannte Aufgabe wird ebenfalls gelöst durch das Verfahren mit den Merkmalen des Anspruchs 6. Vorteilhafte Ausgestaltungen sind in den sich anschließenden Unteransprüchen angegeben.
  • Das erfindungsgemäße Verfahren dient zum Betreiben eines Flurförderzeugs, das ein Hubgerüst, an dem ein Lasttragmittel mit zwei Gabelzinken höhenverstellbar geführt ist, einen an dem Lasttragmittel angeordneten Sensor zur Erfassung einer räumlichen Umgebung und eine Auswerteeinheit aufweist, die dazu ausgebildet ist, zur Unterstützung eines Einlagerungsvorgangs aus den von dem Sensor erfassten Daten eine Lagerungsposition zu ermitteln, wobei der Sensor ein Time-of-Flight-Kamerasystem mit einer Lichtquelle, einem Lichtsensor und einer Lichteintrittsöffnung aufweist und mindestens die Lichteintrittsöffnung im Bereich einer Spitze einer der Gabelzinken angeordnet ist. Das Verfahren weist die folgenden Schritte auf:
    • Erfassen einer räumlichen Umgebung des Flurförderzeugs mit dem Time-of Flight-Kamerasystem,
    • Auswerten der Signale des Time-of-Flight-Kamerasystems und Ermitteln einer Lagerungs- oder Einfahrposition,
    • Bewegen des Lasttragmittels zu der ermittelten Lagerungs- oder Einfahrposition hin, und
    • Aufnehmen oder Absetzen einer Last.
  • Zu den Merkmalen und Vorteilen des erfindungsgemäßen Verfahrens wird auf die vorstehenden Erläuterungen der korrespondierenden Merkmale des erfindungsgemäßen Flurförderzeugs verwiesen. Bei der Lagerungsposition, die auf Grundlage der Signale des Time-of-Flight-Kamerasystems ermittelt wird, kann es sich beispielsweise um einen Stellplatz für eine Palette in einem Regal handeln. Die Lagerungsposition ist dann gekennzeichnet durch eine horizontal verlaufende Auflage für die Palette, beispielsweise aufweisend einen oder mehrere Querträger, und vertikal verlaufende Regalpfosten, die die Lagerungsposition an einer oder beiden Seiten begrenzen. Eine Einfahrposition kann insbesondere bestehen aus den Aufnahmen einer Palette, in die die Gabelzinken hineinbewegt werden. Sie weist eine definierte und klar umgrenzte Position auf, in die mit einer Gabelzinke hineingefahren werden muss, um die Palette anzuheben.
  • In einer Ausgestaltung erfolgt das Ermitteln der Lagerungs- oder Einfahrposition mit Hilfe von Methoden der Mustererkennung, wobei vordefinierte geometrische Merkmale der Lagerungspositionen oder der aufzunehmenden Lasten in den von dem Time-of Flight-Kamerasystem zur Verfügung gestellten Daten erkannt werden. Beispielsweise weisen Paletten standardisierte Abmessungen und Aufnahmen für die Gabelzinken in definierten Bereichen auf, die ein charakteristisches Muster ergeben. Gleiches gilt für unterschiedliche Regaltypen, deren Lagerungspositionen ebenfalls charakteristische Merkmale aufweisen. Mit Hilfe der Methoden der Mustererkennung können diese in den erfassten Daten erkannt und somit die Lagerungs- oder Einfahrpositionen oder Positionen der Lasten selbst ermittelt werden. Die von dem Time-of-Flight-Kamerasystem erfassten Daten bieten eine besonders geeignete Grundlage für derartige Mustererkennungsverfahren.
  • In einer Ausgestaltung werden einer Bedienperson in Abhängigkeit von einer aktuellen Position des Lasttragmittels in Relation zu der erfassten Lagerungs- oder Einfahrposition eine oder mehrere der folgenden Anweisungen angezeigt: Lasttragmittel anheben oder absenken, Lasttragmittel nach rechts oder links bewegen, Lasttragmittel um eine vertikale Achse nach links oder rechts drehen, Lasttragmittel gegenüber der Horizontalen nach oben oder unten neigen, Lasttragmittel in Längsrichtung nach vorn oder hinten bewegen. Durch Anzeige der genannten Anweisungen unterstützt das System die Bedienperson beim im Übrigen manuell vorzunehmenden Ein- bzw. Auslagerungsvorgang. Es handelt sich daher um ein Assistenzsystem, bei dem der Fahrer nach wie vor die Kontrolle über die Durchführung jeder einzelnen Bewegung des Lasttragmittels behält.
  • In einer anderen Ausgestaltung erfolgt das Bewegen des Lasttragmittels teilautomatisch, wobei eine Bedienperson einzelnen Bewegungsschritten zustimmt und der jeweilige Bewegungsschritt dann ohne weitere Benutzerinteraktion automatisch ausgeführt wird. Die Zustimmung wird beispielsweise durch Betätigung eines Zustimmtasters erteilt. Bei dieser Ausgestaltung greift das System selbsttätig in die Steuerung der Bewegung des Lasttragmittels ein, wobei für einzelne Bewegungsschritte jeweils eine vorherige Zustimmung der Bedienperson erforderlich ist. Dieses Vorgehen kann zu einer weiteren Rationalisierung des Ein-oder Ausstapelvorgangs führen, wobei die Bedienperson die Möglichkeit behält, vor jedem Bewegungsschritt korrigierend einzugreifen, soweit dies für erforderlich gehalten wird.
  • In einer Ausgestaltung des Verfahrens erfolgt das Bewegen des Lasttragmittels vollautomatisch, wobei nach einer Grobpositionierung des Flurförderzeugs und/oder des Lasttragmittels durch eine Bedienperson das Bewegen des Lasttragmittels zu der ermittelten Lagerungs- oder Einfahrposition hin und das Aufnehmen oder Absetzen der Last durch Zustimmung der Bedienperson ohne weitere Benutzerinteraktion erfolgt. Die Zustimmung wird beispielsweise durch Betätigung eines Zustimmtasters erteilt. Beispielsweise kann der Zustimmtaster während der automatischen Bewegungsabläufe permanent gedrückt gehalten werden, so dass die Bewegungsabläufe jederzeit durch Loslassen des Tasters unterbrochen werden können. Bei dieser Ausgestaltung nimmt das System der Bedienperson weitere Bedienschritte ab, was zu einer weiteren Rationalisierung führen kann.
  • In einer Ausgestaltung wird automatisch auf der Grundlage einer mit einem Lastsensor ermittelten, von dem Lasttragmittel aufgenommenen Last zwischen einem Ein- und einem Auslagerungsvorgang unterschieden, wobei insbesondere das Einlagern einer Last automatisch verhindert wird oder eine Warnung angezeigt wird, wenn auf dem betreffenden Lagerplatz das Vorhandensein einer Last erkannt wird. Insbesondere ist es möglich, eine auf dem ausgewählten Lagerplatz befindliche Palette automatisch zu erkennen und durch das Anzeigen der Warnung oder das automatische Verhindern des Einlagerns eine Kollision zu verhindern. Ein automatisches Unterscheiden zwischen Ein- und Auslagerungsvorgängen ist überdies auch sinnvoll, um bei der Auswertung der Signale des Kamerasystems gezielt entweder nach einer Lagerungsposition oder nach einer Einfahrposition zu suchen und/oder um der Bedienperson auf einer Anzeigeeinheit nur die für den jeweiligen Vorgang relevanten Informationen bzw. Anweisungen zu geben.
  • In einer Ausgestaltung ist an einem Regal eine Markierung mit einer vorgegebenen geometrischen Form angebracht, die von der Auswerteeinheit automatisch erkannt und zur Ermittlung einer Lagerungsposition herangezogen wird. Die Markierung kann beispielsweise quaderförmig mit definierten Abmessungen sein. Das Erkennen der Markierung in den von dem Kamerasystem erfassten Daten kann beispielsweise mit Methoden der Mustererkennung erfolgen. Durch eine derartige Markierung kann das Erkennen einer Lagerungsposition vereinfacht und die Genauigkeit der Positionsermittlung verbessert werden.
  • Die Erfindung wird nachfolgend anhand von in Figuren dargestellten Ausführungsbeispielen näher erläutert. Es zeigen:
    • Fig. 1
    ein erfindungsgemäßes Flurförderzeug in einer schematischen Darstellung von der Seite,
    Fig. 2
    ein Lasttragmittel mit zwei Gabelzinken und einem Time-of-Flight-Kamerasystem, das in eine der Gabelzinken im Bereich der Spitze integriert ist,
    Fig. 3
    ein Lasttragmittel mit zwei Gabelzinken mit einem Time-of-Flight-Kamerasystem, wobei der Lichtsensor in einer ersten Gabelzinke und eine separate Lichtquelle in einer zweiten Gabelzinke angeordnet ist,
    Fig. 4
    eine Anzeigeeinheit in einer schematischen Darstellung,
    Fig. 5
    eine Teilansicht von einem Regal und einem Hubgerüst eines Flurförderzeugs bei einem Ausstapelvorgang in einer vereinfachten Darstellung von der Seite,
    Fig. 6
    eine der Figur 5 entsprechende Ansicht bei einem Einstapelvorgang,
    Fig. 7
    eine Draufsicht auf ein Regal und das Hubgerüst eines Flurförderzeugs von oben bei einem Ausstapelvorgang (im Bild oben) und einem Einstapelvorgang (im Bild unten),
    Fig. 8
    ein Blockdiagramm von Komponenten eines erfindungsgemäßen Flurförderzeugs in einer Version als Assistenzsystem,
    Fig. 9
    ein Blockdiagramm von Komponenten eines erfindungsgemäßen Flurförderzeugs bei einer weitergehenden Automatisierung,
    Fig. 10
    eine Draufsicht auf ein Regal und das Hubgerüst eines Flurförderzeugs von oben entsprechend der Figur 7 mit breiten Ladeeinheiten,
    Fig. 11
    eine weitere Draufsicht entsprechend der Figur 10 bei Verwendung von Markierungen an einzelnen Lagerplätzen und Verwendung eines Kamerasystems mit separater Lichtquelle.
  • Figur 1 zeigt ein erfindungsgemäßes Flurförderzeug, hier beispielhaft als Gegengewichtsstapler dargestellt, das mit einem Assistenz-System zur Ein- und Auslagerung von Paletten ausgerüstet ist, in einer Seitenansicht. Das Fahrzeug 1 besteht aus dem Grundkörper 2 mit Vorder- und Hinterachse, aus dem daran drehbar gelagerten Hubgerüst 3, an dem ein Lastschlitten 12 höhenverschieblich geführt wird, und dem mit 9 bezeichneten Fahrerplatzmodul, das auf dem Grundfahrzeug 2 gelagert ist und den Bedienplatz 8 für den Fahrer enthält. An dem Lastschlitten 12 sind zwei Gabelzinken 4 eingehängt, von denen mindestens eine in der Nähe der Gabelzinkenspitze ein Time-of-Flight-Kamerasystem 5 aufweist, das einschließlich ihrer Lichteintrittsöffnung seitlich neben der Gabelzinke oder in einer entsprechenden Ausnehmung innerhalb der Gabelzinkenspitze angeordnet ist. Weiterhin ist eine Auswerteeinheit 6 zu erkennen, die in das Time-of-Flight-Kamerasystem integriert sein kann oder, wie gezeigt, separat z.B. am Hubgerüst 3 befestigt sein kann. Das Time-of-Flight-Kamerasystem 5 ist bei separater Anordnung zur Spannungsversorgung und zum Signalaustausch elektrisch mit der Auswerteeinheit 6 verbunden. Am Fahrerplatzmodul ist eine Anzeige- und Bedieneinheit 7 zur Kommunikation mit dem Bediener befestigt, die ebenfalls elektrisch mit der Auswerteeinheit 6 bzw. bei integrierter Bauweise mit dem Time-of-Flight-Kamerasystem 5 verbunden ist. Der Strahlengang des Time-of-Flight-Kamerasystems 5 ist mit den Pfeilen 10 angedeutet. Mit 13 ist ein Sensor bezeichnet, der die Neigung der Gabelzinken 4 ermittelt. Wenn die Gabelzinken nur höhenverschieblich gegenüber dem Hubgerüst 3 ausgeführt sind, kann dieser Sensor 13 am Hubgerüst 3 befestigt sein, sind die Gabelzinken4 gegenüber dem Hubgerüst 3 auch neigbar angeordnet, so sollte der Sensor 13 am Lastschlitten 12 befestigt sein.
  • Weiterhin ist eine Messeinrichtung 14 zur Ermittlung der Hubhöhe der Gabelzinken 4 vorgesehen.
  • Figur 2 zeigt eine Draufsicht auf die Gabelzinken 4 und den Lastschlitten 12, die restlichen Komponenten des Flurförderzeugs sind nicht dargestellt. Das gestrichelt gezeichnete Time-of-Flight-Kamerasystems 5 ist in der im Bild unteren Gabelzinke 4 in ihrer Spitze z.B. mittig angeordnet. Da die Gabelzinken 4 und insbesondere auch ihre Spitzen im täglichen Einsatz hohen mechanischen Belastungen ausgesetzt sind, ist es sinnvoll, das Time-of-Flight-Kamerasystem 5 in die Gabelzinke 4 zu integrieren, sodass es die Kontur der Gabelzinkenspitze an keiner Stelle überragt. Hierzu kann in diesem Teil der Gabelzinke 4 ein entsprechender Hohlraum oder eine Vertiefung bündig eingelassen werden. Neben der dargestellten mittigen Anordnung ist auch eine seitliche Anordnung in der Gabelzinkenspitze 4 möglich. Weiterhin kann das Time-of-Flight-Kamerasystem 5, sofern seine Baugröße und mechanische Ausführung es zulässt, auch seitlich an der Außenkante der Gabelzinke 4 angeordnet sein. Dies setzt weniger Modifikationen an der Gabelzinke 4 voraus, engt jedoch den Raum zum Einfädeln der Gabelzinkenspitzen in die Einfahröffnungen einer Palette ein.
  • Für die Funktion des Time-of-Flight-Kamerasystems 5 ist es erforderlich, dass das Messobjekt von Lichtimpulsen angeleuchtet wird, der Strahlengang der Lichtimpulse ist mit 21 gekennzeichnet. Der Strahlengang der eigentlichen Kamera ist wieder mit 10 benannt. Er kann auch das Blickfeld des Kamerasystems 5 oder des Lichtsensors bezeichnet werden.
  • Figur 3 zeigt wiederum eine Draufsicht auf die Gabelzinken 4 wie in Figur 2, jedoch ist das Time-of-Flight-Kamerasystem 5 hier in zwei Baugruppen geteilt, um die Baugröße zu reduzieren. In der im Bild oben dargestellten Zinke ist die Lichtquelle 23 mit ihrem Strahlengang 21 angeordnet, während der Lichtsensor 22 mit seinem Strahlengang 10 bzw. Blickfeld in der im Bild unteren Gabelzinke 4 angeordnet ist.
  • Figur 4 zeigt eine mögliche Ausführungsform einer im Bedienraum des Flurförderzeugs angeordneten Anzeige- und Bedieneinheit 7. Auf dem z.B. berührungsempfindlichen Bildschirm 31 sind für den Fall eines Assistenzsystems die für die Bedienung erforderlichen Anzeigen dargestellt.
  • Mit den Feldern in der linken unteren Ecke 32, 33 wird gewählt bzw. signalisiert, ob es sich um einen Ein- oder Auslagervorgang A handelt. Im dargestellten Fall deutet ein durchgezogener Kreis um den Buchstaben E an, dass es sich um einen Einlagervorgang handelt.
  • Zentral auf dem Schirm befindet sich ein z.B. seitenverkehrt L-formiges Zeichen 34, das die Gabelzinken 4 symbolisiert. Um dieses Zeichen sind z.B. vier Pfeile angeordnet, die anzeigen, ob die Gabelzinken 4 für ein sicheres, kollisionsfreies Ein-oder Auslagern in der Höhe und seitlich richtig positioniert sind. Der hier mit einer durchgezogenen Linie dargestellte Pfeil mit der Spitze nach oben deutet an, dass die Gabelzinken 4 noch angehoben werden müssen. Bei Erreichen der richtigen Hubhöhe erlischt der Pfeil. Gleiches gilt für den nach unten weisenden Pfeil sinngemäß. Rechts und links des L-förmigen Zeichens sind entsprechende Pfeile für die seitliche Ausrichtung der Gabelzinken 4, quer zur Einstapelrichtung, dargestellt. Im gezeigten Fall muss die Gabelzinke 4 nach rechts verschoben werden.
  • Das Symbol 35 macht deutlich, wie das Fahrzeug und damit die Gabelzinken 4 zum Einlagerplatz ausgerichtet sind. Die obere durchgezogene Linie deutet das Regal oder den Einlagerplatz an, die untere Linie die Ausrichtung einer Linie über die Vorderkanten der Gabelzinkenspitzen 4. Im dargestellten Fall steht das Fahrzeug schräg vor dem Lagerplatz, es müsste entgegen dem Uhrzeigersinn gedreht werden, um kollisionsfrei einlagern zu können. Die anderen Möglichkeiten, Schiefstellung in Gegenrichtung und Parallelität, sind gestrichelt dargestellt.
  • Das Symbol 36 macht deutlich, wie die Gabelzinken 4 in ihrer Längsrichtung zur Horizontalen ausgerichtet sind. Im dargestellten Fall sind die Gabelzinken 4 nach hinten geneigt, sie müssen also entgegen dem Uhrzeigersinn gedreht werden, um die horizontale Ausrichtung zu erreichen. Die gestrichelt dargestellten Anzeigen sind sinngemäß zu verstehen.
  • Das Zeichen 37 deutet z.B. in Form einer Ampel an, ob das Ein- oder Auslagern, also das Verschieben der Gabelzinken 4 in ihrer Längsrichtung, zulässig ist. Im dargestellten Fall leuchtet die Ampel rot, da das Fahrzeug noch schräg zum Regal steht, die Gabelzinken 4 noch gehoben, nach rechts verschoben und entgegen dem Uhrzeigersinn geneigt werden müssen.
  • Durch die beispielhafte Zeichengruppe 38 kann angedeutet werden, in welcher Richtung die Gabelzinken 4 in ihrer Längsrichtung verschoben werden müssen und ob ein ausreichender Verschiebeweg erreicht ist. Das Anzeigefeld 39 zeigt dem Bediener an, welche Regalebene in vertikaler Richtung durch das Anheben der Gabelzinken 4 erreicht wurde, um einen Ein- oder Auslagervorgang durchzuführen.
  • Figur 5 zeigt die teilweise Seitenansicht eines Auslagervorgangs kurz vor Einfädelung der Gabelzinken 4 in die Einfahröffnungen der mit einer Last beladenen Palette 54. Diese ist in der zweiten Ebene eines Regals, das aus den Ständern 50 und den geschnitten dargestellten Regalauflagen 51, 52 gebildet wird, eingestapelt. Mit Hilfe der Höhenmesseinrichtung 13 wurden die Gabelzinken 4 in der Hubhöhe grob positioniert. Die richtige Gabelzinkenneigung wurde mit Hilfe des Sensors 14 eingestellt und mit Unterstützung des Time-of-Flight-Kamerasystems 5 wird die Ausrichtung der Gabelzinken 4 zur vorderen der Regalauflagen 51 überprüft und dann eine genaue Positionierung der Gabelzinken 4 in vertikaler und in Querrichtung zur Gabellängsrichtung durchgeführt. Hierzu erfasst das Time-of-Flight-Kamerasystem 5 die Konturen der Oberkante des vorderen Trägers der Regalauflagen 51 und die Kontur der Einfahröffnungen der Palette 54. Dem Bediener wird über die beschriebenen Anzeigen vorgegeben, wie er die Gabelzinken 4 auszurichten hat, um ein kollisionsfreies Einfahren zu ermöglichen.
  • Figur 6 zeigt die teilweise Seitenansicht eines Einlagervorgangs kurz vor dem Einfahren der mit der Palette 55 beladenen Gabelzinken 4 in das Regal. Die Höhenpositionierung erfolgt mit Hilfe des Time-of-Flight-Kamerasystems 5 und seinem Strahlengang 10 und der Oberkante des vorderen Trägers der Regalauflagen 51. Für die seitliche Ausrichtung quer zur Längsrichtung der Gabelzinken 4 wird nun die Kontur des vorderen der beiden Regalständer 50 oder die Seitenkontur einer bereits im Regal auf dem Nachbarplatz eingestapelten Palette genutzt. Auch für die Ausrichtung der Palette bzw. der Gabelzinken oder des Fahrzeugs senkrecht zur Regalvorderkante wird, wie bereits erläutert, das Time-of-Flight-Kamerasystem 5 genutzt.
  • Figur 7 zeigt ein Regal, bestehend aus den geschnitten dargestellten Ständern 50 und den Regalauflagen 51, die Ladeeinheiten 54, 55, 61 und die Gabelzinken 4 in einem Teilschnitt in der Draufsicht.
  • Figur 8 zeigt ein Blockdiagramm der elektronischen Komponenten des Assistenzsystems. Der Lichtsensor 22 ist einerseits mit der separaten Lichtquelle 23 verbunden und andererseits mit der Auswerteeinheit 6. Das Ergebnis der Auswertung wird der Anzeige- und Bedieneinheit 7 mitgeteilt. Diese zeigt dem Bediener gemäß Figur 4 an, wie das Flurförderzeug zu bedienen ist. Weiterhin sind die Hubhöhenmesseinrichtung 13 und die Neigesensorik 14 mit der Anzeige- und Bedieneinheit 7 verbunden. Die Betätigung der Taste 76 schaltet die Anzeige des Ergebnisses der Bildauswertung des Time-of-Flight-Kamerasystems 5 auf dem Bildschirm der Anzeige- und Bedieneinheit 7 ein.
  • Figur 9 zeigt ein Blockdiagramm für den Fall, dass das beschriebene Assistenzsystem derart erweitert wird, dass eine teil- oder auch vollautomatisierte Ein- oder Auslagerung realisiert werden kann. In diesem Fall ist die Anzeige- und Bedieneinheit 7 wie in Figur 8 mit der Auswerteeinheit 6 verbunden. Ergänzend kann eine drahtlose Verbindung z.B. eine Funkverbindung 71 zu einem Leitsystem 70 bestehen sowie eine Verbindung zu einer Zustimmtaste 72. Die Hubhöhenmesseinrichtung 13 und die Neigesensorik 14 sind mit einer Schnittstelleneinheit 73 verbunden, die an das Signalnetzwerk 74, z.B. den CAN-Bus, des Flurförderzeugs mit seiner Steuereinrichtung 75 angeschlossen ist. Über dieses Netzwerk besteht ebenso die Verbindung zur Anzeige- und Bedieneinheit 7.
  • Für unterschiedliche Ausbaustufen, die später näher erläutert werden, sind noch angeschlossen: Der fahrzeugseitige Teil 92 eines Ortungssystems, ein Lasterkennungssensor 93 sowie eine Einrichtung zur Ladeeinheiten-Identifikation, z.B. Barcode-Leser 90, zum Lesen eines auf der Ladeeinheit befestigten Barcodes 91.
  • Figur 10 zeigt ein Regal, bestehend aus den geschnitten dargestellten Ständern 50 und den Regalauflagen 51, die besonders breiten Ladeeinheiten 84, 85 und die Gabelzinken 4 mit Time-of-Flight-Kamerasystemen 5 mit integrierter Lichtquelle in einem Teilschnitt in der Draufsicht.
  • Figur 11 zeigt ein Regal, bestehend aus den geschnitten dargestellten Ständern 50 und den Regalauflagen 51, die besonders breiten Ladeeinheiten 84, 85, die Gabelzinken 4 mit einem Lichtsensor 22 und einer separaten Lichtquelle 23 in einem Teilschnitt in der Draufsicht. Weiterhin sind quaderförmige Markierungen 80, die teilweise gestrichelt dargestellt sind, an den ebenfalls teilweise gestrichelt dargestellten Regalauflagen 51 so befestigt, dass sie dem jeweiligen Palettenplatz immer in gleicher Weise fest zugeordnet sind.
  • Nachfolgend soll die Funktion des erfindungsgemäßen Flurförderzeugs und das erfindungsgemäße Verfahren anhand von drei Beispielen, die unterschiedliche Automatisierungsgrade aufweisen, weiter erläutert werden. In einer ersten Ausführung wird das System aus Time-of-Light-Kamerasystem 5, Auswerteeinheit 6 und Anzeige- und Bedieneinheit als Assistenzsystem eingesetzt. Der Fahrer des Flurförderzeugs wird bei der Bedienung des Fahrzeugs bei der Ein- und Auslagerung durch Anzeigen auf der Anzeige- und Bedieneinheit 7 unterstützt. Ein Auslagerungsvorgang kann wie folgt durchgeführt werden:
  • Der Fahrer wählt über die Taste 33 der Anzeige- und Bedieneinheit 7 die Funktion Auslagerung und positioniert das Flurförderzeug so vor dem Regal, dass die Gabelzinken 4 nur noch geringfügig seitlich bewegt werden müssen, wenn sie auf die richtige Hubhöhe gehoben worden sind. Sodann richtet er mit Hilfe der Sensorik 14 und der Anzeige 36 auf der Anzeige- und Bedieneinheit 7 die Gabelzinken 4 horizontal aus. Dann erfolgt mit Hilfe der Hubhöhenmesseinrichtung 13 und der Anzeige 39 das Anheben der horizontalen Gabelzinken 4 auf die richtige Regalebene. Jetzt können mit Hilfe einer Taste 76 die Anzeigen 34 und 35 aktiviert werden.
  • Die vordere der Regalauflagen 51 und die Palette der Ladeeinheit 54 werden von der Lichtquelle des Time-of-Flight-Kamerasystems 5 bzw. der separaten Lichtquelle 23 beleuchtet, die reflektierten Lichtimpulse werden von dem Lichtsensor 22 erfasst und an die Auswerteeinheit 6 weitergeleitet. Hier erfolgt ein Vergleich der Signale mit bekannten Mustern von Regalauflagen und darauf befindlichen Paletten und insbesondere ihrer Einfahröffnungen. Die Anzeige 37 zeigt z.B. die Farbe Rot, d.h. die Gabelzinken 4 dürfen noch nicht in Gabelzinkenlängsrichtung bewegt werden, weil sie nach Auswertung der Signale des Time-of-Flight-Kamerasystems 5 gemäß Figur 4 noch nach rechts und nach oben bewegt werden müssen. Weiterhin wird mit Hilfe der Lichtreflexe der vorderen Regalebene festgestellt, ob die Gabelzinken 4 in ihrer Längsrichtung senkrecht zur Regalauflage stehen. Dies ist gemäß Anzeige 35 in Figur 4 nicht der Fall, das Fahrzeug steht schräg zur Regalauflage und muss entsprechend durch Fahrmanöver des Bedieners ausgerichtet werden. Sobald eine ausreichende Rechtwinkeligkeit gegeben ist, zeigt die Anzeige 35 z.B. zwei parallele Linien. Die Korrektur der vertikalen Position erfolgt durch Nutzen der Heben-/Senkenfunktion des Fahrzeuges, für die Korrektur in Querrichtung dienen bekannte Seitenschubeinrichtungen, die die Gabelzinken 4 relativ zum Fahrzeug bzw. Hubgerüst oder Lastschlitten 12 in Querrichtung verschieben können. Sind auch die Gabelzinken 4 richtig vor den Einfahröffnungen der Palette der Ladeeinheit 54 positioniert, wird in Anzeige 34 nur noch die Gabelzinke 4, jedoch kein Pfeil mehr angezeigt und die Anzeige 37 zeigt im unteren Kreis die Farbe grün, d.h. die Gabelzinken 4 können jetzt in ihrer Längsrichtung durch Verschieben des Hubgerüstes und/oder Verfahren des Fahrzeuges in Gabellängsrichtung bewegt werden. Wenn die Gabelzinken 4 gänzlich in die Öffnungen der Palette der Ladeeinheit 54 eingeschoben sind, hebt der Bediener die Gabelzinken 4 und damit dann auch die Ladeeinheit 54 an und stapelt sie aus.
  • In einer weiteren vorteilhaften Ausführung des Systems wird die Abstandsinformation des Time-of-Flight-Kamerasystems 5 zu den Regalauflagen 51 genutzt. Beim Einschieben der Gabelzinken 4 in die Einfahröffnungen der Palette der Ladeeinheit 54 ermittelt das Time-of-Flight-Kamerasystem den Abstand zur vorderen Regalauflage. Bei ordnungsgemäßer Einlagerung der Ladeeinheit 54 ergibt sich daraus der erforderliche Verfahrweg der Gabelzinken 4 in ihrer Längsrichtung, damit der Gabelrücken an der Ladeeinheit zur Anlage kommt und die Ladeeinheit somit ordnungsgemäß auf den Gabelzinken 4 positioniert ist. Der Verschiebeweg der Gabelzinken 4 ergibt sich je nach Fahrzeugtyp relativ zum Grundfahrzeug. Für die Ermittlung dieser Wege sind Lösungen bekannt und werden daher nicht näher beschrieben. Dem Bediener wird mit der Anzeige 38 durch den nach links weisenden Pfeil angezeigt, dass die Gabelzinken 4 in Richtung Regal verschoben werden müssen. Haben die Gabelzinken 4 den sich aus den Ladeeinheiten -und Regalabmessungen ergebenden Verschiebeweg durchfahren, erlischt der Pfeil in Anzeige 38 und zeigt dem Bediener damit einen ausreichenden Verschiebeweg an.
  • Ein Einlagerungsvorgang kann wie folgt erfolgen: Der Fahrer wählt über die Taste 32 der Anzeige- und Bedieneinheit 7 die Funktion Einlagerung und positioniert das Flurförderzeug so vor dem Regal, dass die mit der Ladeeinheit 55 beladenen Gabelzinken 4 nur noch geringfügig seitlich bewegt werden müssen, wenn sie auf die richtige Hubhöhe gehoben worden sind. Sodann richtet er mit Hilfe der Sensorik 14 und der Anzeige 36 auf der Anzeige- und Bedieneinheit 7 die Gabelzinken 4 horizontal aus. Dann erfolgt mit Hilfe der Hubhöhenmesseinrichtung 13 und der Anzeige 39 das Anheben der horizontalen Gabelzinken 4 auf die richtige Regalebene. Jetzt können mit Hilfe einer Taste 76 die Anzeigen 34 und 35 aktiviert werden.
  • Die vordere der Regalauflagen 51 und der seitlich vom leeren Palettenlagerplatz befindliche, vertikale Regalständer 50 bzw. die benachbarte, im Regal stehende Ladeeinheit 61 nach Figur 7 werden von der Lichtquelle des Time-of-Flight-Kamerasystems 5 bzw. der separaten Lichtquelle 23 beleuchtet, die reflektierten Lichtimpulse werden von dem Lichtsensor 22 des Time-of-Flight-Kamerasystems 5 erfasst und an die Auswerteeinheit 6 weitergeleitet. Hier erfolgt ein Vergleich der Signale mit bekannten Mustern von Regalauflagen und darauf befindlichen Paletten bzw. seitlichen Regalständern. Die Anzeige 37 zeigt z.B. die Farbe rot, d.h. die Gabelzinken dürfen noch nicht in Gabelzinkenlängsrichtung bewegt werden, weil sie nach Auswertung der Signale des Time-of-Flight-Kamerasystems 5 gemäß Figur 4 noch nach rechts und nach oben bewegt werden müssen. Weiterhin wird mit Hilfe der Lichtreflexe der vorderen Regalebene festgestellt, ob die Gabelzinken 4 in ihrer Längsrichtung senkrecht zur Regalauflage stehen. Dies ist gemäß Anzeige 35 in Figur 4 nicht der Fall, das Fahrzeug steht schräg zur Regalauflage und muss entsprechend durch Fahrmanöver des Bedieners ausgerichtet werden. Sobald eine ausreichende Rechtwinkligkeit gegeben ist, zeigt die Anzeige 35 z.B. zwei parallele Linien. Sind auch die Gabelzinken 4, bezogen auf die vertikale Richtung, richtig zur Regalauflage 51 und zu den seitlichen Regalständern bzw. Nachbarladeeinheiten, bezogen auf die Querrichtung, positioniert, wird in Anzeige 34 nur noch die Gabelzinke 4, jedoch kein Pfeil mehr angezeigt und die Anzeige 37 zeigt im unteren Kreis die Farbe grün, d.h. die Ladeeinheit kann jetzt in ihrer Längsrichtung durch Verschieben des Hubgerüsts und/oder Verfahren des Fahrzeuges in Gabellängsrichtung bewegt werden. Wenn die Ladeeinheit 55 ausreichend weit in das Regal eingeschoben ist, senkt der Bediener die Gabelzinken 4 und setzt damit die Ladeeinheit 54 auf den Regalauflagen 51 ab.
  • Auch bei diesem Einlagervorgang kann die oben beschriebene Abstandsmessung genutzt werden, um dem Bediener anzuzeigen, dass die Ladeeinheit ausreichend tief eingestapelt ist. In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird bei nicht zulässigem Einfahren der Gabelzinken 4 in die Einfahröffnungen der Palette oder bei nicht zulässigem Einstapeln der Ladeeinheit, beides gekennzeichnet durch die rote Anzeige 37, automatisch verhindert, dass die Gabelzinken 4 in ihrer Längsrichtung durch Verfahren des Fahrzeuges und/oder Vorschieben des Hubgerüstes bewegt werden können.
  • Bei einer weitergehenden Automatisierung können die geschilderten Abläufe teilautomatisch erfolgen. Der Bediener positioniert dabei die leeren, bzw. mit einer Ladeeinheit beladenen Gabelzinken 4 grob vor einem Regal, hebt die Gabelzinken 4 bis zu der z.B. untersten Regalauflage an und positioniert das Fahrzeug mit Hilfe von Fahr- und Lenkmanövern und der Anzeige 35 senkrecht zur Regalebene, sobald das Time-of-Flight-Kamerasystem 5 die vordere der Regalauflagen 51 erkannt hat und die Anzeige 35 mit der Taste 76 aktiviert wurde. Die unterste Regalebene ist für die Ausrichtung besonders geeignet, weil sie vom Fahrer gut eingesehen werden kann.
  • Sodann hebt der Bediener die Gabelzinken 4 bzw. die Ladeeinheit mit Hilfe der Hubhöhensensorik 13, die über die Schnittstelleneinheit 73 und den CAN-Bus 74 mit der Fahrzeugsteuereinrichtung 75 und der Anzeige- und Bedieneinheit 7 verbunden ist, und der Anzeige 39 auf die annähernd richtige Hubhöhe und betätigt den Zustimmtaster 72. Nun erhält die Fahrzeugsteuereinrichtung 75 über das Fahrzeug-Signalnetzwerk 74 von der Anzeige- und Bedieneinheit 7 den Befehl "Gabelzinken horizontal". Mit Hilfe der Neigesensorik 14, die über die Schnittstelleneinheit 73 und den CAN-Bus 74 mit der Fahrzeugsteuereinrichtung 75 verbunden ist, werden die Gabelzinken 4 durch die Fahrzeugsteuereinrichtung 75 und die Fahrzeugfunktionen selbsttätig horizontal ausgerichtet. Sodann, immer unter vorheriger Betätigung des Zustimmtasters 72 durch den Bediener, werden von der Anzeige- und Bedieneinheit 7 Befehle wie "Heben", "Senken", "Seitenschub links" und "Seitenschub rechts" über das Signalnetzwerk 74 an die Fahrzeugsteuereinrichtung 75 gegeben, bis die Gabelzinken 4 zu den Einfahröffnungen und zur Regalauflage bzw. die Ladeeinheit zur Regalauflage und den seitlichen Begrenzungen (Regalständer oder Nachbarpalette) selbsttätig, unter Nutzung der Signale der Auswerteeinheit 6, ausgerichtet sind. Nun wird dem Bediener über die Anzeigen 37 und 38 angezeigt, wie er die Gabelzinken 4 bzw. die Ladeeinheit 55 in Gabellängsrichtung zu verfahren hat, um ein ordnungsgemäßes Aufnehmen oder Absetzen der Ladeeinheit zu gewährleisten.
  • In einer weiteren vorteilhaften Ausführung der Teilautomatisierung wird auch das Verschieben der Gabelzinken 4 bzw. der Ladeeinheit in Gabellängsrichtung durch Befehle der Anzeige- und Bedieneinheit 7 an die Fahrzeugsteuereinrichtung 75 selbsttätig bewältigt. Hierzu werden die Funktionen Hubgerüstvorschub bzw. Fahrzeugfahrt vorwärts in Verbindung mit der Vorschub- und/oder Verfahrwegmessung und der Abstandsmessung über das Time-of-Flight-Kamerasystem 5 genutzt. Diese Beschreibung gilt sinngemäß für das Ein- und Auslagern von Ladeeinheiten.
  • In einer weiteren vorteilhaften Gestaltung der Erfindung wird das Einstapeln der Ladeeinheit verhindert, wenn das Time-of-Flight-Kamerasystem 5 die Kontur einer Palette erkennt, obwohl der Lagerplatz für die vorgesehene Einlagerung (Taste E 32 betätigt) einer Ladeeinheit frei sein muss. Zusätzlich kann das Signal des Lasterkennungssensors 93, der die auf den Gabelzinken 4 befindliche Ladeeinheit erkennt, mit dem Signal des Time-of-Flight-Kamerasystems 5, dass sich bereits eine Palette auf dem vorgesehenen Lagerplatz befindet, verknüpft und so verhindert werden, dass eine Ladeeinheit auf einen belegten Lagerplatz eingestapelt wird.
  • Ebenfalls möglich ist eine vollautomatische Ein- und Auslagerung. Dabei wird zusätzlich zur erläuterten Teilautomatisierung eine drahtlose Verbindung, insbesondere eine Funkverbindung 71 zwischen der Anzeige- und Bedieneinheit 7 auf dem Fahrzeug und einem stationären Staplerleitsystem 70 verwendet.
  • Dieses Leitsystem 70 erhält von einem Lagerverwaltungssystem 77 den Befehl, eine bestimmte Ladeeinheit (z.B. 54 oder 55) an einem bestimmten Regalplatz ein- oder auszulagern. Das Leitsystem wählt ein geeignetes Flurförderzeug aus und gibt diesem den entsprechenden Ein- oder Auslagerauftrag über die drahtlose Funkverbindung 71 an die fahrzeugeigene Anzeige- und Bedieneinheit 7 weiter. Dort wird dieser Auftrag dem Bediener angezeigt. Der Bediener holt bei einem Einlagerauftrag die Ladeeinheit an der angegebenen, sogenannten Quelle ab, bzw. fährt bei einem Auslagerauftrag mit unbeladenen Gabelzinken 4 zum angegebenen Abholort. Er positioniert das Fahrzeug vor dem entsprechenden Regalfach und betätigt die Zustimmtaste 72. Sodann erzeugt die Anzeige- und Bedieneinheit 7 den Befehl "Heben" solange, bis die der Einheit 7 bekannte Höhe der ersten Regalauflage erreicht ist. Jetzt erfolgt die automatische Abfrage des Signals des Time-of-Flight-Kamerasystems 5 zur senkrechten Ausrichtung des Fahrzeuges vor dem Regal. Hierzu wird dem Fahrer die aktuelle Ist-Ausrichtung mit Hilfe der Anzeige 35 dargestellt. Nach erfolgter Ausrichtung mit Hilfe von Fahr- und Lenkmanövern durch den Bediener zeigt die Anzeige 35 z.B. zwei parallele Linien und der Bediener betätigt die Zustimmtaste 72. Nun erzeugt die Anzeige- und Bedieneinheit 7 den Befehl "Heben" solange, bis die der Einheit 7 aus dem Ein-oder Auslagerauftrag bekannte Höhe der betreffenden Regalauflage unter Nutzung der Signale der Höhenmesseinrichtung 13 erreicht ist. Nun erfolgt, wie oben zur Teilautomatisierung beschrieben, die Korrektur in Vertikal- und Querrichtung mit Hilfe der Signale des Time-of-Flight-Kamerasystems 5 und das selbsttätige Einschieben der Gabelzinken bzw. der Ladeeinheit.
  • Bei sehr breiten Ladeeinheiten 84, 85 kann unter Umständen der horizontale Öffnungswinkel des Strahlengangs eines Time-of-Flight-Kamerasystems 5 nicht ausreichen, um beim Einlagern einer Ladeeinheit 85 gleichzeitig die seitlichen Begrenzungen des vorgesehenen Lagerplatzes im Regal zu erkennen (siehe Fig. 10 unten). In diesem Fall kann in jeder Gabelzinkenspitze 4 ein Time-of-Flight-Kamerasystem 5 vorgesehen werden, wobei sich für die seitliche Ausrichtung der Ladeeinheit 85 das in der linken Gabelzinke 4 befindliche, auf die linke seitliche Begrenzung (hier der Regalständer 50) und das in der rechten Gabelzinke 4 befindliche Kamerasystem 5 auf die rechte Begrenzung (hier die linke Ecke der Ladeeinheit 84) fokussiert. Gleiches gilt für den Fall der Auslagerung (Fig. 10 oben). Hier fokussiert sich das jeweilige Time-of-Flight-Kamerasystem 5 auf die rechte bzw. linke Einfahröffnung der Palette einer auszulagernden Ladeeinheit 84. Für die Ausrichtung in der Höhe nutzen die Time-of-Flight-Kamerasysteme 5 in beiden Fällen die Oberkante der vorderen der beiden Regalauflagen 51.
  • Alternativ kann gemäß Fig. 11 jeder Lagerplatz im Regal mit einer von dem Time-of-Flight-Kamerasystem 5 erkennbaren, dreidimensionalen, z.B. quaderförmigen Markierung 80 versehen werden, die, da die dem Flurförderzeug zugewandte Seite des Quaders einen kleineren Abstand zum Time-of-Flight-Kamerasystem 5 hat als die Vorderseite der vorderen der beiden Regalauflagen 51, zur seitlichen Positionierung in Querrichtung dient. In dieser Ausführung kann, wie in den Figuren 3 und 11 dargestellt, wieder mit einem einzelnen Lichtsensor 22 und einer separaten Lichtquelle 23 gearbeitet werden.
  • In einer weiteren vorteilhaften Ausführung kann das Flurförderzeug zusätzlich mit einem der bekannten Ortungssystem 92 ausgerüstet werden, sodass der Bediener bei der Suche nach dem vorgesehenen Ein- oder Auslagerungsplatz unterstützt wird. Dem Bediener wird dabei z.B. durch entsprechende Anzeigen, wie sie aus dem Bereich der PKW-Navigationssysteme bekannt sind, auf dem Bildschirm der Anzeige- und Bedieneinheit 7 mitgeteilt, in welche Richtung er das Flurförderzeug zu lenken hat, um den Ein- oder Auslagerplatz, der der Anzeige- und Bedieneinheit 7 vom Lagerverwaltungssystem 70 über die drahtlose Kommunikation 71 mitgeteilt wird, zu erreichen.
  • Durch Einbindung einer Einrichtung zur Identifikation einer auf den Gabelzinken 4 befindlichen Ladeeinheit 55 bzw. 85 kann eine weitere vorteilhafte Ausführung erreicht werden. Hierzu ist z.B. ein Barcode-Scanner 90 derart innerhalb des Lastschlittens 12 zu integrieren, dass z.B. Barcode-Aufkleber 91, die im Erfassungsbereich der Barcode-Leser auf der Ladeeinheit 54, 55, 84, 85 angebracht sind, beim Einfahren der Gabelzinken 4 in die Ladeeinheit 54, 55, 84, 85 automatisch gelesen werden. Das Leseergebnis wird von der Identifikationseinheit 90 an die Anzeige- und Bedieneinheit 7 gegeben, wo die identifizierte Ladeeinheit mit dem jeweiligen Ort, wo sich das Flurförderzeug und damit die Ladeeinheit befindet, verknüpft wird.
  • Mit Hilfe eines zusätzlichen Lasterkennungs-Sensors 93, der erkennt, ob sich eine Ladeeinheit auf den Gabelzinken befindet oder nicht, kann jetzt, ggfs. unter Zuhilfenahme der Kenntnis der jeweiligen aktuellen Fahrzeugfunktionen, z.B. Heben, Senken, Vorwärtsfahrt, Rückwärtsfahrt usw., durch logische Verknüpfung der entsprechenden Signale in der Anzeige- und Bedieneinheit 7 gefolgert werden, dass z.B. eine bestimmte, identifizierte Ladeeinheit an einem bestimmten Ort in einer bestimmten Höhe aufgenommen oder abgesetzt, also ein- oder ausgelagert wurde. Diese Information kann dann von der Anzeige- und Bedieneinheit 7 über die drahtlose Kommunikation 71 und das Leitsystem 70 dem Lagerverwaltungssystem 77 mitgeteilt und dort z.B. zur Aktualisierung und Verifikation der im System 77 gespeicherten Lagerbelegung dienen.
  • Weiterhin ist es mit der beschriebenen Erfindung im Kombination mit einem bekannten Betriebsdatenerfassungssystem für Flurförderzeuge möglich, mögliche Fehlbedienungen bei Ein- und Auslagervorgängen dem jeweiligen Bediener, der sich in diesem System vor Bedienung identifizieren muss, zuzuordnen und so mindestens einen "erzieherischen Effekt" zu erreichen.
  • Zusammenfassend können mit der Erfindung insbesondere die folgenden Vorteile erreicht werden:
    • Erhöhung der Produktivität des Staplereinsatzes durch Verkürzung der Zeiten für die Ein- und Auslagerung von Ladeeinheiten, insbesondere bei größerer Hubhöhe,
    • Unterstützung von insbesondere ungeübten Bedienern,
    • Verbesserte Ergonomie, da das Verfolgen des Ein- und Auslagervorgangs in größeren Höhen eine sehr unbequeme oder ungesunde Körperhaltung des Bedieners voraussetzt,
    • Verbesserte Sicherheit für Personen, Lagereinrichtung und Ladeeinheiten,
    • Möglichkeit der automatischen Bildauswertung mit Hilfe des Time-of-Flight-Kamerasystems zur Nutzung für teilautomatisierte Ein- und Ausstapelvorgänge,
    • Unterschiedliche Ausbaustufen von Assistenzsystemen über Teilautomatisierung bis Vollautomatisierung,
    • Vermeidung von Fehlbedienungen möglich, inkl. Zuordnung zu einzelnen Bedienern,
    • Integration einer automatischen Ladeeinheiten-Identifikation möglich,
    • Integration eines Ortungssystems möglich,
    • Ausbau bis zu einem Ladeeinheiten-Verfolgungssystem inkl. der Möglichkeit zur Verifizierung der Lagerbestandslisten,
    • Flexible Reaktion auf nicht ordnungsgemäß eingestapelte Ladeeinheiten oder sich ändernde Lagerraster, usw.

Claims (12)

  1. Flurförderzeug mit einem Hubgerüst (3), an dem ein Lasttragmittel mit zwei Gabelzinken (4) höhenverstellbar geführt ist, einem an dem Lasttragmittel angeordneten Sensor zur Erfassung einer räumlichen Umgebung und einer Auswerteeinheit (6), die dazu ausgebildet ist, zur Unterstützung eines Einlagerungsvorgangs aus den von dem Sensor erfassten Daten eine Lagerungsposition zu ermitteln, dadurch gekennzeichnet, dass der Sensor ein Time-of-Flight-Kamerasystem (5) mit einer Lichtquelle (23), einem Lichtsensor (22) und einer Lichteintrittsöffnung aufweist, wobei mindestens die Lichteintrittsöffnung im Bereich einer Spitze einer der Gabelzinken (4) angeordnet ist.
  2. Flurförderzeug nach Anspruch 1, dadurch gekennzeichnet, dass der Lichtsensor (22) und/oder die Lichtquelle (23) und/oder die Lichteintrittsöffnung in einer Ausnehmung einer Gabelzinkenspitze angeordnet ist.
  3. Flurförderzeug nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass im Bereich jeder der beiden Spitzen der Gabelzinken (4) jeweils ein Lichtsensor (22) und/oder eine Lichtquelle (23) und/oder eine Lichteintrittsöffnung eines Time-of-Flight-Kamerasystems (5) angeordnet ist, deren Blickfelder schräg nach vom außen gerichtet sind.
  4. Flurförderzeug nach Anspruch einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Flurförderzeug eine Anzeigeeinheit (7) aufweist, die mit der Auswerteeinheit (6) verbunden ist und zur Anzeige einer oder mehrerer der folgenden Anweisungen an eine Bedienperson in Abhängigkeit von einer aktuellen Position des Lasttragmittels in Relation zu einer erfassten Lagerungsposition ausgebildet ist: Lasttragmittel anheben oder absenken, Lasttragmittel nach rechts oder links bewegen, Lastragmittel um eine vertikale Achse nach links oder rechts drehen, Lasttragmittel gegenüber der Horizontalen nach oben oder unten neigen, Lasttragmittel in Längsrichtung nach vom oder hinten bewegen.
  5. Flurförderzeug nach Anspruch einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Auswerteeinheit (6) räumlich in das Time-of-Flight-Kamerasystem (5) integriert ist.
  6. Verfahren zum Betreiben eines Flurförderzeugs, das ein Hubgerüst (3), an dem ein Lasttragmittel mit zwei Gabelzinken (4) höhenverstellbar geführt ist, einen an dem Lasttragmittel angeordneten Sensor zur Erfassung einer räumlichen Umgebung und eine Auswerteeinheit (6) aufweist, die dazu ausgebildet ist, zur Unterstützung eines Einlagerungsvorgangs aus den von dem Sensor erfassten Daten eine Lagerungsposition zu ermitteln, wobei der Sensor ein Time-of-Flight-Kamerasystem (5) mit einer Lichtquelle (23), einem Lichtsensor (22) und einer Lichteintrittsöffnung aufweist und mindestens die Lichteintrittsöffnung im Bereich einer Spitze einer der Gabelzinken (4) angeordnet ist, mit den folgenden Schritten:
    • Erfassen einer räumlichen Umgebung des Flurförderzeugs mit dem Time-of Flight-Kamerasystem (5),
    • Auswerten der Signale des Time-of-Flight-Kamerasystems (5) und Ermitteln einer Lagerungs- oder Einfahrposition,
    • Bewegen des Lasttragmittels zu der ermittelten Lagerungs- oder Einfahrposition hin, und
    • Aufnehmen oder Absetzen einer Last.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Ermitteln der Lagerungs- oder Einfahrposition mit Hilfe von Methoden der Mustererkennung erfolgt, wobei vordefinierte geometrische Merkmale der Lagerungspositionen oder der aufzunehmenden Lasten in den von dem Time-of-Flight-Kamerasystem (5) zur Verfügung gestellten Daten erkannt werden.
  8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass einer Bedienperson in Abhängigkeit von einer aktuellen Position des Lasttragmittels in Relation zu der erfassten Lagerungs- oder Einfahrposition eine oder mehrere der folgenden Anweisungen angezeigt werden: Lasttragmittel anheben oder absenken, Lasttragmittel nach rechts oder links bewegen, Lastragmittel um eine vertikale Achse nach links oder rechts drehen, Lasttragmittel gegenüber der Horizontalen nach oben oder unten neigen, Lasttragmittel in Längsrichtung nach vom oder hinten bewegen.
  9. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass das Bewegen des Lasttragmittels teilautomatisch erfolgt, wobei eine Bedienperson einzelnen Bewegungsschritten zustimmt und der jeweilige Bewegungsschritt dann ohne weitere Benutzerinteraktion automatisch ausgeführt wird.
  10. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass das Bewegen des Lasttragmittels vollautomatisch erfolgt, wobei nach einer Grobpositionierung des Flurförderzeugs und/oder des Lasttragmittels durch eine Bedienperson das Bewegen des Lasttragmittels zu der ermittelten Lagerungs- oder Einfahrposition hin und das Aufnehmen oder Absetzen der Last durch Zustimmung der Bedienperson ohne weitere Benutzerinteraktion erfolgt.
  11. Verfahren nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass automatisch auf der Grundlage einer mit einem Lastsensor ermittelten, von dem Lasttragmittel aufgenommen Last zwischen einem Ein- und einem Auslagerungsvorgang unterschieden wird, wobei insbesondere das Einlagern einer Last automatisch verhindert wird oder eine Warnung angezeigt wird, wenn auf dem betreffenden Lagerplatz das Vorhandensein einer Last erkannt wird.
  12. Verfahren nach einem der Ansprüche 6 bis 11, dadurch gekennzeichnet, dass an einem Regal eine Markierung (80) mit einer vorgegebenen geometrischen Form angebracht ist, die von der Auswerteeinheit automatisch erkannt und zur Ermittlung einer Lagerungsposition herangezogen wird.
EP11010035.1A 2010-12-23 2011-12-21 Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs Active EP2468678B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201010055774 DE102010055774A1 (de) 2010-12-23 2010-12-23 Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs

Publications (2)

Publication Number Publication Date
EP2468678A1 true EP2468678A1 (de) 2012-06-27
EP2468678B1 EP2468678B1 (de) 2015-03-11

Family

ID=45470177

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11010035.1A Active EP2468678B1 (de) 2010-12-23 2011-12-21 Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs

Country Status (2)

Country Link
EP (1) EP2468678B1 (de)
DE (1) DE102010055774A1 (de)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140034424A1 (en) * 2012-08-04 2014-02-06 Raymond S. Zuckerman Lift with lifting mast collision control apparatus
US8718372B2 (en) 2011-10-19 2014-05-06 Crown Equipment Corporation Identifying and evaluating possible horizontal and vertical lines intersecting potential pallet features
EP2767925A2 (de) 2013-02-15 2014-08-20 Jungheinrich Aktiengesellschaft Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
EP2993155A1 (de) * 2014-09-08 2016-03-09 STILL GmbH Flurförderzeug mit assistenzfunktion
EP3000772A1 (de) * 2014-09-25 2016-03-30 BT Products AB Gabelstapler und Verfahren zum Betrieb eines Gabelstaplers
EP3000771A1 (de) * 2014-09-25 2016-03-30 BT Products AB Gabelstapler
EP3034452A1 (de) 2014-12-15 2016-06-22 STILL GmbH Gabelschuh, modul sowie zugehöriges system für ein flurförderzeug
DE102015118634A1 (de) 2014-12-15 2016-06-30 Still Gmbh Gabelschuh, Modul sowie zugehöriges System für ein Flurförderzeug
CN105967104A (zh) * 2016-06-15 2016-09-28 镇江市中能机械设备有限公司 一种高效叉车
EP3162755A1 (de) 2015-10-30 2017-05-03 STILL GmbH Lastaufnahmevorrichtung eines flurförderzeugs
DE102015119988A1 (de) 2015-10-30 2017-05-04 Still Gmbh Lastaufnahmevorrichtung eines Flurförderzeugs
DE102016102652A1 (de) 2016-02-16 2017-08-17 Jungheinrich Aktiengesellschaft Flurförderzeug mit einem Leuchtmittel am Lasttragmittel
DE102016120386A1 (de) * 2016-10-26 2018-04-26 Jungheinrich Aktiengesellschaft Verfahren zum Erkennen von Objekten in einem Lager und Flurförderzeug mit einer Einrichtung zum Erkennen von Objekten in einem Lager
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
CN108147321A (zh) * 2016-12-06 2018-06-12 永恒力股份公司 用于使搬运车在货仓中自动定向的方法以及包括搬运车和货仓的系统
CN108357846A (zh) * 2017-01-16 2018-08-03 浙江国自机器人技术有限公司 一种采用光电传感器检测货物的方法
EP3434640A1 (de) * 2017-07-24 2019-01-30 STILL GmbH Flurförderzeug
EP3514103A1 (de) * 2017-07-24 2019-07-24 STILL GmbH Flurförderzeug
EP3567001A1 (de) * 2018-05-07 2019-11-13 Jungheinrich Aktiengesellschaft Lastgabel, flurförderzeug und verfahren zum betreiben eines flurförderzeugs und eines linienlasers
EP3617130A1 (de) * 2018-08-27 2020-03-04 Claas Material Handling GmbH Vorrichtung zum laden mit teleskopierbarer ladeeinrichtung
US10640347B2 (en) 2017-12-22 2020-05-05 X Development Llc Pallet tracking during engagement and disengagement
WO2020095602A1 (ja) * 2018-11-05 2020-05-14 株式会社豊田自動織機 フォークリフトの遠隔操作システム
DE102019113606A1 (de) * 2019-05-22 2020-11-26 Jungheinrich Ag Flurförderzeug mit Kamerasystem
EP2886507B1 (de) 2013-12-19 2021-02-24 The Raymond Corporation Integrierte Berührungsbildschirmanzeige mit Mehrmodusfunktionalität
WO2021254704A1 (de) 2020-06-17 2021-12-23 Zf Friedrichshafen Ag Gabelzinkensensoren zur erkennung von querverkehr
EP3950566A4 (de) * 2019-04-02 2023-01-04 Beijing Geekplus Technology Co., Ltd. Roboter mit hoher position, verfahren zur kalibrierung der rückkehr eines speicherbehälters und speichermedium
US11899871B2 (en) 2015-07-17 2024-02-13 Crown Equipment Corporation Processing device having a graphical user interface for industrial vehicle

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013112016A1 (de) 2013-10-31 2015-04-30 Jungheinrich Aktiengesellschaft Flurförderzeug mit einem Hubhöhenassistenzsystem
EP3020868B1 (de) * 2014-11-14 2020-11-04 Caterpillar Inc. Maschine mit einem Maschinenkörper und einem hinsichtlich des Körpers beweglichen Werkzeug mit einem System zur Unterstützung eines Benutzers der Maschine
DE102016119402A1 (de) 2016-10-12 2018-04-12 Jungheinrich Aktiengesellschaft Flurförderzeug mit einer 3D-Kamera
DE102017124832A1 (de) * 2017-10-24 2019-04-25 Jungheinrich Ag Betrieb eines Flurförderzeugs
DE102017128623A1 (de) 2017-12-01 2019-06-06 Jungheinrich Aktiengesellschaft Verfahren zur Kopplung einer zweiten Fernbedieneinheit mit einer ersten Fernbedieneinheit
US11591197B2 (en) 2019-04-05 2023-02-28 The Raymond Corporation Load handling module for a material handling vehicle
DE102019217993A1 (de) * 2019-11-21 2021-05-27 Zf Friedrichshafen Ag Flurförderzeug mit Lichtsensoren
CN114929538A (zh) 2020-02-21 2022-08-19 克朗设备公司 基于车辆位置信息修改车辆参数
CN111717581B (zh) * 2020-05-08 2021-08-31 广州大学 一种子母装卸车系统
CA3187675A1 (en) * 2020-09-30 2022-04-07 Chun Zhang Vehicle object-engagement scanning system and method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030044047A1 (en) * 2001-08-27 2003-03-06 Kelly Alonzo J. System and method for object localization
DE202006003211U1 (de) * 2006-02-24 2006-06-14 Komsa Kommunikation Sachsen Ag Lagersystem mit Platzkennzeichnung
DE102004027446B4 (de) 2004-06-04 2007-08-23 Jungheinrich Aktiengesellschaft Vorrichtung zur Unterstützung des Ein- und Ausstapelns bei einem Stapler
DE102008027695A1 (de) 2008-04-20 2009-10-29 Still Gmbh Verfahren für die Lagerpositionsansteuerung bei Flurförderzeugen
DE102008020170A1 (de) * 2008-04-22 2009-11-05 Linde Material Handling Gmbh Verfahren und Vorrichtung zur berührungslosen Erfassung der Position eines höhenbeweglichen Lastaufnahmemittels eines Flurförderzeugs
US20100091094A1 (en) 2008-10-14 2010-04-15 Marek Sekowski Mechanism for Directing a Three-Dimensional Camera System
EP2181944A1 (de) * 2008-11-04 2010-05-05 Robert Bosch GmbH Verfahren und Vorrichtung zum Beladen eines Lagerraums mit einem Transportfahrzeug

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3672470A (en) * 1969-11-26 1972-06-27 Eaton Yale & Towne Photoelectric control for load handling device
US5011358A (en) * 1988-10-25 1991-04-30 Andersen Eric T Height indicator for a fork lift truck
US5208753A (en) * 1991-03-28 1993-05-04 Acuff Dallas W Forklift alignment system
DE29708980U1 (de) * 1997-05-22 1997-07-17 Gräf, Ferdinand, 65589 Hadamar Überwachungsvorrichtung für Flurförderfahrzeuge
DE19910933B4 (de) * 1999-03-12 2004-07-08 Leuze Electronic Gmbh + Co Kg Vorrichtung zur Positionierung eines Fahrzeugs
WO2003008325A1 (fr) * 2001-07-17 2003-01-30 Kabushiki Kaisha Toyota Jidoshokki Vehicule industriel equipe d'un controleur de travaux de manipulation de materiaux
DE102004041938A1 (de) * 2004-08-30 2006-03-09 Liebherr-Werk Nenzing Gmbh, Nenzing Stapelgerät, insbesondere Reachstacker, und Verfahren zum Greifen und Stapeln von Containern
DE102005000732A1 (de) * 2005-01-04 2006-07-13 Siemens Ag Funkbasiertes Ortungssystem mit synthetischer Apertur
FI124747B (fi) * 2006-04-25 2015-01-15 Jyri Vaherto Menetelmä ja järjestelmä trukin käyttäjän avustamiseksi
US7499155B2 (en) * 2006-08-23 2009-03-03 Bryan Cappelletti Local positioning navigation system
FI20075376A0 (fi) * 2007-05-25 2007-05-25 Jyri Vaherto Järjestelmä trukin haarukan paikoittamiseksi esteisiin verrattuna, menetelmä trukin haarukan sijainnin paikoittamiseksi esteisiin verrattuna ja jatkopiikki sijoitettavaksi trukin haarukoiden piikkienyhteyteen
DE102009004742A1 (de) * 2009-01-15 2010-07-22 Jungheinrich Ag Gabelzinke für eine Lastgabel eines Flurförderzeugs

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030044047A1 (en) * 2001-08-27 2003-03-06 Kelly Alonzo J. System and method for object localization
DE102004027446B4 (de) 2004-06-04 2007-08-23 Jungheinrich Aktiengesellschaft Vorrichtung zur Unterstützung des Ein- und Ausstapelns bei einem Stapler
DE202006003211U1 (de) * 2006-02-24 2006-06-14 Komsa Kommunikation Sachsen Ag Lagersystem mit Platzkennzeichnung
DE102008027695A1 (de) 2008-04-20 2009-10-29 Still Gmbh Verfahren für die Lagerpositionsansteuerung bei Flurförderzeugen
DE102008020170A1 (de) * 2008-04-22 2009-11-05 Linde Material Handling Gmbh Verfahren und Vorrichtung zur berührungslosen Erfassung der Position eines höhenbeweglichen Lastaufnahmemittels eines Flurförderzeugs
US20100091094A1 (en) 2008-10-14 2010-04-15 Marek Sekowski Mechanism for Directing a Three-Dimensional Camera System
EP2181944A1 (de) * 2008-11-04 2010-05-05 Robert Bosch GmbH Verfahren und Vorrichtung zum Beladen eines Lagerraums mit einem Transportfahrzeug

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718372B2 (en) 2011-10-19 2014-05-06 Crown Equipment Corporation Identifying and evaluating possible horizontal and vertical lines intersecting potential pallet features
US8849007B2 (en) 2011-10-19 2014-09-30 Crown Equipment Corporation Identifying, evaluating and selecting possible pallet board lines in an image scene
US8885948B2 (en) 2011-10-19 2014-11-11 Crown Equipment Corporation Identifying and evaluating potential center stringers of a pallet in an image scene
US8934672B2 (en) 2011-10-19 2015-01-13 Crown Equipment Corporation Evaluating features in an image possibly corresponding to an intersection of a pallet stringer and a pallet board
US8938126B2 (en) 2011-10-19 2015-01-20 Crown Equipment Corporation Selecting objects within a vertical range of one another corresponding to pallets in an image scene
US8977032B2 (en) 2011-10-19 2015-03-10 Crown Equipment Corporation Identifying and evaluating multiple rectangles that may correspond to a pallet in an image scene
US8995743B2 (en) 2011-10-19 2015-03-31 Crown Equipment Corporation Identifying and locating possible lines corresponding to pallet structure in an image
US9025886B2 (en) 2011-10-19 2015-05-05 Crown Equipment Corporation Identifying and selecting objects that may correspond to pallets in an image scene
US9025827B2 (en) 2011-10-19 2015-05-05 Crown Equipment Corporation Controlling truck forks based on identifying and tracking multiple objects in an image scene
US9082195B2 (en) 2011-10-19 2015-07-14 Crown Equipment Corporation Generating a composite score for a possible pallet in an image scene
US9087384B2 (en) 2011-10-19 2015-07-21 Crown Equipment Corporation Identifying, matching and tracking multiple objects in a sequence of images
US9090432B2 (en) * 2012-08-04 2015-07-28 Serverlift Corporation Lift with lifting mast collision control apparatus
US9415985B1 (en) 2012-08-04 2016-08-16 Serverlift Corporation Method for lifting with mast collision control apparatus
US20140034424A1 (en) * 2012-08-04 2014-02-06 Raymond S. Zuckerman Lift with lifting mast collision control apparatus
US9589353B2 (en) 2013-02-15 2017-03-07 Jungheinrich Aktiengesellschaft Method for detecting objects in a warehouse and/or for spatial orientation in a warehouse
EP2767925A2 (de) 2013-02-15 2014-08-20 Jungheinrich Aktiengesellschaft Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
DE102013002554A1 (de) 2013-02-15 2014-08-21 Jungheinrich Aktiengesellschaft Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
US10198805B2 (en) 2013-02-15 2019-02-05 Jungheinrich Aktiengesellschaft Method for detecting objects in a warehouse and/or for spatial orientation in a warehouse
EP2767925A3 (de) * 2013-02-15 2017-03-29 Jungheinrich Aktiengesellschaft Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
EP2886507B1 (de) 2013-12-19 2021-02-24 The Raymond Corporation Integrierte Berührungsbildschirmanzeige mit Mehrmodusfunktionalität
EP2993155A1 (de) * 2014-09-08 2016-03-09 STILL GmbH Flurförderzeug mit assistenzfunktion
EP3000771A1 (de) * 2014-09-25 2016-03-30 BT Products AB Gabelstapler
US9828223B2 (en) 2014-09-25 2017-11-28 Bt Products Ab Fork-lift truck and method for operating a fork-lift truck
EP3000772A1 (de) * 2014-09-25 2016-03-30 BT Products AB Gabelstapler und Verfahren zum Betrieb eines Gabelstaplers
DE102015118634A1 (de) 2014-12-15 2016-06-30 Still Gmbh Gabelschuh, Modul sowie zugehöriges System für ein Flurförderzeug
EP3034452A1 (de) 2014-12-15 2016-06-22 STILL GmbH Gabelschuh, modul sowie zugehöriges system für ein flurförderzeug
US11899871B2 (en) 2015-07-17 2024-02-13 Crown Equipment Corporation Processing device having a graphical user interface for industrial vehicle
EP3162755A1 (de) 2015-10-30 2017-05-03 STILL GmbH Lastaufnahmevorrichtung eines flurförderzeugs
DE102015119988A1 (de) 2015-10-30 2017-05-04 Still Gmbh Lastaufnahmevorrichtung eines Flurförderzeugs
DE102016102652A1 (de) 2016-02-16 2017-08-17 Jungheinrich Aktiengesellschaft Flurförderzeug mit einem Leuchtmittel am Lasttragmittel
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
CN105967104A (zh) * 2016-06-15 2016-09-28 镇江市中能机械设备有限公司 一种高效叉车
US10430969B2 (en) 2016-10-26 2019-10-01 Jungheinrich Aktiengesellschaft Method for recognizing objects in a warehouse, and industrial truck with an apparatus for recognizing objects in a warehouse
DE102016120386A1 (de) * 2016-10-26 2018-04-26 Jungheinrich Aktiengesellschaft Verfahren zum Erkennen von Objekten in einem Lager und Flurförderzeug mit einer Einrichtung zum Erkennen von Objekten in einem Lager
CN108147321A (zh) * 2016-12-06 2018-06-12 永恒力股份公司 用于使搬运车在货仓中自动定向的方法以及包括搬运车和货仓的系统
CN108147321B (zh) * 2016-12-06 2021-04-06 永恒力股份公司 使搬运车自动定向的方法以及包括搬运车和货仓的系统
CN108357846A (zh) * 2017-01-16 2018-08-03 浙江国自机器人技术有限公司 一种采用光电传感器检测货物的方法
EP3434640A1 (de) * 2017-07-24 2019-01-30 STILL GmbH Flurförderzeug
EP3514103A1 (de) * 2017-07-24 2019-07-24 STILL GmbH Flurförderzeug
US10640347B2 (en) 2017-12-22 2020-05-05 X Development Llc Pallet tracking during engagement and disengagement
US11180353B2 (en) 2017-12-22 2021-11-23 Boston Dynamics, Inc. Pallet tracking during engagement and disengagement
EP3567001A1 (de) * 2018-05-07 2019-11-13 Jungheinrich Aktiengesellschaft Lastgabel, flurförderzeug und verfahren zum betreiben eines flurförderzeugs und eines linienlasers
EP3617130A1 (de) * 2018-08-27 2020-03-04 Claas Material Handling GmbH Vorrichtung zum laden mit teleskopierbarer ladeeinrichtung
WO2020095602A1 (ja) * 2018-11-05 2020-05-14 株式会社豊田自動織機 フォークリフトの遠隔操作システム
EP3950566A4 (de) * 2019-04-02 2023-01-04 Beijing Geekplus Technology Co., Ltd. Roboter mit hoher position, verfahren zur kalibrierung der rückkehr eines speicherbehälters und speichermedium
US11958687B2 (en) 2019-04-02 2024-04-16 Beijing Geekplus Technology Co. Ltd High-position robot, method for calibrating return of storage container, and storage medium
DE102019113606A1 (de) * 2019-05-22 2020-11-26 Jungheinrich Ag Flurförderzeug mit Kamerasystem
WO2021254704A1 (de) 2020-06-17 2021-12-23 Zf Friedrichshafen Ag Gabelzinkensensoren zur erkennung von querverkehr
DE102020207479A1 (de) 2020-06-17 2021-12-23 Zf Friedrichshafen Ag Gabelzinkensensoren zur Erkennung von Querverkehr
US20230115109A1 (en) * 2020-06-17 2023-04-13 Zf Friedrichshafen Ag Fork arm sensors for detecting cross-traffic

Also Published As

Publication number Publication date
DE102010055774A1 (de) 2012-06-28
EP2468678B1 (de) 2015-03-11

Similar Documents

Publication Publication Date Title
EP2468678B1 (de) Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs
EP3323770B1 (de) Verfahren zur bereitstellung der positionen von lagerplätzen in einem lager und flurförderzeug
EP2653429B1 (de) Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
EP3875990B1 (de) System zur inspektion eines lagers
EP2653430B1 (de) Steuerverfahren für Lastabsetzung eines Flurförderzeugs sowie Flurförderzeug
EP2987760B1 (de) Flurförderzeug
EP3529193B1 (de) Verfahren zum automatischen positionieren eines portalhubstaplers für container und portalhubstapler dafür
EP1764340B1 (de) Flurförderzeug mit einem im Bereich eines Hubgerüsts angeordneten Umgebungssensor
DE102012106990A1 (de) Fahrerassistenzvorrichtung für ein Flurförderzeug sowie Flurförderzeug
DE102007029887A1 (de) Flurförderzeug, Lagersystem und Verfahren zur Zielfindung in Lagersystemen
DE102017124850A1 (de) Flurförderzeug mit einer Gabel und einer Gabelzinkenkamera sowie Verfahren zum Betreiben eines solchen Flurförderzeugs
WO2020083689A1 (de) Flurförderfahrzeug mit einer lastgabel, verfahren zum betreiben, steuergerät, computer-programm und computer-programm-produkt
WO2017202832A1 (de) Übergabe mit konturenkontrolle
EP3606860A1 (de) Verfahren zum positionsgenauen aufnehmen und abstellen eines containers durch einen portalhubstapler und portalhubstapler dafür
EP3034452B1 (de) System aus gabelschuh und zumindest zwei modulen, die jeweils ein abweichendes einbaugerät enthalten
DE202019102253U1 (de) Vorrichtung zum Verifizieren von Lagergut-Positionen in intralogistischen Lagersystemen
EP0959038B1 (de) Videovorrichtung für ein Flurförderzeug
DE102008008922A1 (de) Flurförderzeug mit Umgebungssensor
EP3020677B1 (de) Verfahren zur hubhöhenvorwahl bei einem flurförderzeug
DE102019113606A1 (de) Flurförderzeug mit Kamerasystem
DE102017220359A1 (de) Flurförderzeug mit an heb- und senkbaren Lastaufnahmemitteln angeordneten Kameras
DE102013112016A1 (de) Flurförderzeug mit einem Hubhöhenassistenzsystem
EP3434640B1 (de) Flurförderzeug
DE102023106517A1 (de) Verfahren zum automatischen Steuern eines Flurförderzeugs und Flurförderzeug
EP4276050A1 (de) Schnittstelleneinheit zur aufnahme einer palette auf einem unterfahr-shuttle

Legal Events

Date Code Title Description
AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120906

17Q First examination report despatched

Effective date: 20121016

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20141223

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 715213

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150415

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502011006184

Country of ref document: DE

Effective date: 20150423

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20150311

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20150311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150611

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150612

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150713

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150711

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502011006184

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

26N No opposition filed

Effective date: 20151214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151221

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151221

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20111221

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 715213

Country of ref document: AT

Kind code of ref document: T

Effective date: 20161221

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161221

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231220

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20231219

Year of fee payment: 13

Ref country code: FR

Payment date: 20231219

Year of fee payment: 13

Ref country code: DE

Payment date: 20231214

Year of fee payment: 13