EP2910512B1 - Method for calibrating laser scanners to a container transportation crane - Google Patents
Method for calibrating laser scanners to a container transportation crane Download PDFInfo
- Publication number
- EP2910512B1 EP2910512B1 EP14156183.7A EP14156183A EP2910512B1 EP 2910512 B1 EP2910512 B1 EP 2910512B1 EP 14156183 A EP14156183 A EP 14156183A EP 2910512 B1 EP2910512 B1 EP 2910512B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- crane
- calibration
- laser scanner
- support structure
- offsets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries
- B66C19/007—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries for containers
Definitions
- the invention relates to a method for calibrating laser scanners according to the preamble of patent claim 1.
- WO 2005/088650 A discloses a method according to the preamble of claim 1.
- the invention is based on the object to provide a method for calibrating laser scanners on a container handling crane, which requires as little manual surveying and the crane operation altogether even less disturbing, especially if an already installed and calibrated laser scanner repaired or replaced with a new one must become.
- It calibrates at least one 3D laser scanner mounted on a container handling crane frame and adapted to scan containers in the working area of the crane, the calibration comprising at least one scan of a calibration body having the characteristics of an ISO container of a hoist of the crane to be taken and raised.
- hoist refers to the part of the crane that is capable of reproducing positions on a container.
- the hoist is a so-called spreader, which snaps into the corner fittings (twistlocks) of a container.
- the hoist may also be something else, e.g. a fork or gripping device with spikes or magnets.
- the calibration body is provided with a plurality of dedicated calibration marks at predetermined intervals and positions, the calibration marks being adapted to be recognized and located as such in a scan of the at least one laser scanner, preferably as diffusely reflecting objects of exactly known dimensions.
- the calibration body is preferably a suitably modified ISO container, but it may be any other object, e.g. a large plate as long as it can be grabbed and lifted by a hoist of the crane like an ISO container.
- the translational offsets of the at least one laser scanner with respect to the supporting structure are determined, if they are not already known.
- the term structure is here the part of the crane referred to, which carries the hoist.
- this part is a trolley.
- the part carrying the hoist can also be another crane component, eg a boom.
- the crane is controlled to grasp the calibration body and bring it successively in several different predetermined heights above the ground and each stop there.
- a scan of the calibration body is performed with the at least one laser scanner, and using the scan results and the translational offsets, the rotational offsets of the at least one laser scanner with respect to the supporting structure are determined.
- the translational and rotational offsets are in particular the length and angle offsets of a reference coordinate system of the at least one laser scanner to a reference coordinate system of the structure, wherein the reference coordinate systems compared to each other are preferably Cartesian.
- the translational offsets of the at least one laser scanner with respect to the supporting structure must be determined tachymetrically.
- this work need not be repeated if the laser scanner is repaired or replaced and then recalibrated because it can be designed to ensure that the repaired or new laser scanner is mounted in exactly the same position as before and thus has the same translational offsets.
- the rotational offsets of the at least one laser scanner with respect to the structure are determined and stored for each predetermined height. While the various calibration scans are being performed, the structure should be stationary.
- the predetermined heights are a height just above the ground and a plurality of heights, each corresponding to a stack level of containers in the working area of the crane. This means that the calibration takes place at the same heights above the ground, which are also activated in the later envelope operation when containers are picked up or set down. This is particularly advantageous for cranes which raise and lower the hoist for structural reasons along a slightly curved path when the structure is stationary.
- the hoist of the crane is provided with a plurality of calibration marks, in particular with two spaced apart calibration marks of the same kind as on the calibration, wherein the calibration of the at least one laser scanner is also using the calibration marks on the hoist.
- an additional calibration scan is performed, in which the calibration body is on the ground before it is picked up by the crane or after it has been set down by the crane on the ground.
- the crane can also be any other container handling crane, such as an RTG crane (Rubber Tyred Gantry), a bridge crane, a half gantry crane, a gantry crane, a gantry crane or a forklift.
- a container bridge In a container terminal, a container bridge, in particular a so-called STS crane, loads containers from the ship ashore, either directly onto trucks or railways, or transfers the containers to transport vehicles, which are usually designed as straddle carriers.
- containers can be transhipped or loaded onto lorries or railways using stacking or gantry cranes, in particular driverless stacking bridges (ASC).
- ASC driverless stacking bridges
- FIG. 1 shows an ASC crane 10 with a horizontal crane bridge 2, which is supported by supports 4, 6, run on rails not shown on the bottom 8.
- a trolley 12 to which by means of ropes 14 a hoist 16, a so-called spreader, for ISO container 18 depends to container 18 in the work area of the crane 10 on, or repackage.
- the containers 18 can be loaded by or on trucks or railways that can pass under the crane 10.
- the crane 10 may also be any other container handling crane, e.g. an STS crane, in which case the crane bridge 2 would project beyond the quay on the side of a seaward support 4, or an RTG crane.
- the area below the trolley 12 is monitored by means of two 3D laser scanners 20, which are mounted at a distance from each other on the trolley 12 and have more or less free view to the bottom 8.
- the trolley 12 carries an electronic camera 22 which has a clear view of the hoist 16, and an inclinometer 32 for measuring the current inclination of crane bridge 2 and trolley 12 with respect to the plane of the bottom 8, because their inclination depending on their position on Structure 12 and can change according to the severity of the load.
- Each 3D laser scanner 20 includes a 2D laser scanner which generates a 190 ° beam fan of infrared light pulses which is fanned in the direction in which the crane 10 moves on its rails, that is perpendicular to the plane of the FIG. 1 ,
- Each 2D laser scanner and thus its fan beam can by means of a servo motor in the direction of the width of the crane bridge 2, ie in the plane of FIG. 1 be pivoted to detect what is on the floor 8 between the laser scanners 20 and a plurality of rows of containers (“rows") and fields ("slots”), in particular containers, for example, in up to six stack levels (“ Tiers ”) can be stacked on top of each other.
- the laser scanners 20 register direction and transit time of infrared light which is reflected by objects in the detection area, from which a measuring point cloud is generated, which represents the scenery in the portal.
- all containers 18 located in the detection area can be identified and localized on the basis of their characteristic features.
- the resulting scan results can be used in several ways.
- the automatic batch operation can be corrected or stopped when a malfunction is detected.
- reference systems For crane operation, several reference coordinate systems must be defined and aligned, hereinafter referred to simply as reference systems.
- reference systems there is a reference system of the floor 8 on which the crane 10 is located, which expediently has its origin in a corner of the container handling surface, with an X-axis which corresponds to the direction of movement of the trolley 12, a Y-axis which the direction perpendicular to the movement of the crane bridge 2 corresponds to the rails, and a vertical Z-axis pointing upwards.
- the vertical position of the hoist 16 in the reference frame of the trolley 12 is known from feedback of the drive motors and / or by suitable sensors, as well as the position of the trolley 12 in the reference frame of the ground 8.
- the horizontal position of the hoist 16, d. H. in the direction of movement of the trolley 12 and the direction perpendicular to the movement of the crane bridge 2 on the rails, is given in principle by the horizontal position of the trolley 12, which is the crane control known, but it may differ from its regular value for various reasons, as below is explained.
- Accurate control of the horizontal position of the hoist 16 is enabled by data obtained by means of the camera 22 or other suitable sensor. For example, a visual mark may be located on top of the hoist 16, which can be detected and located by means of the camera 22. The data thus obtained indicate whether and, if so, how far the horizontal position of the hoisting gear 16 deviates from a lifting standard.
- the raw data of the laser scanners 20 are inherently polar coordinates, but can be converted to Cartesian reference systems that may originate within the laser scanners 20 ,
- both the translational offsets i. H. the length offsets in the three spatial directions of a Cartesian coordinate system
- the rotational offsets, d. H. the angular offsets in the three spatial directions of the reference systems of the laser scanners 20 are determined to any of the other reference systems.
- the measured values of the laser scanners 20 can be corrected later by calculation.
- the translational offsets of the laser scanners 20 may be provided by a surveyor, e.g. determine by manual distance measurements and / or by means of tachymetry devices.
- the laser scanners 20 are not calibrated absolutely at all, but only relative to the reference frame of the trolley 12, whereby the translatory offsets are first determined.
- a laser scanner 20 can be mounted again in exactly the same place when the laser scanner 20 once must be replaced.
- corresponding markings can be produced, or even better, in each case a base plate is firmly attached to the crane, which has suitable positive positioning elements, so that the laser scanner 20 can be mounted thereon only in a very specific position.
- a standard container is used, which is modified to a calibration.
- the container may be needed if it is not deformed.
- reference objects 26 are attached to a 40 'ISO container 24, four each along a longitudinal side of the container 24 to obtain a calibration container.
- the reference objects 26 each have the form of a diffusely scattering hemisphere with a diameter of, for example, 300 or 400 mm, whose vertex points vertically upwards.
- the vertices of the longitudinally outer reference objects 26 each have a distance a of eg 500 mm from the end faces of the Kalibriercontainers 24.
- the vertices of the inner reference objects 26 have on one longitudinal side of the Kalibriercontainers 24 a distance b of eg 4230 mm from the outer reference objects 26th while they have on the opposite longitudinal side of the Kalibriercontainers 24 a distance c of eg 3730 mm from the outer reference objects 26. Because c is significantly smaller than b, the two longitudinal sides of the calibration container 24 are easily distinguishable in a scan of the laser scanner 20 so that the orientation of the calibration container 24 can be seen in each scan. So that you can easily bring the calibration container 24 from the outset in the correct orientation under the crane, it can be suitably marked or labeled on one side, eg with "sea side".
- the vertices of the reference objects 26 also have a distance d from e.g. 500 mm from the longitudinal sides of the Kalibriercontainers 24 and lie at a distance e below the surface of the Kalibriercontainers 24 so that they are all at the same height.
- the reference objects 26 form precisely dimensioned calibration marks at predetermined intervals and positions on the calibration container 24.
- any other calibration marks may also be attached to the calibration container 24, e.g. reflective stripes. It is essential that the calibration marks in scans of the laser scanner 24 can be recognized as such and accurately localized.
- the hemispherical reference objects 26 can be located by automatic ball finding with an accuracy of 1 mm. Although this is much more accurate than the calibration must ultimately be, but reduces the error propagation. Correspondingly accurate and stable, the reference objects 26 must be attached to the calibration container 24. They can be disassembled if their mounting positions are reproducible exactly enough.
- the reference objects 26 may well with tolerances of e.g. +/- 15 mm are attached to the calibration container 24. Their exact positions are measured only after assembly, e.g. as distances from the holes of the twistlocks 28 on the calibration container 24, and then converted into distances to the center of the Kalibriercontainers 24 to be used in the detection and localization of the Kalibriercontainers 24.
- One and the same calibration container 24 can be used to calibrate the laser scanners of several cranes in a container terminal, and it can be stored somewhere in the terminal for this purpose.
- the calibration container 24 is transported to the crane 10.
- the crane 10 is controlled to grab and lift the calibration container 24 with the hoist 16, and the calibration sequence described below is performed fully automatically. This may be done over any location or location on the floor 8 in the work area of the crane 10, but the crane 10 and trolley 12 should rest above the floor 8 while several calibration scans are being performed.
- a laser control unit which controls the laser scanners 20, evaluates their scans and can also perform the calibration sequence, cooperates with and communicates with a crane controller.
- the laser control unit may command the crane control to move the hoist 16 to a desired location in the crane crane's work area 10, and the laser control unit will receive feedback from the crane control system about the currently set hoist position 16 in the room and possibly other data, e.g. current slopes of crane components such as e.g. the crane bridge 2, as e.g. be detected with the inclinometer 32.
- the crane 10 is controlled to keep the calibration container 24 a few inches above the floor 8 in suspension, as in FIG. 4 illustrates, with any fine adjustments on the hoist 16 are set to zero, so that the calibration container 24 is in the horizontal.
- the two laser scanners 20 perform a scan. This can be complete scans of the crane 10 working area or Subscans be only an angular range within which the calibration container 24 is located.
- the calibration container 24 is lifted to a height above the floor 8 corresponding to the first stack level of the container handling station, as in FIG. 5 illustrated. At this height, the two laser scanners 20 perform a scan again.
- the calibration container 24 is successively brought to several different heights above the floor 8, which correspond to further possible stack levels, as in FIG. 6 up to the topmost stack level, and at each level further calibration scans are performed. Finally, the calibration container 24 is set down on the floor 8, the hoist 16 is moved all the way up, and a calibration scan is performed on the calibration container 24 standing on the floor 8, as in FIG FIG. 7 illustrated.
- the suspension positions of the calibration container 24 and its positions in space at the different heights in which the calibration scans were performed are known, on the one hand, from the feedback of the crane control and, on the other hand, result from the positions of the reference objects 26 on the calibration container 24 identified in the scans.
- the rotational offsets of the laser scanner 20 with respect to the trolley 12 can be determined therefrom.
- the crane 10 and trolley 12 should remain in the same horizontal position above the ground.
- the calibration sequence need not be performed in the order described, but the steps of FIGS. 4 to 7 can also be done in a different order.
- the calibration values obtained by the calibration sequence may be used, on the one hand, to match the distances of the calibration container 24 measured by the laser scanners 20 with the heights of the calibration container 24 returned by the crane control system above the ground.
- the obtained calibration values can be used to improve the accuracy of the obtained rotary offsets.
- the rotational offsets obtained at the different heights could simply be averaged, if it can be assumed that the trolley 12 moves the hoist 16 exactly along a straight line up and down, while the crane 10 and the trolley 12 are stationary.
- some cable pull mechanisms especially those between a hoist 16 and a trolley 12, have the property that the horizontal position of the hoist 16 changes a little while the hoist 16 is moved up or down.
- the hoist 16 often moves along a path that is slightly curved.
- the rotational offsets obtained at the different heights with respect to the trolley 12 are used to to calibrate the laser scanners 20 height dependent. That is, the laser control unit learns to a certain extent, which calibration is to be used for which height, which is later activated during operation when containers 18 are picked up or set down.
- a height-dependent calibration function is set up, which is particularly accurate in the respective stacking levels.
- Such a process called "teach-in" in automation technology, makes it possible to make automatic operation even more accurate and safer.
- the XY positions of the hoist 16 obtained by laser measurement are compared with XY positions of the hoist 16, which are obtained in a different way than the laser scanner 20, in this example with the XY positions reported by the crane control and Help the camera 22 have been made more precise.
- the respective positions of the lifting mechanism 16 in the space can be determined on the basis of characteristic features of the lifting mechanism 16 in the calibration scans, or two further reference objects 30 (FIG. FIG. 4 ), which may or may be similar to the reference objects 26.
- the laser scanners 20 are calibrated only relative to the reference frame of the trolley 12. With relatively little effort, a supplementary calibration relative to the reference system of the bottom 8 can be performed.
- one or more calibration stations may be located, at which markings on the floor 8 indicate where the calibration container 24 is about to be placed and where, in the vicinity of the calibration container 24, a few separate calibration marks are to be set up, e.g. similar as the reference objects 26 may look like.
- the positions of the floor markings in the reference frame of the floor 8 have previously been determined once exactly tachymetrically.
- the exact relative position of the remote Kalibriercontainers 24 to the separate Kalibriermarken can be easily measured by hand or determined tachymetrically.
- a calibration scan of the calibrating container 24 placed on the calibration space and the separate calibration body then makes possible an additional absolute calibration which, inter alia, can be used to recalibrate the horizontal positions reported by the crane control or to correct them accordingly in the laser control unit.
Description
Die Erfindung betrifft ein Verfahren zum Kalibrieren von Laserscannern gemäß dem Oberbegriff des Patentanspruchs 1.The invention relates to a method for calibrating laser scanners according to the preamble of patent claim 1.
Ein derartiges Verfahren ist aus der
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Kalibrieren von Laserscannern an einem Containerumschlagkran bereitzustellen, das möglichst wenig manuelle Vermessungen erfordert und das den Kranbetrieb insgesamt noch weniger stört, besonders dann, wenn ein bereits installierter und kalibrierter Laserscanner repariert oder gegen einen neuen ausgetauscht werden muss.The invention is based on the object to provide a method for calibrating laser scanners on a container handling crane, which requires as little manual surveying and the crane operation altogether even less disturbing, especially if an already installed and calibrated laser scanner repaired or replaced with a new one must become.
Diese Aufgabe wird durch das in Patentanspruch 1 angegebene Verfahren gelöst.This object is achieved by the method specified in claim 1.
Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.Advantageous developments of the invention are specified in the dependent claims.
Es wird mindestens ein 3D-Laserscanner kalibriert, der an einem Tragwerk eines Krans für Containerumschlag befestigt und dafür eingerichtet ist, Container im Arbeitsbereich des Krans abzutasten, wobei die Kalibrierung mindestens einen Scan eines Kalibrierkörpers umfasst, der die Eigenschaften eines ISO-Containers besitzt, von einem Hubwerk des Krans ergriffen und angehoben werden zu können.It calibrates at least one 3D laser scanner mounted on a container handling crane frame and adapted to scan containers in the working area of the crane, the calibration comprising at least one scan of a calibration body having the characteristics of an ISO container of a hoist of the crane to be taken and raised.
Mit dem Begriff Hubwerk wird hier der Teil des Krans bezeichnet, der positionsreproduzierbar an einem Container angreift. Zum Beispiel bei Portalkränen ist das Hubwerk ein so genannter Spreader, der in die Eckbeschläge (Twistlocks) eines Containers einrastet. Bei anderen Krantypen kann das Hubwerk auch etwas anderes sein, z.B. eine Gabel oder eine Greifeinrichtung mit Dornen oder Magneten.The term hoist here refers to the part of the crane that is capable of reproducing positions on a container. For example, in gantry cranes, the hoist is a so-called spreader, which snaps into the corner fittings (twistlocks) of a container. In other crane types, the hoist may also be something else, e.g. a fork or gripping device with spikes or magnets.
Gemäß der Erfindung ist der Kalibrierkörper mit mehreren dedizierten Kalibrierungsmarken in vorbestimmten Abständen und Positionen versehen, wobei die Kalibrierungsmarken dafür eingerichtet sind, in einem Scan des mindestens einen Laserscanners als solche erkannt und lokalisiert zu werden, vorzugsweise als diffus reflektierende Objekte mit genau bekannten Abmessungen. Der Kalibrierkörper ist bevorzugt ein geeignet modifizierter ISO-Container, doch kann er auch irgendein anderes Objekt sein, z.B. eine große Platte, solange dieses wie ein ISO-Container von einem Hubwerk des Krans ergriffen und angehoben werden kann.According to the invention, the calibration body is provided with a plurality of dedicated calibration marks at predetermined intervals and positions, the calibration marks being adapted to be recognized and located as such in a scan of the at least one laser scanner, preferably as diffusely reflecting objects of exactly known dimensions. The calibration body is preferably a suitably modified ISO container, but it may be any other object, e.g. a large plate as long as it can be grabbed and lifted by a hoist of the crane like an ISO container.
Gemäß der Erfindung werden die translatorischen Offsets des mindestens einen Laserscanners in Bezug auf das Tragwerk ermittelt, falls sie nicht schon bekannt sind.According to the invention, the translational offsets of the at least one laser scanner with respect to the supporting structure are determined, if they are not already known.
Mit dem Begriff Tragwerk wird hier derjenige Teil des Krans bezeichnet, welcher das Hubwerk trägt. Zum Beispiel bei Portalkränen ist dieser Teil eine Laufkatze. Bei anderen Krantypen kann der das Hubwerk tragende Teil auch ein anderes Kranbauteil ein, z.B. ein Ausleger.The term structure is here the part of the crane referred to, which carries the hoist. For example, in gantry cranes this part is a trolley. In other crane types, the part carrying the hoist can also be another crane component, eg a boom.
Gemäß der Erfindung wird der Kran gesteuert, den Kalibrierkörper zu ergreifen und nacheinander in mehrere verschiedene vorbestimmte Höhen über dem Boden zu bringen und jeweils dort anzuhalten. In jeder vorbestimmten Höhe wird ein Scan des Kalibrierkörpers mit dem mindestens einen Laserscanner durchgeführt, und unter Verwendung der Scanresultate und der translatorischen Offsets werden die rotatorischen Offsets des mindestens einen Laserscanners in Bezug auf das Tragwerk ermittelt.According to the invention, the crane is controlled to grasp the calibration body and bring it successively in several different predetermined heights above the ground and each stop there. At each predetermined height, a scan of the calibration body is performed with the at least one laser scanner, and using the scan results and the translational offsets, the rotational offsets of the at least one laser scanner with respect to the supporting structure are determined.
Bei der Erfindung müssen nur die translatorischen Offsets der Laserscanner durch manuelle Vermessung ermittelt werden. Die rotatorischen Offsets können anschließend vollautomatisch ermittelt werden, da das Heben des Kalibrierkörpers in die vorbestimmten Höhen und die einzelnen Kalibrierungs-Scans leicht selbsttätig durchgeführt werden können.In the invention, only the translational offsets of the laser scanner must be determined by manual measurement. The rotational offsets can then be determined fully automatically, since the lifting of the calibration body in the predetermined heights and the individual calibration scans can be easily carried out automatically.
Die translatorischen und rotatorischen Offsets sind insbesondere die Längen- und Winkelversätze eines Bezugskoordinatensystems des mindestens einen Laserscanners zu einem Bezugskoordinatensystem des Tragwerks, wobei die miteinander verglichenen Bezugskoordinatensysteme vorzugsweise kartesisch sind.The translational and rotational offsets are in particular the length and angle offsets of a reference coordinate system of the at least one laser scanner to a reference coordinate system of the structure, wherein the reference coordinate systems compared to each other are preferably Cartesian.
Wenn der mindestens eine Laserscanner erstmalig an dem Kran installiert wird, sind die translatorischen Offsets des mindestens einen Laserscanners in Bezug auf das Tragwerk tachymetrisch zu ermitteln. Diese Arbeiten müssen aber nicht wiederholt werden, wenn der Laserscanner repariert oder ausgetauscht und dann neu kalibriert wird, weil konstruktiv dafür gesorgt werden kann, dass der reparierte oder neue Laserscanner genau an derselben Stelle wie vorher befestigt wird und somit dieselben translatorischen Offsets hat.If the at least one laser scanner is firstly installed on the crane, the translational offsets of the at least one laser scanner with respect to the supporting structure must be determined tachymetrically. However, this work need not be repeated if the laser scanner is repaired or replaced and then recalibrated because it can be designed to ensure that the repaired or new laser scanner is mounted in exactly the same position as before and thus has the same translational offsets.
Es ist nicht möglich, bei einem Scannerwechsel auch rotatorische Offsets genau zu reproduzieren. Daher müssen neu installierte Laserscanner in jedem Fall neu kalibriert werden. Doch ermöglicht es die Erfindung, bei einem Scannerwechsel ohne aufwändige tachymetrische Vermessungsarbeiten auszukommen, weil nur noch die neuen rotatorischen Offsets ermittelt werden müssen.It is not possible to accurately reproduce rotatory offsets when changing scanners. Therefore newly installed laser scanners must always be recalibrated. However, the invention makes it possible to do without a tachymetric survey work when changing scanners, because only the new rotational offsets have to be determined.
Vorzugsweise werden die rotatorischen Offsets des mindestens einen Laserscanners in Bezug auf das Tragwerk für jede vorbestimmte Höhe ermittelt und gespeichert. Während die verschiedenen Kalibrierungs-Scans durchgeführt werden, sollte das Tragwerk stillstehen.Preferably, the rotational offsets of the at least one laser scanner with respect to the structure are determined and stored for each predetermined height. While the various calibration scans are being performed, the structure should be stationary.
Vorzugsweise sind die vorbestimmten Höhen eine Höhe knapp über dem Boden sowie mehrere Höhen, die jeweils einer Stapelebene von Containern im Arbeitsbereich des Krans entsprechen. Das heißt, die Kalibrierung erfolgt in denselben Höhen über dem Boden, die auch im späteren Umschlagbetrieb angesteuert werden, wenn Container aufgenommen oder abgesetzt werden. Dies ist besonders für Kräne von Vorteil, welche das Hubwerk aus konstruktiven Gründen entlang einer leicht gekrümmten Bahn heben und senken, wenn das Tragwerk stillsteht.Preferably, the predetermined heights are a height just above the ground and a plurality of heights, each corresponding to a stack level of containers in the working area of the crane. This means that the calibration takes place at the same heights above the ground, which are also activated in the later envelope operation when containers are picked up or set down. This is particularly advantageous for cranes which raise and lower the hoist for structural reasons along a slightly curved path when the structure is stationary.
In einer Weiterbildung der Erfindung ist auch das Hubwerk des Krans mit mehreren Kalibrierungsmarken versehen, insbesondere mit zwei voneinander beabstandeten Kalibrierungsmarken von derselben Art wie an dem Kalibrierkörper, wobei das Kalibrieren des mindestens einen Laserscanners auch unter Verwendung der Kalibrierungsmarken am Hubwerk erfolgt.In a further development of the invention, the hoist of the crane is provided with a plurality of calibration marks, in particular with two spaced apart calibration marks of the same kind as on the calibration, wherein the calibration of the at least one laser scanner is also using the calibration marks on the hoist.
In einer alternativen oder ergänzenden Weiterbildung wird ein zusätzlicher Kalibrierungs-Scan durchgeführt, bei dem der Kalibrierkörper auf dem Boden steht, bevor er vom Kran aufgenommen wird oder nachdem er vom Kran auf dem Boden abgesetzt worden ist.In an alternative or additional development, an additional calibration scan is performed, in which the calibration body is on the ground before it is picked up by the crane or after it has been set down by the crane on the ground.
Die Erfindung eignet sich besonders für Stapelkräne, insbesondere ASC-Kräne (ASC= Automated Stacking Crane), oder Containerbrücken, insbesondere STS-Kräne (STS = Ship-To-Shore), wobei zwei 3D-Laserscanner, die an einer Laufkatze des Krans befestigt sind, gemeinsam kalibriert werden. Der Kran kann aber auch irgendein anderer Kran für Containerverladung sein, wie z.B. ein RTG-Kran (Rubber Tyred Gantry; gummibereifter Portalkran), ein Brückenkran, ein Halbportalkran, ein Bockkran, ein Portaldrehkran oder ein Gabelstapler.The invention is particularly suitable for stacker cranes, in particular ASC cranes (ASC = Automated Stacking Crane), or container bridges, in particular STS cranes (STS = ship-to-shore), wherein two 3D laser scanners attached to a trolley of the crane are calibrated together. The crane can also be any other container handling crane, such as an RTG crane (Rubber Tyred Gantry), a bridge crane, a half gantry crane, a gantry crane, a gantry crane or a forklift.
Es folgt eine Beschreibung von Ausführungsbeispielen anhand der Zeichnungen. Darin zeigen:
- FIG 1
- einen ASC-Kran auf einem Containerumschlagplatz;
- FIG 2
- eine Draufsicht von oben auf einen als Kalibrierkörper gestalteten Container;
- FIG 3
- eine vergrößerte Stirnansicht des Containers von
FIG 2 ; und - FIG 4 - 7
- einen Abschnitt des ASC-Krans von
Figur 1 während verschiedener Phasen der Kalibrierung von Laserscannern am Laufwerk mittels des Kalibrierkörpers von .Figuren 2 und 3
- FIG. 1
- an ASC crane on a container handling point;
- FIG. 2
- a top view of a container designed as a calibration body;
- FIG. 3
- an enlarged front view of the container of
FIG. 2 ; and - 4 - 7
- a section of the ASC crane from
FIG. 1 during various phases of the calibration of laser scanners on the drive by means of the calibration body ofFIGS. 2 and 3 ,
In einem Container-Terminal lädt eine Containerbrücke, insbesondere ein so genannter STS-Kran, Container vom Schiff an Land, entweder direkt auf LKW oder Eisenbahnen, oder sie übergibt die Container an Transportfahrzeuge, die meist als Portalhubwagen ausgebildet sind.In a container terminal, a container bridge, in particular a so-called STS crane, loads containers from the ship ashore, either directly onto trucks or railways, or transfers the containers to transport vehicles, which are usually designed as straddle carriers.
An Land, auch an hafenlosen Containerumschlagplätzen, können Container mit Stapel- bzw. Portalkränen, insbesondere führerlos betriebenen Stapelbrücken (ASC), umgeschlagen bzw. auf LKW oder Eisenbahnen verladen werden.On land, even at containerless container handling points, containers can be transhipped or loaded onto lorries or railways using stacking or gantry cranes, in particular driverless stacking bridges (ASC).
Der Kran 10 kann auch irgendein anderer Kran für Containerumschlag ein, z.B. ein STS-Kran, in welchem Fall die Kranbrücke 2 auf der Seite einer seeseitigen Stütze 4 über das Kai hinaus ragen würde, oder ein RTG-Kran.The
Für genaues und sicheres Stapeln im Automatikbetrieb wird der Bereich unterhalb der Laufkatze 12 mittels zweier 3D-Laserscanner 20 überwacht, die in einem Abstand voneinander an der Laufkatze 12 befestigt sind und mehr oder weniger freie Sicht zum Boden 8 haben. Indem zwei beabstandete Laserscanner 20 vorgesehen sind, kann die Positioniergenauigkeit im Betrieb erhöht werden. Zusätzlich trägt die Laufkatze 12 eine elektronische Kamera 22, die freie Sicht zum Hubwerk 16 hat, sowie ein Inklinometer 32 zur Messung der aktuellen Neigung von Kranbrücke 2 und Laufkatze 12 gegenüber der Ebene des Bodens 8, weil sich deren Neigung sich je nach ihrer Position am Tragwerk 12 und nach der Schwere der Last ändern kann.For accurate and secure stacking in automatic mode, the area below the
Jeder 3D-Laserscanner 20 enthält einen 2D-Laserscanner, der einen 190°-Strahlenfächer aus Infrarotlichtimpulsen erzeugt, der in der Richtung aufgefächert ist, in der der Kran 10 auf seinen Schienen verfährt, also senkrecht zur Ebene der
Dazu registrieren die Laserscanner 20 Richtung und Laufzeit von Infrarotlicht, das von Objekten im Erfassungsbereich reflektiert wird, woraus eine Messpunktwolke erzeugt wird, welche die Szenerie im Portal repräsentiert. Darin können alle im Erfassungsbereich befindlichen Container 18 anhand ihrer charakteristischen Merkmale erkannt und lokalisiert werden.For this purpose, the
Es kann vorgesehen sein, dass nur einer der beiden Laserscanner 20 vollständige 3D-Scans durchführt und der andere Laserscanner 20 lediglich 2D-Scans durchführt, während die Laufkatze 12 verfährt.It can be provided that only one of the two
Die erhaltenen Scanresultate können auf mehrere Arten genutzt werden.The resulting scan results can be used in several ways.
So kann anhand des Gesamtprofils der gestapelten Container 18 überwacht werden, ob im laufenden Kranbetrieb eine Kollision eines gerade bewegten Containers 18 mit irgendeinem gestapelten Container 18 oder irgendwelchen Strukturen des Krans 10 droht, während die Laufkatze 12 auf der Kranbrücke 2 verfährt.Thus, it can be monitored on the basis of the overall profile of the
Oder es kann bei stillstehendem Kran 10 und stillstehender Laufkatze 12 überwacht werden, ob das Hubwerk 16 korrekt auf einen Container 18 ausgerichtet ist, den es ergreifen soll, oder ob ein vom Hubwerk 16 ergriffener Container 18 mit einem möglicherweise ungenau gestapelten Container 18 auf einem benachbarten Stapelplatz zu kollidieren droht, wenn er abgesenkt wird, oder ob ein Container 18 korrekt ausgerichtet ist, bevor oder nachdem er vom Hubwerk 16 abgesetzt worden ist.Or it can be monitored with a
Somit kann der automatische Stapelbetrieb korrigiert werden oder gestoppt werden, wenn eine Fehlfunktion erkannt wird.Thus, the automatic batch operation can be corrected or stopped when a malfunction is detected.
Für den Kranbetrieb müssen mehrere Bezugskoordinatensysteme festgelegt und abgeglichen werden, nachfolgend einfach Bezugssysteme genannt. So gibt es unter anderem ein Bezugssystem des Bodens 8, auf dem sich der Kran 10 befindet, welches zweckmäßig seinen Ursprung in einer Ecke der Containerumschlagfläche hat, mit einer X-Achse, welche der Bewegungsrichtung der Laufkatze 12 entspricht, einer Y-Achse, welche der dazu senkrechten Bewegungsrichtung der Kranbrücke 2 auf den Schienen entspricht, und einer vertikal nach oben weisenden Z-Achse.For crane operation, several reference coordinate systems must be defined and aligned, hereinafter referred to simply as reference systems. Thus, inter alia, there is a reference system of the
Außerdem gibt es ein Bezugssystem der Laufkatze 12, welches zweckmäßig seinen Ursprung zwischen den Angriffspunkten der Seile 14 hat, ein Bezugssystem des Hubwerks 16, welches zweckmäßig durch Symmetrieachsen desselben gebildet wird, und jeweilige Bezugssysteme der Laserscanner 20 und der Kamera 22.In addition, there is a reference system of the
Die Vertikalposition des Hubwerks 16 im Bezugssystem der Laufkatze 12 ist aus Rückmeldungen der Antriebsmotoren und/oder durch geeignete Sensoriken bekannt, und ebenso die Position der Laufkatze 12 im Bezugssystem des Bodens 8. Die Horizontalposition des Hubwerks 16, d. h. in der Bewegungsrichtung der Laufkatze 12 und der dazu senkrechten Bewegungsrichtung der Kranbrücke 2 auf den Schienen, ist prinzipiell durch die Horizontalposition der Laufkatze 12 gegeben, welche der Kransteuerung bekannt ist, doch kann sie aus verschiedenen Gründen von ihrem regulären Wert abweichen, wie weiter unten noch erläutert wird. Eine genaue Kontrolle der Horizontalposition des Hubwerks 16 wird durch Daten ermöglicht, die mittels der Kamera 22 oder einer anderen geeigneten Sensorik gewonnen werden. Zum Beispiel kann sich oben auf dem Hubwerk 16 eine Sichtmarke befinden, welche mittels der Kamera 22 erkannt und lokalisiert werden kann. Die so gewonnenen Daten geben an, ob und ggf. wie weit die Horizontalposition des Hubwerks 16 von einer Hub-Normalen abweicht.The vertical position of the hoist 16 in the reference frame of the
Während die Bezugssysteme des Bodens 8, der Laufkatze 12 und des Hubwerks 16 von Natur aus kartesisch sind, liegen die Rohdaten der Laserscanner 20 von Haus aus in Polarkoordinaten vor, können aber auf kartesische Bezugssysteme umgerechnet werden, die ihren Ursprung innerhalb der Laserscanner 20 haben können.While the reference systems of the
Für die folgende Beschreibung eines Verfahrens zum Kalibrieren der Laserscanner 20 wird davon ausgegangen, dass die übrigen Komponenten des Krans 10 bereits genau genug kalibriert sind, indem dessen verschiedene Bezugssysteme aufeinander abgeglichen sind, und dass dieser über die nötige Sensorik verfügt, damit die Kransteuerung das Hubwerk 16 reproduzierbar in die gewünschten Positionen bringen kann, so dass ein Automatikbetrieb grundsätzlich möglich wäre, jedoch ohne Überwachung durch die Laserscanner 20.For the following description of a method for calibrating the
Nachdem man die Laserscanner 20 erstmalig an der Laufkatze 12 montiert hat, müssen sowohl die translatorischen Offsets, d. h. die Längenversätze in den drei Raumrichtungen eines kartesischen Koordinatensystems, als auch die rotatorischen Offsets, d. h. die Winkelversätze in den drei Raumrichtungen, der Bezugssysteme der Laserscanner 20 zu irgendeinem der anderen Bezugssysteme ermittelt werden. Mit Hilfe der erhaltenen Offsets können später die Messwerte der Laserscanner 20 rechnerisch korrigiert werden.After having mounted the
Die translatorischen Offsets der Laserscanner 20 kann ein Vermessungstechniker z.B. durch manuelle Abstandsmessungen und/oder mittels Tachymetriegeräten ermitteln.The translational offsets of the
Wesentlich aufwändiger ist es, die rotatorischen Offsets zu ermitteln. Dazu benötigt man bislang viele Messpunkte oder andere Strukturen mit exakt bekannten bzw. vermessenen Positionen in Bezug auf den Kran und/oder den Boden, die von den Laserscannern erfasst werden können. In der Regel wird alles auf ein Bodenkoordinatensystem bezogen. Dieser absolute Ansatz ist sehr aufwändig.Much more complex is to determine the rotational offsets. For this purpose, many measuring points or other structures with exactly known or measured positions with respect to the crane and / or the ground, which can be detected by the laser scanners, are required so far. As a rule, everything is related to a ground coordinate system. This absolute approach is very complex.
In dem zunächst beschriebenen Ausführungsbeispiel werden die Laserscanner 20 überhaupt nicht absolut kalibriert, sondern lediglich relativ zum Bezugssystem der Laufkatze 12, wobei zunächst die translatorischen Offsets ermittelt werden.In the first embodiment described, the
Bei der Erstmontage der Laserscanner 20 wird außerdem dafür gesorgt, dass später ein Laserscanner 20 wieder an genau derselben Stelle montiert werden kann, wenn der Laserscanner 20 einmal ausgewechselt werden muss. Dazu können entsprechende Markierungen hergestellt werden, oder noch besser wird jeweils eine Basisplatte fest am Kran angebracht, welche geeignete Zwangspositionierungselemente aufweist, so dass der Laserscanner 20 nur in einer ganz bestimmten Position darauf montiert werden kann.During the initial assembly of the
Zum Ermitteln der rotatorischen Offsets der Laserscanner 20 in Bezug auf die Laufkatze 12 wird ein Standardcontainer verwendet, der zu einem Kalibrierkörper modifiziert ist. Der Container kann gebraucht sein, falls er nicht verformt ist.For determining the rotational offsets of the
Wie in
Die Scheitelpunkte der in Längsrichtung äußeren Referenzobjekte 26 haben jeweils einen Abstand a von z.B. 500 mm von den Stirnseiten des Kalibriercontainers 24. Die Scheitelpunkte der inneren Referenzobjekte 26 haben auf der einen Längsseite des Kalibriercontainers 24 einen Abstand b von z.B. 4230 mm von den äußeren Referenzobjekten 26, während sie auf der entgegengesetzten Längsseite des Kalibriercontainers 24 einen Abstand c von z.B. 3730 mm von den äußeren Referenzobjekten 26 haben. Weil c deutlich kleiner als b ist, sind die beiden Längsseiten des Kalibriercontainers 24 in einem Scan der Laserscanner 20 leicht voneinander unterscheidbar, so dass die Orientierung des Kalibriercontainers 24 in jedem Scan erkennbar ist. Damit man den Kalibriercontainer 24 leicht von vornherein in der richtigen Orientierung unter den Kran bringen kann, kann er auf einer Seite geeignet markiert oder beschriftet sein, z.B. mit "Seeseite".The vertices of the longitudinally outer reference objects 26 each have a distance a of eg 500 mm from the end faces of the
Die Scheitelpunkte der Referenzobjekte 26 haben außerdem einen Abstand d von z.B. 500 mm von den Längsseiten des Kalibriercontainers 24 und liegen in einem Abstand e unterhalb der Oberfläche des Kalibriercontainers 24, so dass sie alle auf derselben Höhe liegen.The vertices of the reference objects 26 also have a distance d from e.g. 500 mm from the longitudinal sides of the
Die Referenzobjekte 26 bilden exakt dimensionierte Kalibrierungsmarken in vorbestimmten Abständen und Positionen am Kalibriercontainer 24. An Stelle der Referenzobjekte 26 können auch irgendwelche anderen Kalibrierungsmarken am Kalibriercontainer 24 angebracht werden, z.B. reflektierende Streifen. Wesentlich ist, dass die Kalibrierungsmarken in Scans der Laserscanner 24 als solche erkannt und genau lokalisiert werden können.The reference objects 26 form precisely dimensioned calibration marks at predetermined intervals and positions on the
Die halbkugelförmigen Referenzobjekte 26 können durch automatische Kugelfindung mit einer Genauigkeit um 1 mm lokalisiert werden. Dies ist zwar wesentlich genauer als die Kalibrierung letztlich sein muss, vermindert aber die Fehlerfortpflanzung. Entsprechend genau und stabil müssen die Referenzobjekte 26 am Kalibriercontainer 24 befestigt sein. Sie können demontierbar sein, falls ihre Montagepositionen genau genug reproduzierbar sind.The hemispherical reference objects 26 can be located by automatic ball finding with an accuracy of 1 mm. Although this is much more accurate than the calibration must ultimately be, but reduces the error propagation. Correspondingly accurate and stable, the reference objects 26 must be attached to the
Die Referenzobjekte 26 können durchaus mit Toleranzen von z.B. +/- 15 mm am Kalibriercontainer 24 befestigt werden. Ihre genauen Positionen werden erst nach der Montage gemessen, z.B. als Abstände von den Löchern der Twistlocks 28 am Kalibriercontainer 24, und dann in Abstände zum Mittelpunkt des Kalibriercontainers 24 umgerechnet, um bei der Erkennung und Lokalisierung des Kalibriercontainers 24 benutzt zu werden.The reference objects 26 may well with tolerances of e.g. +/- 15 mm are attached to the
Ein und derselbe Kalibriercontainer 24 kann benutzt werden, um die Laserscanner mehrerer Kräne in einem Containerterminal zu kalibrieren, und er kann zu diesem Zweck irgendwo im Terminal aufbewahrt werden.One and the
Zum Kalibrieren der Laserscanner 20 auch hinsichtlich der rotatorischen Offsets wird der Kalibriercontainer 24 zu dem Kran 10 transportiert. Der Kran 10 wird gesteuert, den Kalibriercontainer 24 mit dem Hubwerk 16 zu ergreifen und anzuheben, und es wird die nachfolgend beschriebene Kalibrierungssequenz vollautomatisch durchgeführt. Diese kann über einem beliebigen Ort oder einem vorbestimmten Ort auf dem Boden 8 im Arbeitsbereich des Krans 10 durchgeführt werden, doch sollen der Kran 10 und die Laufkatze 12 über dem Boden 8 stillstehen, während mehrere Kalibrierungs-Scans durchgeführt werden.For calibrating the
Für die vollautomatische Kalibrierungssequenz arbeitet eine Lasersteuereinheit, welche die Laserscanner 20 steuert, deren Scans auswertet und auch die Kalibrierungssequenz durchführen kann, mit einer Kransteuerung zusammen und kommuniziert damit.For the fully automatic calibration sequence, a laser control unit, which controls the
Insbesondere kann die Lasersteuereinheit der Kransteuerung befehlen, das Hubwerk 16 an einen gewünschten Ort im Arbeitsbereich des Krans 10 zu bringen, und die Lasersteuereinheit erhält von der Kransteuerung Rückmeldungen über die aktuell eingestellten Positionen des Hubwerks 16 im Raum und ggf. weitere Daten, wie z.B. aktuelle Neigungen von Kranbestandteilen wie z.B. der Kranbrücke 2, wie sie z.B. mit dem Inklinometer 32 erfasst werden.In particular, the laser control unit may command the crane control to move the hoist 16 to a desired location in the crane crane's
Zunächst wird der Kran 10 gesteuert, den Kalibriercontainer 24 einige Zentimeter über dem Boden 8 in der Schwebe zu halten, wie in
Sobald der Kalibriercontainer 24 nicht mehr schwingt, was z.B. mittels der Kamera 22 verifiziert werden kann, führen die beiden Laserscanner 20 einen Scan durch. Dies können vollständige Scans des Arbeitsbereichs des Krans 10 oder Teilscans nur eines Winkelbereichs sein, innerhalb dessen sich der Kalibriercontainer 24 befindet.As soon as the
Als Nächstes wird der Kalibriercontainer 24 auf eine Höhe über dem Boden 8 gehoben, die der ersten Stapelebene des Containerumschlagplatzes entspricht, wie in
Anschließend wird der Kalibriercontainer 24 nacheinander in mehrere verschiedene Höhen über dem Boden 8 gebracht, die weiteren möglichen Stapelebenen entsprechen, wie in
Die Aufhängepositionen des Kalibriercontainers 24 und dessen Lagen im Raum in den verschiedenen Höhen, in denen die Kalibrierungs-Scans durchgeführt wurden, sind einerseits aus den Rückmeldungen der Kransteuerung bekannt und ergeben sich andererseits aus den in den Scans erkannten Positionen der Referenzobjekte 26 am Kalibriercontainer 24.The suspension positions of the
Anhand der schon ermittelten oder bekannten translatorischen Offsets der Laserscanner 24, der vom Inklinometer 32 gemeldeten Neigungswinkel sowie eventueller Auslenkungen des Hubwerks 16 in Richtung der X- und Y-Achsen, wie z.B. mittels der Kamera 22 bestimmt, können daraus die rotatorischen Offsets der Laserscanner 20 in Bezug auf die Laufkatze 12 ermittelt werden.On the basis of the already determined or known translational offsets of the
Mit den so gewonnenen translatorischen und rotatorischen Offsets der Laserscanner 20 und der von der Kransteuerung rückgemeldeten Längsposition der Laufkatze 12 auf der Kranbrücke 2 können Scanresultate, die später während des Umschlagbetriebs gewonnen werden, in das Bodenkoordinatensystem transformiert werden, so dass sie die Szenerie im Portal exakt repräsentieren.With the thus obtained translational and rotational offsets of the
Während der ganzen oben beschriebenen Kalibrierungssequenz sollen der Kran 10 und die Laufkatze 12 in derselben Horizontalposition über dem Boden bleiben.Throughout the calibration sequence described above, the
Die Kalibrierungssequenz muss nicht in der beschriebenen Reihenfolge durchgeführt werden, sondern die Schritte der
Die durch die Kalibrierungssequenz erhaltenen Kalibrierungswerte können zum einen dazu verwendet werden, die von den Laserscannern 20 gemessenen Entfernungen des Kalibriercontainers 24 mit den von der Kransteuerung rückgemeldeten Höhen des Kalibriercontainers 24 über dem Boden abzugleichen.The calibration values obtained by the calibration sequence may be used, on the one hand, to match the distances of the
Zum anderen können die erhaltenen Kalibrierungswerte dazu verwendet werden, die Genauigkeit der erhaltenen rotatorischen Offsets zu verbessern. Dazu könnten die in den verschiedenen Höhen erhaltenen rotatorischen Offsets einfach gemittelt werden, falls davon ausgegangen werden kann, dass die Laufkatze 12 das Hubwerk 16 genau entlang einer Geraden nach oben und unten verfährt, während der Kran 10 und die Laufkatze 12 stillstehen.On the other hand, the obtained calibration values can be used to improve the accuracy of the obtained rotary offsets. For this purpose, the rotational offsets obtained at the different heights could simply be averaged, if it can be assumed that the
Doch haben manche Seilzugmechaniken, insbesondere solche zwischen einem Hubwerk 16 und einer Laufkatze 12, die Eigenschaft, dass sich die Horizontalposition des Hubwerks 16 ein wenig ändert, während das Hubwerk 16 nach oben oder unten verfahren wird. Insbesondere verfährt das Hubwerk 16 häufig entlang einer Bahn, die ein wenig gekrümmt ist.However, some cable pull mechanisms, especially those between a hoist 16 and a
Daher werden die in den verschiedenen Höhen erhaltenen rotatorischen Offsets in Bezug auf die Laufkatze 12 dazu verwendet, die Laserscanner 20 höhenabhängig zu kalibrieren. Das heißt, die Lasersteuereinheit lernt gewissermaßen, welche Kalibrierung für welche Höhe anzuwenden ist, die auch im Betrieb später angesteuert wird, wenn Container 18 aufgenommen oder abgesetzt werden. Insbesondere wird eine höhenabhängige Kalibrierfunktion aufgestellt, die in den jeweiligen Stapelebenen besonders genau ist. Ein derartiger Prozess, in der Automatisierungstechnik "Teach-In" genannt, ermöglicht es, den Automatikbetrieb noch genauer und sicherer zu machen. Dazu werden hier die per Lasermessung erhaltenen X-Y-Positionen des Hubwerks 16 mit X-Y-Positionen des Hubwerks 16 abgeglichen, die auf eine andere Weise als dem Laserscanner 20 erhalten werden, in diesem Beispiel mit den X-Y-Positionen, die von der Kransteuerung gemeldet und mit Hilfe der Kamera 22 präziser gemacht worden sind.Therefore, the rotational offsets obtained at the different heights with respect to the
Es ist zweckmäßig, mittels der Kalibrierungs-Scans nicht nur die Positionen des Kalibriercontainers 24 zu ermitteln, sondern auch, die gemeldeten und präzisierten Positionen des Hubwerks 16 zu verifizieren oder abzugleichen, weil im späteren Betrieb alle Systeme zusammenarbeiten müssen. Die jeweiligen Positionen des Hubwerks 16 im Raum können anhand von charakteristischen Merkmalen des Hubwerks 16 in den Kalibrierungs-Scans ermittelt werden, oder man befestigt oben auf dem Hubwerk 16 zwei weitere Referenzobjekte 30 (
Sollte nicht gewährleistet sein, dass der Kalibriercontainer 24 immer in derselben Relativposition vom Hubwerk 16 aufgenommen wird, z.B. aufgrund von Spiel in den Eckbeschlägen, kann man einen dadurch bedingten kleinen Versatz zwischen Kalibriercontainer 24 und Hubwerk 16 z.B. durch manuelle Messung der Abstände der äußeren Ecken des Hubwerks 16 von Bezugspunkten am Kalibriercontainer 24 ermitteln, oder man vergleicht die mittels der Laserscanner 20 festgestellten Positionen von Kalibriercontainer 24 und Hubwerk 16 miteinander. Alternativ kann man irgendeinen Versatz zwischen Kalibriercontainer 24 und Hubwerk 16 durch mechanische Mittel eliminieren, z.B. durch große Stellschrauben an den Eckbeschlägen des Kalibriercontainers 24, mit denen man die Relativposition justieren kann, oder durch ein wenig engere Löcher in den Twistlocks des Kalibriercontainers 24.Should not be ensured that the
In dem zuvor beschriebenen Ausführungsbeispiel werden die Laserscanner 20 nur relativ zum Bezugssystem der Laufkatze 12 kalibriert. Mit relativ wenig Aufwand kann eine ergänzende Kalibrierung relativ zum Bezugssystem des Bodens 8 durchgeführt werden. Dazu kann es im Arbeitsbereich des Krans 10 einen oder mehrere Kalibrierplätze gegen, an denen Markierungen auf dem Boden 8 anzeigen, wo der Kalibriercontainer 24 ungefähr abzusetzen ist und wo in der Nähe des Kalibriercontainer 24 vorübergehend einige separate Kalibriermarken aufzustellen sind, die z.B. ähnlich wie die Referenzobjekte 26 aussehen können. Die Positionen der Bodenmarkierungen im Bezugssystem des Bodens 8 sind vorher einmalig exakt tachymetrisch ermittelt worden. Die genaue Relativposition des abgesetzten Kalibriercontainers 24 zu den separaten Kalibriermarken kann einfach von Hand gemessen oder tachymetrisch ermittelt werden. Ein Kalibrierungs-Scan des auf dem Kalibrierplatz abgesetzten Kalibriercontainers 24 und der separaten Kalibrierkörper ermöglicht dann eine ergänzende absolute Kalibrierung, die unter anderem dazu dienen kann, die von der Kransteuerung gemeldeten Horizontalpositionen nachzukalibrieren oder in der Lasersteuereinheit entsprechend zu korrigieren.In the embodiment described above, the
Claims (11)
- Method for calibrating at least one 3D laser scanner (20), which is fastened to a support structure (12) of a crane (10) for container handling and is designed to scan containers (18) in the operating range of the crane (10), wherein the calibration comprises at least one scan of a calibration element (24), which has the properties of an ISO container, and can be grabbed and lifted by a lifting unit (16) of the crane (10),
characterised in that- the calibration element (24) is provided with a number of calibration markers (26) at predetermined intervals and positions, wherein the calibration markers (26) are designed to be recognised as such in a scan of the at least one laser scanner (20) and localised;- the translational offsets of the at least one laser scanner (20) are determined in respect of the support structure (12) if they are not already known;- the crane (10) is controlled in order to grab the calibration element (24) and to bring the same consecutively to several different predetermined heights above the floor (8) and in each case to hold them there;- at each predetermined height, a scan of the calibration element (24) is performed with the at least one laser scanner (20); and- by using the scan results and the translational offsets, the rotational offsets of the at least one laser scanner (20) are determined in respect of the support structure (12). - Method according to claim 1, characterised in that the lifting of the calibration element (24) into predetermined heights, the calibration scans and the determination of the rotational offsets are performed fully automatically.
- Method according to claim 1 or 2, characterised in that the translational and rotational offsets are the length and angular offsets of a reference coordinate system of the at least one laser scanner (20) relative to a reference coordinate system of the support structure (12).
- Method according to one of the preceding claims, characterised in that the translational offsets of the at least one laser scanner (20) are determined tachymetrically in respect of the support structure (12) if the at least one laser scanner (20) is first installed on the crane (10) and are retained if the laser scanner (20) is replaced or recalibrated.
- Method according to one of the preceding claims, characterised in that by using the offsets, obtained at the several heights, of the at least one laser scanner (20) in respect of the support structure (12), a teach-in process is performed, in which the positions of the lifting unit (16) obtained per laser measurement are aligned with positions of the lifting unit (16), which are obtained in a manner other than by means of the at least one laser scanner (20), in particular by means of a camera (22) attached to the support structure (12).
- Method according to claim 5, characterised in that positions of the lifting unit (16) are determined at heights other than the predetermined heights, in which the calibration scans are performed, by means of interpolation.
- Method according to one of the preceding claims, characterised in that the support structure (12) remains in the same horizontal position above the floor (8) while the calibration scans are performed.
- Method according to one of the preceding claims, characterised in that the predetermined heights are a height just above the floor (8) and a number of heights which in each case correspond to a possible stacking level of containers (18).
- Method according to one of the preceding claims, characterised in that the lifting unit (16) of the crane is provided with a number of calibration markers (30), in particular with two calibration markers (30) at a distance from one another and of the same type as on the calibration element (24), and that the calibration of the at least one laser scanner (20) also takes place using the calibration markers (30) on the lifting unit (16).
- Method according to one of the preceding claims, characterised in that the crane (10) is a stacker crane, in particular an ASC crane, or a gantry crane, in particular an STS crane, wherein two 3D laser scanners (20), which are fastened to a beam hoist of the crane (10), are mutually calibrated or that the crane (10) is an RTG crane, wherein two 3D laser scanners (20) which are fastened to the support structure of the crane (10) are mutually calibrated.
- Method according to one of the preceding claims, characterised in that if the translational and rotational offsets of the at least one laser scanner (20) are determined, the inclination of the support structure (12) is also taken into account, wherein the current inclination value is determined in particular by means of a inclinometer (32) fastened to the support structure (12).
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14156183.7A EP2910512B1 (en) | 2014-02-21 | 2014-02-21 | Method for calibrating laser scanners to a container transportation crane |
CN201510080744.3A CN104860203B (en) | 2014-02-21 | 2015-02-13 | The method that laser scanner on container transshipment crane is calibrated |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14156183.7A EP2910512B1 (en) | 2014-02-21 | 2014-02-21 | Method for calibrating laser scanners to a container transportation crane |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2910512A1 EP2910512A1 (en) | 2015-08-26 |
EP2910512B1 true EP2910512B1 (en) | 2016-05-25 |
Family
ID=50190189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP14156183.7A Active EP2910512B1 (en) | 2014-02-21 | 2014-02-21 | Method for calibrating laser scanners to a container transportation crane |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP2910512B1 (en) |
CN (1) | CN104860203B (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018166718A1 (en) | 2017-03-15 | 2018-09-20 | Zf Friedrichshafen Ag | Arrangement and method for determining a gradient signal in a vehicle |
US20210256706A1 (en) * | 2019-09-24 | 2021-08-19 | Falk PLI Engineering & Surveying, Inc. | Four-dimensional crane rail measurement systems |
US11530118B2 (en) | 2019-02-25 | 2022-12-20 | Abb Schweiz Ag | Container crane comprising reference marker |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106495000B (en) * | 2015-09-08 | 2017-12-15 | 上海海镭激光科技有限公司 | Multilayer laser scanning truck and suspender tapered end alignment method under bridge crane |
CN105480864B (en) * | 2016-01-20 | 2017-05-10 | 上海振华重工电气有限公司 | Automatic detecting and calibrating system and method for container crane |
CN105819341B (en) * | 2016-06-02 | 2017-08-22 | 北京国泰星云科技有限公司 | Ship outline identification and suspender CAS and method under container dock bridge |
JP6833460B2 (en) * | 2016-11-08 | 2021-02-24 | 株式会社東芝 | Work support system, work method, and processing equipment |
CN107664492B (en) * | 2017-04-01 | 2020-07-10 | 武汉川丰软件技术有限公司 | Deflection angle measuring method and system for mounting port shore bridge laser scanner |
DE102017107141A1 (en) * | 2017-04-03 | 2018-10-04 | Konecranes Global Corporation | Method for positionally accurate picking up and placing down of a container by a straddle carrier and straddle carrier therefor |
DE102017112661A1 (en) * | 2017-06-08 | 2018-12-13 | Konecranes Global Corporation | Automatically guided portal lifting device for containers and method for operating such a portal lifting device |
CN107445067B (en) * | 2017-08-01 | 2020-01-10 | 集美大学 | Automatic loading and unloading system for container tyre crane |
CN109269620B (en) * | 2018-11-14 | 2024-01-02 | 中国铁路成都局集团有限公司计量所 | Container weighing calibration device and method |
EP3653563A1 (en) * | 2018-11-15 | 2020-05-20 | Siemens Aktiengesellschaft | Reliable detection of container crane and tableware |
CN109696125B (en) * | 2019-01-15 | 2021-05-11 | 江苏智库智能科技有限公司 | Positioning and detecting system for loading and unloading positions of travelling crane cable tray |
US11506565B2 (en) * | 2019-09-24 | 2022-11-22 | Falk PLI Engineering & Surveying, Inc. | Four-dimensional crane rail measurement |
CN111977516B (en) * | 2020-08-26 | 2022-05-27 | 上海振华重工(集团)股份有限公司 | Transfer platform with safety control system and operation method thereof |
CN112486169A (en) * | 2020-11-23 | 2021-03-12 | 三一海洋重工有限公司 | Unmanned overhead traveling crane board placing positioning method, system, equipment and storage medium |
CN112551373B (en) * | 2020-11-30 | 2024-04-09 | 三一海洋重工有限公司 | Container profile scanning system and container profile scanning method |
CN112883945A (en) * | 2021-04-28 | 2021-06-01 | 河南卫华重型机械股份有限公司 | Object recognition system |
CN113415725B (en) * | 2021-06-17 | 2023-08-22 | 三一海洋重工有限公司 | Alignment method, alignment controller and lifting mechanism |
CN114671349A (en) * | 2022-02-28 | 2022-06-28 | 张家港港务集团有限公司 | Full-automatic control method and system for gantry crane |
EP4318036A1 (en) * | 2022-08-02 | 2024-02-07 | Siemens Aktiengesellschaft | Monitoring of the alignment of a laser scanner |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4598999B2 (en) * | 2001-07-18 | 2010-12-15 | 三菱重工業株式会社 | Crane and crane control method |
DE19841570C2 (en) * | 1998-09-11 | 2001-04-12 | Telerob Ges Fuer Fernhantierun | Quay crane for loading and unloading containers |
DE102004011321A1 (en) * | 2004-03-09 | 2005-09-29 | Framatome Anp Gmbh | Method and device for automatically loading or unloading a container containing at least one radioactive waste container |
DE102006044187A1 (en) * | 2006-09-20 | 2008-04-03 | Siemens Ag | Method for operating an optical sensor attached to a transport device comprises assigning a functional module of a modular control unit to an operating mode of the sensor and further processing |
SE530490C2 (en) * | 2006-12-21 | 2008-06-24 | Abb Ab | Calibration device, method and system for a container crane |
DE102008019373A1 (en) | 2007-07-03 | 2009-01-22 | Siemens Aktiengesellschaft | Method for calibrating a measuring device of a crane comprises acquiring the surface of the container using sensors, determining the orientation of the surface of the container in reference systems and equilibrating the reference systems |
CN201095568Y (en) * | 2007-09-29 | 2008-08-06 | 南京三宝科技股份有限公司 | Container information acquisition device mounted on crane |
CN201125130Y (en) * | 2007-10-09 | 2008-10-01 | 上海明路绳网索具有限公司 | Container handling anticollision device using laser to scan |
CN102452611B (en) * | 2010-10-21 | 2014-01-15 | 上海振华重工(集团)股份有限公司 | Detection method and detection device for space attitude of suspender of container crane |
US9415976B2 (en) * | 2012-05-10 | 2016-08-16 | Trimble Navigation Limited | Crane collision avoidance |
-
2014
- 2014-02-21 EP EP14156183.7A patent/EP2910512B1/en active Active
-
2015
- 2015-02-13 CN CN201510080744.3A patent/CN104860203B/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018166718A1 (en) | 2017-03-15 | 2018-09-20 | Zf Friedrichshafen Ag | Arrangement and method for determining a gradient signal in a vehicle |
DE102017204306A1 (en) | 2017-03-15 | 2018-09-20 | Zf Friedrichshafen Ag | Arrangement and method for determining a gradient signal in a vehicle |
US11472415B2 (en) | 2017-03-15 | 2022-10-18 | Zf Friedrichshafen Ag | Arrangement and method for determining a gradient signal in a vehicle |
US11530118B2 (en) | 2019-02-25 | 2022-12-20 | Abb Schweiz Ag | Container crane comprising reference marker |
US20210256706A1 (en) * | 2019-09-24 | 2021-08-19 | Falk PLI Engineering & Surveying, Inc. | Four-dimensional crane rail measurement systems |
Also Published As
Publication number | Publication date |
---|---|
CN104860203A (en) | 2015-08-26 |
EP2910512A1 (en) | 2015-08-26 |
CN104860203B (en) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2910512B1 (en) | Method for calibrating laser scanners to a container transportation crane | |
DE10251910B4 (en) | container crane | |
EP0656868B1 (en) | Process and device for controlling a portainer | |
EP3000762B1 (en) | Method for automatic, optical determination of a target position for a container lifting device | |
EP2574587B1 (en) | Method for determining a target position for a container spreader and the container spreader | |
DE2746794C3 (en) | Device for positioning the support frame of a loading device for cuboid piece goods | |
EP1987371B1 (en) | Method for detecting objects with a pivotable sensor device | |
EP1641704A1 (en) | Movable sensor device on the loading means of a forklift | |
WO2009043789A1 (en) | Sensor unit and method for calibration thereof | |
DE102012020953A1 (en) | Method for determining the position in which an ISO container is to be placed on a carrier vehicle, and a 3D laser scan measuring system therefor | |
WO2018073168A1 (en) | Method for automatically positioning a straddle carrier for containers, and straddle carrier for this purpose | |
DE102008019373A1 (en) | Method for calibrating a measuring device of a crane comprises acquiring the surface of the container using sensors, determining the orientation of the surface of the container in reference systems and equilibrating the reference systems | |
EP2956399A1 (en) | Method for calibrating a movable crane part of a crane | |
WO2018224408A1 (en) | Automatically guided lifting gantry device for containers and method for operating such a lifting gantry device | |
EP0668237B1 (en) | Method for handling a load with a crane | |
EP1169673B1 (en) | Method for determining the position of a vehicle | |
EP3606860B1 (en) | Mehod for the position ally accurate receiving and depositing of a container using a gantry stacker and gantry stacker for this purpose | |
DE102004041938A1 (en) | Stacking device e.g. reach stacker, for gripping e.g. container, has sensors for recording area of unknown layout of loads, preferably containers, and computer-aided image identification system for processing sensor data | |
EP3894349B1 (en) | Container-loading system and method for monitoring operation therein | |
EP3366431B1 (en) | Conveyor device for conveying objects and/or persons | |
DE102008058828B4 (en) | Method and device for localizing a mobile object | |
DE112018000580T5 (en) | Movable lifting device, arrangement and method | |
EP0933493A1 (en) | Transferring system | |
EP3497047B1 (en) | Method and arrangement for the placement of stackable storage means | |
DE102020104764A1 (en) | Mobile order picking robot and procedure for its operation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20150206 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: B66C 13/46 20060101AFI20151028BHEP Ipc: B66C 19/00 20060101ALI20151028BHEP |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
INTG | Intention to grant announced |
Effective date: 20151217 |
|
RIN1 | Information on inventor provided before grant (corrected) |
Inventor name: BOENKE, MICHAEL Inventor name: AMBROSY, LARS Inventor name: SCHIKORA, MICHAEL Inventor name: NIESER, MERLIJN |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN Ref country code: AT Ref legal event code: REF Ref document number: 802136 Country of ref document: AT Kind code of ref document: T Effective date: 20160615 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502014000819 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: FP |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160825 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160926 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160826 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502014000819 Country of ref document: DE |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20170228 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170228 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170228 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170228 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20171031 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170228 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20170228 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20180221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20140221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 802136 Country of ref document: AT Kind code of ref document: T Effective date: 20190221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190221 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160525 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160925 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20230202 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20230419 Year of fee payment: 10 |