EP3000762A1 - Verfahren und System zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr - Google Patents

Verfahren und System zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr Download PDF

Info

Publication number
EP3000762A1
EP3000762A1 EP14186240.9A EP14186240A EP3000762A1 EP 3000762 A1 EP3000762 A1 EP 3000762A1 EP 14186240 A EP14186240 A EP 14186240A EP 3000762 A1 EP3000762 A1 EP 3000762A1
Authority
EP
European Patent Office
Prior art keywords
container
harness
holding device
target position
arithmetic unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP14186240.9A
Other languages
English (en)
French (fr)
Other versions
EP3000762B1 (de
Inventor
Thomas Dobler
Jörg Meyer
Tobias Müller
Stephan Wöbse
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP14186240.9A priority Critical patent/EP3000762B1/de
Priority to ES14186240.9T priority patent/ES2627498T3/es
Priority to CN201510613626.4A priority patent/CN105438993B/zh
Publication of EP3000762A1 publication Critical patent/EP3000762A1/de
Application granted granted Critical
Publication of EP3000762B1 publication Critical patent/EP3000762B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • B66C13/085—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions electrical

Definitions

  • the invention relates to a method and a system for automatic, optical determination of a target position in which a container is to be set up by means of a loading crane on a carrier vehicle.
  • Loading cranes are used on freight transhipment sites, storage areas, in assembly halls and shipyards as well as in track construction.
  • a loading crane is a gantry crane. This spans a loading and working area like a portal. Typically, its sidewalls with wheels run on two parallel rails between which motor vehicles or so-called AGVs (Automated Guided Vehicles) on i.d.R. be loaded or unloaded marked tracks.
  • AGVs Automate Guided Vehicles
  • a trolley moves with a hoist.
  • a rail slewing crane can be mounted on the crane bridge.
  • a container harness (English term “spreader”) is a hoist, with which ISO-standardized containers can be gripped. It is known both a rigid container dishes, which is intended only for a container size, as well as a telescoping container dishes whose several tons heavy telescopic frame can be flexibly adjusted to the length of different standardized containers (standard sizes 20 'to 45'). For further consideration, the maximum height of a "high-cube" container of 2,896 m is especially relevant.
  • Gantry trucks, gantry forklifts, forklifts or cross-forklifts can also be equipped with a container harness.
  • the container harness is also here an attachment, whose so-called twist locks engage in the four upper standardized corner fittings of a container or the latter of grab the page. In this case, an element of the twistlock is rotated by 90 °, whereby a positive connection is ensured for locking.
  • the size of the twistlocks is standardized and is about 104 mm in length and 56 mm in width.
  • Twistlocks are used again.
  • the standardized corner fittings of the container must be positioned exactly above the twistlocks of the truck or train wagon.
  • the required accuracy for the positioning can be estimated here with 25 mm, the height accuracy is less critical.
  • a method for finding potential twistlock locations is known which is based on having a 3D mounted on a separate mast from above Laser scanner for at least a portion of the top of the host vehicle, a series of measurement points are obtained, which are then compared to a virtual test specimen. From the set of potential twistlock locations, the actual twistlock is determined based on known and given design details.
  • EP 2574587 A1 For example, a method is known which uses 3D cameras on the spreader to determine the twistlock locations. As far as the spreader cameras are 2D video cameras, an additional line laser attached to the spreader head is to be used, which scans the surface of the carrier vehicle in a previously staked area and in this way supplies necessary profile information for the twistlock locations. The line curvatures of the laser light, as they arise when elevations or depressions are located on the surface of the carrier vehicle, are evaluated by the 2D cameras in order to identify the twistlocks in this way.
  • a 3D camera preferably laser scanner
  • a 2D camera is to be extended by an additional device, such as the line laser.
  • Under holding device will be understood in this case usually vehicles manned or unmanned type (trailer) on which the container by means of lifting device and the container dishes discontinued or from which containers are taken up.
  • At least one 2D optical camera is attached to the container harness as an imaging sensor.
  • the camera is mounted on the container harness such that at least its sensor receives a substantially vertically downwardly directed field of view.
  • the camera or at least the sensor is attached to the container harness with an overhang.
  • container harnesses are usually equipped with four such camera systems to allow the crane operator a visual assistance in dealing with the loads.
  • the present method now advantageously uses at least one sensor of the already existing camera systems.
  • the sensor delivers video images as measured values from the environment of the container harness to a computing unit, wherein due to its substantially vertically downward viewing range, in particular also measured values from the holding apparatus in plan view are supplied to the computing unit. Because of the overhang, there will also be one side, but at least the foot area of an attached container within the field of view of the sensor.
  • the holding device has at least one mark on its surface. Such markers may be, for example natural markings that result from the construction of the holding device. For example, these holes may be for securing railings to the outer edge of the trailers.
  • markings which are applied to the surface have a certain size and are designed such that they have a sharp contrast to the environment.
  • Such markings may be glued or painted, for example.
  • markings which are slightly reflective or light-emitting, thus increasing the contrast and thus the readability of the sensor.
  • the arithmetic unit forms from the recorded measured values, the video images, data from which it calculates target position data for anchoring positions for the container harness.
  • anchoring devices are usually used as they are known, for example, as twistlocks. But it can also be used other anchoring devices such as corner fittings.
  • the anchoring devices on the trailer are usually under the container and are covered by this for the sensor the more centered the container is with its anchors on the associated anchoring devices of the holding device.
  • the target position data are those data that are to be controlled in order to move the container centering exactly over its anchoring position and thus via its anchoring device.
  • the required accuracy for positioning can be approx. 25 - 30 mm.
  • the abovementioned markings which have a defined shape and defined dimension, are made known to the arithmetic unit and are available to them as parameters. This means that the arithmetic unit is thus able to extract the markings from the measured values and to compare them with the marking parameters stored in the arithmetic unit so as to recognize the markings relevant for the further steps.
  • This marking (s), ie the measurement in the plane in at least one direction, a height information between the sensor and the surface of the holding device and a horizontal offset of the container harness to the mark are calculated by the arithmetic unit, the target position data to the anchoring positions, which then via the crane control can be approached regulated. If the container harness is at the target position, it is lowered in a controlled manner and the container harness or container is lowered onto its anchoring device. At a given height in which the sensor is located to the surface of the holding device and thus to the marking, the measured data recorded by the sensor with respect to the marking are counted on a pixel-by-pixel basis.
  • the pixel distances between the mark or at least one edge of the mark and the current horizontal position of the container harness are evaluated. Since both the dimensions of the mark are known and the offset of the container harness are in the locked state, the target position data for the container harness can be calculated.
  • the method as well as the container harness provide a reliable solution for the automated positioning of the container harness.
  • the accuracy is so high due to the two-dimensional data processing that after positioning twistlocks can be locked automatically in corner fittings of a container.
  • This allows the automated loading of trucks for road traffic or rail cars, in which the container to be transported must be secured with twist locks on the bed.
  • the positioning of the imaging sensor on the container dishes achieved due to the proximity to the objects to be detected high accuracy and consequently high reliability in positioning. The latter is essential to avoid property damage and personal injury. This makes it possible for the first time to automate the loading and unloading of vehicles with twistlock protection without having to use laser units.
  • the use of a simple camera has the advantage that it can be selected in a robust design, whereby the required in view of the violent vibrations on the crane and in particular on the container harness mechanical stability is ensured. Also can be expected in these simple and inexpensive components with a long life. This is advantageous because a frequent component change with recalibration in industrial use is out of the question.
  • the height information between the sensor and the surface of the holding device is calculated by the arithmetic unit from the two-dimensional measurement of the markings.
  • no separate height information would have to be provided.
  • the number of pixels depicting the mark in at least one direction is to be related in the plane to the real extent of the mark in the same direction. This can also be done for several extension directions of the markers.
  • the current height can be extrapolated at least in a certain environment.
  • a measuring device which is preferably the measuring device, within the crane control system anyway directly or indirectly a measurement signal from the height of the container harness supplies this information to the arithmetic unit and this height information is included in the calculation of the offset of the container harness to the anchoring positions.
  • the horizontal deviation of the container harness with attached container is determined by determining the horizontal offset between the lower edge of the container (the foot edge) projected onto the surface of the holder and the marker. Because of the overhanging and downwardly directed field of view of the camera results in attached container a field of view of the camera, which extends at least partially along an outer side of the container and includes the foot edge of the container. This edge can be easily evaluated by image processing methods of edge extraction. Due to the use of a 2D camera, this only sees the projection ("shadow") of this edge on the surface of the holding device.
  • the distance between the projecting on the surface of the holding device edge, and the marking itself or a line that results in the transition from the trailer surface on the marker is measured pixel by pixel, so as to determine the current offset of the container dishes. Any errors that arise because of the overhang of the camera and thus not perpendicular projection can be compensated for by the arithmetic unit, as this results from the camera arrangement and the flying height of the container (distance from the edge to the surface) and is reproducible.
  • the horizontal deviation of the container harness is determined by receiving a container from the holding device by the horizontal offset between the upper edge of the container projected onto the surface of the holding device and the mark is measured.
  • the container harness at a suitable height above the Container led that the upper edge of the container, the view of the marking initially at least partially covered and then releases on further movement. This will increase the horizontal offset between the top of the container projected onto the surface of the fixture and the marker itself.
  • the upper edge can be evaluated by image processing methods of edge extraction. Due to the use of a 2D camera, this only sees the projection (extension) of this edge onto the surface of the fixture.
  • the distance between the projected (extended) edge on the surface of the holding device, and the mark itself or a line that results in the transition from the trailer surface to the mark is measured pixel by pixel, so as to the respective current displacement of the container harness determine.
  • the container harness is controlled and kept under constant recalculation of the current offset until the horizontal deviation of the container harness corresponds to the desired lowering position and lowering to the anchoring position can take place.
  • the aforementioned method is performed with two optical cameras as imaging sensors, the cameras are mounted with their sensors on opposite sides of the container harness and thus also provides readings from the opposite sides of the arithmetic unit.
  • all four cameras (two on each side) with which the container harness can be equipped are integrated into the process.
  • the cameras are mounted with overhang on the container harness and have the aforementioned vertical line of sight down. In this way, markings on either side of the fixture, or even multiple markers on one side, can be incorporated into the process. This will increase the accuracy and robustness of the process even further. Because it results in the adjustment of the deviation of the container harness due to the markers opposite effects; a movement in the direction increasing the deviation between the container and the mark on one side results in the reduction of the deviation between the container and the mark on the other side.
  • the above-described method works particularly stably when the markings have a substantially square geometry and a dimension of greater than 10 cm and less than 20 cm.
  • the accuracy of the camera systems commonly used on the spreader is then sufficient to detect the markers with sufficient pixel resolution from the safety height provided for the terminal and to generate commands for positioning the container harness on the basis thereof. Therefore, such markers are preferably applied with sufficient contrast on the surface of the holding device.
  • markings In order to be less exposed to direct weather influences, in particular by snowfall or sleet, or also weather-related contamination, for example by leaf fall, it is proposed to apply markings with a conical or pyramidal head portion on the surface of the holding device. If the marking has a height of 5 cm to 10 cm, then it has been shown that the aforementioned influences can already be largely excluded without the markings being perceived as disturbing obstacles to other work on and around the holding device. These markings can then be easily inserted into holes (for example, for railings), possibly already existing, on the holding device or fastened in a different manner. In this type of fastening, a shaft which runs slightly conical and has a circular cross section would be suitable.
  • the present method in which the container harness is moved to the position at which the anchoring devices can be engaged, is characterized by the following three movement sections, wherein for the first movement step is assumed that a visual contact between at least one mark and the imaging sensor has already been made. This should normally be achieved by pre-positioning the vehicle with the holding device and the crane.
  • the first movement section is carried out in a control loop in a substantially vertical offset of the container harness with continuous recalculation of the height information, the marker remains in the visual contact of the sensor.
  • a second movement section begins. In this case, the calculation of the target position takes place in the offset height and a horizontal offset of the container table in a control loop. The target position is continuously recalculated until the horizontal target position is reached.
  • the third movement section is controlled controlled on the horizontal target position.
  • the computer-readable medium stores a computer program which executes the procedure when it is executed in a computer.
  • the computer program is processed in a computer and executes the procedure.
  • Fig. 1 shows a crane 10. On the crane 10 stationary sensors 6 are mounted. Also shown is a cargo 12, for example a container on a truck, which is detected by the stationary sensors 6. Also in Fig. 1 To see wheels 14, with which the crane 10 can be moved on rails. A floor 15 under the crane 10 is inclined, so that water can flow away. On the floor 15 lane markers 13 are attached, which mark tracks for vehicles. On a trolley 4, a container harness 1 is suspended movably. The container harness 1 has Twistlocks 2, which can be used to grip containers.
  • Fig. 2 shows a container harness 1 when approaching a container 12.
  • twist locks 2 of the container harness 1 must be accurately positioned on standardized corner fittings 11 of the container 12.
  • Fig. 3 shows a container 12 when approaching a holding device 21 of a truck 20.
  • corner fittings 11 of the container 10 must be accurately positioned over twist locks 2 of the truck 20.
  • the container 12 is transported by means of a container harness 1 by a crane.
  • Fig. 4 shows a container tableware 1, which is equipped with imaging sensors 3.
  • the container harness 1 is deposited on a container 10.
  • imaging sensors 3 only simple cameras are used.
  • the imaging sensors are externally on the outer frame of the container harness attached so that they - if the container dishes as here in engagement with a container is - have a substantially vertically downwardly directed field of view past the container wall. The distance between frame and sensor axis thus forms an overhang.
  • Fig. 5 shows mounting positions of imaging sensors 3 on a container tableware 1 from different perspectives. Partly also Twistlocks 2 of the container harness 1 are visible.
  • FIG. 11 shows a determination of measured values from an environment of a container harness in a side view and the calculation of target position data to the anchoring positions.
  • the container 12 is at the height 8 in engagement with the container harness 1.
  • the height 8 may be the so-called. Safety height, in which the container is to move horizontally. This can vary from terminal to terminal, but is on the order of about 6 m.
  • the imaging sensors 3 span a viewing area A, B bounded by the side lines a, b, a ', b' and deliver video images as measured values from the surroundings of the container harness to a computing unit 22.
  • the holding device 21 is in this case that of an AGV.
  • In the edge area are holes 7, which can serve as a railing attachment, for example.
  • the holes 7 represent insofar natural markings. Preferably also applied markings as in Fig. 7 shown usable.
  • the arithmetic unit 22 forms from the recorded measured values, the video images, data from which it calculates target position data for anchoring positions for the container harness. In the direction of travel, the container position in Fig. 6 currently an offset 23 to the anchoring position. Anchoring position is the position in which the anchoring devices (corner fittings 11 and twistlock 2) would be in engagement.
  • the target position data are those data that are to be controlled to to move the container centering exactly to its anchoring position and thus on its anchoring device.
  • the viewing area A along the usually profiled container wall and over the foot edge 24 of the container 12 generates on the surface of the holding device 21 a picture detail 9.
  • the foot edge 24 is projected onto the surface of the holding device 21.
  • the image section 9 has an extension 25 in the direction of travel, depending on the height 8, and comprises the marking 7.
  • the markings 7 are known in shape and dimensions.
  • the arithmetic unit 22 is thereby enabled to extract the markings from the measured values and to compare them with the marking parameters stored in the arithmetic unit 22 so as to recognize the markings 7 relevant for the further steps.
  • On the silhouette of the image section 9 and the foot edge 24, the corner profile 26 of the container can be seen.
  • the distance 27 between the relevant mark 7 and the corner profile 26 must have a certain target value in the anchoring position. From the current measure, the number of pixels between marking 7 and corner profile 26 at a certain height 8 can be calculated by the arithmetic unit, the target position data to the anchor positions and transferred to the crane control this enabled to lead the container harness over the anchoring position.
  • Fig. 7 shows a determination of measured values of an environment of a container harness in the plan view and the calculation of target position data to the anchorage positions transverse to the direction of travel.
  • the container 12 is again in height 8 in engagement with the container harness 1.
  • the imaging sensors 3 span a limited by the side lines a, a ', a "field of view A and deliver video images as measurements of the environment of the container harness to a Arithmetic unit 22.
  • the holding device 21 is again an AGV In the edge area this time, markings 7 in the form of squares are applied to the surface of the holding device 21.
  • the container 12 has the offset 28 transversely to the anchoring position Driving direction.
  • the twistlocks 2 are visible in the upper edge area, while they are covered by the container in the lower edge area (marked viewing area A).
  • the viewing area A along the profiled container wall over the foot edge 24 of the container 12 generates on the surface of the holding device 21 a picture detail 29.
  • the foot edge 24 is projected onto the surface of the holding device 21.
  • the markers 7 are known in shape and dimensions.
  • the arithmetic unit 22 is thereby enabled to extract the markings from the measured values and to compare them with the marking parameters stored in the arithmetic unit 22 so as to recognize the markings 7 relevant for the further steps. Furthermore, the arithmetic unit is able to determine the offset 30 between projected foot edge 24 and marking 7 from the dimensions of the marking.
  • the mark 7 should have an extension of 10 cm, which should correspond to a pixel height of 500 pixels at a certain height 8. If now 30 200 pixels are measured for the offset, the current offset 30 can be determined to be 4 cm.
  • the foot edge 24 should, so that the anchoring positions in the transverse direction are the same thinking over each other and the container can be discontinued, have a calculation unit known reference offset to mark 7. With knowledge of the current offset and the desired offset, the arithmetic unit can calculate the target position data on which the crane control moves the container harness via the anchoring positions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Positionierung eines Containergeschirrs (1) über eine Haltevorrichtung (21) für Container (12), wobei mindestens eine optische 2D-Kamera als bildgebender Sensor (3) an dem Containergeschirr (1) mit einem Überhang befestigt ist und einen senkrecht nach unten gerichteten Sichtbereich (A, B) aufspannt und Messwerte an eine Recheneinheit (22) liefert. Die Recheneinheit berechnet die Zielpositionsdaten zu Verankerungspositionen (2,11). Die Haltevorrichtung (21) weist auf ihrer Oberfläche wenigstens eine Markierung (7) definierter Größe au, die der Recheneinheit (22) als Parameter zur Verfügung stehen. Die Recheneinheit (22) berechnet aus der zweidimensionalen Vermessung der Markierungen (7), einer Höheninformation (8) zwischen Sensor (3) und Oberfläche der Haltevorrichtung (21) und aus einem horizontalen Versatz (23, 30) des Containergeschirrs (1) zur Markierung die Zielpositionsdaten zu den Verankerungspositionen (2, 11).

Description

  • Die Erfindung betrifft ein Verfahren und ein System zur automatischen, optischen Bestimmung einer Zielposition, in der ein Container mittels eines Ladekrans auf ein Trägerfahrzeug aufzusetzen ist.
  • Ladekrane werden auf Güterumschlagplätzen, Lagerplätzen, in Montagehallen und Werften sowie beim Gleisbau eingesetzt. Eine Ausführung eines Ladekrans ist ein Portalkran. Dieser überspannt einen Lade- und Arbeitsbereich wie ein Portal. In der Regel laufen seine Seitenwände mit Rädern auf zwei parallelen Schienen zwischen denen Kraftfahrzeuge oder sogenannten AGV's (Automated Guided Vehicles) auf i.d.R. markierten Spuren be- oder entladen werden. Auf der Kranbrücke, dem horizontalen Teil des Portalkrans, bewegt sich eine Laufkatze mit einem Hubwerk. Alternativ kann auch ein Schienendrehkran auf der Kranbrücke montiert sein.
  • Ein Containergeschirr (engl. Bezeichnung "Spreader") ist ein Hebezeug, mit welchem ISO-genormte Container gegriffen werden können. Es ist sowohl ein starres Containergeschirr bekannt, welches nur für eine Containergröße bestimmt ist, als auch ein teleskopierendes Containergeschirr, dessen mehrere Tonnen schwerer Teleskoprahmen flexibel auf die Länge unterschiedlicher normierter Container (Normgrößen 20' bis 45') eingestellt werden kann. Für die weitere Betrachtung ist vor allem die maximale Höhe eines "Highcube-"Containers von 2,896 m relevant.
  • Auch Portalhubwagen, Portalstapler, Gabelstapler oder Quergabelstapler können mit einem Containergeschirr ausgerüstet werden. Das Containergeschirr ist auch hier ein Anbaugerät, dessen sogenannte Twistlocks in die vier oberen genormten Eckbeschläge eines Containers eingreifen oder die diesen von der Seite her greifen. Hierbei wird ein Element des Twistlocks um 90° rotiert, wodurch eine formschlüssige Verbindung zur Verriegelung gewährleistet ist. Die Größe der Twistlocks ist normiert und beträgt in etwa 104 mm in der Länge sowie 56 mm in der Breite.
  • Häufige Arbeitsvorgänge in der Container-Logistik sind das Verankern eines Containers am Containergeschirr, mit welchem der Container anschließend bewegt wird, sowie das Verankern der Container auf Bahnwaggons oder Ladeflächen von LKWs oder AGV's. Diese Aufgaben werden heute ausschließlich von Kranfahrern bewältigt, die teilweise an entfernten Stationen sitzen und unterschiedliche Kräne mithilfe von Videobildern bedienen.
  • Zur Verankerung eines Containers auf einer Ladefläche eines LKW oder Bahnwaggons kommen erneut Twistlocks zum Einsatz. Beim Aufsetzen des Containers müssen die genormten Eckbeschläge des Containers genau über den Twistlocks des LKW oder Bahnwaggons positioniert werden. Die erforderliche Genauigkeit für die Positionierung kann hierbei mit 25 mm abgeschätzt werden, wobei die Höhengenauigkeit weniger kritisch ist.
  • Aus dem Dokument "Kameragestützte Automatisierung von Containerkranen - Potentiale, Technologien, Rahmenbedingungen", Jörg Krüger und Mike Neuendorf, 19. Internationale Kran-Fachtagung 2011, ist eine kameragestützte, automatische Erkennung von Be- und Entladepositionen auf einem LKW bekannt. Diese Positionen werden aus den Bildern hochauflösender Kameras extrahiert, welche in großer Höhe an einer Laufkatze eines Containerkrans montiert sind. Hierbei werden in den Kamerabildern Eckbeschläge der Container sowie Twistlocks der LKW-Ladeflächen erkannt.
  • Aus der EP 2724972 A1 ist ein Verfahren zum Auffinden von potentiellen Twistlock-Orten bekannt, das darauf basiert, dass von oben mit einem auf einem separaten Mast befestigten 3D Laserscanner für wenigstens einen Teil der Oberseite des Trägerfahrzeugs eine Reihe von Messpunkten gewonnen werden, die dann mit einem virtuellen Prüfkörper verglichen werden. Aus der Menge potentieller Twistlock Orte werden dann aufgrund bekannter und vorgegebener Konstruktionsdetails die eigentlichen Twistlock bestimmt.
  • Aus EP 2574587 A1 ist ein Verfahren bekannt, welches 3D Kameras am Spreader benutzt, um die Twistlock-Orte zu bestimmen. Soweit es sich bei den Spreaderkameras um 2D Videokameras handelt, ist ein zusätzlicher - am Spreaderkopf befestigter - Linienlaser einzusetzen, der die Oberfläche des Trägerfahrzeuges in einem zuvor abgesteckten Bereich abtastet und auf diese Weise notwendige Profilinformation für die Twistlock-Orte liefert. Dabei werden die Linienkrümmungen des Laserlichtes, wie sie entstehen, wenn sich Erhebungen oder Vertiefungen auf der Oberfläche des Trägerfahrzeuges befinden, von den 2D Kameras ausgewertet, um auf diese Weise die Twistlocks zu identifizieren.
  • Allen Verfahren ist gemein, dass entweder eine 3D Kamera (vorzugsweise Laserscanner) zu verwenden ist, oder eine 2D Kamera durch eine Zusatzvorrichtung, wie den Linienlaser zu erweitern ist.
  • Alle Systeme, die ein Verfahren benutzen, welches auf dem Einsatz von 3D Laserscannern basieren, haben Kostennachteile. So ist schon die Anschaffung von solchen Scannern mit erheblichen Kosten verbunden. Darüber hinaus erfordern sie eine recht zeitaufwendige Inbetriebnahme und Kalibrierung. Ein weiterer Nachteil von Laserscannern liegt darin, dass die Lasereinheit durch Luftverschmutzung wie z.B. Dieselabgasen im Hafen verunreinigen und somit regelmäßig gewartet werden muss. Reflektionen können die Störanfälligkeit noch einmal erhöhen. Da im normalen Betrieb nur ein einziger Laserscanner - montiert an einem Mast in Nähe der Be- oder Entladestation - zum Einsatz kommt bedeutet ein Ausfall des Laserscanners auch den Totalausfall des Systems.
  • Vorgenannte Nachteile gelten zumindest zum Teil auch für optische Systeme, die einen zusätzlichen Laser benötigen.
  • Es stellt sich demnach die Aufgabe, ein Verfahren zur Bestimmung einer Zielposition für ein Containergeschirr sowie System zur Bestimmung des Containergeschirr anzugeben, welches rein optisch arbeitet und somit die Kosten minimiert, ohne die Fehleranfälligkeit für die häufigen Verankerungsvorgänge von Containern zu erhöhen.
  • Diese Aufgabe wird gelöst durch ein Verfahren zur Positionierung für ein Containergeschirr über einer Haltevorrichtung mit den Merkmalen des Anspruchs 1. Unter Haltevorrichtung werden dabei in der Regel Fahrzeuge bemannter oder unbemannter Art (Trailer) zu verstehen sein, auf denen die Container mittels Hebevorrichtung und dem Containergeschirr abgesetzt oder von denen Container aufgenommen werden. An dem Containergeschirr ist mindestens eine optische 2D-Kamera als bildgebender Sensor befestigt. Die Kamera ist derart an dem Containergeschirr befestigt, dass wenigstens ihr Sensor einen im Wesentlichen senkrecht nach unten gerichteten Sichtbereich erhält. Um dies zu erreichen ist die Kamera oder wenigstens der Sensor mit einem Überhang an dem Containergeschirr befestigt. Solche Anordnungen sind bekannt, Containergeschirre sind in der Regel mit vier derartigen Kamerasystemen ausgestattet, um dem Kranführer eine Sichtunterstützung beim Umgang mit den Lasten zu ermöglichen. Das vorliegende Verfahren nutzt nun vorteilhaft wenigstens einen Sensor der ohnehin vorhandenen Kamerasysteme. Der Sensor liefert Videobilder als Messwerte von der Umgebung des Containergeschirrs an eine Recheneinheit, wobei wegen seines im Wesentlichen senkrecht nach unten gerichteten Sichtbereiches, insbesondere auch Messwerte von der Haltevorrichtung in der Draufsicht an die Recheneinheit geliefert werden. Wegen des Überhangs wird sich ebenso eine Seite, wenigstens jedoch der Fußbereich eines angehängten Containers im Sichtbereich des Sensors befinden. Die Haltevorrichtung weist wenigstens eine Markierung auf ihrer Oberfläche auf. Solche Markierung können beispielsweise natürliche Markierungen sein, die sich aus der Konstruktion der Haltevorrichtung ergeben. Beispielsweise können diese Löcher zur Befestigung von Geländern an der Außenkante der Trailer sein. Vorteilhaft und erfindungsgemäß sind diese allerdings Markierungen, die auf die Oberfläche aufgebracht werden, eine bestimmte Größe aufweisen und so ausgestaltet sind, dass sie einen scharfen Kontrast zur Umgebung aufweisen. Solche Markierungen können beispielsweise aufgeklebt oder aufgemalt sein. Zur besseren Sichtbarkeit können hier auch Markierungen verwendet werden, die leicht reflektierend oder licht-emittierend sind, um somit den Kontrast und damit die Lesbarkeit für den Sensor zu erhöhen.
    Die Recheneinheit bildet aus den aufgenommenen Messwerten, den Videobildern, Daten, aus welchen sie für das Containergeschirr Zielpositionsdaten zu Verankerungspositionen berechnet. Zur Verankerung eines Containers auf einem Trailer oder am Containergeschirr werden in der Regel Verankerungsvorrichtungen verwendet wie sie beispielsweise als Twistlocks bekannt sind. Es können aber auch andere Verankerungsvorrichtungen wie beispielsweise Eckbeschläge verwendet werden. Die Verankerungsvorrichtungen auf dem Trailer befinden sich i.d.R. unter dem Container und werden von diesem für den Sensor verdeckt je zentrierter sich der Container mit seinen Verankerungen über den zugehörigen Verankerungsvorrichtungen der Haltevorrichtung befindet. Die Zielpositionsdaten sind dabei diejenigen Daten, die anzusteuern sind, um den Container zentrierungsgenau über seine Verankerungsposition und damit über seine Verankerungsvorrichtung zu bewegen. Die erforderliche Genauigkeit für die Positionierung kann hierbei bei ca. 25 - 30 mm liegen.
    Die vorgenannten Markierungen, die eine definierte Form und definierte Abmessung aufweisen, sind der Recheneinheit bekannt gemacht und stehen dieser als Parameter zur Verfügung. D.h. die Recheneinheit wird damit in die Lage versetzt aus den Messwerten die Markierungen zu extrahieren und mit den in der Recheneinheit hinterlegten Markierungsparametern zu vergleichen, um so die für die weiteren Schritte relevanten Markierungen zu erkennen. Aus der zweidimensionalen Vermessung dieser Markierung(en), d.h. der Vermessung in der Ebene in zumindest einer Richtung, einer Höheninformation zwischen Sensor und Oberfläche der Haltevorrichtung und aus einem horizontalen Versatz des Containergeschirrs zur Markierung werden durch die Recheneinheit die Zielpositionsdaten zu den Verankerungspositionen berechnet, die dann über die Kransteuerung geregelt angefahren werden können. Befindet sich das Containergeschirr an der Zielposition wird gesteuert abgesenkt und das Containergeschirr oder der Container auf seine Verankerungsvorrichtung abgesetzt. In einer gegebenen Höhe in der sich der Sensor zur Oberfläche der Haltevorrichtung und damit zur Markierung befindet, werden die vom Sensor aufgenommenen Messdaten in Bezug auf die Markierung pixelweise ausgezählt. Gleichwohl werden die Pixelabstände zwischen der Markierung oder zumindest einer Kante der Markierung und der aktuellen horizontalen Lage des Containergeschirrs ausgewertet. Da sowohl die Abmessungen der Markierung bekannt sind, als auch der Versatz des Containergeschirrs im eingerasteten Zustand sind, lassen sich die Zielpositionsdaten für das Containergeschirr berechnen.
  • Das Verfahren sowie das Containergeschirr stellen eine zuverlässige Lösung zur automatisierten Positionierung des Containergeschirrs bereit. Versuche haben gezeigt, dass die Genauigkeit auch aufgrund der zweidimensionalen Datenverarbeitung so hoch ist, dass nach erfolgter Positionierung Twistlocks automatisch in Eckbeschlägen eines Container verriegelt werden können. Dies erlaubt das automatisierte Beladen von LKWs für den Straßenverkehr oder Bahnwaggons, bei denen die zu transportierenden Container mit Twistlocks auf der Ladefläche gesichert werden müssen. Die Positionierung des bildgebenden Sensors am Containergeschirr erzielt aufgrund der Nähe zu den zu erkennenden Objekten eine hohe Genauigkeit und in der Folge eine hohe Zuverlässigkeit bei der Positionierung. Letztere ist unerlässlich, um Sach- und Personenschäden zu vermeiden. So wird es erstmals möglich, das Be- und Entladen von Fahrzeugen mit Twistlock-Sicherung zu automatisieren ohne Lasereinheiten verwenden zu müssen.
  • Weiterhin bietet der Einsatz einer einfachen Kamera den Vorteil, dass diese in robuster Ausführung gewählt werden kann, wodurch die in Anbetracht der heftigen Erschütterungen am Kran und insbesondere am Containergeschirr erforderliche mechanische Stabilität gewährleistet wird. Auch kann bei diesen einfachen und kostengünstigen Komponenten mit einer langen Lebensdauer gerechnet werden. Dies ist von Vorteil, da ein häufiger Komponentenwechsel mit Nachkalibrierung im industriellen Einsatz nicht in Frage kommt.
  • Nach einem weiteren Aspekt der Erfindung werden die Höheninformation zwischen Sensor und Oberfläche der Haltevorrichtung von der Recheneinheit aus der zweidimensionalen Vermessung der Markierungen errechnet wird. In diesem Fall müsste keine gesonderte Höheninformation zur Verfügung gestellt werden. Es hat sich nämlich gezeigt, dass mit Markierungen bestimmter Abmessungen und einer ausreichenden Sensorauflösung die Möglichkeit besteht, zuverlässig ein Höhenmaß aus der zweidimensionalen Vermessung der Markierung abzuleiten. Dazu sind für vorzugsweise zwei unterschiedliche Referenzhöhen die Anzahl der Pixel, welche die Markierung in wenigstens einer Richtung abbilden, in der Ebene mit der reale Ausdehnung der Markierung in der gleichen Richtung in Verbindung zu setzen. Dies kann auch für mehrere Ausdehnungsrichtungen der Markierungen vorgenommen werden. D.h. es wird für mindestens zwei Höhen die Anzahl der Pixel gemessen, die eine Markierung in einer bestimmten Ausdehnungsrichtung auf dem Sensor einnimmt und mit der realen Ausdehnung ins Verhältnis gesetzt. Auf diese Weise lässt sich zwischen den beiden Referenzhöhen eine aktuelle Höhe aus der aktuellen Anzahl der Pixel interpolieren, über die Referenzhöhen hinaus, lässt sich die aktuelle Höhe wenigstens in einer gewissen Umgebung extrapolieren.
  • Unter besonderen Sicherheitsgesichtspunkten kann ist vorteilhaft sein, wenn eine Messvorrichtung, die vorzugsweise die Messvorrichtung ist, die innerhalb der Kransteuerung ohnehin direkt oder indirekt ein Messsignal von der Höhe des Containergeschirrs liefert, diese Information an die Recheneinheit liefert und diese Höheninformation in die Berechnung des Versatzes des Containergeschirrs zu den Verankerungspositionen einbezogen wird.
  • Es hat sich als vorteilhaft herausgestellt, wenn die horizontale Abweichung des Containergeschirrs bei angehängtem Container ermittelt wird, indem der horizontale Versatz zwischen der Unterkante des Containers (die Fußkante) projiziert auf die Oberfläche der Haltevorrichtung und der Markierung ermittelt wird. Wegen des überhängenden und nach unten gerichteten Sichtfeldes der Kamera ergibt sich bei angehängtem Container ein Sichtfeld der Kamera, welches zumindest zum Teil entlang einer äußeren Seite des Containers verläuft und die Fußkante des Containers beinhaltet. Diese Kante ist durch Bildverarbeitungsverfahren der Kantenextraktion gut auswertbar. Aufgrund des Einsatzes einer 2D-Kamera sieht diese nur die Projektion ("Schatten") dieser Kante auf die Oberfläche der Haltevorrichtung. Der Abstand zwischen der, sich auf die Oberfläche der Haltvorrichtung projizierenden Kante, und der Markierung selbst respektive einer Linie, die sich bei Übergang von der Traileroberfläche auf die Markierung ergibt, wird pixelweise ausgemessen, um somit den aktuellen Versatz des Containergeschirrs zu ermitteln. Etwaige Fehler, die sich wegen des Überhanges der Kamera und der damit nicht lotgerechten Projektion ergeben, können über die Recheneinheit kompensiert werden, da sich dieser aus der Kameraanordnung und der Schwebehöhe des Containers (Abstand Fußkante zur Oberfläche) ergibt und reproduzierbar ist.
  • Eine alternative Ausführungsform ergibt sich, wenn ein Container von dem Containergeschirr aufgenommen werden soll. In diesem Fall wird die horizontale Abweichung des Containergeschirrs bei Aufnahme eines Containers von der Haltevorrichtung ermittelt, indem der horizontale Versatz zwischen Oberkante des Containers projiziert auf die Oberfläche der Haltevorrichtung und der Markierung ausgemessen wird. Dazu wird das Containergeschirr in einer geeigneten Höhe so über den Container geführt, dass die Oberkante des Containers die Sicht auf die Markierung zunächst zumindest teilweise überdeckt und bei weiterer Bewegung dann freigibt. Damit wird sich der horizontale Versatz zwischen der Oberkante des Containers projiziert auf die Oberfläche der Haltevorrichtung und der Markierung selbst vergrößern. Die Oberkante ist durch Bildverarbeitungsverfahren der Kantenextraktion auswertbar. Aufgrund des Einsatzes einer 2D-Kamera sieht diese nur die Projektion (die Verlängerung) dieser Kante auf die Oberfläche der Haltevorrichtung. Der Abstand zwischen der, sich auf die Oberfläche der Haltvorrichtung projizierenden (verlängerten) Kante, und der Markierung selbst respektive einer Linie, die sich bei Übergang von der Traileroberfläche auf die Markierung ergibt, wird pixelweise ausgemessen, um somit den jeweils aktuellen Versatz des Containergeschirrs zu ermitteln. Das Containergeschirr wird geregelt und unter stetiger Neuberechnung des aktuellen Versatzes so geführt, bis die horizontale Abweichung des Containergeschirrs der gewünschten Absenkposition entspricht und ein Absenken auf die Verankerungsposition erfolgen kann.
  • In besonders vorteilhafter Ausführungsform wird das vorgenannte Verfahren mit zwei optischen Kameras als bildgebenden Sensoren durchgeführt, wobei die Kameras mit ihren Sensoren auf gegenüberliegenden Seiten an dem Containergeschirr befestigt sind und somit auch Messwerte von den gegenüberliegenden Seiten an die Recheneinheit liefert. In einer weiteren Verbesserung werden alle vier Kameras (zwei auf jeder Seite) mit denen das Containergeschirr ausgerüstet sein kann in das Verfahren eingebunden. Die Kameras sind mit Überhang an dem Containergeschirr befestigt und haben die vorgenannte senkrechte Blickrichtung nach unten. Auf diese Weise können Markierungen auf beiden Seiten der Haltevorrichtung oder sogar mehrere Markierungen auf einer Seite in das Verfahren einbezogen werden. Damit wird sich die Genauigkeit und Robustheit des Verfahrens noch weiter erhöhen. Denn es ergeben sich bei der Ausregelung der Abweichung des Containergeschirrs aufgrund der Markierungen gegenläufige Effekte; eine Bewegung in Richtung einer Vergrößerung der Abweichung zwischen Container und Markierung auf der einen Seiten zieht die Verkleinerung der Abweichung zwischen dem Container und der Markierung auf der anderen Seite nach sich.
  • Es hat sich gezeigt, dass das vorbeschriebene Verfahren besonders stabil dann funktioniert, wenn die Markierungen eine im Wesentlichen quadratische Geometrie und eine Abmessung von größer 10cm und kleiner 20cm aufweisen. Die Genauigkeit der üblicherweise am Spreader verwendeten Kamerasysteme ist dann ausreichend, um die Markierungen mit ausreichender Pixelauflösung aus der für den Umschlagsplatz vorgesehenen Sicherheitshöhe zu erkennen und auf deren Basis Befehle zur Positionierung des Containergeschirrs zu generieren. Bevorzugt werden deshalb solche Markierungen mit ausreichendem Kontrast auf der Oberfläche der Haltvorrichtung aufgebracht.
  • Um direkten Witterungseinflüssen, insbesondere durch Schneefall oder Graupel, oder aber auch witterungsbedingten Verunreinigungen, beispielsweise durch Laubfall, weniger ausgesetzt zu sein, wird vorgeschlagen, Markierungen mit einem kegel- oder pyramidenförmigen Kopfteil auf die Oberfläche der Haltevorrichtung aufzubringen. Wenn die Markierung eine Höhe von 5cm bis 10 cm aufweist, so hat sich gezeigt, dass vorgenannte Einflüsse schon weitgehend ausgeschlossen werden können, ohne dass die Markierungen als störende Hindernisse für sonstige Arbeiten an und um die Haltevorrichtung herum empfunden werden. Diese Markierungen können dann leicht in - ggf. ohnehin schon vorhandene - Löcher (beispielsweise für Geländer) an der Haltevorrichtung eingesteckt oder auf anderer Weise befestigt werden. Bei dieser Befestigungsart würde sich ein Schaft, der leicht konisch verläuft und einen kreisrunden Querschnitt aufweist eignen.
  • Das vorliegende Verfahren bei dem das Containergeschirr an die Position bewegt wird, an der die Verankerungsvorrichtungen in Eingriff gebracht werden können, zeichnet sich durch die folgenden drei Bewegungsabschnitte aus, wobei für den ersten Bewegungsschritt vorausgesetzt wird, dass bereits ein Sichtkontakt zwischen mindestens einer Markierung und dem bildgebenden Sensor hergestellt worden ist. Dies sollte i.d.R. schon durch die Vorpositionierung von Fahrzeug mit Haltevorrichtung und Kran erreicht werden. Im ersten Bewegungsabschnitt erfolgt in einer Regelschleife ein im wesentlicher vertikaler Versatz des Containergeschirrs bei fortlaufender Neuberechnung der Höheninformation, wobei die Markierung im Sichtkontakt des Sensors verbleibt. Ist eine bestimmte Versatzhöhe erreicht, beginnt ein zweiter Bewegungsabschnitt. Bei diesem erfolgt in der Versatzhöhe die Berechnung der Zielposition und in einer Regelschleife ein horizontaler Versatz des Containergeschirrs. Dabei wird fortlaufend die Zielposition neu berechnet, bis die horizontale Zielposition erreicht ist. In dem dritten Bewegungsabschnitt wird auf der horizontalen Zielposition gesteuert abgesetzt.
  • Auf dem computerlesbaren Datenträger ist ein Computerprogramm gespeichert, welches das Verfahren ausführt, wenn es in einem Computer abgearbeitet wird. Das Computerprogramm wird in einem Computer abgearbeitet und führt dabei das Verfahren aus.
  • Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Figuren näher erläutert. Es zeigen:
    • Fig. 1
    einen Kran mit stationären Sensoren sowie ein Frachtgut unter dem Kran,
    Fig. 2
    ein Containergeschirr bei der Annäherung an einen Container,
    Fig. 3
    einen Container bei der Annäherung an einen LKW,
    Fig. 4
    ein Containergeschirr, welches mit bildgebenden Sensoren ausgerüstet ist,
    Fig. 5
    Montagepositionen der bildgebenden Sensoren,
    Fig. 6
    eine Ermittlung von Messwerten von einer Umgebung eines Containergeschirrs in einer Seitenansicht und die Berechnung von Zielpositionsdaten zu den Verankerungspositionen entlang der Fahrtrichtung,
    Fig. 7
    eine Ermittlung von Messwerten von einer Umgebung eines Containergeschirrs in der Draufsicht und die Berechnung von Zielpositionsdaten zu den Verankerungspositionen quer zur Fahrtrichtung,
  • Fig. 1 zeigt einen Kran 10. An dem Kran 10 sind stationäre Sensoren 6 angebracht. Weiterhin gezeigt ist ein Frachtgut 12, beispielsweise ein Container auf einem LKW, welches durch die stationären Sensoren 6 erfasst wird. Ebenfalls in Fig. 1 zu sehen sind Räder 14, mit denen der Kran 10 auf Schienen bewegt werden kann. Ein Boden 15 unter dem Kran 10 ist geneigt, so dass Wasser abfließen kann. Auf dem Boden 15 sind Spurmarkierungen 13 angebracht, welche Spuren für Fahrzeuge markieren. An einer Laufkatze 4 ist ein Containergeschirr 1 beweglich aufgehängt. Das Containergeschirr 1 verfügt über Twistlocks 2, mit denen Container gegriffen werden können.
  • Fig. 2 zeigt ein Containergeschirr 1 bei der Annäherung an einen Container 12. Hierbei müssen Twistlocks 2 des Containergeschirrs 1 passgenau über genormten Eckbeschlägen 11 des Containers 12 positioniert werden.
  • Fig. 3 zeigt einen Container 12 bei der Annäherung an eine Haltevorrichtung 21 eines LKW 20. Hier müssen Eckbeschläge 11 des Containers 10 passgenau über Twistlocks 2 des LKW 20 positioniert werden. Der Container 12 wird mithilfe eines Containergeschirrs 1 durch einen Kran transportiert.
  • Fig. 4 zeigt ein Containergeschirr 1, welches mit bildgebenden Sensoren 3 ausgerüstet ist. Das Containergeschirr 1 ist auf einem Container 10 abgesetzt. Als bildgebende Sensoren 3 werden lediglich einfache Kameras eingesetzt. Die bildgebenden Sensoren sind von außen auf den äußeren Rahmen des Containergeschirrs befestigt, so dass sie - sofern sich das Containergeschirr wie hier im Eingriff mit einem Container befindet - einen im Wesentlichen senkrecht nach unten gerichteten Sichtbereich vorbei an der Containerwand aufweisen. Der Abstand zwischen Rahmen und Sensorachse bildet somit einen Überhang aus.
  • Fig. 5 zeigt Montagepositionen von bildgebenden Sensoren 3 an einem Containergeschirr 1 aus unterschiedlichen Perspektiven. Teilweise sind auch Twistlocks 2 des Containergeschirrs 1 sichtbar.
  • Fig. 6 zeigt eine Ermittlung von Messwerten von einer Umgebung eines Containergeschirrs in einer Seitenansicht und die Berechnung von Zielpositionsdaten zu den Verankerungspositionen. Dabei befindet sich der Container 12 in der Höhe 8 im Eingriff mit dem Containergeschirr 1. Bei der Höhe 8 kann es sich um die sog. Sicherheitshöhe handeln, in der der Container horizontal zu bewegen ist. Diese kann von Umschlagsplatz zu Umschlagsplatz variieren, liegt aber in der Größenordnung von ca. 6 m. Die bildgebenden Sensoren 3 spannen einen durch die Seitenlinien a, b, a', b' begrenzten Sichtbereich A, B auf und liefern Videobilder als Messwerte von der Umgebung des Containergeschirrs an eine Recheneinheit 22. Bei der Haltevorrichtung 21 handelt es sich in diesem Fall um die eines AGV. Im Randbereich befinden sich Bohrungen 7, die z.B. einer Geländerbefestigung dienen können. Die Bohrungen 7 stellen insoweit natürliche Markierungen dar. Vorzugsweise sind auch aufgebrachte Markierungen wie in Fig. 7 gezeigt verwendbar. Die Recheneinheit 22 bildet aus den aufgenommenen Messwerten, den Videobildern, Daten, aus welchen sie für das Containergeschirr Zielpositionsdaten zu Verankerungspositionen berechnet. In Fahrtrichtung weist die Containerlage in Fig. 6 derzeit einen Versatz 23 zur Verankerungsposition auf. Unter Verankerungsposition ist die Position zu verstehen in der sich die Verankerungsvorrichtungen (Eckbeschläge 11 und Twistlock 2) in Eingriff befinden würden. Die Zielpositionsdaten sind dabei diejenigen Daten, die anzusteuern sind, um den Container zentrierungsgenau an seine Verankerungsposition und damit über seine Verankerungsvorrichtung zu bewegen. Der Sichtbereich A entlang der i.d.R. profilierten Containerwand und über die Fußkante 24 des Containers 12 erzeugt auf der Oberfläche der Haltevorrichtung 21 einen Bildausschnitt 9. Im Bildausschnitt 9 ist die Fußkante 24 auf die Oberfläche der Haltevorrichtung 21 projiziert. Der Bildausschnitt 9 hat in Fahrrichtung, abhängig von der Höhe 8 eine Ausdehnung 25 und umfasst die Markierung 7. Die Markierungen 7 sind in Form und Abmessungen bekannt. Die Recheneinheit 22 wird damit in die Lage versetzt aus den Messwerten die Markierungen zu extrahieren und mit den in der Recheneinheit 22 hinterlegten Markierungsparametern zu vergleichen, um so die für die weiteren Schritte relevanten Markierungen 7 zu erkennen. An der Silhouette des Bildausschnittes 9 und der Fußkante 24 lässt sich das Eckprofil 26 des Containers erkennen. Der Abstand 27 zwischen der relevanten Markierung 7 und dem Eckprofil 26 muss in der Verankerungsposition einen bestimmten Zielwert aufweisen. Aus dem aktuellen Maß, der Pixelanzahl zwischen Markierung 7 und Eckprofil 26 in einer bestimmten Höhe 8 können durch die Recheneinheit die Zielpositionsdaten zu den Verankerungspositionen berechnet werden und die an die Kransteuerung übergeben diese in die Lage versetzt das Containergeschirr über die Verankerungsposition zu führen.
  • Fig. 7 zeigt eine Ermittlung von Messwerten von einer Umgebung eines Containergeschirrs in der Draufsicht und die Berechnung von Zielpositionsdaten zu den Verankerungspositionen quer zur Fahrtrichtung. Dabei befindet sich der Container 12 wieder in der Höhe 8 im Eingriff mit dem Containergeschirr 1. Die bildgebenden Sensoren 3 spannen einen durch die Seitenlinien a, a', a" begrenzten Sichtbereich A auf und liefern Videobilder als Messwerte von der Umgebung des Containergeschirrs an eine Recheneinheit 22. Bei der Haltevorrichtung 21 handelt es sich wieder um ein AGV. Im Randbereich befinden sich diesmal auf die Oberfläche der Haltevorrichtung 21 aufgebrachte Markierungen 7 in Form von Quadraten. Der Container 12 weist zur Verankerungsposition den Versatz 28 quer zur Fahrtrichtung auf. Dadurch sind die Twistlocks 2 im oberen Randbereich sichtbar, während sie im unteren Randbereich (gekennzeichneter Sichtbereich A) vom Container überdeckt sind. Der Sichtbereich A entlang der profilierten Containerwand über die Fußkante 24 des Containers 12 erzeugt auf der Oberfläche der Haltevorrichtung 21 einen Bildausschnitt 29. Im Bildausschnitt 29 ist die Fußkante 24 auf die Oberfläche der Haltevorrichtung 21 projiziert. Die Markierungen 7 sind in Form und Abmessungen bekannt. Die Recheneinheit 22 wird damit in die Lage versetzt aus den Messwerten die Markierungen zu extrahieren und mit den in der Recheneinheit 22 hinterlegten Markierungsparametern zu vergleichen, um so die für die weiteren Schritte relevanten Markierungen 7 zu erkennen. Weiterhin ist die Recheneinheit in der Lage aus den Abmessungen der Markierung auch den Versatz 30 zwischen projizierter Fußkante 24 und Markierung 7 zu bestimmen. Beispielsweise soll die Markierung 7 eine Ausdehnung von 10cm haben was in einer bestimmten Höhe 8 einer Pixelanzahl von 500 Pixeln entsprechen soll. Wenn nunmehr für den Versatz 30 200 Pixel ausgemessen werden, kann der aktuelle Versatz 30 mit 4cm bestimmt werden. Die Fußkante 24 soll, damit die Verankerungspositionen in Querrichtung denkungsgleich übereinander liegen und der Container abgesetzt werden kann, einen der Recheneinheit bekannten Sollversatz zur Markierung 7 haben. Mit Kenntnis über den aktuellen Versatz und des Sollversatzes lassen sich von der Recheneinheit die Zielpositionsdaten berechnen, an Hand derer die Kransteuerung das Containergeschirr über die Verankerungspostionen bewegt.
  • Die beschriebenen Ausführungsbeispiele, Weiterbildungen und Ausführungsformen lassen sich frei miteinander kombinieren.

Claims (11)

  1. Verfahren zur Positionierung eines Containergeschirrs (1) über eine Haltevorrichtung (21) für Container (12),
    wobei mindestens eine optische 2D-Kamera als bildgebender Sensor (3) an dem Containergeschirr (1) mit einem Überhang befestigt ist und der Sensor (3) einen im Wesentlichen senkrecht nach unten gerichteten Sichtbereich (A, B) aufspannt,
    wobei der Sensor (3) Messwerte von einer Umgebung des Containergeschirrs (1), insbesondere der Draufsicht der Haltevorrichtung (21), an eine Recheneinheit (22) liefert,
    wobei die Haltevorrichtung (21) auf ihrer Oberfläche wenigstens eine Markierung (7) aufweist,
    wobei die Recheneinheit (22) aus den Messwerten Daten bildet, aus welchen die Recheneinheit (22) für das Containergeschirr (1) Zielpositionsdaten zu Verankerungspositionen (2,11) berechnet
    dadurch gekennzeichnet, dass
    die Markierungen (7) Abmessungen definierter Größe aufweisen, die der Recheneinheit (22) als Parameter zur Verfügung stehen und die Recheneinheit (22) aus der zweidimensionalen Vermessung der Markierungen (7), einer Höheninformation (8) zwischen Sensor (3) und Oberfläche der Haltevorrichtung (21) und aus einem horizontalen Versatz (23, 30) des Containergeschirrs (1) zur Markierung die Zielpositionsdaten zu den Verankerungspositionen (2, 11) berechnet.
  2. Verfahren nach Anspruch 1 dadurch gekennzeichnet dass die Höheninformation zwischen Sensor und Oberfläche der Haltevorrichtung von der Recheneinheit aus der zweidimensionalen Vermessung der Markierungen errechnet wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass mindestens eine Messvorrichtung Information über die Höhe des Containergeschirrs an die Recheneinheit liefert und diese Höheninformation in die Berechnung des Versatzes des Containergeschirrs zu den Verankerungspositionen einbezogen wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die horizontale Abweichung des Containergeschirrs ermittelt wird bei angehängtem Container aus einem horizontalen Versatz zwischen der Unterkante des Containers projiziert auf die Oberfläche der Haltevorrichtung und der Markierung.
  5. Verfahren nach einem der Ansprüche 1 bis 3 dadurch gekennzeichnet, dass die horizontale Abweichung des Containergeschirrs bei Aufnahme eines Containers von der Haltevorrichtung ermittelt wird aus einem horizontalen Versatz zwischen Oberkante des Containers projiziert auf die Oberfläche der Haltevorrichtung und der Markierung.
  6. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass wenigstens zwei optische Kameras als bildgebenden Sensoren (3) auf gegenüberliegenden Seiten an dem Containergeschirr befestigt sind und Messwerte an die Recheneinheit liefert.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Markierungen quadratische Geometrie und eine Abmessung von größer 10 cm und kleiner 20 cm aufweisen.
  8. Verfahren nach einem der Ansprüche 1 bis 5 dadurch gekennzeichnet dass die Markierungen einen kegel- oder pyramidenförmigen Kopf mit einer Schafthöhe von größer 5 cm und kleiner 20 cm aufweisen.
  9. Verfahren nach einem der vorangegangenen Ansprüche,
    - bei dem das Containergeschirr in die Zielposition bewegt wird, wobei drei Bewegungsabschnitte durchlaufen werden,
    - bei dem im ersten Bewegungsabschnitt ein Sichtkontakt zwischen mindestens einer Markierung und dem bildgebenden Sensor besteht,
    - bei dem im ersten Bewegungsabschnitt in einer Regelschleife ein im wesentlicher vertikaler Versatz bei fortlaufende Neuberechnung der Höheninformation erfolgt, wobei die Markierung im Sichtkontakt des Sensors verbleibt, bis eine Versatzhöhe erreicht ist,
    - bei dem im zweiten Bewegungsabschnitt in der Versatzhöhe die Berechnung der Zielposition erfolgt und in einer Regelschleife ein horizontaler Versatz bei fortlaufender Neuberechnung der Zielposition erfolgt bis die horizontale Zielposition erreicht ist,
    - bei dem im dritten Bewegungsabschnitt auf der horizontalen Zielposition gesteuert abgesetzt wird.
  10. Computerlesbarer Datenträger,
    - auf dem ein Computerprogramm gespeichert ist, welches das Verfahren nach einem der Ansprüche 1 bis 9 ausführt, wenn es in einem Computer abgearbeitet wird.
  11. Computerprogramm,
    - welches in einem Computer abgearbeitet wird und dabei das Verfahren nach einem der Ansprüche 1 bis 9 ausführt.
EP14186240.9A 2014-09-24 2014-09-24 Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr Active EP3000762B1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14186240.9A EP3000762B1 (de) 2014-09-24 2014-09-24 Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr
ES14186240.9T ES2627498T3 (es) 2014-09-24 2014-09-24 Método para la determinación óptica, automática, de una posición objetivo para un dispositivo de elevación de contenedores
CN201510613626.4A CN105438993B (zh) 2014-09-24 2015-09-23 自动地光学确定集装箱吊具的目标位置的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP14186240.9A EP3000762B1 (de) 2014-09-24 2014-09-24 Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr

Publications (2)

Publication Number Publication Date
EP3000762A1 true EP3000762A1 (de) 2016-03-30
EP3000762B1 EP3000762B1 (de) 2017-03-08

Family

ID=51619013

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14186240.9A Active EP3000762B1 (de) 2014-09-24 2014-09-24 Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr

Country Status (3)

Country Link
EP (1) EP3000762B1 (de)
CN (1) CN105438993B (de)
ES (1) ES2627498T3 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018167366A1 (en) * 2017-03-16 2018-09-20 Konecranes Global Oy Monitoring container transfer device on lowering container onto transport platform or lifting away from transport platform
CN109384150A (zh) * 2017-08-03 2019-02-26 南通通镭软件有限公司 自动化装卸的集装箱锁头图像定位和防吊起方法
DE102018003640A1 (de) * 2018-05-04 2019-11-07 Wolfgang Wichner Werkzeuggreifzange eines Transportkrans für Presswerkzeuge
EP3750842A1 (de) * 2019-06-11 2020-12-16 Siemens Aktiengesellschaft Verladen einer last mit einem kransystem
EP3713866A4 (de) * 2017-11-24 2021-08-25 TMEIC Corporation Verfahren und systeme zur erzeugung von landelösungen für container auf landeflächen
WO2021193294A1 (ja) * 2020-03-24 2021-09-30 住友重機械搬送システム株式会社 遠隔操作システム及び遠隔操作方法
CN114604764A (zh) * 2022-01-24 2022-06-10 杭州大杰智能传动科技有限公司 用于智能塔吊吊钩的松开自动检测控制方法及其装置
WO2023027062A1 (ja) * 2021-08-25 2023-03-02 住友重機械搬送システム株式会社 コンテナ移載用パレット

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI582036B (zh) * 2016-05-05 2017-05-11 中國鋼鐵股份有限公司 天車之儲位辨識系統及儲位辨識方法
DE102017112661A1 (de) 2017-06-08 2018-12-13 Konecranes Global Corporation Automatisch geführtes Portalhubgerät für Container und Verfahren zum Betrieb eines solchen Portalhubgeräts
CN107161861A (zh) * 2017-06-30 2017-09-15 海航创新科技研究有限公司 云箱吊具的操作方法及云箱吊具
WO2019009800A1 (en) * 2017-07-04 2019-01-10 Psa International Pte Ltd APPARATUS AND METHOD FOR REMOTELY CRANE CONTROL
JP6965050B2 (ja) * 2017-07-21 2021-11-10 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
CN110113511A (zh) * 2019-01-29 2019-08-09 上海驭矩信息科技有限公司 一款具有图像识别功能的新型三目相机的设计
WO2021030973A1 (en) * 2019-08-16 2021-02-25 Abb Schweiz Ag Method and apparatus for determining object location
CN111709996A (zh) * 2020-06-16 2020-09-25 北京主线科技有限公司 一种检测集装箱位置的方法及装置
CN215048146U (zh) * 2021-02-04 2021-12-07 博众精工科技股份有限公司 一种吊具及换电站
CN116621032B (zh) * 2023-05-25 2024-04-09 广州港股份有限公司 适用于集装箱吊具精准定位特性且提高调整效率的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191813A1 (en) * 2000-10-27 2002-12-19 Kouji Uchida Container position measuring method and device for cargo crane and container landing/stacking method
JP2005263373A (ja) * 2004-03-17 2005-09-29 Mitsui Eng & Shipbuild Co Ltd コンテナ昇降操作支援方法およびコンテナスプレッダ位置決め装置
JP2008168952A (ja) * 2007-01-05 2008-07-24 Mitsubishi Heavy Ind Ltd 位置ずれ量算出方法およびクレーン並びに搬送台車
EP2574587A1 (de) 2011-09-30 2013-04-03 Siemens Aktiengesellschaft Verfahren zur Bestimmung einer Zielposition für ein Containergeschirr und Containergeschirr
EP2724972A1 (de) 2012-10-25 2014-04-30 Lase GmbH Industrielle Lasertechnik Verfahren zur Bestimmung der Position, in der ein ISO-Container auf ein Trägerfahrzeug aufzusetzen ist, sowie 3D-Laserscan-Messanlage dafür

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4598999B2 (ja) * 2001-07-18 2010-12-15 三菱重工業株式会社 クレーン及びクレーンの制御方法
JP5689534B2 (ja) * 2011-09-29 2015-03-25 住友重機械工業株式会社 物体検出装置を搭載する天井クレーン

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191813A1 (en) * 2000-10-27 2002-12-19 Kouji Uchida Container position measuring method and device for cargo crane and container landing/stacking method
JP2005263373A (ja) * 2004-03-17 2005-09-29 Mitsui Eng & Shipbuild Co Ltd コンテナ昇降操作支援方法およびコンテナスプレッダ位置決め装置
JP2008168952A (ja) * 2007-01-05 2008-07-24 Mitsubishi Heavy Ind Ltd 位置ずれ量算出方法およびクレーン並びに搬送台車
EP2574587A1 (de) 2011-09-30 2013-04-03 Siemens Aktiengesellschaft Verfahren zur Bestimmung einer Zielposition für ein Containergeschirr und Containergeschirr
EP2724972A1 (de) 2012-10-25 2014-04-30 Lase GmbH Industrielle Lasertechnik Verfahren zur Bestimmung der Position, in der ein ISO-Container auf ein Trägerfahrzeug aufzusetzen ist, sowie 3D-Laserscan-Messanlage dafür

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JÖRG KRÜGER; MIKE NEUENDORF: "Kameragestützte Automatisierung von Containerkranen - Potentiale, Technologien, Rahmenbedingungen", INTERNATIONALE KRAN-FACHTAGUNG 2011, IST EINE KAMERAGESTÜTZTE, AUTOMATISCHE ERKENNUNG VON BE- UND ENTLADEPOSITIONEN AUF EINEM LKW BEKANNT, 2011

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262189B2 (en) 2017-03-16 2022-03-01 Konecranes Global Oy Monitoring container transfer device on lowering container onto transport platform or lifting away from transport platform
WO2018167366A1 (en) * 2017-03-16 2018-09-20 Konecranes Global Oy Monitoring container transfer device on lowering container onto transport platform or lifting away from transport platform
CN109384150A (zh) * 2017-08-03 2019-02-26 南通通镭软件有限公司 自动化装卸的集装箱锁头图像定位和防吊起方法
US11873195B2 (en) 2017-11-24 2024-01-16 Tmeic Corporation Methods and systems for generating landing solutions for containers on landing surfaces
EP3713866A4 (de) * 2017-11-24 2021-08-25 TMEIC Corporation Verfahren und systeme zur erzeugung von landelösungen für container auf landeflächen
DE102018003640A1 (de) * 2018-05-04 2019-11-07 Wolfgang Wichner Werkzeuggreifzange eines Transportkrans für Presswerkzeuge
DE102018003640B4 (de) 2018-05-04 2020-06-04 Wolfgang Wichner Werkzeuggreifzange eines Transportkrans für Presswerkzeuge
US11584622B2 (en) 2019-06-11 2023-02-21 Siemens Aktiengesellschaft Loading of a load with a crane system
EP3750842A1 (de) * 2019-06-11 2020-12-16 Siemens Aktiengesellschaft Verladen einer last mit einem kransystem
WO2021193294A1 (ja) * 2020-03-24 2021-09-30 住友重機械搬送システム株式会社 遠隔操作システム及び遠隔操作方法
WO2023027062A1 (ja) * 2021-08-25 2023-03-02 住友重機械搬送システム株式会社 コンテナ移載用パレット
CN114604764A (zh) * 2022-01-24 2022-06-10 杭州大杰智能传动科技有限公司 用于智能塔吊吊钩的松开自动检测控制方法及其装置
CN114604764B (zh) * 2022-01-24 2023-06-02 杭州大杰智能传动科技有限公司 用于智能塔吊吊钩的松开自动检测控制方法及其装置

Also Published As

Publication number Publication date
CN105438993B (zh) 2017-07-28
CN105438993A (zh) 2016-03-30
ES2627498T3 (es) 2017-07-28
EP3000762B1 (de) 2017-03-08

Similar Documents

Publication Publication Date Title
EP3000762B1 (de) Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr
EP2574587B1 (de) Verfahren zur Bestimmung einer Zielposition für ein Containergeschirr und Containergeschirr
EP3260357B1 (de) Fahrzeug mit rangiersystem
EP2910512B1 (de) Verfahren zum Kalibrieren von Laserscannern an einem Containerumschlagkran
EP2724972B1 (de) Verfahren zur Bestimmung der Position, in der ein ISO-Container auf ein Trägerfahrzeug aufzusetzen ist, sowie 3D-Laserscan-Messanlage dafür
DE60108159T2 (de) Verfahren und vorrichtung zum messen von der position eines containers für ladekräne verfahren zum absetzen/stapeln von cotainern
EP0656868B1 (de) Vorrichtung und verfahren zur steuerung eines containerkranes
EP1641704A1 (de) Bewegliche sensoreinrichtung am lastmittel eines gabelstaplers
DE102007046287B4 (de) Verfahren zur Kalibrierung einer Sensoranordnung
WO2004041707A1 (de) Containerkran
DE102007021693A1 (de) Hilfssystem zur Lagebestimmung eines Fahrzeugs
DE10212590A1 (de) Optische Einrichtung zur automatischen Be- und Entladung von Containern auf Fahrzeugen
DE102018210340B4 (de) Verfahren und System zum Ermitteln einer Relativpose zwischen einem Zielobjekt und einem Fahrzeug
EP3296247A1 (de) Detektion von verriegelungsvorrichtungen
DE102012003650B4 (de) Verfahren und Vorrichtung zum überwachten vertikalen Anheben eines Normcontainers
DE19916999A1 (de) Verfahren zur Bestimmung der Lage eines Fahrzeuges
DE19630187A1 (de) Verfahren zum automatischen Positionieren und Positioniersystem für Krananlagen
EP2584418B1 (de) Verfahren und Vorrichtung zur Ortung eines Aufnahmepunktes eines Objekts in einer Anlage
DE102007060856A1 (de) Verfahren und Sensoranordnung zur Ermittlung von Fahrspuren
DE102007046288B4 (de) Verfahren und Sensoranordnung zur Vermessung optischer Merkmale
DE10202399A1 (de) Einrichtung und Verfahren zur Positionierung von Transportfahrzeugen
EP3894349B1 (de) Container-verladeanlage und verfahren zur betriebsüberwachung darin
EP3103757A1 (de) Verfahren und system zur detektion einer anhebung eines containerfahrzeuges
DE112018000580T5 (de) Bewegbare Hebevorrichtung, Anordnung und Verfahren
DE202007019542U1 (de) Hilfssystem zur Lagebestimmung eines Fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150320

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20161004

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 873320

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170315

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502014002903

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2627498

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20170728

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170609

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170608

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170608

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: SIEMENS SCHWEIZ AG, CH

Ref country code: CH

Ref legal event code: PCOW

Free format text: NEW ADDRESS: WERNER-VON-SIEMENS-STRASSE 1, 80333 MUENCHEN (DE)

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170710

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170708

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502014002903

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

26N No opposition filed

Effective date: 20171211

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170924

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170924

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170930

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171002

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20180926

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20180920

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20181217

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20140924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190924

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20190924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190924

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 873320

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190924

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20210128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190925

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231120

Year of fee payment: 10