EP4046955A1 - Method for collision-free movement of a crane - Google Patents

Method for collision-free movement of a crane Download PDF

Info

Publication number
EP4046955A1
EP4046955A1 EP21158706.8A EP21158706A EP4046955A1 EP 4046955 A1 EP4046955 A1 EP 4046955A1 EP 21158706 A EP21158706 A EP 21158706A EP 4046955 A1 EP4046955 A1 EP 4046955A1
Authority
EP
European Patent Office
Prior art keywords
crane
training data
data
detection
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21158706.8A
Other languages
German (de)
French (fr)
Inventor
Johannes Benkert
Thomas Dobler
Julian Vogel
Axel Walthelm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP21158706.8A priority Critical patent/EP4046955A1/en
Priority to EP22700169.0A priority patent/EP4240684A1/en
Priority to US18/278,319 priority patent/US20240140763A1/en
Priority to CN202280016501.1A priority patent/CN116867724A/en
Priority to PCT/EP2022/050065 priority patent/WO2022179758A1/en
Publication of EP4046955A1 publication Critical patent/EP4046955A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/04—Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track
    • B66C15/045—Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries

Definitions

  • the invention relates to a method for collision-free movement of a crane in a crane track.
  • the invention relates to a control unit with means for carrying out such a method.
  • the invention also relates to a computer program for carrying out such a method when running in a control unit.
  • the invention relates to a security system with at least one, in particular optical, sensor and such a control unit.
  • the invention relates to a crane with at least one such safety system.
  • loading processes are increasingly automated with the help of cranes, i.e. without manual intervention by operators.
  • cranes i.e. without manual intervention by operators.
  • safety systems and protective devices that monitor the lanes or the environment during crane movements in order to avoid collisions with objects or people.
  • gantry cranes in particular container cranes, which are also called container bridges
  • container cranes which are also called container bridges
  • Such gantry cranes are moved in a crane lane, for example on rails.
  • Rubber-tyred gantry cranes so-called RTGs (rubber-tyred gantry cranes)
  • RTGs rubber-tyred gantry cranes
  • EP 3 750 842 A1 describes a method for loading a load using a crane system, wherein at least one image data stream is generated using a camera system of the crane system and analyzed using an artificial neural network using a computing unit. Based on the analysis, a first and a second marker are recognized in respective individual images of the at least one image data stream by means of the computing unit. Positions of the markers are determined and the load is automatically loaded using a hoist of the crane system depending on the positions of the markers.
  • EP 3 733 586 A1 describes a method for collision-free movement of a load with a crane in a space with at least one obstacle.
  • a position of the obstacle be provided, with at least one safe state variable of the load being provided, with a safety zone surrounding the load being determined from the safe state variable, with the safety zone in relation to the Position of the obstacle is dynamically monitored.
  • the invention is based on the object of specifying a reliable method for collision-free movement of a crane in a crane lane.
  • a method for collision-free movement of a crane in a crane lane which comprises the following steps: acquiring a first training data set of raw data using at least one, in particular optical, sensor when the crane moves outside of crane operation in the crane lane; Evaluate the first training data set while learning a first neural network based on the captured raw data; determining first training data from the evaluated first training data set; Acquisition of current sensor data by means of the at least one, in particular optical, sensor when the crane moves during crane operation in the crane lane; comparing the current sensor data to the first training data and detecting an anomaly between the current sensor data and the first training data.
  • control unit with means for carrying out such a method.
  • the object is achieved according to the invention by a computer program for carrying out such a method when running in a control unit.
  • a security system with at least one, in particular optical, sensor and such a control unit.
  • the object is achieved according to the invention by a crane with at least one such safety system.
  • the invention is based on the idea of reliably avoiding collisions when a crane is moving in a crane travel lane by recognizing possible obstacles such as people and/or objects as anomalies during crane operation.
  • An anomaly is a deviation from a "normal situation", which is also called “target situation”.
  • the detection process is based on a first neural network that is outside of the actual crane operation is trained in advance.
  • further training data can be collected during operation for subsequent optimization.
  • a first training data record is determined from, for example, chronologically consecutive or randomized raw data, which are recorded by means of at least one, in particular optical, sensor.
  • the first training data record contains raw data from day and night times as well as different weather conditions of the crane lanes, which are recorded when the crane moves in a “normal situation”.
  • the first training data record is evaluated based on the recorded raw data, with training of the first neural network, with first training data being determined from the evaluated training data record.
  • the described teaching of the first neural network takes place, for example, when the crane is put into operation and/or during a project phase. Teaching can take place "offline", for example in a cloud. The data does not have to come entirely from the same crane.
  • current sensor data are recorded by means of the at least one, in particular optical, sensor when the crane moves in the crane lane.
  • the current sensor data is then compared with the first training data. If there is an obstacle, such as a person and/or an object, in the area of the crane lane and is detected by at least one sensor, an anomaly between the current sensor data and the first training data is detected so that, for example, an alarm can be triggered and/or the loading process of the crane can be stopped automatically. Anomalies that do not correspond to the "normal situation" are recognized.
  • the anomaly detection takes place independently of the type, shape and type of the object, since it is not possible to predict which object may be in the area of the crane track and whether this represents an obstacle for the crane.
  • a control unit which is assigned in particular to the crane, has means for carrying out the method, which, for example, have a digital logic module, in particular a microprocessor Microcontroller or an ASIC (application-specific integrated circuit) include. Additionally or alternatively, the means for carrying out the method include a GPU or what is known as an "AI accelerator".
  • a further embodiment provides that the first neural network is at least partially assigned to a central IT infrastructure during the training, with the raw data for evaluating the training data set being sent to the central IT infrastructure.
  • a central IT infrastructure is, for example, at least one local computer system that is not assigned to the crane and/or a cloud.
  • the central IT infrastructure provides storage space, computing power and/or application software. In the cloud, storage space, computing power and/or application software are made available as a service over the Internet.
  • Such a cloud environment is, for example, "MindSphere".
  • the data transmission, in particular digital, with the central IT infrastructure takes place wirelessly, for example. In particular, the data is transmitted via WLAN. Since evaluating the first neural network while learning the first training data set requires high GPU/CPU performance, it is advantageous to carry out the evaluation in such a central IT infrastructure in order to save time and money.
  • a further embodiment provides that the first training data is sent from the central IT infrastructure to a detection module assigned to the crane. This enables the comparison of the current sensor data with the first training data and the anomaly detection to take place quickly and reliably, since delays and possible disruptions in the connection to the central IT infrastructure during actual crane operation are avoided.
  • the at least one, in particular optical, sensor is designed as a camera, with the camera being used to mark lane markings in the area the crane track can be detected. Such lane markings are, for example, hatched areas, lines or rails.
  • the at least one camera is designed as an analog and/or IP camera, for example.
  • a camera is inexpensive, especially when compared to a radar or laser-based system.
  • the cameras are already installed, for example for the purpose of remote control and/or for automatic driving of the crane, called ASA (Auto Steering Assistance System), so that no additional hardware is required and there is an additional cost advantage.
  • a further embodiment provides that a plausibility of the detection of the anomaly is checked by means of a confidence estimate of the first neural network. Such a plausibility check further increases the reliability of the method.
  • a further embodiment provides that the method comprises the following additional steps: providing second training data from a second training data set and teaching a second neural network, comparing the current sensor data with the second training data and detecting an object in the current sensor data.
  • the second neural network is pre-trained for object recognition.
  • Pre-trained objects are, for example, people, cars, transport vehicles, lifting tools and/or containers.
  • a redundancy through a combination of an anomaly detection with an object detection additionally increases the stability and thus the reliability of the method.
  • a further embodiment provides that the object is detected at the same time as the anomaly is detected.
  • a further embodiment provides that the object is detected in the detection module assigned to the crane.
  • a local detection method of this type enables a faster and more reliable process, since delays and possible disruptions due to additional connections, including a temporary failure of the data transmission, are avoided.
  • a further embodiment provides that a plausibility of the detection of the object is checked by means of a confidence estimate of the second neural network. Such a plausibility check further increases the reliability of the method.
  • a further embodiment provides that the crane is stopped after detecting the anomaly and/or detecting the object. Such a redundancy achieves the greatest possible stability of the method.
  • a further embodiment provides that the crane is moved, in particular completely, automatically in the crane lane. Such an, in particular completely, automated movement of the crane during crane operation accelerates the loading and unloading process and thereby saves costs.
  • the described components of the embodiments each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than the one shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
  • FIG 1 shows a schematic representation of a crane 2 which can be moved in a crane track 4 in a first direction of travel 6 and in a second direction of travel 8 .
  • the crane 2 is designed, for example, as a rubber-tired gantry crane, in particular a container crane, which has supports 10 that are connected via a crane bridge 12 .
  • a spreader and trolley are included for clarity FIG 1 not shown.
  • the crane 2 becomes Loading and/or unloading of loads 14 in the form of containers is moved automatically using lane markings 16 .
  • the lane markings 16 are designed, for example, as hatched areas. Alternatively, the crane 2 is automatically moved on rails.
  • At least one, in particular optical, sensor 18 is used for the automated movement of the crane 2 in the crane lane 4 .
  • the crane 2 in FIG 1 two sensors 18 for a direction of travel 6.8.
  • the sensors 18 are designed as cameras for detecting the lane markings 16 in the area of the crane lane 4, with one of the two cameras for the respective direction of travel 6, 8 being mounted on one of the supports 10 of the crane 2 and having a detection area 20 in the respective direction of travel 6, 8 has.
  • the cameras are arranged in a weatherproof housing with a sunroof and installed at an angle of 20° to 30°, in particular 25° ⁇ 2° downwards, in order to prevent image capture from being adversely affected by the weather, e.g.
  • the data recorded by the sensors 18 are transmitted to a detection module 22 for video evaluation.
  • the detection module 22 includes the crane automation, which is also called Crane-PLC, and a control unit 23 for controlling the method.
  • Crane-PLC which is also called Crane-PLC
  • a control unit 23 for controlling the method.
  • an evaluation is carried out for the respective camera side.
  • the cameras on the respective camera side are evaluated simultaneously and run through the same detection process in parallel.
  • the detection module 22 is connected to a central IT infrastructure 26 via a digital data connection 24 .
  • a central IT infrastructure 26 is, for example, at least one local computer system that is not assigned to the crane and/or a cloud.
  • the central IT infrastructure 26 provides storage space, computing power and/or application software.
  • storage space, computing power and/or application software are made available as a service over the Internet.
  • Such a cloud environment is, for example, "MindSphere".
  • the data transmission, in particular digital, takes place wirelessly, for example.
  • the data is transmitted via WLAN.
  • the central IT infrastructure 26 includes in FIG 1 a first neural network 28.
  • the detection module 22 assigned to the crane 2 includes a first neural network 28, which is provided via the central IT infrastructure 26.
  • FIG 2 shows a flow chart of a first method for the automated movement of a crane 2, wherein the crane 2, for example, as in FIG 1 is executed.
  • the method includes a detection 30 of a first training data set of chronologically consecutive raw data by means of at least one, in particular optical, sensor 18 when the crane 2 moves outside of crane operation in the crane lane 4.
  • further training data can be collected during operation for subsequent optimization.
  • the first training data set is recorded when the crane 2 is moved in the first direction of travel 6 and in the second direction of travel 8 .
  • the raw data are implemented as camera images, for example, which are read in cyclically during the movements of the crane 2 and are made available to the detection module 22 .
  • Lane markings 16 in the area of crane lane 4 are recorded in particular by means of at least one camera.
  • the raw data include, for example, image sequences of day and night times as well as different weather conditions of the crane lane 4 in a “normal situation” or “target situation”.
  • additional information is added to the image sequences manually or automatically, for example in an additional Text file are stored assigned.
  • the additional information includes label information, for example.
  • Label information includes information where a search pattern is located in an image. Since, for example, different lane markings 16 are used in terminals, previously unknown types of lane markings 16, which in particular are called object classes, can be trained when the first neural network 28 is trained.
  • the first neural network 28 is at least partially assigned to the central IT infrastructure 26, with the raw data being sent to the central IT infrastructure 26 for evaluating 32 the first training data set, since this requires high GPU/CPU performance.
  • a first neural network 28 that has already been trained is set up, with this being upgraded to recognize new, in particular project-specific, lane markings 16 .
  • First training data is then determined 34 from the evaluated first training data record, with the first training data being sent from the central IT infrastructure 26 to the detection module 22 of the crane 2 .
  • the teaching described using the first neural network 28 takes place, for example, when the crane 2 is put into operation and can be expanded during a project phase if required.
  • current sensor data is recorded 36 by means of the at least one, in particular optical, sensor 18 when the crane 2 moves in a travel direction 6, 8 in the crane travel lane 4, with the current sensor data then being compared 38 with the first training data he follows.
  • an anomaly is detected 40 between the current ones Sensor data and the first training data.
  • the anomaly is detected 40 independently of the type, shape and type of the object, since it is not possible to predict which object may be in the area of the crane lane 4 and whether this represents an obstacle for the crane.
  • evaluation images that triggered the alarm and/or led to the stop can be archived.
  • the evaluation images can, for example, be displayed on an operator workstation.
  • FIG 3 shows a flow chart of a second method for the automated movement of a crane 2.
  • the plausibility of the detection of the anomaly is checked 42 by means of a confidence estimate of the first neural network 28.
  • the further execution of the method in 3 corresponds to the in FIG 2 .
  • FIG 4 shows a flowchart of a third method for the automated movement of a crane 2.
  • the third method includes providing 44 second training data from a second training data set of a second neural network 46.
  • the second neural network 46 is pre-trained for object recognition.
  • Pre-trained objects are, for example, people, cars, transport vehicles, lifting tools and/or containers.
  • a comparison 48 of the current sensor data with the second training data is followed by a comparison 48 of the current sensor data with the second training data.
  • the same current sensor data are used for the comparison with the first training data 38 .
  • the same at least one sensor 18 is used for both comparisons. If an object is located in the area of the crane lane 4 and is detected by at least one sensor 18 during crane operation, the object is detected 50 in the current sensor data. In particular, the detection 50 of the object takes place essentially at the same time as the detection 40 of the anomaly, the greatest possible stability of the system being achieved by a combination of the results of both detection methods, anomaly and object detection.
  • the crane 2 is then stopped 52 after the anomaly has been detected 40 and/or the object has been detected 50 . Alternatively, an alarm is triggered. If necessary, the crane 2 is stopped manually.
  • the further execution of the procedure in FIG 4 corresponds to the in 3 .
  • FIG. 5 shows a flow chart of a fourth method for the automated movement of a crane 2.
  • a plausibility check 54 of the detection of the object is carried out by means of a confidence estimate of the second neural network 46.
  • the further execution of the method in 5 corresponds to the in 3 .
  • FIG 6 shows a flow chart of an image evaluation in a detection module, with a provision 56 of current sensor data by the four in FIG 1 cameras shown is done.
  • the four image sequences 58, 60, 62, 64 each captured by a camera each include label information 66 in the area of the lane markings 16 for marking the desired image sections.
  • two of the image sequences 58, 60, 62, 64 are relevant for the further evaluation.
  • FIG 7 shows a first example image 72 with a lane marking 16, which is designed as hatched areas and is suitable, for example, for a rubber-tired gantry crane.
  • FIG. 8 shows a second example image 74 with a lane marking 16, which is designed as a rail for a crane 2 that can be moved on rails. Furthermore, in 8 a piece of label information 66 for marking the desired image detail is shown.
  • the invention relates to a method for collision-free movement of a crane 2 in a crane lane 4.
  • the method have the following steps: Acquisition 30 of a first training data set of chronologically consecutive raw data using at least one, in particular optical , Sensor 18 when the crane 2 moves outside of crane operation in the crane lane 4; Evaluation 32 of the first training data record while training a first neural network 28 based on the raw data recorded; determining 34 first training data from the evaluated first training data set; Detection 36 of current sensor data by means of the at least one, in particular optical, sensor 18 when the crane 2 moves during crane operation in the crane track 4; Comparing 38 the current sensor data with the first training data and detecting 40 an anomaly between the current sensor data and the first training data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

Verfahren zur kollisionsfreien Bewegung eines Krans (2) in einer Kranfahrspur (4). Um eine möglichst hohe Zuverlässigkeit zu erreichen, wird vorgeschlagen, dass das Verfahren folgende Schritte aufweist: Erfassen (30) eines ersten Trainingsdatensatzes von Rohdaten mittels zumindest eines, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) außerhalb des Kranbetriebes in der Kranfahrspur (4); Auswerten (32) des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes (28) basierend auf den erfassten Rohdaten; Ermitteln (34) von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz; Erfassen (36) von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) während des Kranbetriebes in der Kranfahrspur (4); Vergleichen (38) der aktuellen Sensordaten mit den ersten Trainingsdaten und Detektieren (40) einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten.Method for collision-free movement of a crane (2) in a crane track (4). In order to achieve the highest possible level of reliability, it is proposed that the method have the following steps: recording (30) a first training data set of raw data using at least one, in particular optical, sensor (18) when the crane (2) is moving outside of crane operation in the crane track (4); Evaluation (32) of the first training data set while training a first neural network (28) based on the raw data recorded; determining (34) first training data from the evaluated first training data set; Detection (36) of current sensor data by means of the at least one, in particular optical, sensor (18) when the crane (2) moves during crane operation in the crane lane (4); comparing (38) the current sensor data with the first training data and detecting (40) an anomaly between the current sensor data and the first training data.

Description

Die Erfindung betrifft ein Verfahren zur kollisionsfreien Bewegung eines Krans in einer Kranfahrspur.The invention relates to a method for collision-free movement of a crane in a crane track.

Ferner betrifft die Erfindung eine Steuereinheit mit Mitteln zur Durchführung eines derartigen Verfahrens.Furthermore, the invention relates to a control unit with means for carrying out such a method.

Die Erfindung betrifft überdies ein Computerprogramm zur Durchführung eines derartigen Verfahrens bei Ablauf in einer Steuereinheit.The invention also relates to a computer program for carrying out such a method when running in a control unit.

Des Weiteren betrifft die Erfindung ein Sicherheitssystem mit zumindest einem, insbesondere optischen, Sensor und einer derartigen Steuereinheit.Furthermore, the invention relates to a security system with at least one, in particular optical, sensor and such a control unit.

Darüber hinaus betrifft die Erfindung einen Kran mit zumindest einem derartigen Sicherheitssystem.In addition, the invention relates to a crane with at least one such safety system.

Insbesondere in Container-Terminals laufen Verladevorgänge mit Hilfe von Kranen zunehmend automatisiert, also ohne manuelle Eingriffe von Operatoren, ab. Um die Sicherheit der Verladevorgänge, insbesondere bei automatisiert arbeitenden Kranen, zu gewährleisten, besteht ein großer Bedarf an Sicherheitssystemen und Schutzvorrichtungen, die bei Kranbewegungen die Fahrspuren bzw. das Umfeld überwachen, um Kollisionen mit Gegenständen oder Personen zu vermeiden.In container terminals in particular, loading processes are increasingly automated with the help of cranes, i.e. without manual intervention by operators. In order to ensure the safety of the loading processes, in particular in the case of cranes that work automatically, there is a great need for safety systems and protective devices that monitor the lanes or the environment during crane movements in order to avoid collisions with objects or people.

In derartigen Terminals kommen beispielsweise Portalkrane, insbesondere Containerkrane, welche auch Containerbrücken genannt werden, zum Einsatz. Derartige Portalkrane werden in einer Kranfahrspur, beispielsweise auf Schienen, bewegt. Gummibereifte Portalkrane, sogenannte RTGs (rubber tyred gantry cranes) werden ohne Schienen bewegt. Da es auf der Kranfahrspur zu Störungen durch Hindernisse wie Personen und/oder Objekte, z.B. fälschlicherweise abgestellte Autos, Transportfahrzeugen oder Werkzeuge, kommen kann, besteht ein Bedarf an Sicherheitssystemen und Schutzvorrichtungen zur Erfassung derartiger Störungen.In such terminals, for example, gantry cranes, in particular container cranes, which are also called container bridges, are used. Such gantry cranes are moved in a crane lane, for example on rails. Rubber-tyred gantry cranes, so-called RTGs (rubber-tyred gantry cranes), are moved without rails. Since there are disruptions in the crane lane due to obstacles such as people and/or objects, e.g. wrongly parked cars, transport vehicles or tools, there is a need for safety systems and safeguards to detect such disturbances.

Die Offenlegungsschrift EP 3 750 842 A1 beschreibt ein Verfahren zum Verladen einer Last mittels eines Kransystems, wobei mittels eines Kamerasystems des Kransystems wenigstens ein Bilddatenstrom erzeugt und mittels einer Recheneinheit anhand eines künstlichen neuronalen Netzes analysiert wird. Basierend auf der Analyse werden mittels der Recheneinheit ein erster und ein zweiter Marker in jeweiligen Einzelbildern des wenigstens einen Bilddatenstroms erkannt. Positionen der Marker werden bestimmt und die Last wird mittels eines Hebezeugs des Kransystems abhängig von den Positionen der Marker automatisiert verladen.The disclosure document EP 3 750 842 A1 describes a method for loading a load using a crane system, wherein at least one image data stream is generated using a camera system of the crane system and analyzed using an artificial neural network using a computing unit. Based on the analysis, a first and a second marker are recognized in respective individual images of the at least one image data stream by means of the computing unit. Positions of the markers are determined and the load is automatically loaded using a hoist of the crane system depending on the positions of the markers.

Die Offenlegungsschrift EP 3 733 586 A1 beschreibt ein Verfahren zur kollisionsfreien Bewegung einer Last mit einem Kran in einem Raum mit mindestens einem Hindernis. Um auf möglichst einfache Weise einen Sicherheitslevel zu erfüllen, wird vorgeschlagen, dass eine Position des Hindernisses bereitgestellt wird, wobei zumindest eine sichere Zustandsgröße der Last bereitgestellt wird, wobei aus der sicheren Zustandsgröße eine die Last umgebende Sicherheitszone ermittelt wird, wobei die Sicherheitszone in Relation zur Position des Hindernisses dynamisch überwacht wird.The disclosure document EP 3 733 586 A1 describes a method for collision-free movement of a load with a crane in a space with at least one obstacle. In order to meet a safety level in the simplest possible way, it is proposed that a position of the obstacle be provided, with at least one safe state variable of the load being provided, with a safety zone surrounding the load being determined from the safe state variable, with the safety zone in relation to the Position of the obstacle is dynamically monitored.

Der Erfindung liegt die Aufgabe zugrunde, ein zuverlässiges Verfahren zur kollisionsfreien Bewegung eines Krans in einer Kranfahrspur anzugeben.The invention is based on the object of specifying a reliable method for collision-free movement of a crane in a crane lane.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur kollisionsfreien Bewegung eines Krans in einer Kranfahrspur gelöst, welches folgende Schritte umfasst: Erfassen eines ersten Trainingsdatensatzes von Rohdaten mittels zumindest eines, insbesondere optischen, Sensors bei einer Bewegung des Krans außerhalb des Kranbetriebes in der Kranfahrspur; Auswerten des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes basierend auf den erfassten Rohdaten; Ermitteln von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz; Erfassen von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors bei einer Bewegung des Krans während des Kranbetriebes in der Kranfahrspur; Vergleichen der aktuellen Sensordaten mit den ersten Trainingsdaten und Detektieren einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten.The object is achieved according to the invention by a method for collision-free movement of a crane in a crane lane, which comprises the following steps: acquiring a first training data set of raw data using at least one, in particular optical, sensor when the crane moves outside of crane operation in the crane lane; Evaluate the first training data set while learning a first neural network based on the captured raw data; determining first training data from the evaluated first training data set; Acquisition of current sensor data by means of the at least one, in particular optical, sensor when the crane moves during crane operation in the crane lane; comparing the current sensor data to the first training data and detecting an anomaly between the current sensor data and the first training data.

Ferner wird die Aufgabe erfindungsgemäß gelöst durch eine Steuereinheit mit Mitteln zur Durchführung eines derartigen Verfahrens.Furthermore, the object is achieved according to the invention by a control unit with means for carrying out such a method.

Überdies wird die Aufgabe erfindungsgemäß gelöst durch ein Computerprogramm zur Durchführung eines derartigen Verfahrens bei Ablauf in einer Steuereinheit.Furthermore, the object is achieved according to the invention by a computer program for carrying out such a method when running in a control unit.

Des Weiteren wird die Aufgabe erfindungsgemäß gelöst durch ein Sicherheitssystem mit zumindest einem, insbesondere optischen, Sensor und einer derartigen Steuereinheit.Furthermore, the object is achieved according to the invention by a security system with at least one, in particular optical, sensor and such a control unit.

Darüber hinaus wird die Aufgabe erfindungsgemäß gelöst durch einen Kran mit zumindest einem derartigen Sicherheitssystem.In addition, the object is achieved according to the invention by a crane with at least one such safety system.

Die in Bezug auf das Verfahren nachstehend angeführten Vorteile und bevorzugten Ausgestaltungen lassen sich sinngemäß auf die Steuereinheit, das Computerprogramm, das Sicherheitssystem und den Kran übertragen.The advantages and preferred configurations listed below in relation to the method can be transferred analogously to the control unit, the computer program, the safety system and the crane.

Der Erfindung liegt die Überlegung zugrunde, zuverlässig Kollisionen bei der Bewegung eines Krans in einer Kranfahrspur zu vermeiden, indem mögliche Hindernisse wie Personen und/oder Gegenstände während des Kranbetriebes als Anomalien erkannt werden. Eine Anomalie ist eine Abweichung von einer "Normal-Situation", welche auch "Soll-Situation" genannt wird. Das Erkennungsverfahrens basiert auf einem ersten neuronalen Netz, das außerhalb des eigentlichen Kranbetriebes vorab trainiert wird. Zusätzlich können während des Betriebes weitere Trainingsdaten zur nachträglichen Optimierung gesammelt werden. Hierbei wird ein erster Trainingsdatensatz aus, beispielsweise zeitlich aufeinanderfolgenden oder randomisierten, Rohdaten, welche mittels zumindest eines, insbesondere optischen, Sensors erfasst werden, ermittelt. Insbesondere beinhaltet der erste Trainingsdatensatz Rohdaten von Tag- und Nachtzeiten sowie unterschiedlichen Witterungsverhältnissen der Kran-Fahrspuren, welche bei einer Bewegung des Krans in einer "Normal-Situation" erfasst werden. Der erste Trainingsdatensatz wird unter Anlernen des ersten neuronalen Netzes basierend auf den erfassten Rohdaten ausgewertet, wobei erste Trainingsdaten aus dem ausgewerteten Trainingsdatensatz ermittelt werden. Das beschriebene Einlernen des ersten neuronalen Netzes erfolgt beispielsweise bei einer Inbetriebnahme des Krans und/oder während einer Projektphase. Das Einlernen kann "offline", z.B. in einer Cloud erfolgen. Die Daten müssen nicht vollständig vom selben Kran stammen.The invention is based on the idea of reliably avoiding collisions when a crane is moving in a crane travel lane by recognizing possible obstacles such as people and/or objects as anomalies during crane operation. An anomaly is a deviation from a "normal situation", which is also called "target situation". The detection process is based on a first neural network that is outside of the actual crane operation is trained in advance. In addition, further training data can be collected during operation for subsequent optimization. In this case, a first training data record is determined from, for example, chronologically consecutive or randomized raw data, which are recorded by means of at least one, in particular optical, sensor. In particular, the first training data record contains raw data from day and night times as well as different weather conditions of the crane lanes, which are recorded when the crane moves in a “normal situation”. The first training data record is evaluated based on the recorded raw data, with training of the first neural network, with first training data being determined from the evaluated training data record. The described teaching of the first neural network takes place, for example, when the crane is put into operation and/or during a project phase. Teaching can take place "offline", for example in a cloud. The data does not have to come entirely from the same crane.

Während des Kranbetriebes werden aktuelle Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors bei einer Bewegung des Krans in der Kranfahrspur erfasst. Daraufhin werden die aktuellen Sensordaten mit den ersten Trainingsdaten verglichen. Befindet sich ein Hindernis wie eine Person und/oder ein Gegenstand, im Bereich der Kranfahrspur und wird von zumindest einem Sensor erfasst, wird eine Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten detektiert, sodass beispielsweise ein Alarm ausgelöst werden kann und/oder der Verladeprozess des Krans automatisch gestoppt werden kann. Erkannt werden Anomalien, die nicht der "Normal-Situation" entsprechen. Die Anomalie-Detektion erfolgt unabhängig von einer Art, einer Form und eines Typs des Objektes, da nicht vorhersagbar ist, welches Objekt sich im Bereich der Kranfahrspur befinden kann und ob dieses ein Hindernis für den Kran darstellt. Eine Steuereinheit, welche insbesondere dem Kran zugeordnet ist, weist Mittel zur Durchführung des Verfahrens auf, welche beispielswiese einen digitalen Logikbaustein, insbesondere einen Mikroprozessor, einen Mikrocontroller oder einen ASIC (application-specific integrated circuit) umfassen. Zusätzlich oder alternativ umfassen die Mittel zur Durchführung des Verfahrens eine GPU oder einen sogenannten "AI Accelerator".During crane operation, current sensor data are recorded by means of the at least one, in particular optical, sensor when the crane moves in the crane lane. The current sensor data is then compared with the first training data. If there is an obstacle, such as a person and/or an object, in the area of the crane lane and is detected by at least one sensor, an anomaly between the current sensor data and the first training data is detected so that, for example, an alarm can be triggered and/or the loading process of the crane can be stopped automatically. Anomalies that do not correspond to the "normal situation" are recognized. The anomaly detection takes place independently of the type, shape and type of the object, since it is not possible to predict which object may be in the area of the crane track and whether this represents an obstacle for the crane. A control unit, which is assigned in particular to the crane, has means for carrying out the method, which, for example, have a digital logic module, in particular a microprocessor Microcontroller or an ASIC (application-specific integrated circuit) include. Additionally or alternatively, the means for carrying out the method include a GPU or what is known as an "AI accelerator".

Eine weitere Ausführungsform sieht vor, dass das erste neuronale Netz während des Einlernens zumindest teilweise einer zentralen IT-Infrastruktur zugeordnet ist, wobei die Rohdaten zum Auswerten des Trainingsdatensatzes an die zentrale IT-Infrastruktur gesendet werden. Eine zentrale IT-Infrastruktur ist beispielsweise mindestens ein lokales Computersystem, welches nicht dem Kran zugeordnet ist, und/oder eine Cloud. Die zentrale IT-Infrastruktur stellt Speicherplatz, Rechenleistung und/oder Anwendungssoftware bereit. In der Cloud werden Speicherplatz, Rechenleistung und/oder Anwendungssoftware als Dienstleistung über das Internet zur Verfügung gestellt. Eine derartige Cloud-Umgebung ist beispielsweise die "MindSphere". Die, insbesondere digitale, Datenübertragung mit der zentrale IT-Infrastruktur findet beispielsweise drahtlos statt. Insbesondere werden die Daten über WLAN übertragen. Da das Auswerten des ersten neuronalen Netztes unter Anlernen des ersten Trainingsdatensatzes große GPU/CPU Leistungen erfordert, ist es vorteilhaft die Auswertung in einer derartigen zentralen IT-Infrastruktur durchzuführen, um Zeit und Kosten zu sparen.A further embodiment provides that the first neural network is at least partially assigned to a central IT infrastructure during the training, with the raw data for evaluating the training data set being sent to the central IT infrastructure. A central IT infrastructure is, for example, at least one local computer system that is not assigned to the crane and/or a cloud. The central IT infrastructure provides storage space, computing power and/or application software. In the cloud, storage space, computing power and/or application software are made available as a service over the Internet. Such a cloud environment is, for example, "MindSphere". The data transmission, in particular digital, with the central IT infrastructure takes place wirelessly, for example. In particular, the data is transmitted via WLAN. Since evaluating the first neural network while learning the first training data set requires high GPU/CPU performance, it is advantageous to carry out the evaluation in such a central IT infrastructure in order to save time and money.

Eine weitere Ausführungsform sieht vor, dass die ersten Trainingsdaten von der zentralen IT-Infrastruktur an ein dem Kran zugeordnetes Detektionsmodul gesendet werden. Somit wird ermöglicht, dass das Vergleichen der aktuellen Sensordaten mit den ersten Trainingsdaten und die Anomalie-Detektion schnell und zuverlässig ablaufen, da Verzögerungen und mögliche Störungen bei der Verbindung mit der zentralen IT-Infrastruktur während des eigentlichen Kranbetriebes vermieden werden.A further embodiment provides that the first training data is sent from the central IT infrastructure to a detection module assigned to the crane. This enables the comparison of the current sensor data with the first training data and the anomaly detection to take place quickly and reliably, since delays and possible disruptions in the connection to the central IT infrastructure during actual crane operation are avoided.

Eine weitere Ausführungsform sieht vor, dass der zumindest eine, insbesondere optische, Sensor als Kamera ausgeführt ist, wobei mittels der Kamera Fahrspur-Markierungen im Bereich der Kranfahrspur erfasst werden. Derartige Fahrspur-Markierungen sind beispielsweise schraffierte Flächen, Linien oder Schienen. Die zumindest eine Kamera ist beispielsweise als Analog- und/oder als IP-Kamera ausgeführt. Eine Kamera ist, insbesondere im Vergleich zu einem radar- oder laserbasierten System, kostengünstig. Insbesondere sind die Kameras, beispielsweise zum Zwecke einer Fernsteuerung und/oder für ein automatisches Fahren des Krans, ASA (Auto Steering Assistance System) genannt, bereits installiert, sodass keine zusätzliche Hardware erforderlich ist und ein zusätzlicher Kostenvorteil entsteht.A further embodiment provides that the at least one, in particular optical, sensor is designed as a camera, with the camera being used to mark lane markings in the area the crane track can be detected. Such lane markings are, for example, hatched areas, lines or rails. The at least one camera is designed as an analog and/or IP camera, for example. A camera is inexpensive, especially when compared to a radar or laser-based system. In particular, the cameras are already installed, for example for the purpose of remote control and/or for automatic driving of the crane, called ASA (Auto Steering Assistance System), so that no additional hardware is required and there is an additional cost advantage.

Eine weitere Ausführungsform sieht vor, dass eine Plausibilität der Detektion der Anomalie mittels einer Konfidenz-Schätzung des ersten neuronalen Netzes überprüft wird. Durch eine derartige Plausibilitätsüberprüfung wird die Zuverlässigkeit des Verfahrens weiter erhöht.A further embodiment provides that a plausibility of the detection of the anomaly is checked by means of a confidence estimate of the first neural network. Such a plausibility check further increases the reliability of the method.

Eine weitere Ausführungsform sieht vor, dass das Verfahren folgende zusätzliche Schritte umfasst: Bereitstellen von zweiten Trainingsdaten aus einem zweiten Trainingsdatensatz und Einlernen eines zweiten neuronalen Netzes, Vergleichen der aktuellen Sensordaten mit den zweiten Trainingsdaten und Detektieren eines Objektes in den aktuellen Sensordaten. Insbesondere ist das zweite neuronale Netz für eine Objekterkennung vortrainiert. Vortrainierte Objekte sind beispielsweise Personen, Autos, Transportfahrzeuge, Hebewerkzeuge und/oder Container. Eine Redundanz durch eine Kombination einer Anomalie-Detektion mit einer Objekt-Detektion erhöht die Stabilität und damit die Zuverlässigkeit des Verfahrens zusätzlich.A further embodiment provides that the method comprises the following additional steps: providing second training data from a second training data set and teaching a second neural network, comparing the current sensor data with the second training data and detecting an object in the current sensor data. In particular, the second neural network is pre-trained for object recognition. Pre-trained objects are, for example, people, cars, transport vehicles, lifting tools and/or containers. A redundancy through a combination of an anomaly detection with an object detection additionally increases the stability and thus the reliability of the method.

Eine weitere Ausführungsform sieht vor, dass das Detektieren des Objektes gleichzeitig mit dem Detektieren der Anomalie erfolgt. Durch die gleichzeitige Kombination der Ergebnisse beider Detektionsverfahren wird eine größtmögliche Stabilität und Geschwindigkeit des Verfahrens erreicht.A further embodiment provides that the object is detected at the same time as the anomaly is detected. By simultaneously combining the results of both detection methods, the greatest possible stability and speed of the method is achieved.

Eine weitere Ausführungsform sieht vor, dass das Detektieren des Objektes, in dem den Kran zugeordneten Detektionsmodul erfolgt. Durch ein derartiges lokales Detektionsverfahren wird ein schneller und zuverlässiger Ablauf ermöglicht, da Verzögerungen und mögliche Störungen durch zusätzliche Verbindungen bis hin zu einem zeitweisen Ausfall der Datenübertragung vermieden werden.A further embodiment provides that the object is detected in the detection module assigned to the crane. A local detection method of this type enables a faster and more reliable process, since delays and possible disruptions due to additional connections, including a temporary failure of the data transmission, are avoided.

Eine weitere Ausführungsform sieht vor, dass eine Plausibilität der Detektion des Objektes mittels einer Konfidenz-Schätzung des zweiten neuronalen Netzes überprüft wird. Durch eine derartige Plausibilitätsüberprüfung wird die Zuverlässigkeit des Verfahrens weiter erhöht.A further embodiment provides that a plausibility of the detection of the object is checked by means of a confidence estimate of the second neural network. Such a plausibility check further increases the reliability of the method.

Eine weitere Ausführungsform sieht vor, dass der Kran nach dem Detektieren der Anomalie und/oder dem Detektieren des Objektes gestoppt wird. Durch eine derartige Redundanz wird eine größtmögliche Stabilität des Verfahrens erreicht.A further embodiment provides that the crane is stopped after detecting the anomaly and/or detecting the object. Such a redundancy achieves the greatest possible stability of the method.

Eine weitere Ausführungsform sieht vor, dass der Kran, insbesondere vollständig, automatisiert in der Kranfahrspur bewegt wird. Eine derartige, insbesondere vollständig, automatisierte Bewegung des Krans während des Kranbetriebes beschleunigt den Be- und Entladeprozess und spart dadurch Kosten.A further embodiment provides that the crane is moved, in particular completely, automatically in the crane lane. Such an, in particular completely, automated movement of the crane during crane operation accelerates the loading and unloading process and thereby saves costs.

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert.

FIG 1
eine schematische Darstellung eines Portalkrans,
FIG 2
ein Ablaufdiagramm eines ersten Verfahrens zur automatisierten Bewegung eines Krans,
FIG 3
ein Ablaufdiagramm eines zweiten Verfahrens zur automatisierten Bewegung eines Krans,
FIG 4
ein Ablaufdiagramm eines dritten Verfahrens zur automatisierten Bewegung eines Krans,
FIG 5
ein Ablaufdiagramm eines vierten Verfahrens zur automatisierten Bewegung eines Krans,
FIG 6
ein Ablaufdiagramm einer Bildauswertung in einem Detektionsmodul,
FIG 7
ein erstes Beispielbild mit einer Fahrbahnmarkierung und
FIG 8
ein zweites Beispielbild mit einer Fahrbahnmarkierung.
The invention is described and explained in more detail below with reference to the exemplary embodiments illustrated in the figures.
FIG 1
a schematic representation of a gantry crane,
FIG 2
a flow chart of a first method for the automated movement of a crane,
3
a flow chart of a second method for the automated movement of a crane,
FIG 4
a flow chart of a third method for the automated movement of a crane,
5
a flowchart of a fourth method for the automated movement of a crane,
6
a flow chart of an image evaluation in a detection module,
FIG 7
a first sample image with a lane marking and
8
a second example image with a lane marking.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than the one shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.

Gleiche Bezugszeichen haben in den verschiedenen Figuren die gleiche Bedeutung.The same reference symbols have the same meaning in the different figures.

FIG 1 zeigt eine schematische Darstellung eines Krans 2, welcher in einer Kranfahrspur 4 in eine erste Fahrtrichtung 6 und in eine zweite Fahrtrichtung 8 bewegbar ist. Der Kran 2 ist beispielhaft als gummibereifter Portalkran, insbesondere Containerkran, ausgeführt, welcher Stützen 10 aufweist, die über eine Kranbrücke 12 verbunden sind. Ein Spreader und ein Trolley sind aus Gründen der Übersichtlichkeit in FIG 1 nicht dargestellt. Während eines Kranbetriebes wird der Kran 2 zum Be- und/oder Entladen von als Containern ausgeführten Lasten 14 anhand von Fahrspur-Markierungen 16 automatisiert bewegt. Die Fahrspur-Markierungen 16 sind beispielsweise als schraffierte Flächen ausgeführt. Alternativ wird der Kran 2 automatisiert auf Schienen bewegt. Für die automatisierte Bewegung des Krans 2 in der Kranfahrspur 4 wird zumindest ein, insbesondere optischer, Sensor 18 verwendet. Beispielhaft weist der Kran 2 in FIG 1 jeweils zwei Sensoren 18 für eine Fahrtrichtung 6,8 auf. Beispielsweise sind die Sensoren 18 als Kameras zur Erfassung der Fahrspur-Markierungen 16 im Bereich der Kranfahrspur 4 ausgeführt, wobei jeweils eine der beiden Kameras für die jeweilige Fahrtrichtung 6, 8 an einer der Stützen 10 des Krans 2 montiert ist und einen Erfassungsbereich 20 in die jeweilige Fahrtrichtung 6, 8 aufweist. Insbesondere sind die Kameras in einem Wetterschutzgehäuse mit einem Sonnendach angeordnet und in einem Winkel von 20° bis 30°, insbesondere 25°±2° nach unten installiert, um eine Beeinträchtigung der Bilderfassung durch Witterung, z.B. durch Sonne und Regen, auch über einen längeren Zeitraum zu minimieren. Insbesondere sind die vier als Kameras ausgeführten Sensoren 18, beispielsweise zum Zwecke einer Fernsteuerung und/oder für ein automatisches Fahren des Krans 2, ASA (Auto Steering Assistance System) genannt, bereits am Kran 2 installiert, sodass keine zusätzliche Sensor-Hardware erforderlich ist. Die von den Sensoren 18 erfassten Daten werden an ein Detektionsmodul 22 zur Videoauswertung übertragen. Das Detektionsmodul 22 umfasst die Kranautomatisierung, welche auch Crane-PLC genannt wird, und eine Steuereinheit 23 zur Steuerung des Verfahrens. Abhängig von der Fahrrichtung 6, 8 wird eine Auswertung für die jeweilige Kameraseite durchgeführt. Insbesondere werden die Kameras der jeweiligen Kameraseite gleichzeitig ausgewertet und durchlaufen parallel den gleichen Detektionsprozess. Das Detektionsmodul 22 ist über eine digitale Datenverbindung 24 mit einer zentralen IT-Infrastruktur 26 verbunden. Eine zentrale IT-Infrastruktur 26 ist beispielsweise mindestens ein lokales Computersystem, welches nicht dem Kran zugeordnet ist, und/oder eine Cloud. Die zentrale IT-Infrastruktur 26 stellt Speicherplatz, Rechenleistung und/oder Anwendungssoftware bereit. In der Cloud werden Speicherplatz, Rechenleistung und/oder Anwendungssoftware als Dienstleistung über das Internet zur Verfügung gestellt. Eine derartige Cloud-Umgebung ist beispielsweise die "MindSphere". Die, insbesondere digitale, Datenübertragung findet beispielsweise drahtlos statt. Insbesondere werden die Daten über WLAN übertragen. Die zentrale IT-Infrastruktur 26 umfasst in FIG 1 ein erstes neuronales Netz 28. Insbesondere umfasst das dem Kran 2 zugeordnete Detektionsmodul 22 ein erstes neuronales Netz 28, welches über die zentrale IT-Infrastruktur 26 bereitgestellt wird. FIG 1 shows a schematic representation of a crane 2 which can be moved in a crane track 4 in a first direction of travel 6 and in a second direction of travel 8 . The crane 2 is designed, for example, as a rubber-tired gantry crane, in particular a container crane, which has supports 10 that are connected via a crane bridge 12 . A spreader and trolley are included for clarity FIG 1 not shown. During crane operation, the crane 2 becomes Loading and/or unloading of loads 14 in the form of containers is moved automatically using lane markings 16 . The lane markings 16 are designed, for example, as hatched areas. Alternatively, the crane 2 is automatically moved on rails. At least one, in particular optical, sensor 18 is used for the automated movement of the crane 2 in the crane lane 4 . As an example, the crane 2 in FIG 1 two sensors 18 for a direction of travel 6.8. For example, the sensors 18 are designed as cameras for detecting the lane markings 16 in the area of the crane lane 4, with one of the two cameras for the respective direction of travel 6, 8 being mounted on one of the supports 10 of the crane 2 and having a detection area 20 in the respective direction of travel 6, 8 has. In particular, the cameras are arranged in a weatherproof housing with a sunroof and installed at an angle of 20° to 30°, in particular 25°±2° downwards, in order to prevent image capture from being adversely affected by the weather, e.g. by sun and rain, even over a longer period of time to minimize period. In particular, the four sensors 18 designed as cameras, for example for the purpose of remote control and/or for automatic driving of the crane 2, called ASA (Auto Steering Assistance System), are already installed on the crane 2, so that no additional sensor hardware is required. The data recorded by the sensors 18 are transmitted to a detection module 22 for video evaluation. The detection module 22 includes the crane automation, which is also called Crane-PLC, and a control unit 23 for controlling the method. Depending on the direction of travel 6, 8, an evaluation is carried out for the respective camera side. In particular, the cameras on the respective camera side are evaluated simultaneously and run through the same detection process in parallel. The detection module 22 is connected to a central IT infrastructure 26 via a digital data connection 24 . A central IT infrastructure 26 is, for example, at least one local computer system that is not assigned to the crane and/or a cloud. The central IT infrastructure 26 provides storage space, computing power and/or application software. In the cloud, storage space, computing power and/or application software are made available as a service over the Internet. Such a cloud environment is, for example, "MindSphere". The data transmission, in particular digital, takes place wirelessly, for example. In particular, the data is transmitted via WLAN. The central IT infrastructure 26 includes in FIG 1 a first neural network 28. In particular, the detection module 22 assigned to the crane 2 includes a first neural network 28, which is provided via the central IT infrastructure 26.

FIG 2 zeigt ein Ablaufdiagramm eines ersten Verfahrens zur automatisierten Bewegung eines Krans 2, wobei der Kran 2 beispielsweise wie in FIG 1 ausgeführt ist. Das Verfahren umfasst ein Erfassen 30 eines ersten Trainingsdatensatzes von zeitlich aufeinanderfolgenden Rohdaten mittels zumindest eines, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 außerhalb eines Kranbetriebes in der Kranfahrspur 4. Zusätzlich können während des Betriebes weitere Trainingsdaten zur nachträglichen Optimierung gesammelt werden. Insbesondere wird der erste Trainingsdatensatz erfasst, wenn der Kran 2 in die erste Fahrtrichtung 6 und in die zweite Fahrtrichtung 8 bewegt wird. Die Rohdaten sind beispielsweise als Kamerabilder ausgeführt, die während der Bewegungen des Krans 2 zyklisch eingelesen und dem Detektionsmodul 22 zur Verfügung gestellt werden. Insbesondere werden mittels zumindest einer Kamera Fahrspur-Markierungen 16 im Bereich der Kranfahrspur 4 erfasst. FIG 2 shows a flow chart of a first method for the automated movement of a crane 2, wherein the crane 2, for example, as in FIG 1 is executed. The method includes a detection 30 of a first training data set of chronologically consecutive raw data by means of at least one, in particular optical, sensor 18 when the crane 2 moves outside of crane operation in the crane lane 4. In addition, further training data can be collected during operation for subsequent optimization. In particular, the first training data set is recorded when the crane 2 is moved in the first direction of travel 6 and in the second direction of travel 8 . The raw data are implemented as camera images, for example, which are read in cyclically during the movements of the crane 2 and are made available to the detection module 22 . Lane markings 16 in the area of crane lane 4 are recorded in particular by means of at least one camera.

Daraufhin erfolgt ein Auswerten 32 des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes 28 basierend auf den erfassten Rohdaten. Die Rohdaten umfassen beispielsweise Bildsequenzen von Tag- und Nachtzeiten sowie unterschiedlichen Witterungsverhältnissen der Kranfahrspur 4 in einer "Normal-Situation" bzw. "Soll-Situation". Insbesondere werden den Bildsequenzen manuell oder automatisiert Zusatzinformationen, welche beispielsweise in einem zusätzlichen Text-File abgelegt werden, zugeordnet. Die Zusatzinformationen umfassen beispielsweise Label-Informationen. Eine Label-Information beinhaltet Informationen, wo sich in einem Bild ein Such-Muster befindet. Da in Terminals beispielsweise mit unterschiedlichen Fahrspur-Markierungen 16 gearbeitet wird, können beim Anlernen des ersten neuronalen Netzes 28 noch nicht bekannte Typen von Fahrspur-Markierungen 16, welche insbesondere Objekt-Klassen genannt werden, trainiert werden. Beispielsweise ist das erste neuronale Netz 28 zumindest teilweise der zentralen IT-Infrastruktur 26 zugeordnet, wobei die Rohdaten zum Auswerten 32 des ersten Trainingsdatensatzes an die zentrale IT-Infrastruktur 26 gesendet werden, da hierzu große GPU/CPU Leistungen erforderlich sind. Beispielsweise wird auf einem bereits trainierten ersten neuronalen Netz 28 aufgesetzt, wobei dieses ertüchtigt wird, neue, insbesondere projektspezifische, Fahrspur-Markierungen 16 zu erkennen.This is followed by an evaluation 32 of the first training data set, with the training of a first neural network 28 based on the raw data recorded. The raw data include, for example, image sequences of day and night times as well as different weather conditions of the crane lane 4 in a “normal situation” or “target situation”. In particular, additional information is added to the image sequences manually or automatically, for example in an additional Text file are stored assigned. The additional information includes label information, for example. Label information includes information where a search pattern is located in an image. Since, for example, different lane markings 16 are used in terminals, previously unknown types of lane markings 16, which in particular are called object classes, can be trained when the first neural network 28 is trained. For example, the first neural network 28 is at least partially assigned to the central IT infrastructure 26, with the raw data being sent to the central IT infrastructure 26 for evaluating 32 the first training data set, since this requires high GPU/CPU performance. For example, a first neural network 28 that has already been trained is set up, with this being upgraded to recognize new, in particular project-specific, lane markings 16 .

Daraufhin erfolgt ein Ermitteln 34 von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz, wobei die ersten Trainingsdaten von der zentralen IT-Infrastruktur 26 an das Detektionsmodul 22 des Kran 2 gesendet werden. Das beschriebene Einlernen mittels des ersten neuronalen Netzes 28 erfolgt beispielsweise bei einer Inbetriebnahme des Krans 2 und kann während einer Projektphase bei Bedarf erweitert werden.First training data is then determined 34 from the evaluated first training data record, with the first training data being sent from the central IT infrastructure 26 to the detection module 22 of the crane 2 . The teaching described using the first neural network 28 takes place, for example, when the crane 2 is put into operation and can be expanded during a project phase if required.

Während des eigentlichen Kranbetriebes erfolgt ein Erfassen 36 von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 in eine Fahrtrichtung 6, 8 in der Kranfahrspur 4, wobei daraufhin ein Vergleichen 38 der aktuellen Sensordaten mit den ersten Trainingsdaten erfolgt.During actual crane operation, current sensor data is recorded 36 by means of the at least one, in particular optical, sensor 18 when the crane 2 moves in a travel direction 6, 8 in the crane travel lane 4, with the current sensor data then being compared 38 with the first training data he follows.

Befindet sich ein Objekt, beispielsweise eine Person oder ein Gegenstand, im Bereich der Kranfahrspur 4 und wird von zumindest einem Sensor 18 während des Kranbetriebes erfasst, erfolgt ein Detektieren 40 einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten. Das Detektieren 40 der Anomalie erfolgt unabhängig von einer Art, einer Form und eines Typs des Objektes, da nicht vorhersagbar ist, welches Objekt sich im Bereich der Kranfahrspur 4 befinden kann und ob dieses ein Hindernis für den Kran darstellt.If there is an object, for example a person or an object, in the area of the crane track 4 and is detected by at least one sensor 18 during crane operation, an anomaly is detected 40 between the current ones Sensor data and the first training data. The anomaly is detected 40 independently of the type, shape and type of the object, since it is not possible to predict which object may be in the area of the crane lane 4 and whether this represents an obstacle for the crane.

Beispielsweise wird nach dem Detektieren 40 der Anomalie ein Alarm ausgelöst und/oder der komplette Verladeprozess wird automatisch gestoppt. Insbesondere können Auswertebilder, die den Alarm ausgelöst und/oder zu dem Stopp geführt haben, archiviert werden. Die Auswertebilder können z.B. an einem Operator-Bedienplatz angezeigt werden.For example, after the anomaly has been detected 40, an alarm is triggered and/or the entire loading process is automatically stopped. In particular, evaluation images that triggered the alarm and/or led to the stop can be archived. The evaluation images can, for example, be displayed on an operator workstation.

FIG 3 zeigt ein Ablaufdiagramm eines zweiten Verfahrens zur automatisierten Bewegung eines Krans 2. Nach dem Detektieren 40 der Anomalie erfolgt ein Überprüfen 42 einer Plausibilität der Detektion der Anomalie mittels einer Konfidenz-Schätzung des ersten neuronalen Netzes 28. Die weitere Ausführung des Verfahrens in FIG 3 entspricht der in FIG 2. 3 shows a flow chart of a second method for the automated movement of a crane 2. After the anomaly has been detected 40, the plausibility of the detection of the anomaly is checked 42 by means of a confidence estimate of the first neural network 28. The further execution of the method in 3 corresponds to the in FIG 2 .

FIG 4 zeigt ein Ablaufdiagramm eines dritten Verfahrens zur automatisierten Bewegung eines Krans 2. Das dritte Verfahren umfasst ein Bereitstellen 44 von zweiten Trainingsdaten aus einem zweiten Trainingsdatensatz eines zweiten neuronalen Netzes 46. Insbesondere ist das zweite neuronale Netz 46 für eine Objekterkennung vortrainiert. Vortrainierte Objekte sind z.B. Personen, Autos, Transportfahrzeuge, Hebewerkezeuge und/oder Container. FIG 4 shows a flowchart of a third method for the automated movement of a crane 2. The third method includes providing 44 second training data from a second training data set of a second neural network 46. In particular, the second neural network 46 is pre-trained for object recognition. Pre-trained objects are, for example, people, cars, transport vehicles, lifting tools and/or containers.

Daraufhin erfolgt ein Vergleichen 48 der aktuellen Sensordaten mit den zweiten Trainingsdaten. Insbesondere werden für das Vergleichen 48 mit den zweiten Trainingsdaten, im Wesentlichen zeitgleich, dieselben aktuellen Sensordaten für das Vergleichen mit den ersten Trainingsdaten 38 verwendet. Ferner wird derselbe zumindest eine Sensor 18 für beide Vergleiche verwendet. Befindet sich ein Objekt im Bereich der Kranfahrspur 4 und wird von zumindest einem Sensor 18 während des Kranbetriebes erfasst, erfolgt ein Detektieren 50 des Objektes in den aktuellen Sensordaten. Insbesondere erfolgt das Detektieren 50 des Objektes im Wesentlichen gleichzeitig mit dem Detektieren 40 der Anomalie, wobei durch eine Kombination der Ergebnisse beider Detektionsverfahren, Anomalie- und Objekt-Detektion, eine größtmögliche Stabilität des Systems erreicht wird.This is followed by a comparison 48 of the current sensor data with the second training data. In particular, for the comparison 48 with the second training data, essentially at the same time, the same current sensor data are used for the comparison with the first training data 38 . Furthermore, the same at least one sensor 18 is used for both comparisons. If an object is located in the area of the crane lane 4 and is detected by at least one sensor 18 during crane operation, the object is detected 50 in the current sensor data. In particular, the detection 50 of the object takes place essentially at the same time as the detection 40 of the anomaly, the greatest possible stability of the system being achieved by a combination of the results of both detection methods, anomaly and object detection.

Daraufhin erfolgt ein Stoppen 52 des Krans 2 nach dem Detektieren 40 der Anomalie und/oder dem Detektieren 50 des Objektes. Alternativ wird ein Alarm ausgelöst. Bei Bedarf wird der Kran 2 manuell gestoppt. Die weitere Ausführung des Verfahrens in FIG 4 entspricht der in FIG 3.The crane 2 is then stopped 52 after the anomaly has been detected 40 and/or the object has been detected 50 . Alternatively, an alarm is triggered. If necessary, the crane 2 is stopped manually. The further execution of the procedure in FIG 4 corresponds to the in 3 .

FIG 5 zeigt ein Ablaufdiagramm eines vierten Verfahrens zur automatisierten Bewegung eines Krans 2. Nach dem Detektieren 50 des Objektes erfolgt ein Überprüfen 54 einer Plausibilität der Detektion des Objektes mittels einer Konfidenz-Schätzung des zweiten neuronalen Netzes 46. Die weitere Ausführung des Verfahrens in FIG 5 entspricht der in FIG 3. 5 shows a flow chart of a fourth method for the automated movement of a crane 2. After the object has been detected 50, a plausibility check 54 of the detection of the object is carried out by means of a confidence estimate of the second neural network 46. The further execution of the method in 5 corresponds to the in 3 .

FIG 6 zeigt ein Ablaufdiagramm einer Bildauswertung in einem Detektionsmodul, wobei eine Bereitstellung 56 von aktuellen Sensordaten durch die vier in FIG 1 dargestellten Kameras erfolgt. Die vier jeweils von einer Kamera erfassten Bildsequenzen 58, 60, 62, 64 umfassen jeweils Label-Informationen 66 im Bereich der Fahrspur-Markierungen 16 zur Markierung der gewünschten Bildausschnitte. Für die weitere Auswertung sind, je nach Fahrtrichtung 6, 8 jeweils zwei der Bildsequenzen 58, 60, 62, 64 relevant. Durch Vergleichen der aktuellen Sensordaten mit den jeweiligen Trainingsdaten kommt es zum Detektieren 40 einer Anomalie 68 und zum Detektieren 50 eines Objektes 70. Daraufhin erfolgt ein Stoppen 52 des Krans 2. 6 shows a flow chart of an image evaluation in a detection module, with a provision 56 of current sensor data by the four in FIG 1 cameras shown is done. The four image sequences 58, 60, 62, 64 each captured by a camera each include label information 66 in the area of the lane markings 16 for marking the desired image sections. Depending on the direction of travel 6, 8, two of the image sequences 58, 60, 62, 64 are relevant for the further evaluation. By comparing the current sensor data with the respective training data, an anomaly 68 is detected 40 and an object 70 is detected 50. The crane 2 is then stopped 52.

FIG 7 zeigt ein erstes Beispielbild 72 mit einer Fahrspur-Markierung 16, welche als schraffierte Flächen ausgeführt und beispielsweise für einen gummibereiften Portalkran geeignet ist. FIG 7 shows a first example image 72 with a lane marking 16, which is designed as hatched areas and is suitable, for example, for a rubber-tired gantry crane.

FIG 8 zeigt ein zweites Beispielbild 74 mit einer Fahrbahnmarkierung 16, welche als Schiene für einen auf Schienen bewegbaren Kran 2 ausgeführt ist. Ferner ist in FIG 8 eine Label-Information 66 zur Markierung des gewünschten Bildausschnitts dargestellt. 8 shows a second example image 74 with a lane marking 16, which is designed as a rail for a crane 2 that can be moved on rails. Furthermore, in 8 a piece of label information 66 for marking the desired image detail is shown.

Zusammenfassend betrifft die Erfindung ein Verfahren zur kollisionsfreien Bewegung eines Krans 2 in einer Kranfahrspur 4. Um eine möglichst hohe Zuverlässigkeit zu erreichen, wird vorgeschlagen, dass das Verfahren folgende Schritte aufweist: Erfassen 30 eines ersten Trainingsdatensatzes von zeitlich aufeinanderfolgenden Rohdaten mittels zumindest eines, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 außerhalb des Kranbetriebes in der Kranfahrspur 4; Auswerten 32 des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes 28 basierend auf den erfassten Rohdaten; Ermitteln 34 von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz; Erfassen 36 von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 während des Kranbetriebes in der Kranfahrspur 4; Vergleichen 38 der aktuellen Sensordaten mit den ersten Trainingsdaten und Detektieren 40 einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten.In summary, the invention relates to a method for collision-free movement of a crane 2 in a crane lane 4. In order to achieve the highest possible reliability, it is proposed that the method have the following steps: Acquisition 30 of a first training data set of chronologically consecutive raw data using at least one, in particular optical , Sensor 18 when the crane 2 moves outside of crane operation in the crane lane 4; Evaluation 32 of the first training data record while training a first neural network 28 based on the raw data recorded; determining 34 first training data from the evaluated first training data set; Detection 36 of current sensor data by means of the at least one, in particular optical, sensor 18 when the crane 2 moves during crane operation in the crane track 4; Comparing 38 the current sensor data with the first training data and detecting 40 an anomaly between the current sensor data and the first training data.

Claims (16)

Verfahren zur kollisionsfreien Bewegung eines Krans (2) in einer Kranfahrspur (4) aufweisend folgende Schritte: - Erfassen (30) eines ersten Trainingsdatensatzes von Rohdaten mittels zumindest eines, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) außerhalb des Kranbetriebes in der Kranfahrspur (4), - Auswerten (32) des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes (28) basierend auf den erfassten Rohdaten, - Ermitteln (34) von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz, - Erfassen (36) von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) während des Kranbetriebes in der Kranfahrspur (4), - Vergleichen (38) der aktuellen Sensordaten mit den ersten Trainingsdaten und - Detektieren (40) einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten. Method for collision-free movement of a crane (2) in a crane track (4), having the following steps: - Recording (30) a first training data set of raw data by means of at least one, in particular optical, sensor (18) when the crane (2) moves outside of crane operation in the crane track (4), - Evaluation (32) of the first training data set while training a first neural network (28) based on the recorded raw data, - determining (34) first training data from the evaluated first training data set, - Recording (36) of current sensor data by means of the at least one, in particular optical, sensor (18) when the crane (2) moves during crane operation in the crane track (4), - Comparing (38) the current sensor data with the first training data and - detecting (40) an anomaly between the current sensor data and the first training data. Verfahren nach Anspruch 1,
wobei das erste neuronale Netz (28) zumindest teilweise einer zentralen IT-Infrastruktur (26) zugeordnet ist,
wobei die Rohdaten zum Auswerten (32) des Trainingsdatensatzes an die zentrale IT-Infrastruktur (26) gesendet werden.Method according to claim 1,
wherein the first neural network (28) is at least partially assigned to a central IT infrastructure (26),
the raw data being sent to the central IT infrastructure (26) for evaluating (32) the training data set. Verfahren nach Anspruch 2,
wobei die ersten Trainingsdaten von der zentralen IT-Infrastruktur (26) an ein dem Kran (2) zugeordnetes Detektionsmodul (22) gesendet werden.Method according to claim 2,
the first training data being sent from the central IT infrastructure (26) to a detection module (22) assigned to the crane (2). Verfahren nach einem der vorherigen Ansprüche,
wobei der zumindest eine, insbesondere optische, Sensor (18) als Kamera ausgeführt ist,
wobei mittels der Kamera Fahrspur-Markierungen (16) im Bereich der Kranfahrspur (4) erfasst werden.Method according to one of the preceding claims,
wherein the at least one, in particular optical, sensor (18) is designed as a camera,
lane markings (16) in the area of the crane lane (4) being detected by means of the camera. Verfahren nach einem der vorherigen Ansprüche, umfassend folgenden weiteren Schritt:
Überprüfung (42) einer Plausibilität der Detektion der Anomalie mittels einer Konfidenz-Schätzung des ersten neuronalen Netzes (28).Method according to one of the preceding claims, comprising the following further step:
Checking (42) a plausibility of the detection of the anomaly by means of a confidence estimate of the first neural network (28). Verfahren nach einem der vorherigen Ansprüche, umfassend folgende Schritte: - Bereitstellen (44) von zweiten Trainingsdaten aus einem zweiten Trainingsdatensatz eines zweiten neuronalen Netzes (46), - Vergleichen (48) der aktuellen Sensordaten mit den zweiten Trainingsdaten und - Detektieren (50) eines Objektes in den aktuellen Sensordaten. Method according to one of the preceding claims, comprising the following steps: - Providing (44) second training data from a second training data set of a second neural network (46), - Comparing (48) the current sensor data with the second training data and - Detecting (50) an object in the current sensor data. Verfahren nach Anspruch 6,
wobei das Detektieren (50) des Objektes gleichzeitig mit dem Detektieren (40) der Anomalie erfolgt.Method according to claim 6,
wherein the detection (50) of the object occurs simultaneously with the detection (40) of the anomaly. Verfahren nach einem der Ansprüche 6 oder 7,
wobei das Detektieren (50) des Objektes in dem den Kran (2) zugeordneten Detektionsmodul (22) erfolgt.Method according to one of claims 6 or 7,
the object being detected (50) in the detection module (22) assigned to the crane (2). Verfahren nach einem der Ansprüche 6 bis 8 umfassend folgenden weiteren Schritt:
Überprüfung (54) einer Plausibilität der Detektion des Objektes mittels einer Konfidenz-Schätzung des zweiten neuronalen Netzes (46).Method according to one of Claims 6 to 8, comprising the following further step:
Checking (54) a plausibility of the detection of the object by means of a confidence estimate of the second neural network (46). Verfahren nach einem der Ansprüche 6 bis 9 umfassend folgenden weiteren Schritt:
Stoppen (52) des Krans (2) nach dem Detektieren (40) der Anomalie und/oder dem Detektieren (50) des Objektes.Method according to one of Claims 6 to 9, comprising the following further step:
stopping (52) the crane (2) after detecting (40) the anomaly and/or detecting (50) the object. Verfahren nach einem der vorherigen Ansprüche,
wobei der Kran (2), insbesondere vollständig, automatisiert in der Kranfahrspur (4) bewegt wird.Method according to one of the preceding claims,
the crane (2) being moved, in particular completely, automatically in the crane travel lane (4). Steuereinheit (23) mit Mitteln zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11.Control unit (23) with means for carrying out a method according to one of Claims 1 to 11. Computerprogramm zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 bei Ablauf in einer Steuereinheit (23) nach Anspruch 12.Computer program for carrying out a method according to one of Claims 1 to 11 when running in a control unit (23) according to Claim 12. Sicherheitssystem aufweisend zumindest einen, insbesondere optischen, Sensor (18) und eine Steuereinheit (23) nach Anspruch 12.Safety system having at least one, in particular optical, sensor (18) and a control unit (23) according to Claim 12. Kran (2) aufweisend zumindest ein Sicherheitssystem nach Anspruch 14.Crane (2) having at least one safety system according to Claim 14. Kran (2) nach Anspruch 15,
welcher als Portalkran ausgeführt und in zumindest zwei, insbesondere entgegengesetzte, Fahrtrichtungen (6, 8) bewegbar ist,
wobei jeder der Fahrtrichtungen (6, 8) zumindest ein, insbesondere optischer, Sensor (18) zugewiesen ist, welcher einen Erfassungsbereich (20) in die jeweilige Fahrtrichtung 6 aufweist.Crane (2) according to claim 15,
which is designed as a gantry crane and can be moved in at least two, in particular opposite, directions (6, 8),
each of the directions of travel (6, 8) being assigned at least one, in particular optical, sensor (18) which has a detection area (20) in the respective direction of travel 6.
EP21158706.8A 2021-02-23 2021-02-23 Method for collision-free movement of a crane Withdrawn EP4046955A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21158706.8A EP4046955A1 (en) 2021-02-23 2021-02-23 Method for collision-free movement of a crane
EP22700169.0A EP4240684A1 (en) 2021-02-23 2022-01-04 Method for the collision-free movement of a crane
US18/278,319 US20240140763A1 (en) 2021-02-23 2022-01-04 Method for the collision-free movement of a crane
CN202280016501.1A CN116867724A (en) 2021-02-23 2022-01-04 Method for moving a crane without collision
PCT/EP2022/050065 WO2022179758A1 (en) 2021-02-23 2022-01-04 Method for the collision-free movement of a crane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP21158706.8A EP4046955A1 (en) 2021-02-23 2021-02-23 Method for collision-free movement of a crane

Publications (1)

Publication Number Publication Date
EP4046955A1 true EP4046955A1 (en) 2022-08-24

Family

ID=74732609

Family Applications (2)

Application Number Title Priority Date Filing Date
EP21158706.8A Withdrawn EP4046955A1 (en) 2021-02-23 2021-02-23 Method for collision-free movement of a crane
EP22700169.0A Pending EP4240684A1 (en) 2021-02-23 2022-01-04 Method for the collision-free movement of a crane

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP22700169.0A Pending EP4240684A1 (en) 2021-02-23 2022-01-04 Method for the collision-free movement of a crane

Country Status (4)

Country Link
US (1) US20240140763A1 (en)
EP (2) EP4046955A1 (en)
CN (1) CN116867724A (en)
WO (1) WO2022179758A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020193858A1 (en) * 2019-03-27 2020-10-01 Konecranes Global Oy Crane anti-collision system, method, program, and manufacturing method
EP3733586A1 (en) 2019-04-30 2020-11-04 Siemens Aktiengesellschaft Method for collision-free movement of a load with a crane
CN111970477A (en) * 2019-05-20 2020-11-20 天津科技大学 Foreign matter monitoring system for field bridge track
CN112010185A (en) * 2020-08-25 2020-12-01 陈兆娜 System and method for automatically identifying and controlling surrounding danger sources of crown block
EP3750842A1 (en) 2019-06-11 2020-12-16 Siemens Aktiengesellschaft Loading a load with a crane system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020193858A1 (en) * 2019-03-27 2020-10-01 Konecranes Global Oy Crane anti-collision system, method, program, and manufacturing method
EP3733586A1 (en) 2019-04-30 2020-11-04 Siemens Aktiengesellschaft Method for collision-free movement of a load with a crane
CN111970477A (en) * 2019-05-20 2020-11-20 天津科技大学 Foreign matter monitoring system for field bridge track
EP3750842A1 (en) 2019-06-11 2020-12-16 Siemens Aktiengesellschaft Loading a load with a crane system
CN112010185A (en) * 2020-08-25 2020-12-01 陈兆娜 System and method for automatically identifying and controlling surrounding danger sources of crown block

Also Published As

Publication number Publication date
CN116867724A (en) 2023-10-10
WO2022179758A1 (en) 2022-09-01
US20240140763A1 (en) 2024-05-02
EP4240684A1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
EP3181422B1 (en) Method and system for automatically guiding a follow vehicle with a scout vehicle
EP3365211B1 (en) Method and device for reducing the risk of collision of a motor vehicle with an object
DE102017216312A1 (en) Autonomous driving system and autonomous driving method
DE112017006397B4 (en) system for a vehicle
DE102016200734A1 (en) Method and device for monitoring a driverless driving a motor vehicle within a parking lot
EP3181423A1 (en) Method and system for automatically guiding a follow vehicle with a scout vehicle
DE102019002487A1 (en) Method for checking a surroundings detection sensor of a vehicle and method for operating a vehicle
EP3882733B1 (en) Method and system for autonomous driving of a vehicle
EP3750842B1 (en) Loading a load with a crane system
DE102018133457B4 (en) Method and system for providing environmental data
DE102018205011A1 (en) Method and system for the controlled transfer of vehicles of a vehicle fleet to a safe state
DE102018133157A1 (en) Method for the automated control of a vehicle at a pedestrian crossing, control device
EP3968213A1 (en) Method for determining a track-bound railway track in a track system and device for carrying out this method
EP4046955A1 (en) Method for collision-free movement of a crane
DE102019118483A1 (en) Motor vehicle, aircraft and method of operating the same
DE102018008763A1 (en) Parking system for the autonomous parking of a vehicle
WO2022214451A1 (en) Method for creating a guidance trajectory for a first motor vehicle, method for controlling a motor vehicle and method for operating a motor vehicle
DE102019106844B4 (en) Detection of malfunctions in the switching state detection of traffic light systems
WO2020260477A1 (en) Detection device and vehicle sensor system
DE102017009964A1 (en) Method for operating a vehicle
DE102020113010A1 (en) Procedure for securing a logistics area
EP1583057B1 (en) Method and system for the surveillance of an area
DE102023001533A1 (en) Method for operating a driver assistance system
DE102022131469A1 (en) Method for calibrating at least one detection device of a vehicle, in which the vehicle is moved at least partially autonomously, detection device, driver assistance system, vehicle, calibration system and production system
DE102022131470A1 (en) Method for calibrating at least one detection direction of a vehicle designed to detect at least one monitoring area, detection devices, driver assistance system and vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230225