EP4046955A1 - Verfahren zur kollisionsfreien bewegung eines krans - Google Patents

Verfahren zur kollisionsfreien bewegung eines krans Download PDF

Info

Publication number
EP4046955A1
EP4046955A1 EP21158706.8A EP21158706A EP4046955A1 EP 4046955 A1 EP4046955 A1 EP 4046955A1 EP 21158706 A EP21158706 A EP 21158706A EP 4046955 A1 EP4046955 A1 EP 4046955A1
Authority
EP
European Patent Office
Prior art keywords
crane
training data
data
detection
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21158706.8A
Other languages
English (en)
French (fr)
Inventor
Johannes Benkert
Thomas Dobler
Julian Vogel
Axel Walthelm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP21158706.8A priority Critical patent/EP4046955A1/de
Priority to CN202280016501.1A priority patent/CN116867724A/zh
Priority to US18/278,319 priority patent/US20240140763A1/en
Priority to EP22700169.0A priority patent/EP4240684A1/de
Priority to PCT/EP2022/050065 priority patent/WO2022179758A1/de
Publication of EP4046955A1 publication Critical patent/EP4046955A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/04—Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track
    • B66C15/045—Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries

Definitions

  • the invention relates to a method for collision-free movement of a crane in a crane track.
  • the invention relates to a control unit with means for carrying out such a method.
  • the invention also relates to a computer program for carrying out such a method when running in a control unit.
  • the invention relates to a security system with at least one, in particular optical, sensor and such a control unit.
  • the invention relates to a crane with at least one such safety system.
  • loading processes are increasingly automated with the help of cranes, i.e. without manual intervention by operators.
  • cranes i.e. without manual intervention by operators.
  • safety systems and protective devices that monitor the lanes or the environment during crane movements in order to avoid collisions with objects or people.
  • gantry cranes in particular container cranes, which are also called container bridges
  • container cranes which are also called container bridges
  • Such gantry cranes are moved in a crane lane, for example on rails.
  • Rubber-tyred gantry cranes so-called RTGs (rubber-tyred gantry cranes)
  • RTGs rubber-tyred gantry cranes
  • EP 3 750 842 A1 describes a method for loading a load using a crane system, wherein at least one image data stream is generated using a camera system of the crane system and analyzed using an artificial neural network using a computing unit. Based on the analysis, a first and a second marker are recognized in respective individual images of the at least one image data stream by means of the computing unit. Positions of the markers are determined and the load is automatically loaded using a hoist of the crane system depending on the positions of the markers.
  • EP 3 733 586 A1 describes a method for collision-free movement of a load with a crane in a space with at least one obstacle.
  • a position of the obstacle be provided, with at least one safe state variable of the load being provided, with a safety zone surrounding the load being determined from the safe state variable, with the safety zone in relation to the Position of the obstacle is dynamically monitored.
  • the invention is based on the object of specifying a reliable method for collision-free movement of a crane in a crane lane.
  • a method for collision-free movement of a crane in a crane lane which comprises the following steps: acquiring a first training data set of raw data using at least one, in particular optical, sensor when the crane moves outside of crane operation in the crane lane; Evaluate the first training data set while learning a first neural network based on the captured raw data; determining first training data from the evaluated first training data set; Acquisition of current sensor data by means of the at least one, in particular optical, sensor when the crane moves during crane operation in the crane lane; comparing the current sensor data to the first training data and detecting an anomaly between the current sensor data and the first training data.
  • control unit with means for carrying out such a method.
  • the object is achieved according to the invention by a computer program for carrying out such a method when running in a control unit.
  • a security system with at least one, in particular optical, sensor and such a control unit.
  • the object is achieved according to the invention by a crane with at least one such safety system.
  • the invention is based on the idea of reliably avoiding collisions when a crane is moving in a crane travel lane by recognizing possible obstacles such as people and/or objects as anomalies during crane operation.
  • An anomaly is a deviation from a "normal situation", which is also called “target situation”.
  • the detection process is based on a first neural network that is outside of the actual crane operation is trained in advance.
  • further training data can be collected during operation for subsequent optimization.
  • a first training data record is determined from, for example, chronologically consecutive or randomized raw data, which are recorded by means of at least one, in particular optical, sensor.
  • the first training data record contains raw data from day and night times as well as different weather conditions of the crane lanes, which are recorded when the crane moves in a “normal situation”.
  • the first training data record is evaluated based on the recorded raw data, with training of the first neural network, with first training data being determined from the evaluated training data record.
  • the described teaching of the first neural network takes place, for example, when the crane is put into operation and/or during a project phase. Teaching can take place "offline", for example in a cloud. The data does not have to come entirely from the same crane.
  • current sensor data are recorded by means of the at least one, in particular optical, sensor when the crane moves in the crane lane.
  • the current sensor data is then compared with the first training data. If there is an obstacle, such as a person and/or an object, in the area of the crane lane and is detected by at least one sensor, an anomaly between the current sensor data and the first training data is detected so that, for example, an alarm can be triggered and/or the loading process of the crane can be stopped automatically. Anomalies that do not correspond to the "normal situation" are recognized.
  • the anomaly detection takes place independently of the type, shape and type of the object, since it is not possible to predict which object may be in the area of the crane track and whether this represents an obstacle for the crane.
  • a control unit which is assigned in particular to the crane, has means for carrying out the method, which, for example, have a digital logic module, in particular a microprocessor Microcontroller or an ASIC (application-specific integrated circuit) include. Additionally or alternatively, the means for carrying out the method include a GPU or what is known as an "AI accelerator".
  • a further embodiment provides that the first neural network is at least partially assigned to a central IT infrastructure during the training, with the raw data for evaluating the training data set being sent to the central IT infrastructure.
  • a central IT infrastructure is, for example, at least one local computer system that is not assigned to the crane and/or a cloud.
  • the central IT infrastructure provides storage space, computing power and/or application software. In the cloud, storage space, computing power and/or application software are made available as a service over the Internet.
  • Such a cloud environment is, for example, "MindSphere".
  • the data transmission, in particular digital, with the central IT infrastructure takes place wirelessly, for example. In particular, the data is transmitted via WLAN. Since evaluating the first neural network while learning the first training data set requires high GPU/CPU performance, it is advantageous to carry out the evaluation in such a central IT infrastructure in order to save time and money.
  • a further embodiment provides that the first training data is sent from the central IT infrastructure to a detection module assigned to the crane. This enables the comparison of the current sensor data with the first training data and the anomaly detection to take place quickly and reliably, since delays and possible disruptions in the connection to the central IT infrastructure during actual crane operation are avoided.
  • the at least one, in particular optical, sensor is designed as a camera, with the camera being used to mark lane markings in the area the crane track can be detected. Such lane markings are, for example, hatched areas, lines or rails.
  • the at least one camera is designed as an analog and/or IP camera, for example.
  • a camera is inexpensive, especially when compared to a radar or laser-based system.
  • the cameras are already installed, for example for the purpose of remote control and/or for automatic driving of the crane, called ASA (Auto Steering Assistance System), so that no additional hardware is required and there is an additional cost advantage.
  • a further embodiment provides that a plausibility of the detection of the anomaly is checked by means of a confidence estimate of the first neural network. Such a plausibility check further increases the reliability of the method.
  • a further embodiment provides that the method comprises the following additional steps: providing second training data from a second training data set and teaching a second neural network, comparing the current sensor data with the second training data and detecting an object in the current sensor data.
  • the second neural network is pre-trained for object recognition.
  • Pre-trained objects are, for example, people, cars, transport vehicles, lifting tools and/or containers.
  • a redundancy through a combination of an anomaly detection with an object detection additionally increases the stability and thus the reliability of the method.
  • a further embodiment provides that the object is detected at the same time as the anomaly is detected.
  • a further embodiment provides that the object is detected in the detection module assigned to the crane.
  • a local detection method of this type enables a faster and more reliable process, since delays and possible disruptions due to additional connections, including a temporary failure of the data transmission, are avoided.
  • a further embodiment provides that a plausibility of the detection of the object is checked by means of a confidence estimate of the second neural network. Such a plausibility check further increases the reliability of the method.
  • a further embodiment provides that the crane is stopped after detecting the anomaly and/or detecting the object. Such a redundancy achieves the greatest possible stability of the method.
  • a further embodiment provides that the crane is moved, in particular completely, automatically in the crane lane. Such an, in particular completely, automated movement of the crane during crane operation accelerates the loading and unloading process and thereby saves costs.
  • the described components of the embodiments each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than the one shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
  • FIG 1 shows a schematic representation of a crane 2 which can be moved in a crane track 4 in a first direction of travel 6 and in a second direction of travel 8 .
  • the crane 2 is designed, for example, as a rubber-tired gantry crane, in particular a container crane, which has supports 10 that are connected via a crane bridge 12 .
  • a spreader and trolley are included for clarity FIG 1 not shown.
  • the crane 2 becomes Loading and/or unloading of loads 14 in the form of containers is moved automatically using lane markings 16 .
  • the lane markings 16 are designed, for example, as hatched areas. Alternatively, the crane 2 is automatically moved on rails.
  • At least one, in particular optical, sensor 18 is used for the automated movement of the crane 2 in the crane lane 4 .
  • the crane 2 in FIG 1 two sensors 18 for a direction of travel 6.8.
  • the sensors 18 are designed as cameras for detecting the lane markings 16 in the area of the crane lane 4, with one of the two cameras for the respective direction of travel 6, 8 being mounted on one of the supports 10 of the crane 2 and having a detection area 20 in the respective direction of travel 6, 8 has.
  • the cameras are arranged in a weatherproof housing with a sunroof and installed at an angle of 20° to 30°, in particular 25° ⁇ 2° downwards, in order to prevent image capture from being adversely affected by the weather, e.g.
  • the data recorded by the sensors 18 are transmitted to a detection module 22 for video evaluation.
  • the detection module 22 includes the crane automation, which is also called Crane-PLC, and a control unit 23 for controlling the method.
  • Crane-PLC which is also called Crane-PLC
  • a control unit 23 for controlling the method.
  • an evaluation is carried out for the respective camera side.
  • the cameras on the respective camera side are evaluated simultaneously and run through the same detection process in parallel.
  • the detection module 22 is connected to a central IT infrastructure 26 via a digital data connection 24 .
  • a central IT infrastructure 26 is, for example, at least one local computer system that is not assigned to the crane and/or a cloud.
  • the central IT infrastructure 26 provides storage space, computing power and/or application software.
  • storage space, computing power and/or application software are made available as a service over the Internet.
  • Such a cloud environment is, for example, "MindSphere".
  • the data transmission, in particular digital, takes place wirelessly, for example.
  • the data is transmitted via WLAN.
  • the central IT infrastructure 26 includes in FIG 1 a first neural network 28.
  • the detection module 22 assigned to the crane 2 includes a first neural network 28, which is provided via the central IT infrastructure 26.
  • FIG 2 shows a flow chart of a first method for the automated movement of a crane 2, wherein the crane 2, for example, as in FIG 1 is executed.
  • the method includes a detection 30 of a first training data set of chronologically consecutive raw data by means of at least one, in particular optical, sensor 18 when the crane 2 moves outside of crane operation in the crane lane 4.
  • further training data can be collected during operation for subsequent optimization.
  • the first training data set is recorded when the crane 2 is moved in the first direction of travel 6 and in the second direction of travel 8 .
  • the raw data are implemented as camera images, for example, which are read in cyclically during the movements of the crane 2 and are made available to the detection module 22 .
  • Lane markings 16 in the area of crane lane 4 are recorded in particular by means of at least one camera.
  • the raw data include, for example, image sequences of day and night times as well as different weather conditions of the crane lane 4 in a “normal situation” or “target situation”.
  • additional information is added to the image sequences manually or automatically, for example in an additional Text file are stored assigned.
  • the additional information includes label information, for example.
  • Label information includes information where a search pattern is located in an image. Since, for example, different lane markings 16 are used in terminals, previously unknown types of lane markings 16, which in particular are called object classes, can be trained when the first neural network 28 is trained.
  • the first neural network 28 is at least partially assigned to the central IT infrastructure 26, with the raw data being sent to the central IT infrastructure 26 for evaluating 32 the first training data set, since this requires high GPU/CPU performance.
  • a first neural network 28 that has already been trained is set up, with this being upgraded to recognize new, in particular project-specific, lane markings 16 .
  • First training data is then determined 34 from the evaluated first training data record, with the first training data being sent from the central IT infrastructure 26 to the detection module 22 of the crane 2 .
  • the teaching described using the first neural network 28 takes place, for example, when the crane 2 is put into operation and can be expanded during a project phase if required.
  • current sensor data is recorded 36 by means of the at least one, in particular optical, sensor 18 when the crane 2 moves in a travel direction 6, 8 in the crane travel lane 4, with the current sensor data then being compared 38 with the first training data he follows.
  • an anomaly is detected 40 between the current ones Sensor data and the first training data.
  • the anomaly is detected 40 independently of the type, shape and type of the object, since it is not possible to predict which object may be in the area of the crane lane 4 and whether this represents an obstacle for the crane.
  • evaluation images that triggered the alarm and/or led to the stop can be archived.
  • the evaluation images can, for example, be displayed on an operator workstation.
  • FIG 3 shows a flow chart of a second method for the automated movement of a crane 2.
  • the plausibility of the detection of the anomaly is checked 42 by means of a confidence estimate of the first neural network 28.
  • the further execution of the method in 3 corresponds to the in FIG 2 .
  • FIG 4 shows a flowchart of a third method for the automated movement of a crane 2.
  • the third method includes providing 44 second training data from a second training data set of a second neural network 46.
  • the second neural network 46 is pre-trained for object recognition.
  • Pre-trained objects are, for example, people, cars, transport vehicles, lifting tools and/or containers.
  • a comparison 48 of the current sensor data with the second training data is followed by a comparison 48 of the current sensor data with the second training data.
  • the same current sensor data are used for the comparison with the first training data 38 .
  • the same at least one sensor 18 is used for both comparisons. If an object is located in the area of the crane lane 4 and is detected by at least one sensor 18 during crane operation, the object is detected 50 in the current sensor data. In particular, the detection 50 of the object takes place essentially at the same time as the detection 40 of the anomaly, the greatest possible stability of the system being achieved by a combination of the results of both detection methods, anomaly and object detection.
  • the crane 2 is then stopped 52 after the anomaly has been detected 40 and/or the object has been detected 50 . Alternatively, an alarm is triggered. If necessary, the crane 2 is stopped manually.
  • the further execution of the procedure in FIG 4 corresponds to the in 3 .
  • FIG. 5 shows a flow chart of a fourth method for the automated movement of a crane 2.
  • a plausibility check 54 of the detection of the object is carried out by means of a confidence estimate of the second neural network 46.
  • the further execution of the method in 5 corresponds to the in 3 .
  • FIG 6 shows a flow chart of an image evaluation in a detection module, with a provision 56 of current sensor data by the four in FIG 1 cameras shown is done.
  • the four image sequences 58, 60, 62, 64 each captured by a camera each include label information 66 in the area of the lane markings 16 for marking the desired image sections.
  • two of the image sequences 58, 60, 62, 64 are relevant for the further evaluation.
  • FIG 7 shows a first example image 72 with a lane marking 16, which is designed as hatched areas and is suitable, for example, for a rubber-tired gantry crane.
  • FIG. 8 shows a second example image 74 with a lane marking 16, which is designed as a rail for a crane 2 that can be moved on rails. Furthermore, in 8 a piece of label information 66 for marking the desired image detail is shown.
  • the invention relates to a method for collision-free movement of a crane 2 in a crane lane 4.
  • the method have the following steps: Acquisition 30 of a first training data set of chronologically consecutive raw data using at least one, in particular optical , Sensor 18 when the crane 2 moves outside of crane operation in the crane lane 4; Evaluation 32 of the first training data record while training a first neural network 28 based on the raw data recorded; determining 34 first training data from the evaluated first training data set; Detection 36 of current sensor data by means of the at least one, in particular optical, sensor 18 when the crane 2 moves during crane operation in the crane track 4; Comparing 38 the current sensor data with the first training data and detecting 40 an anomaly between the current sensor data and the first training data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

Verfahren zur kollisionsfreien Bewegung eines Krans (2) in einer Kranfahrspur (4). Um eine möglichst hohe Zuverlässigkeit zu erreichen, wird vorgeschlagen, dass das Verfahren folgende Schritte aufweist: Erfassen (30) eines ersten Trainingsdatensatzes von Rohdaten mittels zumindest eines, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) außerhalb des Kranbetriebes in der Kranfahrspur (4); Auswerten (32) des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes (28) basierend auf den erfassten Rohdaten; Ermitteln (34) von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz; Erfassen (36) von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) während des Kranbetriebes in der Kranfahrspur (4); Vergleichen (38) der aktuellen Sensordaten mit den ersten Trainingsdaten und Detektieren (40) einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten.

Description

  • Die Erfindung betrifft ein Verfahren zur kollisionsfreien Bewegung eines Krans in einer Kranfahrspur.
  • Ferner betrifft die Erfindung eine Steuereinheit mit Mitteln zur Durchführung eines derartigen Verfahrens.
  • Die Erfindung betrifft überdies ein Computerprogramm zur Durchführung eines derartigen Verfahrens bei Ablauf in einer Steuereinheit.
  • Des Weiteren betrifft die Erfindung ein Sicherheitssystem mit zumindest einem, insbesondere optischen, Sensor und einer derartigen Steuereinheit.
  • Darüber hinaus betrifft die Erfindung einen Kran mit zumindest einem derartigen Sicherheitssystem.
  • Insbesondere in Container-Terminals laufen Verladevorgänge mit Hilfe von Kranen zunehmend automatisiert, also ohne manuelle Eingriffe von Operatoren, ab. Um die Sicherheit der Verladevorgänge, insbesondere bei automatisiert arbeitenden Kranen, zu gewährleisten, besteht ein großer Bedarf an Sicherheitssystemen und Schutzvorrichtungen, die bei Kranbewegungen die Fahrspuren bzw. das Umfeld überwachen, um Kollisionen mit Gegenständen oder Personen zu vermeiden.
  • In derartigen Terminals kommen beispielsweise Portalkrane, insbesondere Containerkrane, welche auch Containerbrücken genannt werden, zum Einsatz. Derartige Portalkrane werden in einer Kranfahrspur, beispielsweise auf Schienen, bewegt. Gummibereifte Portalkrane, sogenannte RTGs (rubber tyred gantry cranes) werden ohne Schienen bewegt. Da es auf der Kranfahrspur zu Störungen durch Hindernisse wie Personen und/oder Objekte, z.B. fälschlicherweise abgestellte Autos, Transportfahrzeugen oder Werkzeuge, kommen kann, besteht ein Bedarf an Sicherheitssystemen und Schutzvorrichtungen zur Erfassung derartiger Störungen.
  • Die Offenlegungsschrift EP 3 750 842 A1 beschreibt ein Verfahren zum Verladen einer Last mittels eines Kransystems, wobei mittels eines Kamerasystems des Kransystems wenigstens ein Bilddatenstrom erzeugt und mittels einer Recheneinheit anhand eines künstlichen neuronalen Netzes analysiert wird. Basierend auf der Analyse werden mittels der Recheneinheit ein erster und ein zweiter Marker in jeweiligen Einzelbildern des wenigstens einen Bilddatenstroms erkannt. Positionen der Marker werden bestimmt und die Last wird mittels eines Hebezeugs des Kransystems abhängig von den Positionen der Marker automatisiert verladen.
  • Die Offenlegungsschrift EP 3 733 586 A1 beschreibt ein Verfahren zur kollisionsfreien Bewegung einer Last mit einem Kran in einem Raum mit mindestens einem Hindernis. Um auf möglichst einfache Weise einen Sicherheitslevel zu erfüllen, wird vorgeschlagen, dass eine Position des Hindernisses bereitgestellt wird, wobei zumindest eine sichere Zustandsgröße der Last bereitgestellt wird, wobei aus der sicheren Zustandsgröße eine die Last umgebende Sicherheitszone ermittelt wird, wobei die Sicherheitszone in Relation zur Position des Hindernisses dynamisch überwacht wird.
  • Der Erfindung liegt die Aufgabe zugrunde, ein zuverlässiges Verfahren zur kollisionsfreien Bewegung eines Krans in einer Kranfahrspur anzugeben.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur kollisionsfreien Bewegung eines Krans in einer Kranfahrspur gelöst, welches folgende Schritte umfasst: Erfassen eines ersten Trainingsdatensatzes von Rohdaten mittels zumindest eines, insbesondere optischen, Sensors bei einer Bewegung des Krans außerhalb des Kranbetriebes in der Kranfahrspur; Auswerten des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes basierend auf den erfassten Rohdaten; Ermitteln von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz; Erfassen von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors bei einer Bewegung des Krans während des Kranbetriebes in der Kranfahrspur; Vergleichen der aktuellen Sensordaten mit den ersten Trainingsdaten und Detektieren einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten.
  • Ferner wird die Aufgabe erfindungsgemäß gelöst durch eine Steuereinheit mit Mitteln zur Durchführung eines derartigen Verfahrens.
  • Überdies wird die Aufgabe erfindungsgemäß gelöst durch ein Computerprogramm zur Durchführung eines derartigen Verfahrens bei Ablauf in einer Steuereinheit.
  • Des Weiteren wird die Aufgabe erfindungsgemäß gelöst durch ein Sicherheitssystem mit zumindest einem, insbesondere optischen, Sensor und einer derartigen Steuereinheit.
  • Darüber hinaus wird die Aufgabe erfindungsgemäß gelöst durch einen Kran mit zumindest einem derartigen Sicherheitssystem.
  • Die in Bezug auf das Verfahren nachstehend angeführten Vorteile und bevorzugten Ausgestaltungen lassen sich sinngemäß auf die Steuereinheit, das Computerprogramm, das Sicherheitssystem und den Kran übertragen.
  • Der Erfindung liegt die Überlegung zugrunde, zuverlässig Kollisionen bei der Bewegung eines Krans in einer Kranfahrspur zu vermeiden, indem mögliche Hindernisse wie Personen und/oder Gegenstände während des Kranbetriebes als Anomalien erkannt werden. Eine Anomalie ist eine Abweichung von einer "Normal-Situation", welche auch "Soll-Situation" genannt wird. Das Erkennungsverfahrens basiert auf einem ersten neuronalen Netz, das außerhalb des eigentlichen Kranbetriebes vorab trainiert wird. Zusätzlich können während des Betriebes weitere Trainingsdaten zur nachträglichen Optimierung gesammelt werden. Hierbei wird ein erster Trainingsdatensatz aus, beispielsweise zeitlich aufeinanderfolgenden oder randomisierten, Rohdaten, welche mittels zumindest eines, insbesondere optischen, Sensors erfasst werden, ermittelt. Insbesondere beinhaltet der erste Trainingsdatensatz Rohdaten von Tag- und Nachtzeiten sowie unterschiedlichen Witterungsverhältnissen der Kran-Fahrspuren, welche bei einer Bewegung des Krans in einer "Normal-Situation" erfasst werden. Der erste Trainingsdatensatz wird unter Anlernen des ersten neuronalen Netzes basierend auf den erfassten Rohdaten ausgewertet, wobei erste Trainingsdaten aus dem ausgewerteten Trainingsdatensatz ermittelt werden. Das beschriebene Einlernen des ersten neuronalen Netzes erfolgt beispielsweise bei einer Inbetriebnahme des Krans und/oder während einer Projektphase. Das Einlernen kann "offline", z.B. in einer Cloud erfolgen. Die Daten müssen nicht vollständig vom selben Kran stammen.
  • Während des Kranbetriebes werden aktuelle Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors bei einer Bewegung des Krans in der Kranfahrspur erfasst. Daraufhin werden die aktuellen Sensordaten mit den ersten Trainingsdaten verglichen. Befindet sich ein Hindernis wie eine Person und/oder ein Gegenstand, im Bereich der Kranfahrspur und wird von zumindest einem Sensor erfasst, wird eine Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten detektiert, sodass beispielsweise ein Alarm ausgelöst werden kann und/oder der Verladeprozess des Krans automatisch gestoppt werden kann. Erkannt werden Anomalien, die nicht der "Normal-Situation" entsprechen. Die Anomalie-Detektion erfolgt unabhängig von einer Art, einer Form und eines Typs des Objektes, da nicht vorhersagbar ist, welches Objekt sich im Bereich der Kranfahrspur befinden kann und ob dieses ein Hindernis für den Kran darstellt. Eine Steuereinheit, welche insbesondere dem Kran zugeordnet ist, weist Mittel zur Durchführung des Verfahrens auf, welche beispielswiese einen digitalen Logikbaustein, insbesondere einen Mikroprozessor, einen Mikrocontroller oder einen ASIC (application-specific integrated circuit) umfassen. Zusätzlich oder alternativ umfassen die Mittel zur Durchführung des Verfahrens eine GPU oder einen sogenannten "AI Accelerator".
  • Eine weitere Ausführungsform sieht vor, dass das erste neuronale Netz während des Einlernens zumindest teilweise einer zentralen IT-Infrastruktur zugeordnet ist, wobei die Rohdaten zum Auswerten des Trainingsdatensatzes an die zentrale IT-Infrastruktur gesendet werden. Eine zentrale IT-Infrastruktur ist beispielsweise mindestens ein lokales Computersystem, welches nicht dem Kran zugeordnet ist, und/oder eine Cloud. Die zentrale IT-Infrastruktur stellt Speicherplatz, Rechenleistung und/oder Anwendungssoftware bereit. In der Cloud werden Speicherplatz, Rechenleistung und/oder Anwendungssoftware als Dienstleistung über das Internet zur Verfügung gestellt. Eine derartige Cloud-Umgebung ist beispielsweise die "MindSphere". Die, insbesondere digitale, Datenübertragung mit der zentrale IT-Infrastruktur findet beispielsweise drahtlos statt. Insbesondere werden die Daten über WLAN übertragen. Da das Auswerten des ersten neuronalen Netztes unter Anlernen des ersten Trainingsdatensatzes große GPU/CPU Leistungen erfordert, ist es vorteilhaft die Auswertung in einer derartigen zentralen IT-Infrastruktur durchzuführen, um Zeit und Kosten zu sparen.
  • Eine weitere Ausführungsform sieht vor, dass die ersten Trainingsdaten von der zentralen IT-Infrastruktur an ein dem Kran zugeordnetes Detektionsmodul gesendet werden. Somit wird ermöglicht, dass das Vergleichen der aktuellen Sensordaten mit den ersten Trainingsdaten und die Anomalie-Detektion schnell und zuverlässig ablaufen, da Verzögerungen und mögliche Störungen bei der Verbindung mit der zentralen IT-Infrastruktur während des eigentlichen Kranbetriebes vermieden werden.
  • Eine weitere Ausführungsform sieht vor, dass der zumindest eine, insbesondere optische, Sensor als Kamera ausgeführt ist, wobei mittels der Kamera Fahrspur-Markierungen im Bereich der Kranfahrspur erfasst werden. Derartige Fahrspur-Markierungen sind beispielsweise schraffierte Flächen, Linien oder Schienen. Die zumindest eine Kamera ist beispielsweise als Analog- und/oder als IP-Kamera ausgeführt. Eine Kamera ist, insbesondere im Vergleich zu einem radar- oder laserbasierten System, kostengünstig. Insbesondere sind die Kameras, beispielsweise zum Zwecke einer Fernsteuerung und/oder für ein automatisches Fahren des Krans, ASA (Auto Steering Assistance System) genannt, bereits installiert, sodass keine zusätzliche Hardware erforderlich ist und ein zusätzlicher Kostenvorteil entsteht.
  • Eine weitere Ausführungsform sieht vor, dass eine Plausibilität der Detektion der Anomalie mittels einer Konfidenz-Schätzung des ersten neuronalen Netzes überprüft wird. Durch eine derartige Plausibilitätsüberprüfung wird die Zuverlässigkeit des Verfahrens weiter erhöht.
  • Eine weitere Ausführungsform sieht vor, dass das Verfahren folgende zusätzliche Schritte umfasst: Bereitstellen von zweiten Trainingsdaten aus einem zweiten Trainingsdatensatz und Einlernen eines zweiten neuronalen Netzes, Vergleichen der aktuellen Sensordaten mit den zweiten Trainingsdaten und Detektieren eines Objektes in den aktuellen Sensordaten. Insbesondere ist das zweite neuronale Netz für eine Objekterkennung vortrainiert. Vortrainierte Objekte sind beispielsweise Personen, Autos, Transportfahrzeuge, Hebewerkzeuge und/oder Container. Eine Redundanz durch eine Kombination einer Anomalie-Detektion mit einer Objekt-Detektion erhöht die Stabilität und damit die Zuverlässigkeit des Verfahrens zusätzlich.
  • Eine weitere Ausführungsform sieht vor, dass das Detektieren des Objektes gleichzeitig mit dem Detektieren der Anomalie erfolgt. Durch die gleichzeitige Kombination der Ergebnisse beider Detektionsverfahren wird eine größtmögliche Stabilität und Geschwindigkeit des Verfahrens erreicht.
  • Eine weitere Ausführungsform sieht vor, dass das Detektieren des Objektes, in dem den Kran zugeordneten Detektionsmodul erfolgt. Durch ein derartiges lokales Detektionsverfahren wird ein schneller und zuverlässiger Ablauf ermöglicht, da Verzögerungen und mögliche Störungen durch zusätzliche Verbindungen bis hin zu einem zeitweisen Ausfall der Datenübertragung vermieden werden.
  • Eine weitere Ausführungsform sieht vor, dass eine Plausibilität der Detektion des Objektes mittels einer Konfidenz-Schätzung des zweiten neuronalen Netzes überprüft wird. Durch eine derartige Plausibilitätsüberprüfung wird die Zuverlässigkeit des Verfahrens weiter erhöht.
  • Eine weitere Ausführungsform sieht vor, dass der Kran nach dem Detektieren der Anomalie und/oder dem Detektieren des Objektes gestoppt wird. Durch eine derartige Redundanz wird eine größtmögliche Stabilität des Verfahrens erreicht.
  • Eine weitere Ausführungsform sieht vor, dass der Kran, insbesondere vollständig, automatisiert in der Kranfahrspur bewegt wird. Eine derartige, insbesondere vollständig, automatisierte Bewegung des Krans während des Kranbetriebes beschleunigt den Be- und Entladeprozess und spart dadurch Kosten.
  • Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert.
    • FIG 1
    eine schematische Darstellung eines Portalkrans,
    FIG 2
    ein Ablaufdiagramm eines ersten Verfahrens zur automatisierten Bewegung eines Krans,
    FIG 3
    ein Ablaufdiagramm eines zweiten Verfahrens zur automatisierten Bewegung eines Krans,
    FIG 4
    ein Ablaufdiagramm eines dritten Verfahrens zur automatisierten Bewegung eines Krans,
    FIG 5
    ein Ablaufdiagramm eines vierten Verfahrens zur automatisierten Bewegung eines Krans,
    FIG 6
    ein Ablaufdiagramm einer Bildauswertung in einem Detektionsmodul,
    FIG 7
    ein erstes Beispielbild mit einer Fahrbahnmarkierung und
    FIG 8
    ein zweites Beispielbild mit einer Fahrbahnmarkierung.
  • Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • Gleiche Bezugszeichen haben in den verschiedenen Figuren die gleiche Bedeutung.
  • FIG 1 zeigt eine schematische Darstellung eines Krans 2, welcher in einer Kranfahrspur 4 in eine erste Fahrtrichtung 6 und in eine zweite Fahrtrichtung 8 bewegbar ist. Der Kran 2 ist beispielhaft als gummibereifter Portalkran, insbesondere Containerkran, ausgeführt, welcher Stützen 10 aufweist, die über eine Kranbrücke 12 verbunden sind. Ein Spreader und ein Trolley sind aus Gründen der Übersichtlichkeit in FIG 1 nicht dargestellt. Während eines Kranbetriebes wird der Kran 2 zum Be- und/oder Entladen von als Containern ausgeführten Lasten 14 anhand von Fahrspur-Markierungen 16 automatisiert bewegt. Die Fahrspur-Markierungen 16 sind beispielsweise als schraffierte Flächen ausgeführt. Alternativ wird der Kran 2 automatisiert auf Schienen bewegt. Für die automatisierte Bewegung des Krans 2 in der Kranfahrspur 4 wird zumindest ein, insbesondere optischer, Sensor 18 verwendet. Beispielhaft weist der Kran 2 in FIG 1 jeweils zwei Sensoren 18 für eine Fahrtrichtung 6,8 auf. Beispielsweise sind die Sensoren 18 als Kameras zur Erfassung der Fahrspur-Markierungen 16 im Bereich der Kranfahrspur 4 ausgeführt, wobei jeweils eine der beiden Kameras für die jeweilige Fahrtrichtung 6, 8 an einer der Stützen 10 des Krans 2 montiert ist und einen Erfassungsbereich 20 in die jeweilige Fahrtrichtung 6, 8 aufweist. Insbesondere sind die Kameras in einem Wetterschutzgehäuse mit einem Sonnendach angeordnet und in einem Winkel von 20° bis 30°, insbesondere 25°±2° nach unten installiert, um eine Beeinträchtigung der Bilderfassung durch Witterung, z.B. durch Sonne und Regen, auch über einen längeren Zeitraum zu minimieren. Insbesondere sind die vier als Kameras ausgeführten Sensoren 18, beispielsweise zum Zwecke einer Fernsteuerung und/oder für ein automatisches Fahren des Krans 2, ASA (Auto Steering Assistance System) genannt, bereits am Kran 2 installiert, sodass keine zusätzliche Sensor-Hardware erforderlich ist. Die von den Sensoren 18 erfassten Daten werden an ein Detektionsmodul 22 zur Videoauswertung übertragen. Das Detektionsmodul 22 umfasst die Kranautomatisierung, welche auch Crane-PLC genannt wird, und eine Steuereinheit 23 zur Steuerung des Verfahrens. Abhängig von der Fahrrichtung 6, 8 wird eine Auswertung für die jeweilige Kameraseite durchgeführt. Insbesondere werden die Kameras der jeweiligen Kameraseite gleichzeitig ausgewertet und durchlaufen parallel den gleichen Detektionsprozess. Das Detektionsmodul 22 ist über eine digitale Datenverbindung 24 mit einer zentralen IT-Infrastruktur 26 verbunden. Eine zentrale IT-Infrastruktur 26 ist beispielsweise mindestens ein lokales Computersystem, welches nicht dem Kran zugeordnet ist, und/oder eine Cloud. Die zentrale IT-Infrastruktur 26 stellt Speicherplatz, Rechenleistung und/oder Anwendungssoftware bereit. In der Cloud werden Speicherplatz, Rechenleistung und/oder Anwendungssoftware als Dienstleistung über das Internet zur Verfügung gestellt. Eine derartige Cloud-Umgebung ist beispielsweise die "MindSphere". Die, insbesondere digitale, Datenübertragung findet beispielsweise drahtlos statt. Insbesondere werden die Daten über WLAN übertragen. Die zentrale IT-Infrastruktur 26 umfasst in FIG 1 ein erstes neuronales Netz 28. Insbesondere umfasst das dem Kran 2 zugeordnete Detektionsmodul 22 ein erstes neuronales Netz 28, welches über die zentrale IT-Infrastruktur 26 bereitgestellt wird.
  • FIG 2 zeigt ein Ablaufdiagramm eines ersten Verfahrens zur automatisierten Bewegung eines Krans 2, wobei der Kran 2 beispielsweise wie in FIG 1 ausgeführt ist. Das Verfahren umfasst ein Erfassen 30 eines ersten Trainingsdatensatzes von zeitlich aufeinanderfolgenden Rohdaten mittels zumindest eines, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 außerhalb eines Kranbetriebes in der Kranfahrspur 4. Zusätzlich können während des Betriebes weitere Trainingsdaten zur nachträglichen Optimierung gesammelt werden. Insbesondere wird der erste Trainingsdatensatz erfasst, wenn der Kran 2 in die erste Fahrtrichtung 6 und in die zweite Fahrtrichtung 8 bewegt wird. Die Rohdaten sind beispielsweise als Kamerabilder ausgeführt, die während der Bewegungen des Krans 2 zyklisch eingelesen und dem Detektionsmodul 22 zur Verfügung gestellt werden. Insbesondere werden mittels zumindest einer Kamera Fahrspur-Markierungen 16 im Bereich der Kranfahrspur 4 erfasst.
  • Daraufhin erfolgt ein Auswerten 32 des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes 28 basierend auf den erfassten Rohdaten. Die Rohdaten umfassen beispielsweise Bildsequenzen von Tag- und Nachtzeiten sowie unterschiedlichen Witterungsverhältnissen der Kranfahrspur 4 in einer "Normal-Situation" bzw. "Soll-Situation". Insbesondere werden den Bildsequenzen manuell oder automatisiert Zusatzinformationen, welche beispielsweise in einem zusätzlichen Text-File abgelegt werden, zugeordnet. Die Zusatzinformationen umfassen beispielsweise Label-Informationen. Eine Label-Information beinhaltet Informationen, wo sich in einem Bild ein Such-Muster befindet. Da in Terminals beispielsweise mit unterschiedlichen Fahrspur-Markierungen 16 gearbeitet wird, können beim Anlernen des ersten neuronalen Netzes 28 noch nicht bekannte Typen von Fahrspur-Markierungen 16, welche insbesondere Objekt-Klassen genannt werden, trainiert werden. Beispielsweise ist das erste neuronale Netz 28 zumindest teilweise der zentralen IT-Infrastruktur 26 zugeordnet, wobei die Rohdaten zum Auswerten 32 des ersten Trainingsdatensatzes an die zentrale IT-Infrastruktur 26 gesendet werden, da hierzu große GPU/CPU Leistungen erforderlich sind. Beispielsweise wird auf einem bereits trainierten ersten neuronalen Netz 28 aufgesetzt, wobei dieses ertüchtigt wird, neue, insbesondere projektspezifische, Fahrspur-Markierungen 16 zu erkennen.
  • Daraufhin erfolgt ein Ermitteln 34 von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz, wobei die ersten Trainingsdaten von der zentralen IT-Infrastruktur 26 an das Detektionsmodul 22 des Kran 2 gesendet werden. Das beschriebene Einlernen mittels des ersten neuronalen Netzes 28 erfolgt beispielsweise bei einer Inbetriebnahme des Krans 2 und kann während einer Projektphase bei Bedarf erweitert werden.
  • Während des eigentlichen Kranbetriebes erfolgt ein Erfassen 36 von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 in eine Fahrtrichtung 6, 8 in der Kranfahrspur 4, wobei daraufhin ein Vergleichen 38 der aktuellen Sensordaten mit den ersten Trainingsdaten erfolgt.
  • Befindet sich ein Objekt, beispielsweise eine Person oder ein Gegenstand, im Bereich der Kranfahrspur 4 und wird von zumindest einem Sensor 18 während des Kranbetriebes erfasst, erfolgt ein Detektieren 40 einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten. Das Detektieren 40 der Anomalie erfolgt unabhängig von einer Art, einer Form und eines Typs des Objektes, da nicht vorhersagbar ist, welches Objekt sich im Bereich der Kranfahrspur 4 befinden kann und ob dieses ein Hindernis für den Kran darstellt.
  • Beispielsweise wird nach dem Detektieren 40 der Anomalie ein Alarm ausgelöst und/oder der komplette Verladeprozess wird automatisch gestoppt. Insbesondere können Auswertebilder, die den Alarm ausgelöst und/oder zu dem Stopp geführt haben, archiviert werden. Die Auswertebilder können z.B. an einem Operator-Bedienplatz angezeigt werden.
  • FIG 3 zeigt ein Ablaufdiagramm eines zweiten Verfahrens zur automatisierten Bewegung eines Krans 2. Nach dem Detektieren 40 der Anomalie erfolgt ein Überprüfen 42 einer Plausibilität der Detektion der Anomalie mittels einer Konfidenz-Schätzung des ersten neuronalen Netzes 28. Die weitere Ausführung des Verfahrens in FIG 3 entspricht der in FIG 2.
  • FIG 4 zeigt ein Ablaufdiagramm eines dritten Verfahrens zur automatisierten Bewegung eines Krans 2. Das dritte Verfahren umfasst ein Bereitstellen 44 von zweiten Trainingsdaten aus einem zweiten Trainingsdatensatz eines zweiten neuronalen Netzes 46. Insbesondere ist das zweite neuronale Netz 46 für eine Objekterkennung vortrainiert. Vortrainierte Objekte sind z.B. Personen, Autos, Transportfahrzeuge, Hebewerkezeuge und/oder Container.
  • Daraufhin erfolgt ein Vergleichen 48 der aktuellen Sensordaten mit den zweiten Trainingsdaten. Insbesondere werden für das Vergleichen 48 mit den zweiten Trainingsdaten, im Wesentlichen zeitgleich, dieselben aktuellen Sensordaten für das Vergleichen mit den ersten Trainingsdaten 38 verwendet. Ferner wird derselbe zumindest eine Sensor 18 für beide Vergleiche verwendet. Befindet sich ein Objekt im Bereich der Kranfahrspur 4 und wird von zumindest einem Sensor 18 während des Kranbetriebes erfasst, erfolgt ein Detektieren 50 des Objektes in den aktuellen Sensordaten. Insbesondere erfolgt das Detektieren 50 des Objektes im Wesentlichen gleichzeitig mit dem Detektieren 40 der Anomalie, wobei durch eine Kombination der Ergebnisse beider Detektionsverfahren, Anomalie- und Objekt-Detektion, eine größtmögliche Stabilität des Systems erreicht wird.
  • Daraufhin erfolgt ein Stoppen 52 des Krans 2 nach dem Detektieren 40 der Anomalie und/oder dem Detektieren 50 des Objektes. Alternativ wird ein Alarm ausgelöst. Bei Bedarf wird der Kran 2 manuell gestoppt. Die weitere Ausführung des Verfahrens in FIG 4 entspricht der in FIG 3.
  • FIG 5 zeigt ein Ablaufdiagramm eines vierten Verfahrens zur automatisierten Bewegung eines Krans 2. Nach dem Detektieren 50 des Objektes erfolgt ein Überprüfen 54 einer Plausibilität der Detektion des Objektes mittels einer Konfidenz-Schätzung des zweiten neuronalen Netzes 46. Die weitere Ausführung des Verfahrens in FIG 5 entspricht der in FIG 3.
  • FIG 6 zeigt ein Ablaufdiagramm einer Bildauswertung in einem Detektionsmodul, wobei eine Bereitstellung 56 von aktuellen Sensordaten durch die vier in FIG 1 dargestellten Kameras erfolgt. Die vier jeweils von einer Kamera erfassten Bildsequenzen 58, 60, 62, 64 umfassen jeweils Label-Informationen 66 im Bereich der Fahrspur-Markierungen 16 zur Markierung der gewünschten Bildausschnitte. Für die weitere Auswertung sind, je nach Fahrtrichtung 6, 8 jeweils zwei der Bildsequenzen 58, 60, 62, 64 relevant. Durch Vergleichen der aktuellen Sensordaten mit den jeweiligen Trainingsdaten kommt es zum Detektieren 40 einer Anomalie 68 und zum Detektieren 50 eines Objektes 70. Daraufhin erfolgt ein Stoppen 52 des Krans 2.
  • FIG 7 zeigt ein erstes Beispielbild 72 mit einer Fahrspur-Markierung 16, welche als schraffierte Flächen ausgeführt und beispielsweise für einen gummibereiften Portalkran geeignet ist.
  • FIG 8 zeigt ein zweites Beispielbild 74 mit einer Fahrbahnmarkierung 16, welche als Schiene für einen auf Schienen bewegbaren Kran 2 ausgeführt ist. Ferner ist in FIG 8 eine Label-Information 66 zur Markierung des gewünschten Bildausschnitts dargestellt.
  • Zusammenfassend betrifft die Erfindung ein Verfahren zur kollisionsfreien Bewegung eines Krans 2 in einer Kranfahrspur 4. Um eine möglichst hohe Zuverlässigkeit zu erreichen, wird vorgeschlagen, dass das Verfahren folgende Schritte aufweist: Erfassen 30 eines ersten Trainingsdatensatzes von zeitlich aufeinanderfolgenden Rohdaten mittels zumindest eines, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 außerhalb des Kranbetriebes in der Kranfahrspur 4; Auswerten 32 des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes 28 basierend auf den erfassten Rohdaten; Ermitteln 34 von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz; Erfassen 36 von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors 18 bei einer Bewegung des Krans 2 während des Kranbetriebes in der Kranfahrspur 4; Vergleichen 38 der aktuellen Sensordaten mit den ersten Trainingsdaten und Detektieren 40 einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten.

Claims (16)

  1. Verfahren zur kollisionsfreien Bewegung eines Krans (2) in einer Kranfahrspur (4) aufweisend folgende Schritte:
    - Erfassen (30) eines ersten Trainingsdatensatzes von Rohdaten mittels zumindest eines, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) außerhalb des Kranbetriebes in der Kranfahrspur (4),
    - Auswerten (32) des ersten Trainingsdatensatzes unter Anlernen eines ersten neuronalen Netzes (28) basierend auf den erfassten Rohdaten,
    - Ermitteln (34) von ersten Trainingsdaten aus dem ausgewerteten ersten Trainingsdatensatz,
    - Erfassen (36) von aktuellen Sensordaten mittels des zumindest einen, insbesondere optischen, Sensors (18) bei einer Bewegung des Krans (2) während des Kranbetriebes in der Kranfahrspur (4),
    - Vergleichen (38) der aktuellen Sensordaten mit den ersten Trainingsdaten und
    - Detektieren (40) einer Anomalie zwischen den aktuellen Sensordaten und den ersten Trainingsdaten.
  2. Verfahren nach Anspruch 1,
    wobei das erste neuronale Netz (28) zumindest teilweise einer zentralen IT-Infrastruktur (26) zugeordnet ist,
    wobei die Rohdaten zum Auswerten (32) des Trainingsdatensatzes an die zentrale IT-Infrastruktur (26) gesendet werden.
  3. Verfahren nach Anspruch 2,
    wobei die ersten Trainingsdaten von der zentralen IT-Infrastruktur (26) an ein dem Kran (2) zugeordnetes Detektionsmodul (22) gesendet werden.
  4. Verfahren nach einem der vorherigen Ansprüche,
    wobei der zumindest eine, insbesondere optische, Sensor (18) als Kamera ausgeführt ist,
    wobei mittels der Kamera Fahrspur-Markierungen (16) im Bereich der Kranfahrspur (4) erfasst werden.
  5. Verfahren nach einem der vorherigen Ansprüche, umfassend folgenden weiteren Schritt:
    Überprüfung (42) einer Plausibilität der Detektion der Anomalie mittels einer Konfidenz-Schätzung des ersten neuronalen Netzes (28).
  6. Verfahren nach einem der vorherigen Ansprüche, umfassend folgende Schritte:
    - Bereitstellen (44) von zweiten Trainingsdaten aus einem zweiten Trainingsdatensatz eines zweiten neuronalen Netzes (46),
    - Vergleichen (48) der aktuellen Sensordaten mit den zweiten Trainingsdaten und
    - Detektieren (50) eines Objektes in den aktuellen Sensordaten.
  7. Verfahren nach Anspruch 6,
    wobei das Detektieren (50) des Objektes gleichzeitig mit dem Detektieren (40) der Anomalie erfolgt.
  8. Verfahren nach einem der Ansprüche 6 oder 7,
    wobei das Detektieren (50) des Objektes in dem den Kran (2) zugeordneten Detektionsmodul (22) erfolgt.
  9. Verfahren nach einem der Ansprüche 6 bis 8 umfassend folgenden weiteren Schritt:
    Überprüfung (54) einer Plausibilität der Detektion des Objektes mittels einer Konfidenz-Schätzung des zweiten neuronalen Netzes (46).
  10. Verfahren nach einem der Ansprüche 6 bis 9 umfassend folgenden weiteren Schritt:
    Stoppen (52) des Krans (2) nach dem Detektieren (40) der Anomalie und/oder dem Detektieren (50) des Objektes.
  11. Verfahren nach einem der vorherigen Ansprüche,
    wobei der Kran (2), insbesondere vollständig, automatisiert in der Kranfahrspur (4) bewegt wird.
  12. Steuereinheit (23) mit Mitteln zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11.
  13. Computerprogramm zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 bei Ablauf in einer Steuereinheit (23) nach Anspruch 12.
  14. Sicherheitssystem aufweisend zumindest einen, insbesondere optischen, Sensor (18) und eine Steuereinheit (23) nach Anspruch 12.
  15. Kran (2) aufweisend zumindest ein Sicherheitssystem nach Anspruch 14.
  16. Kran (2) nach Anspruch 15,
    welcher als Portalkran ausgeführt und in zumindest zwei, insbesondere entgegengesetzte, Fahrtrichtungen (6, 8) bewegbar ist,
    wobei jeder der Fahrtrichtungen (6, 8) zumindest ein, insbesondere optischer, Sensor (18) zugewiesen ist, welcher einen Erfassungsbereich (20) in die jeweilige Fahrtrichtung 6 aufweist.
EP21158706.8A 2021-02-23 2021-02-23 Verfahren zur kollisionsfreien bewegung eines krans Withdrawn EP4046955A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21158706.8A EP4046955A1 (de) 2021-02-23 2021-02-23 Verfahren zur kollisionsfreien bewegung eines krans
CN202280016501.1A CN116867724A (zh) 2021-02-23 2022-01-04 用于无碰撞地移动起重机的方法
US18/278,319 US20240140763A1 (en) 2021-02-23 2022-01-04 Method for the collision-free movement of a crane
EP22700169.0A EP4240684A1 (de) 2021-02-23 2022-01-04 Verfahren zur kollisionsfreien bewegung eines krans
PCT/EP2022/050065 WO2022179758A1 (de) 2021-02-23 2022-01-04 Verfahren zur kollisionsfreien bewegung eines krans

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP21158706.8A EP4046955A1 (de) 2021-02-23 2021-02-23 Verfahren zur kollisionsfreien bewegung eines krans

Publications (1)

Publication Number Publication Date
EP4046955A1 true EP4046955A1 (de) 2022-08-24

Family

ID=74732609

Family Applications (2)

Application Number Title Priority Date Filing Date
EP21158706.8A Withdrawn EP4046955A1 (de) 2021-02-23 2021-02-23 Verfahren zur kollisionsfreien bewegung eines krans
EP22700169.0A Pending EP4240684A1 (de) 2021-02-23 2022-01-04 Verfahren zur kollisionsfreien bewegung eines krans

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP22700169.0A Pending EP4240684A1 (de) 2021-02-23 2022-01-04 Verfahren zur kollisionsfreien bewegung eines krans

Country Status (4)

Country Link
US (1) US20240140763A1 (de)
EP (2) EP4046955A1 (de)
CN (1) CN116867724A (de)
WO (1) WO2022179758A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020193858A1 (en) * 2019-03-27 2020-10-01 Konecranes Global Oy Crane anti-collision system, method, program, and manufacturing method
EP3733586A1 (de) 2019-04-30 2020-11-04 Siemens Aktiengesellschaft Verfahren zur kollisionsfreien bewegung einer last mit einem kran
CN111970477A (zh) * 2019-05-20 2020-11-20 天津科技大学 一种场桥轨道异物监控系统
CN112010185A (zh) * 2020-08-25 2020-12-01 陈兆娜 一种天车周边危险源自动辨识与控制系统及方法
EP3750842A1 (de) 2019-06-11 2020-12-16 Siemens Aktiengesellschaft Verladen einer last mit einem kransystem

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020193858A1 (en) * 2019-03-27 2020-10-01 Konecranes Global Oy Crane anti-collision system, method, program, and manufacturing method
EP3733586A1 (de) 2019-04-30 2020-11-04 Siemens Aktiengesellschaft Verfahren zur kollisionsfreien bewegung einer last mit einem kran
CN111970477A (zh) * 2019-05-20 2020-11-20 天津科技大学 一种场桥轨道异物监控系统
EP3750842A1 (de) 2019-06-11 2020-12-16 Siemens Aktiengesellschaft Verladen einer last mit einem kransystem
CN112010185A (zh) * 2020-08-25 2020-12-01 陈兆娜 一种天车周边危险源自动辨识与控制系统及方法

Also Published As

Publication number Publication date
CN116867724A (zh) 2023-10-10
US20240140763A1 (en) 2024-05-02
EP4240684A1 (de) 2023-09-13
WO2022179758A1 (de) 2022-09-01

Similar Documents

Publication Publication Date Title
EP3181422B1 (de) Verfahren und system zur automatischen steuerung eines folgefahrzeugs mit einem scout-fahrzeug
EP3365211B1 (de) Verfahren und vorrichtung zum verringern eines kollisionsrisikos einer kollision eines kraftfahrzeugs mit einem objekt
DE102017216312A1 (de) Autonomes Fahrsystem und autonomes Fahrverfahren
DE112017006397B4 (de) System für ein Fahrzeug
DE102016200734A1 (de) Verfahren und Vorrichtung zum Überwachen einer fahrerlosen Fahrt eines Kraftfahrzeugs innerhalb eines Parkplatzes
DE102019002487A1 (de) Verfahren zur Überprüfung eines Umfelderfassungssensors eines Fahrzeugs und Verfahren zum Betrieb eines Fahrzeugs
EP3181423A1 (de) Verfahren und system zur automatischen steuerung eines folgefahrzeugs mit einem scout-fahrzeug
EP3750842B1 (de) Verladen einer last mit einem kransystem
WO2020088857A1 (de) Verfahren zur überprüfung mindestens eines umfelderfassungssensors eines fahrzeugs
EP3517398B1 (de) Verfahren zur innenraumzustandsüberwachung, sowie fahrzeug mit einer innenraumzustandsüberwachungseinrichtung
EP3882733B1 (de) Verfahren und system zum autonomen fahren eines fahrzeugs
DE102018205011A1 (de) Verfahren und System zum kontrollierten Überführen von Fahrzeugen einer Fahrzeugflotte in einen sicheren Zustand
DE102013001017A1 (de) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
EP3968213A1 (de) Verfahren und vorrichtung zum ermitteln eines gleisgebundenen schienenpfades in einer gleisanlage
EP4046955A1 (de) Verfahren zur kollisionsfreien bewegung eines krans
DE102018008763A1 (de) Parksystem zum autonomen Parken eines Fahrzeuges
DE102018133157A1 (de) Verfahren zum automatisierten Steuern eines Fahrzeugs an einem Fußgängerüberweg, Steuergerät
WO2022214451A1 (de) Verfahren zum erstellen einer führungstrajektorie für ein erstes kraftfahrzeug, verfahren zum steuern eines kraftfahrzeugs sowie verfahren zum betreiben eines kraftfahrzeugs
DE102018133457B4 (de) Verfahren und System zum Bereitstellen von Umgebungsdaten
WO2020260477A1 (de) Detektionsvorrichtung und fahrzeugsensorsystem
WO2020187917A1 (de) Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen
DE102019118483A1 (de) Kraftfahrzeug, Luftfahrzeug und Verfahren zum Betreiben derselben
DE102017009964A1 (de) Verfahren zum Betrieb eines Fahrzeugs
DE102020113010A1 (de) Verfahren zum Sichern eines Logistikbereichs
DE102022131469A1 (de) Verfahren zur Kalibration wenigstens einer Detektionsvorrichtung eines Fahrzeugs, bei dem das Fahrzeug wenigstens teilautonom bewegt wird, Detektionsvorrichtung, Fahrerassistenzsystem, Fahrzeug, Kalibrationsanlage und Fertigungsanlage

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230225