EP2931649A1 - Turmdrehkran - Google Patents

Turmdrehkran

Info

Publication number
EP2931649A1
EP2931649A1 EP13810895.6A EP13810895A EP2931649A1 EP 2931649 A1 EP2931649 A1 EP 2931649A1 EP 13810895 A EP13810895 A EP 13810895A EP 2931649 A1 EP2931649 A1 EP 2931649A1
Authority
EP
European Patent Office
Prior art keywords
load hook
image
camera
load
hook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP13810895.6A
Other languages
English (en)
French (fr)
Other versions
EP2931649B1 (de
Inventor
Oliver Fenker
Michael PALBERG
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liebherr Components Biberach GmbH
Original Assignee
Liebherr Components Biberach GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liebherr Components Biberach GmbH filed Critical Liebherr Components Biberach GmbH
Priority to EP18163759.6A priority Critical patent/EP3354616B1/de
Publication of EP2931649A1 publication Critical patent/EP2931649A1/de
Application granted granted Critical
Publication of EP2931649B1 publication Critical patent/EP2931649B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/02—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes with non-adjustable and non-inclinable jibs mounted solely for slewing movements
    • B66C23/022—Pivot axis common with column

Definitions

  • the present invention relates to a crane, in particular a tower crane, with a crane boom rotatable about an upright axis, on which a trolley is movably arranged, from which a lifting cable connected to a load hook runs, and a load hook position determining device for determining the load hook position.
  • a tower crane is also known, on the trolley of which a downwardly looking camera is mounted in order to display to the crane operator a video image of the load hook environment, so that the crane operator can better recognize obstacles lying in the direction of movement.
  • This camera system is used to visualize obstacles or the settling or receiving area, which the crane operator has to control, but it is not the load hook position relative to the crane or determined absolutely in space.
  • DE 41 90 587 C2 describes a ship container crane, in which a load hook position by means of a camera which is attached to the suspension device for the crane rope, is determined. In this case, several upwardly radiating light sources are attached to the recorded containers, which are detected by the camera.
  • cranes such as tower cranes, which also accommodate loads such as construction site products, which are often significantly smaller than containers, since the large-area container top is not available here.
  • US Pat. No. 6,351,720 B1 shows a container crane in which the load position is determined by means of several cameras, one of which is attached to a trolley of the crane and another to the portal of the crane in order to be able to take into account twisting of the crane.
  • this entails a very complicated data processing, moreover, there is a problem that the second camera has obstacles and the like has an impaired field of view.
  • the identification of the load hook in the camera image provided by the camera can basically be done in various ways, for example by pixel evaluation and / or contour evaluation and / or color evaluation.
  • a pixel pattern that corresponds to the load hook and / or the attached attachment such as rope bottle or special mark, as well as the outline contour and color of the load hook and / or the associated attachment part can be determined.
  • known image processing algorithms such as binary imaging, edge detection or feature selection can be used to analyze the camera image.
  • the provided image can also be subjected to a spectral analysis, wherein, for example, reflection properties can be analyzed.
  • the load hook and / or the load bottle itself may also be designed as a marking, for example by corresponding contouring of a load hook and / or load bottle section visible towards the trolley, in which case, for example, the load hook with its top-side head section is an example angular or circular contour, for example in the form of a mushroom-shaped or collar-shaped, in plan view triangular widening can be contoured.
  • the visible hook can be used per se as a marker, for example in the aforementioned manner by special contouring of the trolley facing head section. This can be done on the basis of face recognition, as used in surveillance systems.
  • suitable geometric features of the crane hook can be used as markers or markers. This has the advantage that separate marker attachments are unnecessary, which can be damaged or contaminated during operation.
  • An advantage of the development is that only a certain number of predetermined features must be visible. Even with a partial covering of individual features, the crane hook is still reliably recognized in its position and orientation.
  • the said zoom factor can also be varied by the camera control device as a function of other variables, in particular as a function of the result of an image evaluation attempt. If the load hook or the associated marking can not be identified in the image at a previously set zoom factor, the zoom factor can be reduced in order to be able to search a larger area of the image. If necessary, the zoom factor can be iteratively reduced several times in order to scan larger and larger areas in several stages.
  • FIG. 1 shows a schematic representation of a tower crane, on the boom of which a movable trolley is provided, from which the lifting cable connected to a load hook runs and to which a camera for determining the position of the load hook is arranged,
  • FIG. 4 shows an illustration of a marking similar to FIG. 3, wherein the marking, in contrast to FIG. 3, has a clear orientation in order to be able to determine the orientation or rotational position of the load hook in addition to the position, and
  • the mark 14 may consist of a contrasting rings in the manner of a target, which are set in one another.
  • a uniquely oriented marking 14 as shown in FIG. 4, for example in the form of a "T", where again a contrast-rich representation is also used here instead of such a "T"
  • the marker 14 may also have other orientation determination features, for example, two or more rotationally symmetric markers may be provided in geometric relation to each other, and / or other orientation reference rectangular marker shapes may and / or may be used geometric shapes of the load itself or the load bearing such as the spreader container crane used as a marker.
  • the load hook 7 or the load located thereon can be determined not only statically in the image, but also during dynamic movements of the load.
  • a tracking of the load a so-called tracking done.
  • the analysis of the respectively provided camera image can be carried out continuously, preferably by means of edge detection, binary image generation and feature selection with respect to the known mark 14.
  • the processing is advantageously carried out within a predefinable image detail in a specific region of the camera image. Since the size, depending on the operating case can be kept very small, the computational effort is thereby considerably reduced.
  • the image section can be selected to be minimally so small that it essentially corresponds to the marker size.
  • the image detail to be analyzed can at most correspond substantially to the entire size of the complete camera image.
  • the position and / or size of said image detail may be determined based on the last known marker positions and an estimated prediction. For this purpose, for example, a so-called Kalman filter or other filter devices can be used, which can make a prediction on the basis of the past values.
  • the measured image can also be subjected to a spectral analysis in a development of the invention.
  • the reflection properties of the features of the load, the load hook 7 or the marking 14 in certain spectral regions can expand the feature space and be used for the identification.
  • a known Landsat algorithm can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

Die vorliegende Erfindung betrifft einen Kran, insbesondere Turmdrehkran, mit einem um eine aufrechte Achse drehbaren Kranausleger, an dem eine Laufkatze verfahrbar angeordnet ist, von der ein mit einem Lasthaken verbundenes Hubseil abläuft, sowie einer Lasthaken-Positionsbestimmungseinrichtung zur Bestimmung der Lasthakenposition. Die Lasthakenposition kann optisch mittels nur einer Kamera bestimmt werden, die an der Laufkatze des Krans angebracht ist und von der Laufkatze in vorbestimmter und damit bekannter Blickrichtung nach unten auf den Lasthaken blickt. Dabei wird von einer Bildauswerteeinheit die Position des Lasthakens im Kamerabild bestimmt. Um das Finden des Lasthakens im Kamerabild zu vereinfachen, kann die Bildauswerteeinheit Seilverlaufs-Bestimmungsmittel zur Bestimmung des Seilverlaufs des von der Laufkatze ablaufenden Hubseils umfassen, wobei der Verbindungspunkt zweier spitzwinklig bzw. konisch zusammenlaufender Linien, die den Hubseilverlauf angeben, zumindest näherungsweise als Lasthakenposition angenommen werden kann.

Description

Turmdrehkran
Die vorliegende Erfindung betrifft einen Kran, insbesondere Turmdrehkran, mit einem um eine aufrechte Achse drehbaren Kranausleger, an dem eine Laufkatze verfahrbar angeordnet ist, von der ein mit einem Lasthaken verbundenes Hubseil abläuft, sowie einer Lasthaken-Positionsbestimmungseinrichtung zur Bestimmung der Lasthakenposition.
Turmdrehkrane können einen zumindest näherungsweise liegenden Kranausleger aufweisen, der von einem sich aufrecht erstreckenden Turm getragen wird und um die aufrechte Turmlängsachse verdreht werden kann. Bei einem sog. Obendreher dreht sich hierbei der Ausleger relativ zum Turm, während bei einem Untendreher der ganze Turm und damit der daran angelenkte Ausleger verdreht wird. Der Abstand des Lasthakens von der Turmachse kann mittels einer Laufkatze eingestellt werden, die entlang des Auslegers verfahrbar ist, wobei das mit dem Lasthaken verbundene Hubseil über die besagte Laufkatze abläuft.
Aus verschiedenen Gründen ist es hierbei wünschenswert, die exakte Position des Lasthakens über eine entsprechende Lasthaken-Positionsbestimmungseinrichtung möglichst exakt zu bestimmen. Dies kann nicht nur vorteilhaft sein, wenn der Last- haken beispielsweise hinter einer Mauer für den Kranführer nicht mehr sichtbar ist, sondern auch dann, wenn die Laufkatzenposition nicht mehr exakt mit der Lasthakenposition übereinstimmt, d.h. in senkrechter Richtung nicht mehr deckungsgleich ist (es versteht sich, dass durch die Senktiefe des Lasthakens die Höhenstellung von Lasthaken und Laufkatze abweicht). Eine solche Abweichung der Lasthakenposition von der Laufkatzenposition kann verschiedene Ursachen haben, beispielsweise einen ungeraden Verlauf des Hubseils oder dynamische Auslenkungen wie Pendelbewegungen der Last oder Windauslenkungen. Je nach zu bewerkstelligender Aufgabe kann es dabei ausreichend sein, die Lasthakenposition nur relativ zur Laufkatze bzw. zum Kran zu bestimmen, beispielsweise um Pendelbewegungen zu dämpfen, oder es kann auch eine absolute Lasthakenposition im Raum benötigt werden, beispielsweise um einen automatisierten Betrieb bei Umschlagvorgängen zu realisieren. Von solchen Verwendungen des Lasthakenpositionssignals zu Steuerungszwecken abgesehen kann durch Bestimmung der Lasthakenposition auch eine erhöhte Sicherheit erreicht werden, da die Last permanent überwacht werden kann, wobei ggf. auch eine Redundanz des Senktiefensensors erreicht werden kann.
Aus dem Stand der Technik ist es dabei bekannt, die Lasthakenposition optisch zu erfassen. Beispielsweise zeigt die JP 9-142773 einen Kran, an dessen Auslegerspitze, von der das Hubseil abläuft, eine nach unten blickende Kamera montiert ist, deren Blickrichtung verstellt wird, um Pendelbewegungen des Lasthakens zu folgen, so dass der Kranführer über die Kamera stets den Lasthaken sehen kann. Die DE 197 25 315 C2 beschreibt einen Hüttenwerkskran mit einem relativ zu einem Tragrahmen verfahrbaren Katzfahrwerk, von dem das Hubseil abläuft. An dem Tragrahmen sind mehrere Kameras angeordnet, deren Blickfeld groß genug ist, um den Kranhaken bei verschiedenen Katzfahrwerkstellungen erfassen zu können. Bei einem solchen Hüttenwerkskran sind die anzufahrenden Positionen relativ starr vorgegeben, so dass die zu verarbeitende Bilddatenmenge handhabbar bleibt. Würde ein solches System indes bei einem Turmdrehkran verwendet, käme eine kaum mehr zu verarbeitende Datenflut zustande. Aus der Schrift WO 2005/082770 A1 ist ferner ein Turmdrehkran bekannt, an dessen Laufkatze eine nach unten blickende Kamera angebracht ist, um dem Kranführer ein Videobild der Lasthaken-Umgebung anzuzeigen, so dass der Kranführer in Bewegungsrichtung liegende Hindernisse besser erkennen kann. Dieses Kamerasystem dient der Visualisierung von Hindernissen bzw. des Absetz- oder Aufnahmebereichs, den der Kranführer anzusteuern hat, es wird jedoch dabei nicht die Lasthakenposition relativ zum Kran oder absolut im Raum bestimmt.
Die DE 41 90 587 C2 beschreibt einen Schiffscontainer-Kran, bei dem eine Lasthakenposition mittels einer Kamera, die an der Aufhängungsvorrichtung für das Kranseil angebracht ist, bestimmt wird. Dabei werden an den aufgenommenen Containern mehrere nach oben strahlende Lichtquellen angebracht, die von der Kamera erfasst werden. Dies ist jedoch bei Kranen wie Turmdrehkranen, die auch Lasten wie Baustellenprodukte, die oft deutlich kleiner sind als Container, aufnehmen, nicht ohne weiteres möglich, da hier nicht die großflächige Containeroberseite zur Verfügung steht.
In ähnlicher Weise mit Lichtquellen arbeitet die DE 102 45 970 A1 , bei der zusätzlich auch von oben her die Last mittels einer Lichtquelle bestrahlt wird. Die andere, an der aufzunehmenden Last angebrachte Lichtquelle sendet ein Lichtsignal nur dann nach oben an die Aufhängevorrichtung - sozusagen als optisches Echo -, wenn die Last von der oberen Lichtquelle bestrahlt wird.
Die US 6 351 720 B1 zeigt schließlich einen Containerkran, bei dem die Lastposition mittels mehrerer Kameras ermittelt wird, von denen eine an einer Laufkatze des Krans und eine andere am Portal des Krans angebracht ist, um Verwindungen des Krans berücksichtigen zu können. Dies bringt jedoch eine sehr aufwendige Datenverarbeitung mit sich, zudem besteht das Problem, dass die zweite Kamera ducrch Hindernisse und dgl. ein beeinträchtigtes Blickfeld hat.
Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, einen verbesserten Turmdrehkran der genannten Art zu schaffen, der Nachteile des Standes der Technik vermeidet und Letzteren in vorteilhafter Weise weiterbildet. Insbesondere soll eine verbesserte Positionsbestimmung des Lasthakens erreicht werden, die mit einer begrenzten Datenverarbeitungsmenge und damit begrenzter Rechnerkapazität auskommt, dabei jedoch ohne übermäßige Zeitverzögerung die Position exakt bestimmt.
Erfindungsgemäß wird die genannte Aufgabe durch einen Turmdrehkran gemäß Anspruch 1 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Es wird also vorgeschlagen, die Lasthakenposition optisch mittels einer Kamera zu bestimmen, die an der Laufkatze des Krans angebracht ist und von der Laufkatze in vorbestimmter und damit bekannter Blickrichtung nach unten auf den Lasthaken blickt. Dabei wird von einer Bildauswerteeinheit die Position des Lasthakens im Kamerabild bestimmt. Aus der Position des Lasthakens im Kamerabild und der Laufkatzenstellung bestimmen Auswertemittel sodann die tatsächliche Lasthakenposition. Die Erfindung geht dabei von der Überlegung aus, dass bei vorbestimmter Blickrichtung der an der Laufkatze angebrachten Kamera die Position des Lasthakens im Kamerabild der Lasthakenposition relativ zur Laufkatze entspricht bzw. ein Maß für die Lasthakenposition relativ zur Laufkatze ist und somit unter ergänzender Heranziehung der Laufkatzenposition die absolute Position des Lasthakens im Raum bestimmt werden kann. Blickt die Kamera von der Laufkatze exakt senkrecht nach unten, ist die Position des Lasthakens im Kamerabild bzw. die Ortsabweichung des Lasthakens vom Zentrum des Kamerabilds ein Maß für den Querversatz bzw. Horizontalversatz des Lasthakens gegenüber der Laufkatze, wobei der genannte Horizontalversatz des Lasthakens gegenüber der Laufkatze unter Heranziehung der jeweiligen Senktiefe des Lasthakens, d.h. des Abstands des Lasthakens von der Laufkatze und einem gegebenenfalls eingestellten Zoomfaktor der Kamera bestimmt werden kann. Vorteilhafterweise werden keine mehreren Kameras oder Bilder aus verschiedenen Blickachsen benötigt, da die Positionsbestimmung mit nur einer Kamera bzw. aus nur einem Kamerabild heraus erfolgen kann, wodurch beträchtlich Rechenleistung gespart wird. Der Abstand des Lasthakens von der Laufkatze kann hierbei in verschiedener Weise bestimmt werden. Einerseits kann die Senktiefe des Lasthakens aus der abgespulten Hubseillänge bestimmt werden, die auch bei nicht exakt geradem Hubseilverlauf ein ausreichend genaues Maß für den Abstand des Lasthakens von der Laufkatze bzw. der darin montierten Kamera gibt, um aus dem besagten Abstand des Lasthakens von der Laufkatze und der im Kamerabild bestimmten Bildposition des Lasthakens bzw. des Versatzes des Lasthakens aus dem Bildzentrum heraus die tatsächliche Relativposition bzw. den tatsächlichen Horizontalversatz des Lasthakens gegenüber der Laufkatze zu bestimmen.
Alternativ oder zusätzlich kann der Abstand des Lasthakens von der Laufkatze bzw. der daran angebrachten Kamera auch aus dem Kamerabild selbst bestimmt werden, insbesondere mittels einer Bildauswerteeinheit, die die Pixelanzahl der Bilddarstellung des Lasthakens und/oder eines damit verbundenen Anbauteils wie beispielsweise einer Seilumlenkflasche oder eines anderen Kranstrukturteils, das sich bestimmungsgemäß in der Nähe des Lasthakens befindet, oder auch einer damit verbundenen Markierung und/oder die Größe des Lasthakens oder des genannten Anbauteils der genannten Markierung im Kamerabild bestimmt. Bei bekannter Größe des Lasthakens bzw. bekannter Größe des Anbauteils oder der Markierung kann aus dem Kamera-Zoomfaktor und der Pixelanzahl und/oder der Darstellungsgröße im Kamerabild der Abstand des Kranhakens bzw. des Anbauteils oder der Markierung sehr exakt bestimmt werden. Die Bestimmung des Lasthakenabstands von der Laufkatze mittels Pixelzählung kann zusätzlich zur alternativen Senktiefenbestimmung beispielsweise aus der Hubseil-Spullänge erfolgen, um ein redundantes System für die Senktiefenbestimmung des Lasthakens zu erzielen und somit die Sicherheit zu erhöhen. Gegebenenfalls kann die optische Bestimmung mittels Pixelauswertung jedoch auch alternativ vorgesehen sein.
Die Identifizierung des Lasthakens in dem von der Kamera bereitgestellten Kamerabild kann grundsätzlich in verschiedener Art und Weise erfolgen, beispielsweise durch Pixelauswertung und/oder Konturauswertung und/oder Farbauswertung. Ins- besondere können ein Pixelmuster, das dem Lasthaken und/oder dem damit verbunden Anbauteil wie Seilflasche oder spezieller Markierung entspricht, sowie die Umrisskontur und Farbe des Lasthakens und/oder des damit verbundenen Anbau- teils bestimmt werden. Hierbei können in der Bildverarbeitung an sich bekannte Algorithmen wie Binär-bilderstellung, Kantendetektion oder Merkmalsselektion eingesetzt werden, um das Kamerabild zu analysieren. Um die Entdeckungswahrscheinlichkeit zu erhöhen bzw. die Identifizierung des Kranhakens oder der daran angebrachten Markierung zu vereinfachen, kann das bereitgestellte Bild auch einer Spektralanalyse unterzogen werden, wobei beispielsweise Reflexionseigenschaften analysiert werden können.
Um das Finden des Lasthakens im Kamerabild zu vereinfachen, kann die Bildauswerteeinheit Seilverlaufs-Bestimmungsmittel zur Bestimmung des Seilverlaufs des von der Laufkatze ablaufenden Hubseils umfassen. Das von der Laufkatze ablaufende Hubseil besitzt in dem bereitgestellten Kamerabild in der Regel eine sehr charakteristische Kontur in Form einer sehr schmalen, langen Geraden bzw. einer nur sehr leicht gekrümmten, langen, schmalen Linie, deren Ausgangspunkt durch die Umlenkung an der Laufkatze im Kamerabild in einem relativ eng umgrenzten Bereich liegt und somit leicht identifiziert werden kann. Insbesondere erzeugt das von der Laufkatze ablaufende Hubseil bei der üblicherweise vorgesehenen Einscherung am Lasthaken bzw. der damit verbundenen Lastflasche im Kamerabild zwei spitzwinklig bzw. konisch zusammenlaufende Linien, in deren Verbindungspunkt zumindest näherungsweise die Position des Lasthakens angenommen werden kann.
Die zu bestimmende Positionsangabe für die Position des Lasthakens kann hierbei grundsätzlich in verschiedener Art und Weise bereitgestellt werden, wobei vorteilhafterweise eine absolute Koordinaten-Positionsangabe in einem absoluten Koordinatensystem erfolgen kann, welches beispielsweise seinen Ursprung im Fuß des Krans haben kann, wobei beispielsweise die Turmlängsachse die Z-Achse, der Ausleger die X-Achse und eine dazu senkrechte Achse die Y-Achse beschreiben kann. Die Bildauswerteeinheit kann dabei die Bildposition des Lasthakens im Ka- merabild zunächst in einem relativen Koordinatensystem, beispielsweise einem Laufkatzen-Koordinatensystem bestimmen, welches seinen Ursprung in der Kamera und/oder der Laufkatze hat und parallel zum vorgenannten absoluten Koordinatensystem ausgerichtet ist, wobei jedoch die Z-Achse entsprechend der optischen Achse der Kamera invers zur Z-Achse des absoluten Systems verlaufen kann. Positionsangaben in diesem relativen Koordinatensystem, welches sich durch Laufkatzenbewegungen verschieben kann, werden dann von den Positionsbestimmungsmitteln unter Berücksichtigung der Laufkatzenstellung in Positionsangabe im vorgenannten absoluten Koordinatensystem umgerechnet.
Um die Bildauswertung zu vereinfachen und die Datenmenge zu reduzieren, kann in Weiterbildung der Erfindung an dem Lasthaken oder der damit verbundenen Lastflasche, mittels derer das Hubseil am Lasthaken umgelenkt wird, eine Markierung vorbestimmter Größe und/oder vorbestimmter Konturierung angeordnet sein, die an einer Oberseite des Lasthakens bzw. der Lastflasche angebracht und/oder der Laufkatze bzw. der daran angebrachten Kamera sichtbar zugewandt ist. Die genannte Markierung kann hierbei als separates Bauteil ausgebildet sein, beispielsweise in Form eines oberseitig an der Flasche angebrachten Tellers oder einer Zielscheibe, wobei ein solches separates Bauteil an dem Lasthaken oder der damit verbundene Lastflasche montiert bzw. angebaut sein kann, beispielsweise angeschweißt oder festgeschraubt sein kann.
Alternativ oder zusätzlich zu einem solchen separaten Markierungsteil kann auch der Lasthaken und/oder die Lastflasche selbst als Markierung ausgebildet sein, beispielsweise durch entsprechende Konturierung eines zur Laufkatze hin sichtbaren Lasthaken- und/oder Lastflaschenabschnitts, wobei hier beispielsweise der Lasthaken mit seinem oberseitigen Kopfabschnitt eine beispielsweise eckige oder runde Kontur, beispielsweise in Form einer pilz- oder kragenförmigen, in der Draufsicht dreieckförmigen Verbreiterung konturiert sein kann.
Als Markierung kann hierbei beispielsweise eine Ringanordnung nach Art einer Zielscheibe oder auch eine andere geometrische Grundkontur oder Grundfläche wie beispielsweise Dreieck, Viereck oder Mehreck, Kreis, Oval oder Ellipse, gerade oder gebogene Linien oder Mischformen bzw. Kombinationen hieraus vorgesehen sein, wobei die Markierung vorteilhafterweise aus zueinander kontrastreichen Flächenstücken, beispielsweise ein weißer Kreis mit einem schwarzen Punkt in seiner Mitte zusammengesetzt sein kann, und/oder kräftige, von den üblichen Umgebungsfarben abweichende Farbgebungen aufweisen kann, beispielsweise Leuchtfarbenpunkte, um die Identifizierung der Markierung im Kamerabild zu vereinfachen.
Um nicht nur die Position, sondern auch die Ausrichtung der Markierung im Kamerabild einfacher bestimmen zu können, kann in vorteilhafter Weise eine von rotationssymmetrischen Formen abweichende Markierung, insbesondere eindeutig orientierte Markierungskonturen verwendet werden, beispielsweise in Form eines„T" oder eines gleichschenkligen, nicht gleichseitigen Dreiecks oder dergleichen. Bei Verwendung derartiger Markierungen kann durch die Bildauswerteeinheit und entsprechende Auswertung des Kamerabilds nicht nur die exakte Lage des Lasthakens, sondern auch eine Verdrehung gegenüber der Auslegerausrichtung bestimmt werden, die beispielsweise durch Verdrehung der am Lasthaken hängenden Last eintreten kann.
Darüber hinaus kann insbesondere bei schwierigen Montagebedingungen für separat anzubringende Marker am Kranhaken der sichtbare Haken an sich als Marker verwendet werden, beispielsweise in der vorgenannten Weise durch spezielle Kon- turierung des der Laufkatze zugewandten Kopfabschnitts. Dies kann in Anlehnung an die Gesichtserkennung erfolgen, wie sie bei Überwachungssystemen eingesetzt wird. Dabei können geeignete geometrische Merkmale des Kranhakens als Marker bzw. Markierung verwendet werden. Dies bringt den Vorteil, dass separate Markeranbauten unnötig sind, welche im Betrieb beschädigt oder verschmutzt werden können. Vorteilhaft bei der Entwicklung ist, dass nur eine bestimmte Anzahl an vorbestimmten Merkmalen sichtbar sein müssen. Auch bei einer teilweisen Verde- ckung einzelner Merkmale wird der Kranhaken noch zuverlässig in seiner Position und Orientierung erkannt. Um die Datenverarbeitungsmenge bei der Bildauswertung möglichst klein zu halten, kann in vorteilhafter Weiterbildung der Erfindung der auszuwertende Bildbereich und/oder die Größe des auszuwertenden Bildes in Abhängigkeit verschiedener Betriebsparameter variabel gesteuert werden. Eine Kamerasteuereinheit kann insbesondere den Zoomfaktor der Kamera in Abhängigkeit der Senktiefe des Lasthakens einstellen, wobei hier beispielsweise für eine Voreinstellung des Zoomfaktors die aus der Hubseil-Spullänge bestimmte Senktiefe verwendet werden kann und/oder eine Justierung oder Nachjustierung des Zoomfaktors nach erfolgter Abstandsbestimmung durch Pixelzählung und/oder Bestimmung der Bilddarstellungsgröße wie zuvor erläutert erfolgen kann. Insbesondere kann mit zunehmender Senktiefe bzw. zunehmendem Abstand des Lasthakens von der Laufkatze der Zoomfaktor erhöht werden, um eine bestimmte Größe der Darstellung des Kranhakens oder der damit verbundenen Markierung im Kamerabild zu erreichen. Es erleichtert die Identifizierung der Markierung bzw. des Lasthakens im Kamerabild beträchtlich, wenn die Bildauswerteeinheit - zumindest näherungsweise - im Voraus weiß, wie groß das zu identifizierende Pixelmuster im Gesamtbild ist bzw. welchen Flächenanteil die Bilddarstellung der Markierung bzw. des Lasthakens im Gesamtbild ausmacht.
Alternativ oder zusätzlich kann der genannte Zoomfaktor von der Kamerasteuervorrichtung auch in Abhängigkeit anderer Größen variiert werden, insbesondere in Abhängigkeit des Ergebnisses eines Bildauswerteversuchs. Kann bei einem zuvor eingestellten Zoomfaktor der Lasthaken oder die damit verbundene Markierung nicht im Bild identifiziert werden, kann der Zoomfaktor verkleinert werden, um einen größeren Bildausschnitt der Umgebung absuchen zu können. Gegebenfalls kann der Zoomfaktor iterativ mehrfach verkleinert werden, um in mehreren Stufen immer größere Bereiche abzusuchen. Alternativ oder zusätzlich kann der Zoomfaktor jedoch auch vergrößert werden, wenn der Lasthaken bzw. die damit verbundene Markierung in einem Kamerabild nicht identifiziert werden konnte, was gegebenenfalls auch daran liegen kann, dass der Lasthaken bei sehr stark zu kleinem Zoomfaktor im Bild viel zu klein dargestellt wird, sodass die Bildschärfe bzw. Pixelzahl nicht ausreicht, um das bekannte Konturmuster der Markierung und/oder des Lasthakens und/oder der Lastflasche zu identifizieren.
Alternativ oder zusätzlich zu einer solchen Verstellung des Zpomfaktors der Kamera kann die Kamerasteuervorrichtung und/oder die Bildauswerteeinheit auch einen auszuwertenden Bereich innerhalb des von der Kamera bereitgestellten Kamerabilds variieren, um die auszuwertende Datenmenge möglichst klein zu halten. Der interessierende Bildausschnitt kann insbesondere dann vergrößert werden, wenn die Markierung bzw. der Lasthaken in dem zuvor ausgewerteten Bildausschnitt verloren gegangen ist, beispielsweise weil sich der Lasthaken durch stärkere Pendelbewegungen oder stärkere Windlast aus dem genannten Bildausschnitt herausbewegt hat. Geht die Markierung oder der Lasthaken im von der Bildauswerteeinheit untersuchten Bildausschnitt verloren, kann der genannte Bildausschnitt einmalig oder auch iterativ in mehreren Stufen aufgebläht werden, gegebenenfalls bis er das gesamte Kamerabild umfasst. Vorteilhafterweise kann die Bildauswerteeinheit derart ausgebildet sein, dass bei einer Vergrößerung des interessierenden bzw. auszuwertenden Bildausschnitts nur der hinzugenommene Bildausschnittsbereich erneut ausgewertet wird, beispielsweise der rahmenförmige Bildausschnittsteil, der durch Vergrößerung des Bildausschnitts um den vorherigen Bildausschnitt herum hinzugekommen ist.
Alternativ oder zusätzlich zu einer solchen einmaligen oder iterativen Vergrößerung des Bildausschnitts, der von der Bildauswerteeinheit ausgewertet wird, um die Position des Lasthakens oder der daran angebrachten Markierung zu identifizieren, kann dann, wenn der Lasthaken oder die damit verbundene Markierung im Kamerabild identifiziert werden kann, der Bildausschnitt im bereitgestellten Kamerabild verschoben und/oder verkleinert werden, vorzugsweise derart, dass der neue, wiederum zu untersuchende Bildausschnitt bezüglich der identifizierten Position des Lasthakens bzw. der damit verbundenen Markierung zentriert wird, d.h. die identifizierte Markierung in der Mitte des neuen Bildausschnitts liegt. Alternativ oder zusätzlich kann der Bildausschnitt einmalig oder iterativ verkleinert werden, insbesondere derart, dass das die Markierung bzw. den Lasthaken wiedergebende Pixel- muster bzw. das entsprechende Bildkonturmuster einen vorbestimmten Flächenanteil des jeweiligen Bildausschnitts ausmacht, beispielsweise 20% der Fläche des für die Auswertung verwendeten Bildausschnitts wiedergibt.
Die Position des Lasthakens kann vorteilhafterweise nicht nur relativ zur Laufkatze des Krans, sondern auch absolut und/oder relativ zur Lasthakenumgebung, bspw. der Baustellenumgebung, aus dem Kamerabild bestimmt werden. In Weiterbildung der Erfindung kann die Positionsbestimmungseinrichtung Umgebungs- Bestimmungsmittel zum Bestimmen der Lasthaken-Umgebung, insbesondere in Form charakteristischer Hindernis- und/oder Umgebungskonturen, aus dem aufgenommenen Kamerabild aufweisen, wobei die Positionsbestimmungsmittel zur Bestimmung der Lasthakenposition aus der bestimmten Bildposition des Lasthakens im Kamerabild derart ausgebildet sein können, dass die Lasthakenposition relativ zur Lasthaken-Umgebung bestimmt wird.
Die Lasthakenposition relativ zur Umgebung, die in der genannten Weise aus dem Kamerabild bestimmbar ist, kann vorteilhafterweise dazu bestimmt werden, die Kranbewegungen zu steuern, insbesondere um ein Lasthakenziel, bspw. eine Absetz- oder Aufnahmeposition anzufahren, oder Kranbewegungen zu stoppen oder einen Verfahrweg des Lasthakens automatisch zu verändern, um eine Kollision des Lasthakens und/oder einer damit aufgenommen Last mit einem im Kamerabild identifizierten Hindernis wie bspw. Gebäudekante zu vermeiden. Dabei kann der Kran Lasthakenziel-Steuermittel zum Steuern von Kranbewegungen in Abhängigkeit der bestimmten Lasthakenposition relativ zur Lasthaken-Umgebung und/oder Kollisionsvermeidungs-Steuermittel zum Stoppen oder Ändern von Kranbewegungen in Abhängigkeit der bestimmten Lasthakenposition relativ zur Lasthaken- Umgebung aufweisen.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels und zugehöriger Zeichnungen näher erläutert. In den Zeichnungen zeigen: Fig. 1 : eine schematische Darstellung eines Turmdrehkrans, an dessen Ausleger eine verfahrbare Laufkatze vorgesehen ist, von der das mit einem Lasthaken verbundene Hubseil abläuft und an der eine Kamera zur Positionsbestimmung des Lasthakens angeordnet ist,
Fig. 2: eine vergrößerte, ausschnittsweise Darstellung der am Ausleger vorgesehenen Laufkatze und der mit der Kamera verbundenen Systemkomponenten für die Bildübertragung und -auswertung sowie Positionsbestimmung,
Fig. 3: eine Darstellung einer an der Oberseite der mit dem Lasthaken verbundenen Lastflasche angebrachten Markierung, die in dem von der Kamera bereitgestellten Kamerabild identifizierbar ist,
Fig. 4: eine Darstellung einer Markierung ähnlich Fig. 3, wobei die Markierung im Gegensatz zur Fig. 3 eine eindeutige Orientierung aufweist, um zusätzlich zur Position auch die Orientierung bzw. Drehstellung des Lasthakens bestimmen zu können, und
Fig. 5: ein von der Kamera bereitgestelltes Kamerabild des Lasthakens, wobei der im Kamerabild dargestellte Hubseilverlauf zu sehen ist, aus dem ebenfalls die Lasthakenposition bestimmt werden kann und/oder die Identifizierung des Lasthakens oder der damit verbundenen Markierung im Kamerabild vereinfacht werden kann.
Wie Fig. 1 zeigt, kann der Kran als oben drehender Turmdrehkran 1 ausgebildet sein, dessen sich aufrecht erstreckender Turm 2 einen Ausleger 3 sowie einen Gegenausleger trägt. Der genannte Ausleger 3 kann relativ zum Turm 2 um die aufrechte Turmlängsachse 4 verdreht werden und eine zumindest näherungsweise horizontale Lage einnehmen. An dem genannten Ausleger 3 ist eine Laufkatze 5 verfahrbar aufgehängt, so dass die Laufkatze 5 im Wesentlichen über die gesamte Länge des Auslegers 3 verfahren werden kann, um die Ausladung des Lasthakens 7 variieren zu können. Der genannte Lasthaken 7 ist dabei an einem Hubseil 6 befestigt, das über die genannte Laufkatze 5 abläuft, um den Lasthaken 7 absenken und anheben zu können. In an sich bekannter Weise kann an dem Lasthaken 7 hierbei eine Lastflasche 13 vorgesehen sein, vgl. Fig. 2, über die das Hubseil 6 am Lasthaken 7 umgelenkt bzw. eingeschert wird.
Wie Fig. 2 zeigt, umfasst eine Lasthaken-Positionsbestimmungseinrichtung 8 eine an der Laufkatze 5 angebrachte Kamera 9, die zusammen mit der Laufkatze 5 verfahrbar ist und von der Laufkatze 5 im Wesentlichen senkrecht nach unten blickt. Wie Fig. 2 zeigt, kann die Blickachse der Kamera 9 mit der Z-Achse des lokalen bzw. relativen Katzkoordinatensystems zusammenfahren.
Die von der Kamera 9 bereitgestellten Bilddaten können vorteilhafterweise durch eine schnurlos arbeitende Übertragungsvorrichtung 19 beispielsweise in Form einer Funkübertragungsvorrichtung an ein Bildverarbeitungs- und Auswertesystem 20 übertragen werden, die vorteilhafterweise im Bereich der Führerkabine oder der Kransteuerungseinheit angeordnet sein kann und eine entsprechende Empfangs-/ Sendeeinheit 21a umfassen kann, die mit der Empfangs-/Sendeeinheit 21 b der Übertragungsvorrichtung 18 an der Laufkatze kommunizieren kann. Grundsätzlich könnte auch die Bildauswertung unmittelbar an der Kamera 9 bzw. der Laufkatze 5 erfolgen, bevorzugt ist es jedoch, dort nur die Bilddaten zu sammeln und diese dann zu übertragen und an anderer Stelle auszuwerten, um das System im Bereich der Laufkatze klein und leicht bauend ausbilden zu können.
Um die Kamera 9 mit Energie zu versorgen, kann an der Laufkatze 5 ein Energiespeicher 22 beispielsweise in Form eines Akkus vorgesehen, der mittels einer Ladestation 23 geladen werden kann, die am Ausleger 3 beispielsweise im Bereich einer Parkposition der Laufkatze 5 angeordnet sein kann, um den Energiespeicher 22 in Außer-Betriebs-Zeiten des Krans laden zu können.
Das Bildverarbeitungs- und Auswertesystem 20 kann einen zentralen Rechner 24 beispielsweise in Form eines Industrie-PCs mit Bildverarbeitungssystem umfassen, der über einen Videoserver 25 mit der Empfangs-/Sendeeinrichtung 21 verbunden sein kann, um einerseits die Bildsignale der Kamera 9 zu empfangen bzw. abzurufen und andererseits Steuersignale an die Kamera 9 senden zu können.
Wie Fig. 2 zeigt, kann vorteilhafterweise im Bereich des Kranführerstands auch ein Videodisplay 26 vorgesehen sein, um zusätzlich zur Positionsbestimmung auch das Bild der Kamera 9 dem Kranführer anzeigen zu können.
Damit die im Rechner 24 realisierte Bildauswerteeinheit 11 den Lasthaken 7 in dem von der Kamera 9 bereitgestellten Kamerabild detektieren und identifizieren kann, werden vorteilhafterweise im Vorfeld Merkmale des Lasthakens 7 und/oder der damit verbundenen Lastflasche 13 definiert, beispielsweise geometrische Flächen, Formen, Konturen, Farben und dergleichen, wobei in vorteilhafter Weiterbildung der Erfindung eine Markierung 14 oberseitig am Lasthaken 7 bzw. der Lastflasche 13 angebracht werden kann, so dass die Markierung 14 für die Kamera 9 sichtbar ist.
Wie Fig. 3 zeigt, kann die Markierung 14 nach Art einer Zielscheibe aus zueinander kontrastreichen Ringen bestehen, die ineinander gesetzt sind. Alternativ zu einer solchen rotationssymmetrischen Markierung kann vorteilhafterweise jedoch auch eine eindeutig orientierte Markierung 14 verwendet werden, wie sie Fig. 4 zeigt, beispielsweise in Form eines„T", wobei auch hier vorteilhafterweise wieder eine kontrastreiche Darstellung verwendet ist. Es versteht sich jedoch, dass anstelle eines solchen„T" auch die Markierung 14 auch andere Merkmale für eine Orientierungsbestimmung aufweisen kann, beispielsweise können zwei oder mehr rotationssymmetrische Marker in geometrischem Bezug zueinander vorgesehen werden, und/oder es können andere rechteckige Markerformen mit Orientierungsbezug Verwendung finden und/oder es können geometrische Formen der Last an sich oder der Lastaufnahme wie beispielsweise der Spreader beim Containerkran als Markierung verwendet werden.
Die Kamera 9 wird vorteilhafterweise über Steuersignale von dem Bildverarbei- tungs- und Auswertesystem 20 her gesteuert, wobei die Steuersignale hier auch über die in Fig. 2 gezeigte Funkverbindung übertragen werden können. Dabei versucht die Bildauswerteeinheit 11 , die Last bzw. den Lasthaken 7 anhand der vordefinierten Markierung 14 innerhalb des von der Kamera 9 bereitgestellten Bildes zu entdecken. Eine Analyse des bereitgestellten Kamerabildes kann dabei durch verschiedene Algorithmen wie beispielsweise einer Binärbilderstellung, einer Kanten- detektion und/oder einer Merkmalsselektion erfolgen.
Mit Hilfe der Aktualisierungsrate der von der Kamera 9 bereitgestellten Kamerabilder und der damit verbundenen Auswertungsrate der Bildauswerteeinheit 11 kann der Lasthaken 7 bzw. die daran befindliche Last nicht nur statisch im Bild ermittelt werden, sondern auch bei dynamischen Bewegungen der Last. Hierbei kann eine Nachverfolgung der Last, ein sog. Tracking erfolgen.
Um die Identifizierung der Markierung 14 im Kamerabild zu unterstützen, kann von der Kransteuerung vorzugsweise permanent die Senktiefe des Lasthakens 7 bereitgestellt werden, auf Basis derer zumindest näherungsweise abgeschätzt werden kann, in welcher Entfernung sich der Lasthaken 7 von der Kamera 9 befindet. Daraufhin stellt das Bildverarbeitungs- und Auswertesystem 20 den Kamera-Zoom der Kamera 9 entsprechend ein.
Die Analyse des jeweils bereitgestellten Kamerabildes kann kontinuierlich erfolgen, vorzugsweise mittels Kantendetektion, Binärbildgenerierung und Merkmalsselektion bezüglich der bekannten Markierung 14. Dabei wird vorteilhafterweise innerhalb eines vorgebbaren Bildausschnitts in einer bestimmten Region des Kamerabilds die Verarbeitung durchgeführt. Da die Größe, je nach Betriebsfall sehr klein gehalten werden kann, wird der Rechenaufwand hierdurch beträchtlich miniert. Der Bildausschnitt kann hierbei minimal so klein gewählt werden, dass er im Wesentlichen der Markergröße entspricht. Alternativ oder zusätzlich kann der zu analysierende Bildausschnitt maximal im Wesentlichen der gesamten Größe des kompletten Kamerabilds entsprechen. Die Position und/oder die Größe des genannten Bildausschnitts kann aufgrund der letzten bekannten Markierungspositionen und einer geschätzten Vorhersage bestimmt werden. Hierzu kann beispielsweise ein sog. Kaiman-Filter oder auch andere Filtereinrichtungen verwendet werden, welche aufgrund der vergangenen Werte eine Vorhersage treffen können.
Soweit bei der Initialisierung der Bildverarbeitung noch keine vergangenen Markierungspositionen für eine Vorhersage zur Verfügung stehen, kann der zu untersuchende Bildausschnitt willkürlich in das Bild gelegt werden. Sollte sich in diesem Bildausschnitt keine Markierung finden, kann der Bildausschnitt stetig vergrößert werden, bis die Markierung 14 innerhalb des Bildausschnitts liegt und detektiert werden kann.
Sobald die Markierung 14 im Kamerabild entdeckt werden kann, ermittelt die Bildauswerteeinheit 11 die Bildposition des Lasthakens 7 bzw. der Markierung 14 in dem Kamerabild, woraus dann die Positionsbestimmungsmittel 12 die Lasthakenposition in dem relativen Koordinatensystem der Laufkatze 5 bestimmen. Das genannte relative Katzkoordinatensystem kann so gewählt werden, dass es seinen Ursprung in der optischen Achse der Kamera 9 und dem Nullpunkt der Senktiefe besitzt, welcher in der Laufkatze 5 liegen kann.
Anhand der bekannten Größe der Markierung 14, des aktuell eingestellten Zoom- Faktors der Kamera 9 sowie der von der Sensorik gemessenen Pixelanzahl der Markierung 14 im Kamerabild kann eine exakte Entfernungsbestimmung der Markierung 14 von der Laufkatze 5 vorgenommen werden. Hieraus kann der Z- Versatz bzw. die Z-Differenz des Lasthakens 7 zur Senktiefe ermittelt werden, welche Senktiefe beispielsweise durch Bestimmung der abgespulten Hubseillänge bestimmt werden kann. Durch die gesonderte Messung der tatsächlichen Senktiefe über die Pixelgröße der Markierung 14 im Kamerabild kann eine Redundanz zum herkömmlichen Senktiefesensor erreicht werden. Da im realen Einsatz die Last aufgrund von Kranbewegungen, Windeinflüssen oder der Dynamik des Krans nie wirklich in Ruhe ist, pendelt die Last, wobei die Pendelfrequenz in Abhängigkeit der Seillänge des Hubseils 6 steht. Die Pendelamplitude ist abhängig von der Masse und weiteren Faktoren wie der Bewegungsdynamik oder dem Windeintrag.
Um bei der Bildauswertung die Entdeckungswahrscheinlichkeit für die Entdeckung der Markierung 14 im Kamerabild zu verbessern, kann auch hier eine Abschätzung erfolgen, wo sich der Lasthaken 7 vermutlich bei folgenden Messungen befinden wird, wobei auch hier der vorgenannte Kaiman-Filter zum Einsatz kommen kann.
Wandert die Markierung 14 aufgrund einer zu großen Pendelamplitude aus dem Kamerabild heraus, kann die Bildauswerteeinrichtung die Markierung 14 verlieren. Um die Markierung 14 möglichst schnell wieder zu detektieren, kann folgendermaßen vorgegangen werden:
Zunächst kann beispielsweise der zu analysierende Bildausschnitt des Kamerabilds auf einen Bildausschnitt aufgebläht bzw. vergrößert und/oder verschoben werden, indem der Wiedereintritt der Markierung 14 erwartet wird. Alternativ oder zusätzlich kann auch das gesamte Kamerabild als Bildausschnitt definiert werden, insbesondere dann, wenn die zur Verfügung stehende Rechenleistung ausreichend groß ist.
Alternativ oder zusätzlich zu einer solchen Veränderung des Bildausschnitts kann nach einem Verlust der Markierung 14 auch die Kamera 9 eine oder mehrere Stufen zurückzoomen, um den Bildbereich zu vergrößern. Aufgrund des solchermaßen vergrößerten Bildbereichs ist die Wahrscheinlichkeit groß, dass sich der Marker wieder innerhalb des Bildes befindet. Um die Nachteile der hierdurch kleiner werdenden Markierungsgröße zu kompensieren, kann der Zoomfaktor der Kamera 9 iterativ in mehreren Schritten vergrößert und auch wieder verkleinert werden.
Alternativ oder zusätzlich zu den vorgenannten Bildverarbeitungsstrategien kann die Bildauswerteeinheit 11 Seilverlauf-Bestimmungsmittel 17 umfassen, mittels de- rer der Verlauf des Hubseils 6 im Kamerabild bestimmt wird, wie dies Fig. 5 zeigt. Anhand des detektierten Hubseilverlaufs im Kamerabild kann die Position des Lasthakens 7 bestimmt werden oder zumindest der Bereich eingeengt werden, in dem der Lasthaken 9 bzw. die Markierung 14 liegen muss, so dass die genannte Hubseil-Verlaufsbestimmung alternativ oder zusätzlich zur Erfassung der genannten Markierung bzw. des Lasthakens 7 direkt aus dem Kamerabild vorgesehen sein kann.
Die Bestimmung der Lasthakenposition bzw. Einengung des Bereichs, in dem sich der Lasthaken 7 befinden muss, mit Hilfe der Seilverlaufsbestimmung beruht auf der Annahme, dass das Hubseil 6 bei einer Einscherung an der Lastflasche 13 im Kamerabild einen konischen Verlauf besitzt, insbesondere konisch zur Last zuläuft, vgl. Fig. 5, so dass der Lasthaken 7 bzw. die Last und deren Position als Ende des von den Hubseilabschnitten definierten Konus bestimmt werden kann.
Um die Entdeckungswahrscheinlichkeit bezüglich der interessierenden Flächen und Konturen im Kamerabild zu erhöhen, kann das gemessene Bild in Weiterbildung der Erfindung auch einer spektralen Analyse unterzogen werden. Hierbei können beispielsweise die Reflexionseigenschaften der Merkmale der Last, des Lasthakens 7 oder der Markierung 14 in bestimmten spektralen Bereichen den Merkmalsraum erweitern und für die Identifizierung herangezogen werden.
Eine solche Vorgehensweise kann Teil einer Vorfilterung des Bildes sein, die die dann mit Hilfe der genannten Algorithmen zu untersuchenden Bilddaten mengenmäßig deutlich reduziert. Damit verringert sich der Aufwand der Algorithmen zur Detektion der Lasthakenposition deutlich. Auch widrige Witterungseinflüsse wie Schnee, Eis, Regen, Nebel, Sonnenlicht, Schattenwurf usw. können zumindest teilweise kompensiert werden.
Eine solche spektrale Analyse kann vorteilhafterweise auch durch die Verwendung von Speziallacken für die Markierung 14 optimiert werden, beispielsweise durch die Verwendung von Lacken oder anderen Oberflächenbeschichtungen, die im nahen Infrarotbereich nur geringe Reflexionseigenschaften besitzen.
Für die genannte Vorfilterung kann z.B. ein an sich bekannter Landsat-Algorithmus verwendet werden.

Claims

Ansprüche
Kran, insbesondere Turmdrehkran, mit einem um eine aufrechte Achse (4) drehbaren Kranausleger (3), an dem eine Laufkatze (5) verfahrbar angeordnet ist, von der ein mit einem Lasthaken (7) verbundenes Hubseil (6) abläuft, sowie einer Lasthaken-Positionsbestimmungseinrichtung (8) zur Bestimmung der Lasthakenposition, dadurch gekennzeichnet, dass die Lasthaken- Positionsbestimmungseinrichtung (8) eine an der Laufkatze (5) angeordnete Kamera (9), die in vorbestimmter Blickrichtung (10) nach unten auf den Lasthaken (7) ausgerichtet ist, eine Bildauswerteeinheit (11 ) zur Bestimmung der Bildposition des Lasthakens (7) in einem von der Kamera (9) bereitgestellten Kamerabild, sowie Positionsbestimmungsmittel (12) zur Bestimmung der Lasthakenposition aus der bestimmten Bildposition des Lasthakens (7) im Kamerabild unter Berücksichtigung einer Laufkatzenstellung umfasst.
Kran nach dem vorhergehenden Anspruch, wobei die Bildauswerteeinheit (11 ) Seilverlaufs-Bestimmungsmittel (17) zur Bestimmung des Hubseilverlaufs in dem Kamerabild aufweist und die Bildauswerteeinheit (11 ) derart ausgebildet ist, dass die Position des Lasthakens (7) im Kamerabild in Abhängigkeit des bestimmten Hubseilverlaufs bestimmt wird.
3. Kran nach dem vorhergehenden Anspruch, wobei die Bildauswerteeinheit (11 ) derart ausgebildet ist, dass die Lasthakenposition als Verbindungspunkt zweier in dem Kamerabild identifizierter Hubseilgeraden bestimmt wird.
4. Kran nach einem der vorhergehenden Ansprüche, wobei die Lasthaken- Positionsbestimmungseinrichtung (8) Abstandsbestimmungsmittel zur Bestimmung des Abstands des Lasthakens (7) von der Laufkatze (5) umfassen, wobei die genannten Abstandsbestimmungsmittel einen Pixelzähler zur Bestimmung der Pixelanzahl der im Kamerabild identifizierten Lasthaken- und/oder Markierungs-Bildfläche aufweist.
5. Kran nach einem der vorhergehenden Ansprüche, wobei eine Senktiefen- Bestimmungseinrichtung zur Bestimmung der Senktiefe des Lasthakens (7) aus einer Abspullänge des Hubseils (6) vorgesehen ist.
6. Kran nach einem der beiden vorhergehenden Ansprüche, wobei ein Horizontalversatz des Lasthakens (7) gegenüber der Laufkatze (5) von den Positionsbestimmungsmitteln (12) aus der bestimmten Bildposition des Lasthakens (7) im Kamerabild unter Berücksichtigung des jeweils eingestellten Zoom-Faktors der Kamera und der/des bestimmten Senktiefe/Abstands des Lasthakens (7) von der Laufkatze (5) bestimmbar ist.
7. Kran nach einem der vorhergehenden Ansprüche, wobei eine Kamera- Steuervorrichtung zur Steuerung von Kameraeinstellungen vorgesehen und derart ausgebildet ist, dass der Zoomfaktor der Kamera (9) in Abhängigkeit einer Lasthaken-Senktiefe variabel eingestellt wird.
8. Kran nach dem vorhergehenden Anspruch, wobei die Kamera- Steuervorrichtung (15) derart ausgebildet ist, dass der Zoomfaktor der Kamera (9) in Abhängigkeit des Erkennens des Lasthakens (7) und/oder der daran angebrachten Markierung (14) in dem von der Kamera (9) bereitgestellten Kamerabild vergrößert und/oder verkleinert, insbesondere bei Nichterkennung des Lasthakens (7) und/oder der damit verbundenen Markierung (14) einmalig oder iterativ verkleinert wird.
9. Kran nach einem der vorhergehenden Ansprüche, wobei die Bildauswerteeinheit (11) Bildausschnitt-Steuermittel (16) zum Vergrößern eines von der Bildauswerteeinheit (11 ) auszuwertenden Bildausschnitts des Kamerabilds in Abhängigkeit des Erkennens des Lasthakens (7) und/oder der damit verbundenen Markierung (14) aufweist, wobei die genannten Bildausschnitt- Steuermittel (16) derart ausgebildet sind, dass bei Nichterkennen des Lasthakens (7) und/oder der damit verbundenen Markierung (14) mit einem kleineren Bildausschnitt beginnend der Bildausschnitt einmalig oder iterativ vergrößert wird.
10. Kran nach einem der vorhergehenden Ansprüche, wobei die Bildauswerteeinheit (11 ) Pixelauswertemittel zum Erkennen eines Pixelmusters, das dem Lasthaken und/oder einer damit verbundenen Anbauteil wie Seilflasche entspricht, sowie Farberkennungsmittel zum Erkennen einer Farbe und/oder Farbkombination in dem Kamerabild, die der Farbe und/oder Farbkombination des Lasthakens und/oder dessen Anbauteil entspricht, aufweist.
11. Kran nach einem der vorhergehenden Ansprüche, wobei die Bildauswerteeinheit (11 ) Konturerkennungsmittel zum Erkennen einer dem Lasthaken und/oder dessen Anbauteil entsprechenden Umrisskontur in dem Kamerabild aufweist und die Lasthakenposition anhand der Umrisskontur des Lasthakens und/oder dem daran angebrachten Anbauteil bestimmt wird.
12. Kran nach einem der vorhergehenden Ansprüche, wobei an dem Lasthaken (7) und/oder einer damit verbundenen Lastflasche (13) eine der Laufkatze (5) sichtbar zugewandte Markierung (14) angebracht ist und die Bildauswerteeinheit (11 ) derart ausgebildet ist, dass in dem Kamerabild ein der Markierung entsprechendes Kontur- und/oder Pixelmuster identifiziert wird.
13. Kran nach dem vorhergehenden Anspruch, wobei die Markierung (14) und/oder der Lasthaken und/oder die Lastflasche eine geometrische Grundfläche wie Kreis, Mehreck, Linie und/oder ein aus mehreren geometrischen Grundflächen zusammengesetztes Grundflächenmuster umfasst.
14. Kran nach einem der beiden vorhergehenden Ansprüche, wobei die Markierung (14) und/oder der Lasthaken und/oder die Lastflasche eindeutig orientiert ausgebildet ist und die Bildauswerteeinheit (11) Orientierungsbestim- mungsmittel zur Bestimmung der Orientierung des Lasthakens (7), insbesondere Bestimmung eines Drehwinkels des Lasthakens (7) bezüglich einer aufrechten Achse aufweist.
15. Kran nach einem der vorhergehenden Ansprüche, wobei Laufkatzen- Positionsbestimmungsmittel (18) vorgesehen sind, die Verfahrpositions- Bestimmungsmittel zur Bestimmung der Laufkatzenstellung relativ zum Kranausleger und Drehstellungs-Bestimmungsmittel zur Bestimmung der Drehstellung des Kranauslegers (3) bezüglich der Drehachse (4) umfassen, wobei die Lasthaken-Positionsbestimmungsmittel (12) derart ausgebildet sind, dass die Lasthakenposition aus der bestimmten Laufkatzenstellung relativ zum Kranausleger (3), der Drehstellung des Kranauslegers (3) und der Bildposition des Lasthakens (7) im Kamerabild der Kamera (9) bestimmt wird.
16. Kran nach einem der vorhergehenden Ansprüche, wobei die Positionsbestimmungseinrichtung (8) Umgebungs-Bestimmungsmittel zum Bestimmen der Lasthaken-Umgebung, insbesondere in Form charakteristischer Hindernis- und/oder Umgebungskonturen, aus dem aufgenommenen Kamerabild aufweist, wobei die Positionsbestimmungsmittel (12) zur Bestimmung der Lasthakenposition aus der bestimmten Bildposition des Lasthakens (7) im Kamerabild derart ausgebildet sind, dass die Lasthakenposition relativ zur Lasthaken-Umgebung bestimmt wird.
17. Kran nach dem vorhergehenden Anspruch, wobei Lasthakenziel-Steuermittel zum Steuern von Kranbewegungen in Abhängigkeit der bestimmten Lasthakenposition relativ zur Lasthaken-Umgebung und/oder Kollisionsvermei- dungs-Steuermittel zum Stoppen oder Ändern von Kranbewegungen in Abhängigkeit der bestimmten Lasthakenposition relativ zur Lasthaken- Umgebung vorgesehen sind.
EP13810895.6A 2012-12-17 2013-12-16 Turmdrehkran Active EP2931649B1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18163759.6A EP3354616B1 (de) 2012-12-17 2013-12-16 Turmdrehkran

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE202012012116.2U DE202012012116U1 (de) 2012-12-17 2012-12-17 Turmdrehkran
PCT/EP2013/003798 WO2014095028A1 (de) 2012-12-17 2013-12-16 Turmdrehkran

Related Child Applications (2)

Application Number Title Priority Date Filing Date
EP18163759.6A Division EP3354616B1 (de) 2012-12-17 2013-12-16 Turmdrehkran
EP18163759.6A Division-Into EP3354616B1 (de) 2012-12-17 2013-12-16 Turmdrehkran

Publications (2)

Publication Number Publication Date
EP2931649A1 true EP2931649A1 (de) 2015-10-21
EP2931649B1 EP2931649B1 (de) 2018-05-16

Family

ID=49816899

Family Applications (2)

Application Number Title Priority Date Filing Date
EP13810895.6A Active EP2931649B1 (de) 2012-12-17 2013-12-16 Turmdrehkran
EP18163759.6A Active EP3354616B1 (de) 2012-12-17 2013-12-16 Turmdrehkran

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP18163759.6A Active EP3354616B1 (de) 2012-12-17 2013-12-16 Turmdrehkran

Country Status (8)

Country Link
US (1) US9738493B2 (de)
EP (2) EP2931649B1 (de)
CN (1) CN104854017B (de)
DE (1) DE202012012116U1 (de)
ES (2) ES2683294T3 (de)
RU (1) RU2623287C2 (de)
TR (1) TR201908731T4 (de)
WO (1) WO2014095028A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11932517B2 (en) 2019-03-08 2024-03-19 Liebherr-Werk Biberach Gmbh Crane and device for controlling same

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10822208B2 (en) * 2014-12-23 2020-11-03 Manitowoc Crane Companies, Llc Crane 3D workspace spatial techniques for crane operation in proximity of obstacles
CN104555737B (zh) * 2014-12-29 2017-08-29 武汉港迪智能技术有限公司 桥门式起重机的远程通讯及位置检测装置
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
FI20155599A (fi) * 2015-08-21 2017-02-22 Konecranes Global Oy Nostolaitteen ohjaaminen
US10544012B2 (en) 2016-01-29 2020-01-28 Manitowoc Crane Companies, Llc Visual outrigger monitoring system
DE102016001684A1 (de) 2016-02-12 2017-08-17 Liebherr-Werk Biberach Gmbh Verfahren zur Überwachung wenigstens eines Krans
DE102016004250A1 (de) 2016-04-08 2017-10-12 Liebherr-Components Biberach Gmbh Verfahren und Vorrichtung zum Steuern eines Krans, eines Baggers, einer Raupe oder einer ähnlichen Baumaschine
DE102016004350A1 (de) * 2016-04-11 2017-10-12 Liebherr-Components Biberach Gmbh Kran und Verfahren zum Steuern eines solchen Krans
US10717631B2 (en) 2016-11-22 2020-07-21 Manitowoc Crane Companies, Llc Optical detection and analysis of crane hoist and rope
GB2562121B (en) * 2017-05-05 2022-10-12 Bamford Excavators Ltd Working machine
WO2018203091A1 (en) * 2017-05-05 2018-11-08 J.C. Bamford Excavators Ltd Working machine
GB2562122B (en) * 2017-05-05 2022-10-19 Bamford Excavators Ltd Training machine
DE102017116367A1 (de) 2017-07-20 2019-01-24 Liebherr-Components Deggendorf Gmbh Vorrichtung zum Steuern eines Injektors
JP2019104582A (ja) * 2017-12-12 2019-06-27 株式会社北川鉄工所 吊荷の旋回角度検出方法
DE102017130792A1 (de) * 2017-12-20 2019-06-27 Liebherr-Werk Ehingen Gmbh Messeinrichtung zur Lastmessung bei einem Hebezeug
EP3802395A4 (de) * 2018-05-30 2022-03-16 Syracuse Ltd. System und verfahren zum transportieren einer schwankenden hublast
CN110874544B (zh) * 2018-08-29 2023-11-21 宝钢工程技术集团有限公司 冶金行车安全监控识别方法
CN108892042B (zh) * 2018-09-13 2024-05-03 郑州大学 一种钢水包耳轴吊装对位识别装置及方法
CN109095356B (zh) 2018-11-07 2024-03-01 江苏徐工国重实验室科技有限公司 工程机械及其作业空间动态防碰撞方法、装置和系统
US20200140239A1 (en) * 2018-11-07 2020-05-07 Manitowoc Crane Companies, Llc System for determining crane status using optical and/or electromagnetic sensors
JP7192527B2 (ja) * 2019-01-23 2022-12-20 株式会社タダノ クレーン
US11618655B2 (en) 2019-03-28 2023-04-04 International Business Machines Corporation Camera-assisted crane safety
AT16885U1 (de) * 2019-03-28 2020-11-15 Palfinger Ag Kran mit Kransteuerung
CN110525420B (zh) * 2019-09-02 2023-04-11 厦门迈凯科机电设备有限公司 Sts大车防阵风控制系统
CN111115458A (zh) * 2020-04-01 2020-05-08 湖南三一塔式起重机械有限公司 载荷位置计算装置及起重机
CN112194011A (zh) * 2020-08-31 2021-01-08 南京理工大学 一种基于双目视觉的塔吊自动装载方法
DE102020214021A1 (de) 2020-11-09 2022-05-12 Tadano Faun Gmbh Verfahren zum Betrieb eines Kransystems und Kransystem
CN112562018B (zh) * 2020-12-09 2023-08-11 杭州鸿泉物联网技术股份有限公司 一种吊点跟随定位方法及系统
CN112678696B (zh) * 2020-12-18 2022-09-13 重庆市合川区昌友机械制造有限责任公司 风机齿轮加工机床用吊装装置
WO2022221311A1 (en) 2021-04-12 2022-10-20 Structural Services, Inc. Systems and methods for assisting a crane operator
CN113247788B (zh) * 2021-06-01 2021-09-24 新乡职业技术学院 一种基于投影光自对准控制的起重机
CN113044736B (zh) * 2021-06-01 2021-08-13 新乡职业技术学院 一种具有吊索稳定控制的起重机
CN113673344B (zh) * 2021-07-19 2023-06-06 杭州大杰智能传动科技有限公司 一种智能塔吊物料挂载位置识别方法和装置
DE102021121749A1 (de) 2021-08-23 2023-02-23 Abus Kransysteme Gmbh Verfahren zur Erkennung der Außenkontur einer Last an einem Kran
CN113911917B (zh) * 2021-09-13 2023-06-02 杭州大杰智能传动科技有限公司 用于智能塔吊总控室的辅助远程操控方法
CN113896109B (zh) * 2021-09-13 2023-06-02 杭州大杰智能传动科技有限公司 用于智能塔吊后台远程控制的摄像监视方法和系统
JP2023049565A (ja) * 2021-09-29 2023-04-10 住友重機械搬送システム株式会社 位置検出システム、ターゲット、及び位置検出方法
DE102021130785A1 (de) 2021-11-24 2023-05-25 Liebherr-Werk Biberach Gmbh Kran
DE102022103283A1 (de) 2022-02-11 2023-08-17 Liebherr-Werk Biberach Gmbh Kran
CN116152243B (zh) * 2023-04-19 2023-07-25 深圳市平方科技股份有限公司 基于图像分析的集装箱装卸作业状态的检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE502609C2 (sv) * 1990-03-28 1995-11-20 Asea Brown Boveri Förflyttning av gods med containerkranar
JPH08324963A (ja) * 1995-05-29 1996-12-10 Nippon Steel Corp クレーンの自動運転方法及び装置
CN2273306Y (zh) * 1995-08-04 1998-01-28 上海海通港口工索具公司 起重机安全操作监示器
JPH09142773A (ja) 1995-11-20 1997-06-03 Kajima Corp クレーンフック自動追尾システム
DE19725315C2 (de) 1997-06-09 2001-03-22 Mannesmann Ag Kran, insbesondere Hüttenwerkskran
US6351720B1 (en) * 1997-10-24 2002-02-26 Mitsubishi Heavy Industries, Ltd. Trolley camera position detecting apparatus
JPH11349279A (ja) * 1998-06-10 1999-12-21 Shinko Electric Co Ltd 吊下部位置検出装置
DE19836103A1 (de) * 1998-08-10 2000-02-24 Siemens Ag Vorrichtung und Verfahren zur zweidimensionalen Bestimmung von Lastpendelungen und/oder -rotationen an einem Kran
KR100390525B1 (ko) * 2001-02-16 2003-07-10 김종선 타워 크레인의 무선 영상감시장치
US7181312B2 (en) * 2002-04-09 2007-02-20 Paceco Corp. Method and apparatus for quay container crane-based automated optical container code recognition with positional identification
DE10245889B4 (de) * 2002-09-30 2008-07-31 Siemens Ag Verfahren und/oder Einrichtung zur Bestimmung einer Pendelung einer Last eines Hebezeuges
DE10245970B4 (de) 2002-09-30 2008-08-21 Siemens Ag Verfahren bzw. Vorrichtung zur Erkennung einer Last eines Hebezeuges
ES1056945Y (es) 2004-02-26 2004-09-16 Promociones Y Construcciones O Grua para manipulacion de cargas.
US7656459B2 (en) * 2006-04-20 2010-02-02 Pacific Systems Solution Llc Crane hook and trolley camera system
CN101428740A (zh) * 2008-12-18 2009-05-13 何淑娟 一种小车起重作业用防偏拉的方法
CN101428741B (zh) * 2008-12-18 2011-04-20 何淑娟 一种判断吊钩位置的方法
CN201605104U (zh) * 2009-11-06 2010-10-13 苏星 塔吊智能化操作装置
US8618949B2 (en) * 2010-02-01 2013-12-31 Trimble Navigation Limited Lifting device efficient load delivery, load monitoring, collision avoidance, and load hazard avoidance
WO2011155749A2 (ko) * 2010-06-07 2011-12-15 연세대학교 산학협력단 타워크레인 네비게이션 시스템
CN101955130B (zh) * 2010-09-08 2012-03-07 西安理工大学 具有自动跟踪变倍功能的塔机视频监控系统及监控方法
CN102795547B (zh) 2012-08-31 2014-07-16 中国人民解放军国防科学技术大学 起重机吊钩位置和摆角的实时摄像测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2014095028A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11932517B2 (en) 2019-03-08 2024-03-19 Liebherr-Werk Biberach Gmbh Crane and device for controlling same

Also Published As

Publication number Publication date
EP3354616B1 (de) 2019-04-03
RU2015129017A (ru) 2017-01-23
TR201908731T4 (tr) 2019-07-22
CN104854017A (zh) 2015-08-19
US20150329333A1 (en) 2015-11-19
WO2014095028A1 (de) 2014-06-26
US9738493B2 (en) 2017-08-22
ES2683294T3 (es) 2018-09-26
CN104854017B (zh) 2018-01-23
EP2931649B1 (de) 2018-05-16
ES2732760T3 (es) 2019-11-25
DE202012012116U1 (de) 2014-03-19
EP3354616A1 (de) 2018-08-01
RU2623287C2 (ru) 2017-06-23

Similar Documents

Publication Publication Date Title
EP2931649B1 (de) Turmdrehkran
DE10251910B4 (de) Containerkran
EP3000762B1 (de) Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr
WO2004031068A1 (de) Verfahren und/oder einrichtung zur bestimmung einer pendelung einer last eines hebezeuges, wobei die achse sich in hubrichtung befindet
DE102017112765A1 (de) Verfahren und Vorrichtung zum Heben einer Last
DE102016004250A1 (de) Verfahren und Vorrichtung zum Steuern eines Krans, eines Baggers, einer Raupe oder einer ähnlichen Baumaschine
EP2984022A1 (de) Ferngesteuerter kran
DE102004038494A1 (de) Verfahren und Vorrichtung zum Betreiben eines Sensorsystems
DE202019102393U1 (de) Kran sowie Vorrichtung zu dessen Steuerung
EP3411321B1 (de) Verfahren zur überwachung wenigstens eines krans
EP2193334A1 (de) Verfahren zur kalibrierung einer sensoranordnung und sensoranordnung
DE4429016A1 (de) Navigation für fahrerlose Fahrzeuge
WO2017103255A1 (de) Vorrichtung und verfahren für ein unbemanntes flugobjekt
EP3750842A1 (de) Verladen einer last mit einem kransystem
DE4423797A1 (de) Vorrichtung zum zielgenauen Positionieren und Stapeln von Behältern
DE102013012019A1 (de) Kran, insbesondere Mobilkran
DE19916999A1 (de) Verfahren zur Bestimmung der Lage eines Fahrzeuges
WO2023151967A1 (de) Kran
EP0907604A1 (de) Verfahren und anordnung zur vermeidung vom lastschwingungen bei einem drehbewegungen ausführenden hängelastbewegungsgerät
DE10202399A1 (de) Einrichtung und Verfahren zur Positionierung von Transportfahrzeugen
WO2020043461A1 (de) Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung
DE102020116443B4 (de) Transportsystem zum Befördern einer Lastvorrichtung, Verfahren zum Steuern eines Transportsystems und Luftfahrzeug mit einem Transportsystem
EP3746739A1 (de) Vorrichtung und verfahren zur identifikation von equipment in metallurgischen industrieanlagen
EP3948470B1 (de) Optische positionsmarkierung, roboter mit solcher markierung und steuerungssystem für solchen roboter
DE102021130785A1 (de) Kran

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150424

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502013010171

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: B66C0013460000

Ipc: B66C0013160000

RIC1 Information provided on ipc code assigned before grant

Ipc: B66C 13/18 20060101ALI20171026BHEP

Ipc: B66C 13/16 20060101AFI20171026BHEP

Ipc: B66C 13/46 20060101ALI20171026BHEP

Ipc: B66C 23/02 20060101ALI20171026BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20171206

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502013010171

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 999352

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180615

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2683294

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20180926

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180816

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180816

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180817

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502013010171

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20190219

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20181216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181216

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20181231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20131216

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180516

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180916

REG Reference to a national code

Ref country code: CH

Ref legal event code: PFA

Owner name: LIEBHERR-COMPONENTS BIBERACH GMBH, DE

Free format text: FORMER OWNER: LIEBHERR-COMPONENTS BIBERACH GMBH, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20211214

Year of fee payment: 9

REG Reference to a national code

Ref country code: NL

Ref legal event code: PD

Owner name: LIEBHERR-WERK BIBERACH GMBH; DE

Free format text: DETAILS ASSIGNMENT: CHANGE OF OWNER(S), ASSIGNMENT; FORMER OWNER NAME: LIEBHERR-COMPONENTS BIBERACH GMBH

Effective date: 20220718

REG Reference to a national code

Ref country code: ES

Ref legal event code: PC2A

Owner name: LIEBHERR-WERK BIBERACH GMBH

Effective date: 20220921

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502013010171

Country of ref document: DE

Owner name: LIEBHERR-WERK BIBERACH GMBH, DE

Free format text: FORMER OWNER: LIEBHERR-COMPONENTS BIBERACH GMBH, 88400 BIBERACH, DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: PC

Ref document number: 999352

Country of ref document: AT

Kind code of ref document: T

Owner name: LIEBHERR-WERK BIBERACH GMBH, DE

Effective date: 20221018

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230630

P02 Opt-out of the competence of the unified patent court (upc) changed

Effective date: 20230906

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20231220

Year of fee payment: 11

Ref country code: IT

Payment date: 20231227

Year of fee payment: 11

Ref country code: FR

Payment date: 20231220

Year of fee payment: 11

Ref country code: AT

Payment date: 20231219

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20240102

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231221

Year of fee payment: 11

Ref country code: CH

Payment date: 20240102

Year of fee payment: 11