DE102007046287B4 - Method for calibrating a sensor arrangement - Google Patents

Method for calibrating a sensor arrangement Download PDF

Info

Publication number
DE102007046287B4
DE102007046287B4 DE102007046287A DE102007046287A DE102007046287B4 DE 102007046287 B4 DE102007046287 B4 DE 102007046287B4 DE 102007046287 A DE102007046287 A DE 102007046287A DE 102007046287 A DE102007046287 A DE 102007046287A DE 102007046287 B4 DE102007046287 B4 DE 102007046287B4
Authority
DE
Germany
Prior art keywords
coordinate system
sensor
ground
crane
measurement data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102007046287A
Other languages
German (de)
Other versions
DE102007046287A1 (en
Inventor
Wendelin Dr. Feiten
Gisbert Dr. Lawitzky
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102007046287A priority Critical patent/DE102007046287B4/en
Priority to PCT/EP2008/062832 priority patent/WO2009043789A1/en
Priority to EP08804729A priority patent/EP2193334A1/en
Publication of DE102007046287A1 publication Critical patent/DE102007046287A1/en
Application granted granted Critical
Publication of DE102007046287B4 publication Critical patent/DE102007046287B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Verfahren zur Kalibrierung einer Sensoranordnung (11) mit folgenden Schritten:
– ein erster Sensor (32) und ein zweiter Sensor (35) werden auf einem Träger (30) montiert, wodurch die Sensoranordnung (11) gebildet wird,
– eine Koordinatentransformation zwischen einem ersten Koordinatensystem (181) des ersten Sensors (32) und einem zweiten Koordinatensystem (182) des zweiten Sensors (35) wird bestimmt,
– die Sensoranordnung (11) wird an einem Einsatzort montiert,
– die Sensoranordnung (11) wird in Relation zu einer Umgebung am Einsatzort kalibriert, wobei die Koordinatentransformation zwischen dem ersten Koordinatensystem (181) und dem zweiten Koordinatensystem (182) verwendet wird,
– die Sensoranordnung (11) erfasst Messdaten ihrer Umgebung,
– in den Messdaten werden Boden-Messdaten (21) für Teile eines Bodens (15) unter dem Objekt sowie Objekt-Messdaten für Teile des Objekts identifiziert,
– die Objekt-Messdaten werden genutzt, um aus den Boden-Messdaten (21) ein Boden-Koordinatensystem (16) zu bestimmen.Method for calibrating a sensor arrangement (11) with the following steps:
A first sensor (32) and a second sensor (35) are mounted on a carrier (30), whereby the sensor arrangement (11) is formed,
A coordinate transformation between a first coordinate system (181) of the first sensor (32) and a second coordinate system (182) of the second sensor (35) is determined,
The sensor arrangement (11) is mounted at a place of use,
The sensor arrangement (11) is calibrated in relation to an environment at the place of use, wherein the coordinate transformation between the first coordinate system (181) and the second coordinate system (182) is used,
The sensor arrangement (11) acquires measurement data of its environment,
- in the measurement data, ground measurement data (21) for parts of a floor (15) under the object as well as object measurement data for parts of the object are identified,
- The object measurement data are used to determine from the ground measurement data (21) a ground coordinate system (16).

Figure 00000001
Figure 00000001

Description

Eine Sensoranordnung, welche beispielsweise auf einem Kran montiert ist, dient zur Messung (bzw. Schätzung) der Position und Lage beweglicher Objekte, wie etwa des Krans selbst oder einer Fracht, z. B. eines Containers. Als weitere Verwendungen kommen etwa die Messung der Position und Lage eines Fahrzeugs oder eines beweglichen Bauteils des Krans selbst in Betracht ( DE 102 02 399 A1 ).A sensor assembly, for example mounted on a crane, is used to measure (or estimate) the position and attitude of moving objects, such as the crane itself or a cargo, e.g. B. a container. Further uses include the measurement of the position and position of a vehicle or of a moving component of the crane itself ( DE 102 02 399 A1 ).

Bei dem Kran kann es sich beispielsweise um einen Ladekran handeln. Ladekrane werden auf Güterumschlagplätzen, Lagerplätzen, in Montagehallen und Werften sowie beim Gleisbau eingesetzt. Bei einem Ladekran für Kraftfahrzeuge ist der Boden gegenüber dem Ladekran geneigt, damit Wasser abfließen kann. Weiterhin sind auf dem Boden unter dem Ladekran Spuren für Lastwagen markiert.at For example, the crane can be a loading crane. Loading cranes are used at freight transhipment sites, warehouses, in Assembly halls and shipyards and used in track construction. At a Loading crane for Motor vehicles, the ground is inclined to the loading crane, so Drain off water can. Furthermore, there are lorry tracks on the floor under the loading crane marked.

Eine Ausführung eines Ladekrans ist ein Portalkran. Dieser überspannt einen Lade- und Arbeitsbereich wie ein Portal. In der Regel laufen seine Seitenwände mit Rädern auf zwei parallelen Schienen. Auf der Kranbrücke, dem horizontalen Teil des Portalkrans, bewegt sich eine Laufkatze mit einem Hubwerk. Alternativ kann auch ein Schienendrehkran auf der Kranbrücke montiert sein.A execution a loading crane is a gantry crane. This spans a loading and working area like a portal. As a rule, its side walls run along wheels on two parallel rails. On the crane bridge, the horizontal part of the gantry crane, a trolley moves with a hoist. alternative a rail slewing crane can also be mounted on the crane bridge.

Weiterhin kommen als Ladekran auch ein Brückenkran, ein Halbportalkran, ein Bockkran sowie ein Portaldrehkran in Betracht.Farther come as loading crane also a bridge crane, a half-gantry crane, a gantry crane and a portal crane in consideration.

Bewegliche Teile eines Krans sind z. B. die Laufkatze oder der Spreader – ein Hebezeug, mit dem Container ergriffen werden können.portable Parts of a crane are z. B. the trolley or the spreader - a hoist, can be taken with the container.

Im Kontext eines Ladekrans dienen die Messungen der Sensoranordnung als Grundlage, um LKW-Fahrern zu signalisieren, wo sie anzuhalten haben. Weiterhin kann aufgrund solcher Messungen der Kran selbst gesteuert werden.in the Context of a loading crane serve the measurements of the sensor array as a basis to signal truck drivers where to stop to have. Furthermore, due to such measurements, the crane itself to be controlled.

Die Sensoranordnung kann beispielsweise aus einem oder mehreren der folgenden Elemente zusammengesetzt sein: einem 3D-Laserscanner, einem schwenkbaren 2D-Laserscanner oder einer Videokamera. Die Elemente der Sensoranordnung werden üblicherweise derart im Tragwerk des Krans angebracht, dass – im Falle eines Portalkrans – mehrere Spuren für LKW oder Gleise für Eisenbahnwaggons überstrichen werden ( DE 195 19 741 A1 ).The sensor arrangement may for example be composed of one or more of the following elements: a 3D laser scanner, a tiltable 2D laser scanner or a video camera. The elements of the sensor assembly are usually mounted in such a way in the structure of the crane that - in the case of a gantry crane - several tracks for trucks or railroad railroad tracks are covered ( DE 195 19 741 A1 ).

Damit die Sensoranordnung in der beschriebenen Weise verwendet werden kann, ist es erforderlich, sie zu kalibrieren. Das bedeutet, dass die folgenden Koordinatensysteme zueinander in Beziehung gesetzt werden müssen:

  • – Das Sensor-Koordinatensystem eines oder mehrerer Laserscanner, die in der Sensoranordnung verbaut sind,
  • – das Kamera-Koordinatensystem einer oder mehrerer Kameras, sofern diese im Rahmen der Sensoranordnung verbaut sind,
  • – das Kran-Koordinatensystem des Krans, bezüglich dem z. B. Laufkatze und Spreader lokalisiert werden,
  • – das Boden-Koordinatensystem, bezüglich dessen ggf. Spuren für Lastwagen oder Gleise für Eisenbahnwaggons gegeben sind, welche beladen und entladen werden.
In order for the sensor assembly to be used in the manner described, it is necessary to calibrate it. This means that the following coordinate systems must be related to each other:
  • The sensor coordinate system of one or more laser scanners installed in the sensor arrangement,
  • The camera coordinate system of one or more cameras, provided that they are installed in the frame of the sensor arrangement,
  • - The crane coordinate system of the crane, with respect to the z. Trolley and spreader are located,
  • - The ground coordinate system, with respect to which, if necessary, tracks for trucks or railroad railroad tracks are given, which are loaded and unloaded.

Die Kalibrierung wird im Stand der Technik ( DE 102 51 910 A1 ) beispielsweise dadurch gelöst, dass ein speziell zu diesem Zweck angefertigter und bereitgehaltener Kalibrierkörper auf den Boden im Bereich des Krans gestellt und in Bezug auf den Kran bzw. das Kran-Koordinatensystem durch einen Vermessungsingenieur manuell vermessen wird. Zusätzlich können Fahrspuren manuell in Bezug auf den Kran oder auf den Kalibrierkörper vermessen werden. Die Sensoranordnung erfasst anschließend den Kalibrierkörper, woraus sich Koordinatentransformationen zwischen dem Sensor-Koordinatensystem und den übrigen Koordinatensystemen erschließen lassen. Nachteilig wirkt sich hierbei aus, dass der laufende Betrieb des Krans für die Kalibrierung längere Zeit unterbrochen werden muss.The calibration is done in the prior art ( DE 102 51 910 A1 ), for example, solved by a specially prepared for this purpose and prepared calibration body is placed on the ground in the area of the crane and measured manually with respect to the crane or the crane coordinate system by a surveyor. In addition, lanes can be measured manually with respect to the crane or to the calibration body. The sensor arrangement then detects the calibration body, from which coordinate transformations between the sensor coordinate system and the other coordinate systems can be developed. The disadvantage here is that the ongoing operation of the crane for calibration must be interrupted for a long time.

Häufig finden sich in der Umgebung der Ladekrananlage Strukturierungsmerkmale, welche lediglich optisch erfasst werden können. Ein Beispiel hierfür sind auf den Boden aufgemalte Spurmarkierungen, welche die Lage der Fahrspuren anzeigen. Bei Einbindung eines optischen Sensors (etwa einer Kamera) in die Sensoranordnung muss eine Koordinatentransformation zwischen dem Kamera-Koordinatensystem und den übrigen Koordinatensystemen bestimmt werden ( DE 101 36 398 A1 ).Frequently structuring features are found in the surroundings of the loading crane system, which can only be detected optically. An example of this is ground markings painted on the ground indicating the location of the lanes. When incorporating an optical sensor (such as a camera) in the sensor array, a coordinate transformation between the camera coordinate system and the other coordinate systems must be determined ( DE 101 36 398 A1 ).

Dies wird in den beschriebenen Anwendungen in großen Krananlagen durch deren große Abmessungen und nicht standardisierten visuellen Merkmale erschwert. So können beispielsweise die Spurmarkierungen unterschiedlich ausfallen. Deshalb ist es im Stand der Technik erforderlich, weitere, in ihren optischen und geometrischen Merkmalen genau definierte Kalibrierkörper in die Anlage einzubringen, um anhand dieser die Kalibrierung vorzunehmen. Im Kontext der Automatisierung der Ladekrananlage ist eine spezifische Kalibrierung der Sensoranordnung für die jeweiligen Arbeitsabläufe wünschenswert. Auch eine manuelle Vermessung der Spurmarkierungen bedeutet hier zusätzlichen Aufwand.This is in the applications described in large cranes by their size Dimensions and non-standardized visual features. So can For example, the lane markings will be different. Therefore It is necessary in the prior art, more, in their optical and geometric features precisely defined calibration in to introduce the system in order to carry out the calibration based on this. In the context of automation of the loading crane system is a specific Calibration of the sensor arrangement for the respective workflows desirable. Also a manual measurement of the lane markings means here additional Effort.

Aus dem Artikel von Kersten, T. et al: Integration, Fusion und Kombination von terrestrischen Laserscannerdaten und digitalen Bildern. In: Workshop "Anforderungen an geometrische Fusionsverfahren", DIN Deutsches Institut für Normung e.V. und Humboldt Universität zu Berlin, 20. November 2006 wird das technische Zusammenspiel terrestrischer Laserscanner und digitaler Kameras vorgestellt und ein Überblick über vorhandene Systeme gegeben. Es werden die verschiedenen technischen Realisierungen (Funktionalität und Bauart) für eine gemeinsame Objekterfahrung durch Laserscanner und Kamera (add-on, integriert oder freihand) beschrieben. Außerdem werden die mo mentan verfügbaren gemeinsamen Auswertemöglichkeiten für 3D-Punktwolken und digitale Bilddaten aufgezeigt.From the article by Kersten, T. et al: Integration, fusion and combination of terrestrial laser scanner data and digital images. In: Workshop "Requirements for geometric fusion processes", DIN German Institute for Standardization and Humboldt University Berlin, November 20, 2006, presents the technical interaction of terrestrial laser scanners and digital cameras and provides an overview of existing systems. The various technical implementations (functionality and design) for a common object experience by laser scanner and camera (add-on, integrated or freehand) are described. In addition, the currently available common evaluation options for 3D point clouds and digital image data are shown.

Im Artikel von Zhao, H., Chen, Y. und Shibasaki, R.: An efficient extrinsic calibration of multiple laser scanners and cameras' sensor system an a mobile platform. In Proceedings of the IEEE Intelligent Vehicles Symposium, 2007, S. 422–427, wird eine effiziente extrinsische Kalibration eines mehrfach Laserscanners und Kamerasensorsystems auf einer mobilen Plattform beschrieben. Eine Verbindung zwischen den Daten eines Laserscanners und den Daten einer Videokamera wird unter Bezugnahme eines Bezugskoordinatensystems hergestellt. Dabei wird dies in einer iterativen Art und Weise gelöst, um die beste Lösung von einem Laserscanner und von einer Videokamera zu den Bezugskoordinaten zu finden. Andererseits werden alle Laserscanner und alle Videokameras für jedes Laserscanner- und Videokamerakoordinatenpaar kalibriert.in the Article by Zhao, H., Chen, Y. and Shibasaki, R .: An efficient extrinsic calibration of multiple laser scanners and cameras' sensor system on a mobile platform. In Proceedings of the IEEE Intelligent Vehicles Symposium, 2007, p. 422-427, becomes an efficient extrinsic calibration of a multiple laser scanner and camera sensor system on a mobile platform. A connection between the data of a laser scanner and the data a video camera is referred to by a reference coordinate system produced. This is solved in an iterative manner to the best solution from a laser scanner and from a video camera to the reference coordinates to find. On the other hand, all laser scanners and all video cameras for each Laser scanner and video camera coordinate pair calibrated.

Es stellt sich somit die Aufgabe, ein Verfahren zur Kalibrierung einer Sensoranordnung und eine Sensoranordnung anzugeben, welche die Kalibrierung der Sensoranordnung am Einsatzort vereinfachen.It thus sets itself the task of a method for calibrating a Specify sensor arrangement and a sensor arrangement, which calibration simplify the sensor assembly at the site.

Diese Aufgabe wird durch das Verfahren zur Kalibrierung einer Sensoranordnung gelöst. Bevorzugte Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.These The object is achieved by the method for calibrating a sensor arrangement solved. Preferred developments emerge from the dependent claims.

Bei dem Verfahren zur Kalibrierung einer Sensoranordnung werden folgende Schritte ausgeführt:
Zuerst werden ein erster Sensor und ein zweiter Sensor auf einem Träger montiert, wodurch die Sensoranordnung gebildet wird. Anschließend wird eine Koordinatentransformation zwischen einem ersten Koordinatensystem des ersten Sensors und einem zweiten Koordinatensystem des zweiten Sensors ermittelt. In einem dritten Schritt wird die Sensoranordnung an einem Einsatzort montiert. Abschließend wird die Sensoranordnung in Relation zu einer Umgebung am Einsatzort kalibriert, wobei die ermittelte Koordinatentransformation zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensystem verwendet wird. In den Messdaten werden Boden-Messdaten für Teile eines Bodens unter dem Objekt sowie Objekt-Messdaten für Teile des Objekts identifiziert. Die Objekt-Messdaten werden genutzt, um aus den Boden-Messdaten ein Boden-Koordinatensystem zu ermitteln.In the method for calibrating a sensor arrangement, the following steps are carried out:
First, a first sensor and a second sensor are mounted on a carrier, whereby the sensor assembly is formed. Subsequently, a coordinate transformation between a first coordinate system of the first sensor and a second coordinate system of the second sensor is determined. In a third step, the sensor assembly is mounted on a site. Finally, the sensor arrangement is calibrated in relation to an environment at the place of use, wherein the determined coordinate transformation between the first coordinate system and the second coordinate system is used. The measured data identifies soil measurement data for parts of a soil underneath the object as well as object measurement data for parts of the object. The object measurement data are used to determine a ground coordinate system from the ground measurement data.

Die Sensoranordnung weist einen Träger auf, an dem ein erster Sensor mit einem ersten Koordinatensystem und ein zweiter Sensor mit einem zweiten Koordinatensystem montiert sind. Weiterhin weist die Sensoranordnung eine Recheneinheit auf, auf der eine Koordinatentransformation zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensystem gespeichert ist.The Sensor arrangement has a carrier, on which a first sensor with a first coordinate system and a second sensor mounted with a second coordinate system are. Furthermore, the sensor arrangement has an arithmetic unit a coordinate transformation between the first coordinate system and the second coordinate system is stored.

Indem der erste und zweite Sensor vorab auf einem gemeinsamen Träger montiert werden, kann die so gebildete Sensoranordnung bereits in der Fertigung kalibriert werden. Hierdurch wird ein vorkalibriertes Multi-Sensorsystem gebildet. Dies vereinfacht die spätere Kalibrierung am Einsatzort erheblich.By doing the first and second sensor mounted in advance on a common carrier can, the sensor assembly thus formed already in the production be calibrated. This becomes a pre-calibrated multi-sensor system educated. This simplifies the subsequent calibration at the place of use considerably.

Die Kalibrierung der Sensoranordnung erfolgt somit in zwei Schritten:

  • 1. Zunächst werden im Werk die Koordinatensysteme der in der Sensoranordnung enthaltenen Sensoren zueinander kalibriert. Dies kann beispielsweise mit zueinander referenzierten Kalibrierkörpern und Kalibriermustern erfolgen.
  • 2. Nach der Montage der Sensoranordnung am Einsatzort erfolgt die Kalibrierung in Relation zur neuen Umgebung.
The calibration of the sensor arrangement thus takes place in two steps:
  • 1. First, the coordinate systems of the sensors contained in the sensor assembly are calibrated to each other in the factory. This can be done, for example, with reference to each other calibrated calibration and calibration.
  • 2. After mounting the sensor assembly at the job site, the calibration is done in relation to the new environment.

Hierdurch wird das Verfahren zur Kalibrierung besonders robust und genau. Der laufende Betrieb am Einsatzort wird durch das Aufschalten der Sensoranordnung weniger gestört. Weiterhin wird es durch die vorgeschaltete Kalibrierung möglich, auch eine Videokamera in die Sensoranordnung einzubinden, da diese nach dem Einbau am Einsatzort nicht mehr aufwändig nachkalibriert werden muss. Der Einsatz einer Videokamera unterstützt die Modellierung weiterer Aspekte des jeweiligen Einsatzbereichs wie etwa Personen, bisher nicht modellierte Fahrzeuge oder Frachten.hereby the calibration procedure becomes particularly robust and accurate. On-going operation at the site is achieved by switching on the sensor arrangement less disturbed. Furthermore, it is possible by the upstream calibration, also a Integrate video camera in the sensor array, as this after the Installation at the place of use can no longer be recalibrated got to. The use of a video camera supports the modeling of more Aspects of the respective field of application such as persons, so far non-modeled vehicles or freights.

In einer Weiterbildung des Verfahrens wird eine Koordinatentransformation zwischen dem ersten Koordinatensystem und dem Boden-Koordinatensystem berechnet. Die Sensoranordnung wird in Relation zu der Umgebung am Einsatzort kalibriert, wobei die Koordinatentransformation zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensystem und die Koordinatentransformation zwischen dem ersten Koordinatensystem und dem Boden-Koordinatensystem verwendet wird.In a development of the method is a coordinate transformation between the first coordinate system and the ground coordinate system calculated. The sensor arrangement becomes in relation to the environment calibrated on site, with the coordinate transformation between the first coordinate system and the second coordinate system and the coordinate transformation between the first coordinate system and the ground coordinate system.

Die Sensoranordnung kann zur Montage an einem Objekt eingerichtet sein. Sie weist eine Recheneinheit auf, welche zur Identifikation von Boden-Messdaten für Teile eines Bodens unter dem Objekt sowie Objekt-Messdaten für Teile des Objekts in den Messdaten eingerichtet ist. Die Recheneinheit ist weiterhin eingerichtet zur Ermittlung eines Boden-Koordinatensystems aus den Boden-Messdaten unter Nutzung der Objekt-Messdaten, zur Berechnung einer Koordinatentransformation zwischen dem ersten Koordinatensystem und dem Boden-Koordinatensystem, sowie zur Kalibrierung der Sensoranordnung auf Grundlage der Koordinatentransformation zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensys tem und der Koordinatentransformation zwischen dem ersten Koordinatensystem und dem Boden-Koordinatensystem.The sensor arrangement can be set up for mounting on an object. It has an arithmetic unit which is used to identify ground measurement data for parts of a floor underneath the object as well as object measurement data for parts of the object in the measured data is set up. The arithmetic unit is further configured to determine a ground coordinate system from the ground measurement data using the object measurement data, to calculate a coordinate transformation between the first coordinate system and the ground coordinate system, and to calibrate the sensor array based on the coordinate transformation between the first coordinate system and the second coordinate system and the coordinate transformation between the first coordinate system and the ground coordinate system.

Dies bietet den Vorteil, dass auf einen gesonderten Kalibrierkörper zur Kalibrierung der Sensoranordnung verzichtet werden kann. Hierdurch werden Kosten eingespart. Weiterhin entfällt der Aufwand für das Erstellen, Zwischenlagern, Platzieren und Wegräumen des Kalibrierkörpers. Die Aufschaltung der Sensoranordnung erfordert somit weniger Aufwand und verursacht eine geringere Störung des laufenden Betriebs.This offers the advantage that a separate calibration body for Calibration of the sensor array can be dispensed with. hereby costs are saved. Furthermore, the effort for creating, eliminating Interim storage, placement and clearing of the calibration. The Connecting the sensor assembly thus requires less effort and causes less interference of ongoing operation.

Dabei kann das Objekt ein Kran sein, insbesondere ein Ladekran, Portalkran, Brückenkran, Halbportalkran, Bockkran oder Portaldrehkran, oder ein beliebiges bewegliches oder statisches Objekt, auf welchem die Sensoranordnung montierbar ist. Ein Portalkran bietet den Vorteil, dass seine ausgeprägten Symmetrieeigenschaften für die Kalibrierung genutzt werden können.there the object may be a crane, in particular a loading crane, gantry crane, Bridge crane, half gantry crane, Gantry crane or porch crane, or any moving or static object on which the sensor assembly is mountable. One Gantry crane offers the advantage that its pronounced symmetry properties for the Calibration can be used.

Ferner kann die Sensoranordnung einen oder mehrere schwenkbare 2D-Laserscanner umfassen. Die Verwendung eines schwenkbaren 2D-Laserscanners bietet durch seinen großen Sichtbereich den Vorteil, dass neben Fahrzeugen im Arbeitsbereich des Krans auch große Teile der tragenden Struktur des Krans selbst erfasst werden können.Further For example, the sensor assembly may include one or more pivotable 2D laser scanners include. The use of a tiltable 2D laser scanner offers by his big one Viewing area has the advantage of being next to vehicles in the work area the crane also big Parts of the load-bearing structure of the crane itself can be captured.

Außerdem kann die Sensoranordnung eine Kamera, etwa eine Videokamera umfassen. Dies bietet den Vorteil, dass auf dem Boden angebrachte Spurmarkierungen durch die Kamera erfasst und in die Kalibrierung einbezogen werden können.In addition, can the sensor arrangement comprises a camera, such as a video camera. This offers the advantage of having lane markings mounted on the ground detected by the camera and included in the calibration can.

Dabei können die Teile des Objekts Seitenwände eines Portalkrans sein. Dies bietet den Vorteil, dass die Orientierung dieser Seitenwände zur Ermittlung des Objekt-Koordinatensystems genutzt werden kann.there can the parts of the object sidewalls to be a gantry crane. This offers the advantage of being orientation of these side walls for determining the object coordinate system can be used.

Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand von Figuren näher erläutert. Es zeigen:in the Below is an embodiment of the Invention with reference to figures closer explained. Show it:

1 Kran mit einer Sensoranordnung sowie einem Frachtgut unter dem Kran, 1 Crane with a sensor arrangement and a cargo under the crane,

2 Entfernungs-Messdaten der Sensoranordnung, 2 Distance measurement data of the sensor arrangement,

3 ein Kran-Koordinatensystem, ein Sensor-Koordinatensystem sowie ein Boden-Koordinatensystem, 3 a crane coordinate system, a sensor coordinate system and a ground coordinate system,

4 ein Ablaufdiagramm des Verfahrens, 4 a flowchart of the method,

5 eine Sensoranordnung, bei der mehrere Sensoren auf einem Träger vormontiert sind. 5 a sensor arrangement in which a plurality of sensors are pre-mounted on a support.

1 zeigt einen Kran 10. An dem Kran 10 ist eine Sensoranordnung 11 angebracht, welche im in 1 gezeigten Fall aus zwei Elementen besteht. Weiterhin gezeigt ist ein Frachtgut 12, beispielsweise ein Container auf einem LKW, welches durch die Sensoranordnung 11 erfasst wird. Ebenfalls in 1 zu sehen sind Räder 14, mit denen der Kran 10 auf Schienen bewegt werden kann. Ein Boden 15 unter dem Kran 10 ist geneigt, so dass Wasser abfließen kann. Auf dem Boden 15 sind Spurmarkierungen 13 angebracht, welche Spuren für Fahrzeuge markieren. 1 shows a crane 10 , At the crane 10 is a sensor arrangement 11 attached, which in the in 1 case shown consists of two elements. Also shown is a cargo 12 For example, a container on a truck, which through the sensor assembly 11 is detected. Also in 1 you can see wheels 14 with which the crane 10 can be moved on rails. A floor 15 under the crane 10 is inclined, so that water can drain. On the ground 15 are lane markers 13 attached, which mark tracks for vehicles.

2 zeigt Messdaten der Sensoranordnung 11, in diesem Fall Entfernungs-Messdaten eines Laserscanners. In den Messdaten lassen sich Boden-Messdaten 21 von Teilen des Bodens 15 unter dem Kran 10 sowie Kran-Messdaten 22 von Teilen des Krans 10 identifizieren. Dies ermöglicht eine geometrische Vermessung des Krans und seines Arbeitsraumes. 2 shows measured data of the sensor arrangement 11 , in this case distance measurement data of a laser scanner. In the measurement data can be ground measurement data 21 of parts of the soil 15 under the crane 10 as well as crane measurement data 22 of parts of the crane 10 identify. This allows a geometric measurement of the crane and its working space.

Die Messdaten können beispielsweise durch Schwenk eines 2D-Laserscanners über die Teile des Krans 10 und die Teile des Bodens 15 gewonnen werden.The measurement data can be generated, for example, by pivoting a 2D laser scanner over the parts of the crane 10 and the parts of the soil 15 be won.

Die Kran-Messdaten 22 sind hierbei als Rechtecke in 3D hergussegmentierte Seitenwände des Krans 10. Bei den Boden- Messdaten 21 handelt es sich entsprechend um heraussegmentierte Bodenpunkte. Von diesen muss ggf. nur eine Teilmenge verwendet werden, um eine ausreichende Genauigkeit zu erreichen; dies spart Rechenzeit und Speicherbedarf.The crane measurement data 22 are here as rectangles in 3D hergussegmentierte sidewalls of the crane 10 , With the soil measurement data 21 are correspondingly out-segmented ground points. Of these, only a subset may need to be used to achieve sufficient accuracy; This saves computing time and storage requirements.

3 zeigt erneut den Kran 10, seine Räder 14, die Sensoranordnung 11 sowie den Boden 15 und die Spurmarkierungen 13. Zusätzlich eingezeichnet sind ein Boden-Koordinatensystem 16, ein Kran-Koordinatensystem 17 sowie ein Sensor-Koordinatensystem 18 der Sensoranordnung 11. 3 shows the crane again 10 his wheels 14 , the sensor arrangement 11 as well as the ground 15 and the lane markers 13 , Additionally marked are a ground coordinate system 16 , a crane coordinate system 17 and a sensor coordinate system 18 the sensor arrangement 11 ,

4 zeigt ein Ablaufdiagramm zur Kalibrierung der Sensoranordnung 11. In einem ersten Schritt 1 erfasst die Sensoranordnung 11 Messdaten ihrer Umgebung wie in 2 gezeigt. Hierbei handelt es sich um Entfernungs-Messdaten. In einem zweiten Schritt 2 werden in den Messdaten die in 2 gezeigten Boden-Messdaten 21 sowie die Kran-Messdaten 22 identifiziert. Dies kann rechnergestützt unter Verwendung von Planzeichnungen erfolgen, welche bezüglich der Einbaulage der Sensoranordnung 11 bzw. ihrer Elemente sowie weiterer Elemente des Krans 10 genau genug sind. Die Messdaten sind hierbei als 3D-Messpunkte gegeben, welche zunächst alle im Sensor-Koordinatensystem 18 der Sensoranordnung 11 vorliegen. 4 shows a flow chart for calibration of the sensor array 11 , In a first step 1 detects the sensor arrangement 11 Measurement data of their environment as in 2 shown. These are distance measurement data. In a second step 2 are in the measured data in 2 shown soil measurement data 21 as well as the crane measurement data 22 identified. This can be done computer-aided using plan drawings, which with respect to the installation position of the sensor array 11 or their elements and other elements of the crane 10 are accurate enough. The measured data are given here as 3D measuring points, which are all initially in the sensor coordinate system 18 the sensor arrangement 11 available.

In einem dritten Schritt 3 werden die Kran-Messdaten 22 genutzt, um aus den Boden-Messdaten 21 ein Boden-Koordinatensystem 16 zu ermitteln. In einem vierten Schritt 4 wird eine Koordinatentransformation zwischen einem Sensor-Koordinatensystem 18 der Sensoranordnung und dem Boden-Koordinatensystem 16 berechnet, anhand derer die Sensoranordnung 11 kalibriert wird.In a third step 3 become the crane measurement data 22 used to get off the ground metrics 21 a ground coordinate system 16 to investigate. In a fourth step 4 becomes a coordinate transformation between a sensor coordinate system 18 the sensor array and the ground coordinate system 16 calculated, based on which the sensor arrangement 11 is calibrated.

Das Verfahren zur Kalibrierung der Sensoranordnung 11 nutzt Symmetrien, etwa Flächensymmetrien oder Translationssymmetrien im dreidimensionalen Raum. Solche Symmetrien weist der Kran 10 auf – insbesondere in der Ausgestaltung als Portalkran. Die Symmetrien werden hierbei aus den Kran-Messdaten 22 und ggf. den Boden-Messdaten 21 extrahiert. Hierbei liegt die Erkenntnis zugrunde, dass eine durch die Kran-Messdaten 22 repräsentierte Fläche von 3D-Messpunkten einen Normalenvektor aufweist, der als y-Richtungsvektor des Kran-Koordinatensystems 17 verwendet werden kann. Weiterhin lässt sich die Tatsache nutzen, dass eine durch die Boden-Messdaten 21 repräsentierte Fläche von 3D-Messpunkten einen Normalenvektor aufweist, der als z-Richtungsvektor des Boden-Koordinatensystems 16 gewählt werden kann. Überraschenderweise kann der x-Richtungsvektor des Boden-Koordinatensystems 16 identisch zum x-Richtungsvektor des Kran-Koordinatensystems 17 gewählt werden. Dieser x-Richtungsvektor ist sowohl parallel zum Boden 15 als auch parallel zu einer durch die Kran-Messdaten 22 repräsentierten Fläche. Dies wird am Beispiel des Portalkrans deutlich. Da dieser auf Schienen fährt, verlaufen diese sowohl parallel zum Boden als auch parallel zu den Innenwänden des Portalkrans. Der x-Richtungsvektor sowohl des Boden-Koordinatensystems 16 als auch des Kran-Koordinatensystems 17 kann somit parallel zu den Schienen gewählt werden. Somit ist der x-Richtungsvektor sowohl zu dem Normalenvektor der durch die Boden-Messdaten 21 repräsentierten Fläche von 3D-Messpunkten als auch zu dem Normalenvektor der durch die Kran-Messdaten 22 repräsentierten Fläche von 3D-Messpunkten senkrecht. Ausgehend hiervon lassen sich diese Koordinatensysteme sukzessive erschließen.The method for calibrating the sensor arrangement 11 uses symmetries, such as surface symmetry or translation symmetry in three-dimensional space. Such symmetries are shown by the crane 10 on - especially in the design as a gantry crane. The symmetries are calculated from the crane measurement data 22 and possibly the soil measurement data 21 extracted. This is based on the knowledge that one through the crane measurement data 22 represented surface of 3D measuring points has a normal vector, as the y-direction vector of the crane coordinate system 17 can be used. Furthermore, one can take advantage of the fact that one through the ground measurement data 21 represented surface of 3D measuring points has a normal vector, as the z-direction vector of the ground coordinate system 16 can be chosen. Surprisingly, the x-direction vector of the ground coordinate system 16 identical to the x direction vector of the crane coordinate system 17 to get voted. This x-direction vector is both parallel to the ground 15 as well as parallel to one by the crane measurement data 22 represented area. This becomes clear with the example of the gantry crane. Since this runs on rails, they run both parallel to the ground and parallel to the inner walls of the gantry crane. The x-direction vector of both the ground coordinate system 16 as well as the crane coordinate system 17 can thus be selected parallel to the rails. Thus, the x-direction vector is both the normal vector of the ground measurement data 21 represented surface of 3D measurement points as well as the normal vector of the crane measurement data 22 represented surface of 3D measuring points vertically. On the basis of this, these coordinate systems can be successively developed.

Im Folgenden wird ein hierzu geeigneter Algorithmus exemplarisch angegeben. Es sind beliebige andere Algorithmen möglich. Der Algorithmus berechnet hilfsweise das Kran-Koordinatensystem 17, welches für die Herleitung des Boden-Koordinatensystems 16 verwendet wird.In the following, an algorithm suitable for this purpose is given by way of example. Any other algorithms are possible. In the alternative, the algorithm calculates the crane coordinate system 17 , which is for the derivation of the soil coordinate system 16 is used.

Im Szenario eines Portalkrans in einem Hafen werden als Kran-Messdaten 22 3D-Messpunkte identifiziert, die zur Seitenwand (der so genannten "sill bar") gehören, und zwar einerseits 3D-Messpunkte, die zur seeseitigen Seitenwand gehören, sowie andererseits 3D-Messpunkte, die zur landseitigen Seitenwand gehören. Bei Portalkränen auf dem Festland kann eine beliebi ge andere Charakterisierung der beiden Seiten des Portalkrans gewählt werden.In the scenario of a gantry crane in a harbor are called crane metrics 22 Identified 3D measurement points that belong to the sidewall (the so-called "sill bar"), on the one hand 3D measurement points that belong to the seaward sidewall and, on the other hand, 3D measurement points that belong to the landside sidewall. For gantry cranes on the mainland, any other characterization of the two sides of the gantry crane can be chosen.

Eine Hauptachsentransformation (beschrieben in: Jonathon Shlens: "A Tutorial an Principal Component Analysis", erhältlich im Internet am 02.07.2007 unter
http://www.snl.salk.edu/~shlens/pub/notes/pca.pdf) auf den 3D-Messpunkten der seeseitigen Seitenwand des Krans 10 sowie auf den 3D-Messpunkten der landseitigen Seitenwand des Krans 10 ermöglicht jeweils die Bildung eines Normalenvektors im Schwerpunkt der jeweiligen 3D-Messpunkte. Aus diesen beiden Normalenvektoren wird nun durch Mittelung der y-Richtungsvektor des Kran-Koordinatensystems 17 gebildet. Hierbei wird als Konvention gewählt, dass der y-Richtungsvektor zur Seeseite weist.A major axis transformation (described in: Jonathon Shlens: "A Tutorial on Principal Component Analysis", available on the Internet on July 2, 2007 at
http://www.snl.salk.edu/~shlens/pub/notes/pca.pdf) on the 3D measuring points of the seaward side wall of the crane 10 as well as on the 3D measuring points of the side wall of the crane 10 allows in each case the formation of a normal vector in the center of gravity of the respective 3D measuring points. From these two normal vectors is now averaging the y-direction vector of the crane coordinate system 17 educated. In this case, it is chosen as a convention that the y direction vector faces the sea side.

Ebenfalls durch Hauptachsentransformation wird auf den 3D-Messpunkten in den Boden-Messdaten 21 ein Normalenvektor gebildet und als z-Richtungsvektor des Boden-Koordinatensystems 16 gewählt.Also by major axis transformation will be on the 3D measurement points in the soil measurement data 21 a normal vector is formed and as a z-direction vector of the ground coordinate system 16 selected.

Anschließend ergibt sich der x-Richtungsvektor sowohl des Boden-Koordinatensystems 16 als auch des Kran-Koordinatensystems 17 aus dem Kreuzprodukt des y-Richtungsvektors des Kran-Koordinatensystems 17 und des z-Richtungsvektors des Boden-Koordinatensystems 16.Subsequently, the x-direction vector of both the ground coordinate system results 16 as well as the crane coordinate system 17 from the cross product of the y-direction vector of the crane coordinate system 17 and the z-direction vector of the ground coordinate system 16 ,

Im nächsten Schritt wird der z-Richtungsvektor des Kran-Koordinatensystems aus dem Kreuzprodukt des x-Richtungsvektors und des y-Richtungsvektors des Kran-Koordinatensystems 17 berechnet. Entsprechend ergibt sich der y-Richtungsvektor des Boden-Koordinatensystems 16 aus dem Kreuzprodukt des z-Richtungsvektors und des x-Richtungsvektors des Boden-Koordinatensystems 16.In the next step, the z direction vector of the crane coordinate system becomes the cross product of the x direction vector and the y direction vector of the crane coordinate system 17 calculated. The result is the y-direction vector of the ground coordinate system 16 from the cross product of the z-direction vector and the x-direction vector of the ground coordinate system 16 ,

Als Ursprung des Kran-Koordinatensystems 17 wird zunächst die Mitte zwischen den Fußpunkten der aus den Kran-Messdaten 22 gebildeten Normalenvektoren gewählt.As the origin of the crane coordinate system 17 First, the middle between the foot points of the crane measurement data 22 selected normal vectors.

Anschließend werden die 3D-Messpunkte in den Kran-Messdaten 22, welche zur seeseitigen Seitenwand und zur landseitigen Seitenwand gehören, in das Kran-Koordinatensystem 17 transformiert. Im Zuge dessen wird auch ihre Ausdehnung in x-Richtung als Minimum und Maximum bestimmt. Daraufhin wird das Kran-Koordinatensystem 17 in seiner x-Richtung so verschoben, dass sein Ursprung auf der Mitte zwischen dem ermittelten Minimum und Maximum liegt. Damit ist das Kran-Koordinatensystem 17 vollständig bestimmt.Subsequently, the 3D measuring points in the crane measurement data 22 in the crane coordinate system, which belong to the seaward side wall and the side wall on the landside 17 transformed. In the course of this, their expansion in the x-direction is also determined as minimum and maximum. Then the crane coordinate system becomes 17 shifted in its x-direction so that its origin lies in the middle between the determined minimum and maximum. This is the crane coordinate system 17 completely determined.

Als Ursprung des Boden-Koordinatensystems 16 wird zunächst der Schwerpunkt der 3D-Messpunkte in den Boden-Messdaten 21 bestimmt. Anschließend wird die z-Achse des Kran-Koordinatensystems 17 mit der Ebene, welche durch die 3D-Messpunkte in den Boden-Messdaten 21 gebildet wird, geschnitten. Der Schnittpunkt als Ursprung des Boden-Koordinatensystems 16 gewählt.As the origin of the ground coordinate system 16 First, the focus of the 3D measurement points in the soil measurement data 21 certainly. Subsequently, the z-axis of the crane coordinate system 17 with the plane passing through the 3D measurement points in the ground measurement data 21 is formed, cut. The intersection as the origin of the ground coordinate system 16 selected.

Nun können Fahrspuren unter dem Kran 10 manuell zwischen Gleisen, auf welchen die Räder 14 des Krans 10 laufen, vermessen werden. Die Lage der Mitte zwischen den Gleisen relativ zur Sensoranordnung 11 ergibt sich aus den zuvor ermittelten Koordinatensystemen.Now, lanes can be under the crane 10 manually between tracks on which the wheels 14 of the crane 10 run, be measured. The location of the center between the tracks relative to the sensor array 11 results from the previously determined coordinate systems.

Anhand der ermittelten Koordinatensysteme wird jeweils eine Koordinatentransformation zu dem Sensor-Koordinatensystem 18 der Sensoranordnung 11 errechnet. Mit dieser wird die Sensoranordnung 11 kalibriert.Based on the determined coordinate systems in each case a coordinate transformation to the sensor coordinate system 18 the sensor arrangement 11 calculated. With this, the sensor arrangement 11 calibrated.

5 zeigt einen Kran 10 welcher auf Rädern 14 über einen Boden 15 bewegt werden kann. Auf dem Boden sind Spurmarkierungen 13 eingezeichnet. Weiterhin sind in 5 zwei Sensoranordnungen 11 gezeigt. Die linke Sensoranordnung 11 ist innerhalb der gestrichelten Kreislinie vergrößert dargestellt. Die Sensoranordnungen 11 verfügen über ein Sensor-Koordinatensystem 18. Die vergrößert dargestellte Sensoranordnung 11 besteht aus einem Träger 30, auf dem ein erster Sensor 32 sowie ein zweiter Sensor 35 montiert sind. Der erste Sensor 32 ist über einen Drehantrieb 31 an dem Träger 30 montiert, wodurch der erste Sensor 32 schwenkbar gelagert ist. Weiterhin verfügt der erste Sensor 32 über ein erstes Koordinatensystem 181 und der zweite Sensor über ein zweites Koordinatensystem 182. Im Folgenden wird davon ausgegangen, dass das Sensor-Koordinatensystem 18 mit dem ersten Koordinatensystem 181 übereinstimmt. 5 shows a crane 10 which on wheels 14 over a floor 15 can be moved. There are lane markings on the ground 13 located. Furthermore, in 5 two sensor arrangements 11 shown. The left sensor arrangement 11 is shown enlarged within the dashed circle. The sensor arrangements 11 have a sensor coordinate system 18 , The enlarged illustrated sensor arrangement 11 consists of a carrier 30 on which a first sensor 32 and a second sensor 35 are mounted. The first sensor 32 is via a rotary drive 31 on the carrier 30 mounted, creating the first sensor 32 is pivotally mounted. Furthermore, the first sensor has 32 via a first coordinate system 181 and the second sensor via a second coordinate system 182 , The following assumes that the sensor coordinate system 18 with the first coordinate system 181 matches.

Im Kontext einer Krananlage handelt es sich bei dem ersten Sensor 32 beispielsweise um einen 2D-Laserscanner, welcher über den Drehantrieb 31 geschwenkt und zur Aufzeichnung eines zweidimensionalen Umgebungsbildes verwendet werden kann. Bei dem zweiten Sensor 35 handelt es sich etwa um eine Kamera, z. B. eine Videokamera. Die Videokamera eignet sich besonders zur Erkennung der Spurmarkierungen 13 auf dem Boden 15 unter dem Kran 10. Der Träger 30 kann beispielsweise als Montagegerüst ausgeführt sein.In the context of a crane system, it is the first sensor 32 for example, a 2D laser scanner, which via the rotary drive 31 pivoted and used to record a two-dimensional environment image. At the second sensor 35 it is about a camera, z. B. a video camera. The video camera is particularly suitable for detecting the lane markings 13 on the ground 15 under the crane 10 , The carrier 30 can for example be designed as a mounting frame.

Zuerst werden der erste Sensor 32 und der zweite Sensor 35 auf dem Träger 30 montiert, wodurch die Sensoranordnung 11 gebildet wird. Anschließend wird eine Koordinatentransformation zwischen dem ersten Koordinatensystem 181 des ersten Sensors 32 und dem zweiten Koordinatensystem 182 des zweiten Sensors 35 ermittelt. Dies kann beispielsweise mit zueinander referenzierten Kalibrierkörpern und Kalibriermustern erfolgen.First, the first sensor 32 and the second sensor 35 on the carrier 30 mounted, whereby the sensor assembly 11 is formed. Subsequently, a coordinate transformation between the first coordinate system 181 of the first sensor 32 and the second coordinate system 182 of the second sensor 35 determined. This can be done, for example, with reference to each other calibrated calibration and calibration.

In einem dritten Schritt wird die Sensoranordnung 11 bzw. der Träger 30 am Einsatzort, etwa der Kranbrücke, montiert. Abschließend wird die Sensoranordnung 11 in Relation zu ihrer Umgebung am Einsatzort nach dem oben beschriebenen Verfahren kalibriert, wobei die ermittelte Koordinatentransformation zwischen dem ersten Koordinatensystem 181 und dem zweiten Koordinatensystem 182 verwendet wird.In a third step, the sensor arrangement 11 or the carrier 30 mounted on site, such as the crane bridge. Finally, the sensor arrangement 11 calibrated in relation to their environment at the site according to the method described above, wherein the determined coordinate transformation between the first coordinate system 181 and the second coordinate system 182 is used.

Zusätzlich zum oben beschriebenen Verfahren können nun die im Videobild der Videokamera sichtbaren Spurmarkierungen 13 mit bekannten Methoden der Bildverarbeitung extrahiert werden, welche zunächst im zweiten Koordinatensystem 182 vorliegen. Durch Anwendung der Koordinatentransformation zwischen dem ersten Koordinatensystem 181 und dem zweiten Koordinatensystem 182 kann die Lage der Spurmarkierungen 13 im ersten Koordinatensystem 181 bestimmt werden. Zwar sind im Videobild keine Abstandsinformationen enthalten. Diese sind jedoch durch die Randbedingung ermittelbar, dass die Spurmarkierungen 13 in der durch den x- und y-Richtungsvektor des Boden-Koordinatensystems 16 aufgespannten Ebene des Bodens 15 liegen müssen. Da die Koordinatentransformation zwischen dem Sensor-Koordinatensystem 18 (gemäß obiger Annahme identisch mit dem ersten Koordinatensystem 181) und dem Boden-Koordinatensystem 16 zuvor ermittelt wurde, kann die Lage der Spurmarkierungen 13 im ersten Koordinatensystem 181 hiermit berechnet werden.In addition to the method described above, the lane markings visible in the video image of the video camera can now be displayed 13 be extracted with known methods of image processing, which initially in the second coordinate system 182 available. By applying the coordinate transformation between the first coordinate system 181 and the second coordinate system 182 can the location of the lane markers 13 in the first coordinate system 181 be determined. Although no distance information is included in the video image. However, these can be determined by the boundary condition that the lane markings 13 in the x and y direction vector of the ground coordinate system 16 spanned level of the soil 15 must lie. Since the coordinate transformation between the sensor coordinate system 18 (same as the first coordinate system in the above assumption 181 ) and the ground coordinate system 16 previously determined, the location of the lane markings 13 in the first coordinate system 181 be calculated herewith.

Somit können in diesem Anwendungsfall die Fahrspuren unter der Krananlage automatisch erkannt und in ein Umgebungsmodell der Krananlage einbezogen werden. Ein solches Umgebungsmodell erlaubt die Modellierung und Steuerung der Anlage. Zusätzlich zur Lage der Koordinatensysteme wird somit auch die Lage der Spurmarkierungen 13 bzw. der Fahrspuren rechnergestützt ermittelt.Thus, in this application, the lanes can be detected automatically under the crane system and included in an environmental model of the crane system. Such an environment model allows modeling and control of the plant. In addition to the position of the coordinate systems thus also the location of the lane markings 13 or the lanes determined computerized.

Erst die vorab im Werk vorgenommene Kalibrierung der Videokamera zu den im ersten Koordinatensystem 181 bzw. Sensor-Koordinatensystem 18 vorliegenden 3D-Messpunkten des Laserscanners erlaubt es, wie oben beschrieben am Einsatzort automatisch aus dem simultanen Bild der Videokamera die Lage der Spurmarkierungen 13 zu extrahieren.First the factory calibration of the video camera to those in the first coordinate system 181 or sensor coordinate system 18 The present 3D measuring points of the laser scanner allows, as described above at the place of use automatically from the simultaneous image of the video camera, the position of the lane markers 13 to extract.

Gleiches gilt für beliebige andere Einsatzgebiete der Sensoranordnung 11. Die beschriebenen Ausführungsbeispiele lassen sich auch in anderen Szenarien analog implementieren.The same applies to any other areas of application of the sensor arrangement 11 , The described embodiments can also be implemented analogously in other scenarios.

Claims (11)

Verfahren zur Kalibrierung einer Sensoranordnung (11) mit folgenden Schritten: – ein erster Sensor (32) und ein zweiter Sensor (35) werden auf einem Träger (30) montiert, wodurch die Sensoranordnung (11) gebildet wird, – eine Koordinatentransformation zwischen einem ersten Koordinatensystem (181) des ersten Sensors (32) und einem zweiten Koordinatensystem (182) des zweiten Sensors (35) wird bestimmt, – die Sensoranordnung (11) wird an einem Einsatzort montiert, – die Sensoranordnung (11) wird in Relation zu einer Umgebung am Einsatzort kalibriert, wobei die Koordinatentransformation zwischen dem ersten Koordinatensystem (181) und dem zweiten Koordinatensystem (182) verwendet wird, – die Sensoranordnung (11) erfasst Messdaten ihrer Umgebung, – in den Messdaten werden Boden-Messdaten (21) für Teile eines Bodens (15) unter dem Objekt sowie Objekt-Messdaten für Teile des Objekts identifiziert, – die Objekt-Messdaten werden genutzt, um aus den Boden-Messdaten (21) ein Boden-Koordinatensystem (16) zu bestimmen.Method for calibrating a sensor arrangement ( 11 ) comprising the following steps: - a first sensor ( 32 ) and a second sensor ( 35 ) are placed on a carrier ( 30 ), whereby the sensor arrangement ( 11 ), a coordinate transformation between a first coordinate system ( 181 ) of the first sensor ( 32 ) and a second coordinate system ( 182 ) of the second sensor ( 35 ) is determined, - the sensor arrangement ( 11 ) is mounted at a place of use, - the sensor arrangement ( 11 ) is calibrated in relation to an on-site environment, the coordinate transformation between the first coordinate system ( 181 ) and the second coordinate system ( 182 ) is used, - the sensor arrangement ( 11 ) acquires measured data of their environment, - in the measured data, ground measured data ( 21 ) for parts of a soil ( 15 ) underneath the object and object measurement data for parts of the object are identified, - the object measurement data is used to extract from the ground measurement data ( 21 ) a ground coordinate system ( 16 ). Verfahren nach Anspruch 1, – bei dem weitere Sensoren auf dem Träger (30) montiert werden, – bei dem jeweils eine Koordinatentransformation zwischen dem ersten Koordinatensystem (181) des erstens Sensors (32) und Koordinatensystemen der weiteren Sensoren ermittelt wird, – bei dem die zusätzlich ermittelten Koordinatentransformationen nach der Montage am Einsatzort bei der Kalibrierung der Sensoranordnung verwendet werden.Method according to claim 1, - in which further sensors are mounted on the support ( 30 ), in which in each case a coordinate transformation between the first coordinate system ( 181 ) of the first sensor ( 32 ) and coordinate systems of the other sensors is determined, - in which the additionally determined coordinate transformations are used after assembly at the place of use in the calibration of the sensor array. Verfahren nach Anspruch 1, bei dem als erster Sensor (32) ein Laserscanner und als zweiter Sensor (35) eine Kamera, insbesondere eine Videokamera verwendet wird.Method according to Claim 1, in which as the first sensor ( 32 ) a laser scanner and as a second sensor ( 35 ) a camera, in particular a video camera is used. Verfahren nach Anspruch 1, bei dem – eine Koordinatentransformation zwischen dem ersten Koordinatensystem (181) und dem Boden-Koordinatensystem (16) berechnet wird, – die Sensoranordnung (11) in Relation zu der Umgebung am Einsatzort kalibriert wird, wobei die Koordinatentransformation zwischen dem ersten Koordinatensystem (181) und dem zweiten Koordinatensystem (182) und die Koordinatentransformation zwischen dem ersten Koordinatensystem (181) und dem Boden-Koordinatensystem (16) verwendet wird.Method according to claim 1, in which - a coordinate transformation between the first coordinate system ( 181 ) and the ground coordinate system ( 16 ), - the sensor arrangement ( 11 ) is calibrated in relation to the environment at the point of use, the coordinate transformation between the first coordinate system ( 181 ) and the second coordinate system ( 182 ) and the coordinate transformation between the first coordinate system ( 181 ) and the ground coordinate system ( 16 ) is used. Verfahren nach Anspruch 1, – bei dem aus einem Bild der Kamera Spurmarkierungen (13) extrahiert werden, welche zunächst im zweiten Koordinatensystem (182) vorliegen, – bei dem die Sensoranordnung (11) in Relation zu den Spurmarkierungen (13) kalibriert wird, indem die Koordinatentransformation zwischen dem ersten Koordinatensystem (181) und dem zweiten Koordinatensystem (182) und die Koordinatentransformation zwischen dem ersten Koordinatensystem (181) und dem Boden-Koordinatensystem (16) angewendet wird, um die Lage der Spurmarkierungen (13) im ersten Koordinatensystem (181) zu bestimmen.Method according to Claim 1, - in which lane markings ( 13 ), which first in the second coordinate system ( 182 ), in which the sensor arrangement ( 11 ) in relation to the lane markings ( 13 ) is calibrated by the coordinate transformation between the first coordinate system ( 181 ) and the second coordinate system ( 182 ) and the coordinate transformation between the first coordinate system ( 181 ) and the ground coordinate system ( 16 ) is applied to the location of the lane markings ( 13 ) in the first coordinate system ( 181 ). Verfahren nach Anspruch 1, bei dem das Objekt ein Kran (10), insbesondere ein Ladekran, Portalkran, Brückenkran, Halbportalkran, Bockkran oder Portaldrehkran ist.Method according to claim 1, wherein the object is a crane ( 10 ), in particular a loading crane, gantry crane, bridge crane, semi-portal crane, gantry crane or portal crane. Verfahren nach Anspruch 6, bei dem die Teile des Objekts Seitenwände eines Portalkrans sind.Method according to claim 6, wherein the parts of the Object sidewalls of a gantry crane. Verfahren nach Anspruch 1, bei dem Planzeichnungen des Objekts genutzt werden, um die Boden-Messdaten (21) sowie die Objekt-Messdaten rechnergestützt zu identifizieren.Method according to claim 1, in which plan drawings of the object are used to obtain the ground measurement data ( 21 ) as well as to identify the object measurement data computer-aided. Verfahren nach Anspruch 1, – bei dem anhand der Objekt-Messdaten ein y-Richtungsvektor eines Objekt-Koordinatensystems ermittelt wird, – bei dem anhand der Boden-Messdaten (21) ein z-Richtungsvektor des Boden-Koordinatensystems (16) ermittelt wird, – bei dem ein x-Richtungsvektor sowohl des Boden-Koordinatensystems (16) als auch des Objekt-Koordinatensystems anhand eines Kreuzproduktes des y-Richtungsvektors des Objekt-Koordinatensystems und des z-Richtungsvektors des Boden-Koordinatensystems (16) berechnet wird, – bei dem ein z-Richtungsvektor des Objekt-Koordinatensystems aus einem Kreuzprodukt des x-Richtungsvektors und des y-Richtungsvektors des Objekt-Koordinatensystems berechnet wird, – bei dem ein y-Richtungsvektor des Boden-Koordinatensystems (16) aus einem Kreuzprodukt des z-Richtungsvektors und des x-Richtungsvektors des Boden-Koordinatensystems (16) berechnet wird.Method according to Claim 1, - in which a y-direction vector of an object coordinate system is determined on the basis of the object measurement data, - in which, on the basis of the ground measurement data ( 21 ) a z-direction vector of the ground coordinate system ( 16 ), in which an x-direction vector of both the ground coordinate system ( 16 ) as well as the object coordinate system based on a cross product of the y-direction vector of the object coordinate system and the z-direction vector of the ground coordinate system ( 16 ) is calculated, - in which a z-direction vector of the object coordinate system is calculated from a cross product of the x-direction vector and the y-direction vector of the object coordinate system, - in which a y-direction vector of the ground coordinate system ( 16 ) from a cross product of the z-direction vector and the x-direction vector of the ground coordinate system ( 16 ) is calculated. Verfahren nach Anspruch 9, bei dem der y-Richtungsvektor des Objekt-Koordinatensystems mittels Hauptachsentransformation oder Hauptkomponentenanalyse durch einen Normalenvektor im Schwerpunkt von 3D-Messpunkten in den Objekt-Messdaten gebildet wird.A method according to claim 9, wherein the y-direction vector of the object coordinate system is obtained by principal axis transformation or principal component analysis by a normal vector in Focus of 3D measurement points formed in the object measurement data. Verfahren nach Anspruch 9, bei dem der z-Richtungsvektor des Boden-Koordinatensystems (16) mittels Hauptachsentransformation oder Hauptkomponentenanalyse durch einen Normalenvektor im Schwerpunkt von 3D-Messpunkten in den Boden-Messdaten (21) gebildet wird.Method according to Claim 9, in which the z-direction vector of the ground coordinate system ( 16 ) by means of principal axis transformation or principal component analysis by a normal vector at the center of gravity of 3D measurement points in the soil measurement data ( 21 ) is formed.
DE102007046287A 2007-09-27 2007-09-27 Method for calibrating a sensor arrangement Active DE102007046287B4 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102007046287A DE102007046287B4 (en) 2007-09-27 2007-09-27 Method for calibrating a sensor arrangement
PCT/EP2008/062832 WO2009043789A1 (en) 2007-09-27 2008-09-25 Sensor unit and method for calibration thereof
EP08804729A EP2193334A1 (en) 2007-09-27 2008-09-25 Sensor unit and method for calibration thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007046287A DE102007046287B4 (en) 2007-09-27 2007-09-27 Method for calibrating a sensor arrangement

Publications (2)

Publication Number Publication Date
DE102007046287A1 DE102007046287A1 (en) 2009-04-02
DE102007046287B4 true DE102007046287B4 (en) 2009-07-30

Family

ID=40184863

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007046287A Active DE102007046287B4 (en) 2007-09-27 2007-09-27 Method for calibrating a sensor arrangement

Country Status (3)

Country Link
EP (1) EP2193334A1 (en)
DE (1) DE102007046287B4 (en)
WO (1) WO2009043789A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021064294A1 (en) 2019-10-04 2021-04-08 Cargotec Finland Oy Spreader position control

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2448036C1 (en) * 2010-08-04 2012-04-20 Общество с ограниченной ответственностью "Научно-производственное предприятие "Резонанс" Automotive safety device with graphical display
FI130426B (en) * 2014-06-30 2023-08-23 Konecranes Oyj Load transport by means of load handling equipment
CN106210616A (en) * 2015-05-04 2016-12-07 杭州海康威视数字技术股份有限公司 The acquisition method of container representation information, device and system
CN106629394B (en) * 2015-10-28 2018-01-16 上海振华重工电气有限公司 Camera extrinsic number calibration system and method applied to the detection of track sling pose
CN105480864B (en) * 2016-01-20 2017-05-10 上海振华重工电气有限公司 Automatic detecting and calibrating system and method for container crane
DE102017112661A1 (en) * 2017-06-08 2018-12-13 Konecranes Global Corporation Automatically guided portal lifting device for containers and method for operating such a portal lifting device
DE102017213362A1 (en) 2017-08-02 2019-02-07 Siemens Aktiengesellschaft Evaluate a calibration of a sensor system
CN109405804B (en) * 2018-11-05 2021-02-09 徐州重型机械有限公司 Operation assisting method and system
CN113587811B (en) * 2021-07-24 2023-06-23 中交四公局（北京)公路试验检测科技有限公司 Bridge measuring point positioning method, control device, system and medium
CN116412818A (en) * 2022-01-05 2023-07-11 腾讯科技（深圳）有限公司 Positioning method, positioning device, positioning apparatus, positioning device, computer-readable storage medium, and computer program product
CN115616610B (en) * 2022-12-19 2023-03-21 陕西欧卡电子智能科技有限公司 Detection method and device for ship passing through bridge, computer equipment and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19519741A1 (en) * 1995-06-02 1996-12-05 Siemens Ag Stacker crane sensor system
DE10136398A1 (en) * 2001-07-26 2003-03-06 Siemens Ag Operation of a container crane, involves determining position of spreader from positions of ground markings to enable automatic accurate positioning of the spreader
DE10202399A1 (en) * 2002-01-19 2003-08-07 Noell Crane Sys Gmbh Positioning of transport vehicles in depot handling containers uses laser scanning system
DE10251910A1 (en) * 2002-11-07 2004-06-03 Siemens Ag container crane

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3816988A1 (en) * 1988-05-18 1989-11-30 Tax Ingenieurgesellschaft Mbh CONTAINER CRANE SYSTEM
US20020014533A1 (en) * 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
DE102004033114A1 (en) * 2004-07-08 2006-01-26 Ibeo Automobile Sensor Gmbh Method for calibrating a distance image sensor
JP2006151125A (en) * 2004-11-26 2006-06-15 Omron Corp On-vehicle image processing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19519741A1 (en) * 1995-06-02 1996-12-05 Siemens Ag Stacker crane sensor system
DE10136398A1 (en) * 2001-07-26 2003-03-06 Siemens Ag Operation of a container crane, involves determining position of spreader from positions of ground markings to enable automatic accurate positioning of the spreader
DE10202399A1 (en) * 2002-01-19 2003-08-07 Noell Crane Sys Gmbh Positioning of transport vehicles in depot handling containers uses laser scanning system
DE10251910A1 (en) * 2002-11-07 2004-06-03 Siemens Ag container crane

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KERSTEN,T., PRZYBILLA,H.-J. und LINDSTAET,M.: Integration, Fusion und Kombination von terrestrischen Laserscannerdaten und digitalen Bildern. In: Workshop "Anforderungen an geometrische Fusionsverfahren", DIN Deutsches Institut für Normung e.V. und Humboldt Universität zu Berlin, 20. Nov. 2006 *
KERSTEN,T., PRZYBILLA,H.-J. und LINDSTAET,M.: Integration, Fusion und Kombination von terrestrischen Laserscannerdaten und digitalen Bildern. In: Workshop "Anforderungen an geometrische Fusionsverfahren", DIN Deutsches Institut für Normung e.V. und Humboldt Universität zu Berlin, 20. Nov. 2006 ZHAO,H., CHEN,Y. und SHIBASAKI,R.: An efficient extrinsic calibration of multiple laser scanners and cameras'sensor system on a mobile platform. In Proceedings of the IEEE Intelligent Vehicles Symposium, 2007, S. 422-427
ZHAO,H., CHEN,Y. und SHIBASAKI,R.: An efficient extrinsic calibration of multiple laser scanners and cameras'sensor system on a mobile platform. In Proceedings of the IEEE Intelligent Vehicles Symposium, 2007, S. 422-427 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021064294A1 (en) 2019-10-04 2021-04-08 Cargotec Finland Oy Spreader position control

Also Published As

Publication number Publication date
WO2009043789A1 (en) 2009-04-09
DE102007046287A1 (en) 2009-04-02
EP2193334A1 (en) 2010-06-09

Similar Documents

Publication Publication Date Title
DE102007046287B4 (en) Method for calibrating a sensor arrangement
EP3000762B1 (en) Method for automatic, optical determination of a target position for a container lifting device
EP1987371B1 (en) Method for detecting objects with a pivotable sensor device
DE102008019373A1 (en) Method for calibrating a measuring device of a crane comprises acquiring the surface of the container using sensors, determining the orientation of the surface of the container in reference systems and equilibrating the reference systems
DE112014006767B4 (en) Apparatus for creating a structure template measurement diagram or structure template measurement diagram data and methods therefor
EP2724972B1 (en) Method for determination of the position in which an ISO container is to be placed on a carrier vehicle, and 3D laser scan measurement system for the same
DE102018200240B4 (en) Robot control device
WO2000063681A2 (en) Image editing for preparing a texture analysis
WO2009049750A2 (en) Method for calibrating an assembly using at least one omnidirectional camera and an optical display unit
DE102015005570A1 (en) Method for adjusting and / or calibrating an environmental sensor, environment sensor and motor vehicle
DE102020007772A1 (en) Procedure for in-service calibration of a lidar and vehicle
DE102018200060B4 (en) Method for operating a mobile work machine and mobile work machine
WO2005029439A1 (en) Method and device for determining a position of a motor vehicle on a road
EP3707569B1 (en) Calibration of a stationary camera system for detecting the position of a mobile robot
DE102007060856A1 (en) Lane determining method, involves determining stopping point of movable objects e.g. lorry, with sensor arrangement, and determining lanes from stopping points of movable objects with statistic process
DE102007046288B4 (en) Method and sensor arrangement for measuring optical characteristics
AT509118B1 (en) METHOD AND DEVICE FOR DETECTING THE POSITION OF A VEHICLE IN A DEFINED AREA
DE102004050690A1 (en) Procedure, computer program with program code means, computer program product and device for modeling the environment of an autonomous mobile system
DE102020201000B3 (en) Computer-implemented method and system for obtaining an environment model and control device for an automated vehicle
DE102008014125A1 (en) Computer-aided object i.e. trailer, localization method, involves extracting and locating partial structure determined in one extraction step from partial structures determined in preceding extraction steps
EP4286790B1 (en) Device and method for determining the spatial position of receiving elements of a container
DE102016101701A1 (en) Method for checking a route for a transport vehicle, in particular for carrying out a large-capacity and / or heavy transport
DE102021123201A1 (en) Method and control arrangement for the extrinsic calibration of a camera arranged on a vehicle
WO2022083973A1 (en) Method for determining a relative position of a first part of a mobile platform with respect to a second part of the mobile platform
DE102022134635A1 (en) System and method for determining the position of objects in a surveillance area

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition