DE102019124558A1

DE102019124558A1 - Calibration object and method for calibrating at least one alignment of at least one distance imaging system

Info

Publication number: DE102019124558A1
Application number: DE102019124558.3A
Authority: DE
Inventors: Marco Heinen; Maximilian Poepperl
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2021-03-18

Abstract

Es werden ein Kalibrierobjekt und ein Verfahren zur Kalibrierung wenigstens einer Ausrichtung wenigstens eines Abstands-Bildsystems beschrieben. Das Kalibrierobjekt umfasst wenigstens einen Kalibrierbereich (34), welcher zumindest für Abtastsignale des wenigstens einen Abstands-Bildsystems reflektierend wirkt. Wenigstens ein Kalibrierbereich (34) ist ein Perkolationscluster.A calibration object and a method for calibrating at least one alignment of at least one distance imaging system are described. The calibration object comprises at least one calibration area (34) which has a reflective effect at least for scanning signals of the at least one distance imaging system. At least one calibration area (34) is a percolation cluster.

Description

Technisches GebietTechnical area

Die Erfindung betrifft ein Kalibrierobjekt zur Kalibrierung wenigstens einer Ausrichtung wenigstens eines Abstands-Bildsystems, mit wenigstens einem Kalibrierbereich, welcher zumindest für Abtastsignale des wenigstens einen Abstands-Bildsystems reflektierend wirkt.The invention relates to a calibration object for calibrating at least one alignment of at least one distance imaging system, with at least one calibration area which has a reflective effect at least for scanning signals of the at least one distance imaging system.

Ferner betrifft die Erfindung ein Verfahren zur Kalibrierung wenigstens einer Ausrichtung wenigstens eines Abstands-Bildsystems bezüglich wenigstens einem Referenz-Bildsystem, welche an einem Fahrzeug angeordnet sind, bei dem

- mit dem wenigstens einen Abstands-Bildsystem wenigstens ein Kalibrierobjekt erfasst wird und Abstands-Bildsystem-Koordinaten von wenigstens einem Kalibrierbereich des wenigstens einen Kalibrierobjekts in einem Abstands-Bildsystem-Koordinatensystem des wenigstens einen Abstands-Bildsystems ermittelt werden,
- mit dem wenigstens einen Referenz-Bildsystem dasselbe Kalibrierobjekt erfasst wird und Referenzkoordinaten von demselben wenigstens einen Kalibrierbereich desselben wenigstens einen Kalibrierobjekts in einem Referenz-Koordinatensystem des wenigstens einen Referenz-Bildsystems ermittelt werden,
- aus den Abstands-Bildsystem-Koordinaten und den Referenzkoordinaten wenigstens eine Transformationsvorschrift ermittelt wird, welche die Ausrichtung des wenigstens einen Abstands-Bildsystems relativ zu dem wenigstens einen Referenz-Bildsystem charakterisiert.

The invention further relates to a method for calibrating at least one alignment of at least one distance image system with respect to at least one reference image system, which are arranged on a vehicle, in which

at least one calibration object is acquired with the at least one distance imaging system and distance imaging system coordinates of at least one calibration area of the at least one calibration object are determined in a distance imaging system coordinate system of the at least one distance imaging system,
the same calibration object is recorded with the at least one reference image system and reference coordinates of the same at least one calibration area of the same at least one calibration object are determined in a reference coordinate system of the at least one reference image system,
- At least one transformation rule is determined from the distance image system coordinates and the reference coordinates, which characterizes the alignment of the at least one distance image system relative to the at least one reference image system.

Stand der TechnikState of the art

Aus der DE 10 2004 033 114 A1 ist ein Verfahren zur wenigstens teilweisen Kalibrierung eines an einem Fahrzeug gehaltenen Abstandsbildsensors für elektromagnetische Strahlung bekannt, mittels dessen ein Erfassungsbereich entlang wenigstens einer Abtastfläche abtastbar und ein entsprechendes Abstandsbild erfassbar ist. In Bezug auf eine Ausrichtung der Abtastfläche oder des Abstandsbildsensors relativ zu dem Fahrzeug werden mittels des Abstandsbildsensors Abstände zwischen dem Abstandsbildsensor und Bereichen auf wenigstens einer Kalibrierfläche ermittelt. Unter Verwendung der ermittelten Abstände wird ein Wert für eine die Ausrichtung wenigstens teilweise beschreibende Größe ermittelt.From the DE 10 2004 033 114 A1 a method for at least partial calibration of a distance image sensor for electromagnetic radiation held on a vehicle is known, by means of which a detection area can be scanned along at least one scanning surface and a corresponding distance image can be detected. With regard to an alignment of the scanning surface or the distance image sensor relative to the vehicle, distances between the distance image sensor and areas on at least one calibration surface are determined by means of the distance image sensor. Using the determined distances, a value is determined for a variable that at least partially describes the orientation.

Der Erfindung liegt die Aufgabe zugrunde, ein Kalibrierobjekt und ein Verfahren der eingangs genannten Art zu gestalten, bei dem eine Kalibrierung des wenigstens einen Abstands-Bildsystems weiter verbessert werden kann.The invention is based on the object of designing a calibration object and a method of the type mentioned at the outset, in which calibration of the at least one distance imaging system can be further improved.

Offenbarung der ErfindungDisclosure of the invention

Diese Aufgabe wird bei dem Kalibrierobjekt erfindungsgemäß dadurch gelöst, dass wenigstens ein Kalibrierbereich ein Perkolationscluster ist.According to the invention, this object is achieved in the case of the calibration object in that at least one calibration area is a percolation cluster.

Perkolationscluster sind bekanntermaßen zufallsbedingte, zusammenhängend ausgebildete Gebiete.Percolation clusters are known to be random, coherently formed areas.

Erfindungsgemäß ist der wenigstens eine Kalibrierbereich zufallsbedingt ausgebildet. Auf diese Weise können regelmäßige Muster in dem wenigstens ein Kalibrierbereich verringert werden. So können Mehrdeutigkeiten beispielsweise aufgrund von Symmetrien vermieden werden, welche bei Drehungen und/oder Verschiebungen des wenigstens einen Abstands-Bildsystems oder eines Koordinatensystems des wenigstens einen Abstands-Bildsystems relativ zu dem wenigstens einen Kalibrierbereichs auftreten können.According to the invention, the at least one calibration area is random. In this way, regular patterns can be reduced in the at least one calibration area. Ambiguities can thus be avoided, for example due to symmetries, which can occur in the event of rotations and / or shifts of the at least one distance imaging system or a coordinate system of the at least one distance imaging system relative to the at least one calibration area.

Das erfindungsgemäße Kalibrierobjekt kann zum Kalibrieren des wenigstens einen Abstands-Bildsystems gegenüber einem Referenz-Bildsystem, insbesondere einer Kamera oder vorkalibrierten Referenzabstands-Bildsystemen, verwendet werden. Beim Kalibrierprozess können Objektdaten des Kalibrierobjektes, die mit dem Abstands-Bildsystem insbesondere in Form von Punktwolken aufgenommen werden, mit entsprechenden Objektdaten des Kalibrierobjekts, die mit einem Referenz-Bildsystem aufgenommen werden, beispielsweise mittels einer Gütefunktion beurteilt werden. Aus einem Optimum der Gütefunktion kann eine Translationsgröße oder eine Translationsfunktion ermittelt werden, welche eine Abweichung zwischen den Objektdaten des Referenz-Bildsystems und den Objektdaten, die mit dem zu kalibrierenden Abstands-Bildsystem aufgenommen wurden, quantifiziert. Dabei wird die Montageposition und/oder Montageausrichtung des zu kalibrierenden Abstands-Bildsystems als variabler Input verwendet. Gütefunktionen können im englischsprachigen auch als „Cost function“ oder „Fit qualitiy function“ bezeichnet werden.The calibration object according to the invention can be used to calibrate the at least one distance imaging system with respect to a reference imaging system, in particular a camera or pre-calibrated reference distance imaging systems. During the calibration process, object data of the calibration object, which are recorded with the distance imaging system, in particular in the form of point clouds, can be assessed with corresponding object data of the calibration object, which are recorded with a reference imaging system, for example by means of a quality function. From an optimum of the quality function, a translation variable or a translation function can be determined which quantifies a deviation between the object data of the reference image system and the object data that were recorded with the distance image system to be calibrated. The mounting position and / or mounting orientation of the distance imaging system to be calibrated is used as a variable input. Quality functions can also be referred to in English as "cost function" or "fit quality function".

Unter einem Abstands-Bildsystem im Sinne der Erfindung wird ein Bildsystem verstanden, mit dem zusätzlich zu einem zweidimensionalen Bild auch Abstandsinformationen eines Objekts erfasst werden können. Ein Referenz-Bildsystem im Sinne der Erfindung ist ein Bildsystem, welches für die Kalibrierung des wenigstens einen Abstands-Bildsystems als Referenz dient. Dabei kann das Referenz-Bildsystem ein zweidimensionales Bildsystem, insbesondere eine Kamera oder dergleichen, oder ein anderes Abstands-Bildsystem sein, mit welchem zusätzlich Abstandsformation gewonnen werden können. Bei dem Referenz-Bildsystem kann es sich auch um ein bereits kalibriertes Abstands-Bildsystem handeln.A distance image system in the sense of the invention is understood to mean an image system with which, in addition to a two-dimensional image, distance information of an object can also be recorded. A reference image system within the meaning of the invention is an image system which serves as a reference for the calibration of the at least one distance image system. The reference image system can be a two-dimensional image system, in particular a camera or the like, or another distance image system with which additionally spacing formation can be obtained. The reference image system can also be an already calibrated distance image system.

Vorteilhafterweise kann das wenigstens eine Abstands-Bildsystem nach einem Lichtlaufzeitverfahren, insbesondere einem Lichtimpulslaufzeitverfahren, arbeiten. Nach dem Lichtimpulslaufzeitverfahren arbeitende Abstands-Bildsysteme können als Time-of-Flight- (TOF), Light-Detection-and-Ranging-Systeme (LiDAR), Laser-Detection-and-Ranging-Systeme (LaDAR) oder dergleichen ausgestaltet und bezeichnet werden. Dabei wird eine Laufzeit vom Aussenden eines Abtastsignals, insbesondere eines Lichtpulses, mit wenigstens einem Sender und dem Empfang des entsprechenden reflektierten Abtastsignals mit wenigstens einem Empfänger gemessen und daraus eine Entfernung zwischen dem Abstands-Bildsystem und dem erfassten Objekt ermittelt.The at least one distance imaging system can advantageously operate according to a time-of-flight method, in particular a time-of-flight method. Distance imaging systems operating according to the light pulse transit time method can be designed and designated as time-of-flight (TOF), light detection and ranging systems (LiDAR), laser detection and ranging systems (LaDAR) or the like . A transit time from the emission of a scanning signal, in particular a light pulse, with at least one transmitter and the reception of the corresponding reflected scanning signal with at least one receiver is measured and a distance between the distance imaging system and the detected object is determined from this.

Vorteilhafterweise kann das wenigstens eine Abstands-Bildsystem als scannendes System ausgestaltet sein. Dabei kann mit Abtastsignalen ein Überwachungsbereich abgetastet, also abgescannt, werden. Dazu können die entsprechenden Abtastsignale bezüglich ihrer Ausbreitungsrichtung über den Überwachungsbereich geschwenkt werden. Hierbei kann wenigstens eine Umlenkeinrichtung, insbesondere eine Scaneinrichtung, eine Umlenkspiegeleinrichtung oder dergleichen, zum Einsatz kommen.The at least one distance imaging system can advantageously be designed as a scanning system. A monitoring area can be scanned, that is to say scanned, with scanning signals. For this purpose, the corresponding scanning signals can be swiveled over the monitoring area with regard to their direction of propagation. At least one deflecting device, in particular a scanning device, a deflecting mirror device or the like, can be used here.

Vorteilhafterweise kann wenigstens ein Abstands-Bildsystem als laserbasiertes Entfernungsmesssystem ausgestaltet sein. Das laserbasierte Entfernungsmesssystem kann als Lichtquelle wenigstens einen Laser aufweisen. Mit dem wenigstens einen Laser können insbesondere gepulste Lichtstrahlen als Abtastsignale gesendet werden. Mit dem Laser können Abtastsignale in für das menschliche Auge sichtbaren oder nicht sichtbaren Frequenzbereichen emittiert werden. Entsprechend kann wenigstens ein Empfänger einen für die Frequenz des ausgesendeten Lichtes ausgelegten Detektor, insbesondere einen Punktsensor, Zeilensensor oder Flächensensor, im Besonderen eine (Lawinen)fotodiode, eine Photodiodenzeile, einen CCD-Sensor oder dergleichen, aufweisen. Das laserbasierte Entfernungsmesssystem kann vorteilhafterweise ein Laserscanner sein. Mit einem Laserscanner kann ein Überwachungsbereich mit einem insbesondere gepulsten Laserstrahl abgetastet werden.At least one distance imaging system can advantageously be configured as a laser-based distance measuring system. The laser-based distance measuring system can have at least one laser as the light source. With the at least one laser, in particular pulsed light beams can be sent as scanning signals. The laser can be used to emit scanning signals in frequency ranges that are visible or invisible to the human eye. Correspondingly, at least one receiver can have a detector designed for the frequency of the emitted light, in particular a point sensor, line sensor or area sensor, in particular an (avalanche) photodiode, a line of photodiodes, a CCD sensor or the like. The laser-based distance measuring system can advantageously be a laser scanner. With a laser scanner, a monitoring area can be scanned with a particularly pulsed laser beam.

Das wenigstens eine Abstands-Bildsystem kann fest an oder in einem Fahrzeug, insbesondere einem Kraftfahrzeug, montiert sein. Vorteilhafterweise kann das wenigstens eine Abstands-Bildsystem an oder in einem Landfahrzeug, insbesondere einem Personenkraftwagen, einem Lastkraftwagen, einem Bus, einem Motorrad oder dergleichen, einem Luftfahrzeug und/oder einem Wasserfahrzeug montiert sein. Das wenigstens eine Abstands-Bildsystem kann auch bei Fahrzeugen eingesetzt werden, die autonom oder wenigstens teilautonom betrieben werden können. Das wenigstens eine Abstands-Bildsystem ist jedoch nicht beschränkt auf Fahrzeuge. Es kann auch im stationären Betrieb eingesetzt werden.The at least one distance imaging system can be permanently mounted on or in a vehicle, in particular a motor vehicle. The at least one distance imaging system can advantageously be mounted on or in a land vehicle, in particular a passenger car, a truck, a bus, a motorcycle or the like, an aircraft and / or a watercraft. The at least one distance imaging system can also be used in vehicles that can be operated autonomously or at least partially autonomously. However, the at least one distance imaging system is not limited to vehicles. It can also be used in stationary operation.

Das wenigstens eine Abstands-Bildsystem kann vorteilhafterweise mit wenigstens einer elektronischen Steuervorrichtung des Fahrzeugs, insbesondere einem Fahrerassistenzsystem und/oder einer Fahrwerksregelung und/oder einer Fahrer-Informationseinrichtung und/oder einem Parkassistenzsystem und/oder einer Gestenerkennung oder dergleichen, verbunden oder Teil einer solchen sein. Auf diese Weise kann das Fahrzeug autonom oder teilautonom betrieben werden.The at least one distance image system can advantageously be connected to or part of at least one electronic control device of the vehicle, in particular a driver assistance system and / or chassis control and / or a driver information device and / or a parking assistance system and / or gesture recognition or the like . In this way, the vehicle can be operated autonomously or semi-autonomously.

Mit dem wenigstens einen Abstands-Bildsystem können stehende oder bewegte Objekte, insbesondere Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten, insbesondere Schlaglöcher oder Steine, Fahrbahnbegrenzungen, Verkehrszeichen, Freiräume, insbesondere Parklücken, oder dergleichen, erfasst werden.With the at least one distance image system, stationary or moving objects, in particular vehicles, people, animals, plants, obstacles, uneven road surfaces, in particular potholes or stones, road boundaries, traffic signs, open spaces, in particular parking spaces, or the like, can be recorded.

Ein Fahrzeug kann mehrere Bildsysteme, insbesondere das wenigstens eine Abstands-Bildsystem und/oder wenigstens ein 2D-Bildsystem, zur Überwachung entsprechender Überwachungsbereiche aufweisen. Die Objektdaten, die mit den (Abstands-) Bildsystemen erfasst werden, können zusammengebracht werden, um die Überwachung zu verbessern. Diese Objektdaten können insbesondere einer Steuervorrichtung des Fahrzeugs zugeführt werden, mit der dieses autonom oder teilautonom betrieben werden kann. Bevor die Objektdaten der (Abstands-) Bildsysteme zusammengebracht werden können, muss die Ausrichtung und Position der (Abstands-) Bildsysteme bezüglich einer gemeinsamen Referenz, insbesondere einem Referenzrahmen, kalibriert werden. Hierzu kann eine fahrzeugfeste Referenz, insbesondere eines Referenz-Bildsystem, verwendet werden. Eine vollständige Beschreibung der Ausrichtung eines (Abstands-) Bildsystems beinhaltet sechs Freiheitsgrade, nämlich drei translatorische und drei rotatorische Freiheitsgrade. Beispielsweise bei der Verwendung eines kartesischen Koordinatensystems sind die translatorischen Freiheitsgrade die x-y-z-Koordinaten eines festen Referenzpunktes des entsprechenden (Abstands-) Bildsystems. Die rotatorischen Freiheitsgrade sind beispielsweise Roll- und Nick- und Gier-Winkel bezogen auf das Koordinatensystem. Mithilfe des erfindungsgemäßen Kalibrierobjektes kann wenigstens eine Transformationsvorschrift ermittelt werden, welche die Ausrichtung des wenigstens einen zu kalibrierenden Abstands-Bildsystems relativ zu wenigstens einem Referenz-Bildsystem charakterisiert. Mithilfe dieser wenigstens einen Transformationsvorschrift können Objektdaten, die mit dem wenigstens einen zu kalibrierenden Abstands-Bildsystem gewonnen werden, und Objektdaten, die mit dem wenigstens einen Referenz-Bildsystem gewonnen werden, zusammengebracht und gemeinsam ausgewertet werden. Eine Transformationsvorschrift kann beispielsweise eine Transformationsgröße oder eine Kombination von unterschiedlichen Transformationsgröße sein. Derartige Transformationsgrößen können insbesondere Winkel und/oder Verschiebungsvektoren sein, um die die Koordinaten eines Objekts von einem Koordinatensystem gedreht und/oder verschoben werden können, um in einem entsprechend anderen Koordinatensystem dargestellt zu werden.A vehicle can have several image systems, in particular the at least one distance image system and / or at least one 2D image system, for monitoring corresponding monitoring areas. The object data that are captured with the (distance) imaging systems can be brought together in order to improve the monitoring. These object data can in particular be fed to a control device of the vehicle with which the vehicle can be operated autonomously or partially autonomously. Before the object data of the (distance) image systems can be brought together, the alignment and position of the (distance) image systems with respect to a common reference, in particular a reference frame, must be calibrated. A reference fixed to the vehicle, in particular a reference image system, can be used for this purpose. A complete description of the alignment of a (distance) image system contains six degrees of freedom, namely three translational and three rotational degrees of freedom. For example, when using a Cartesian coordinate system, the translational degrees of freedom are the xyz coordinates of a fixed reference point of the corresponding (distance) image system. The rotational degrees of freedom are, for example, roll, pitch and yaw angles based on the coordinate system. With the aid of the calibration object according to the invention, at least one transformation rule can be determined which characterizes the alignment of the at least one distance imaging system to be calibrated relative to at least one reference imaging system. With the help of this at least a transformation rule, object data obtained with the at least one distance imaging system to be calibrated and object data obtained with the at least one reference imaging system can be brought together and jointly evaluated. A transformation rule can be, for example, a transformation variable or a combination of different transformation variables. Such transformation variables can in particular be angles and / or displacement vectors by which the coordinates of an object can be rotated and / or shifted from one coordinate system in order to be represented in a correspondingly different coordinate system.

Vorteilhafterweise kann die Kalibrierung wenigstens einer Ausrichtung wenigstens eines Abstands-Bildsystems in einer definierten stationären Umgebung, insbesondere zeitunabhängig, und für ein stationäres Fahrzeug durchgeführt werden. Auf diese Weise kann die Kalibrierung verbessert werden.The calibration of at least one alignment of at least one distance imaging system can advantageously be carried out in a defined stationary environment, in particular independently of time, and for a stationary vehicle. In this way the calibration can be improved.

Bei einer vorteilhaften Ausführungsform kann wenigstens ein Kalibrierbereich keine Symmetrien zumindest bezüglich Translationen und/oder Rotationen aufweisen. Auf diese Weise können Mehrdeutigkeiten, welche durch Translationen und/oder Rotationen des wenigstens einen Abstands-Bildsystems und/oder des Koordinatensystems des wenigstens einen Abstands-Bildsystems relativ zum Kalibrierobjekt hervorgerufen werden können, vermieden werden. Im Unterschied zu dem aus dem Stand der Technik bekannten Kalibrierobjekt kann es bei dem unsymmetrischen Kalibrierbereich des erfindungsgemäßen Kalibrierobjekts nicht zu Mehrdeutigkeiten beim Verschieben und/oder Verdrehen des Abstands-Bildsystems relativ zu dem wenigstens einen Kalibrierbereich kommen.In an advantageous embodiment, at least one calibration area cannot have any symmetries, at least with regard to translations and / or rotations. In this way, ambiguities which can be caused by translations and / or rotations of the at least one distance image system and / or the coordinate system of the at least one distance image system relative to the calibration object can be avoided. In contrast to the calibration object known from the prior art, ambiguities cannot arise in the asymmetrical calibration area of the calibration object according to the invention when shifting and / or rotating the distance imaging system relative to the at least one calibration area.

Bei einer weiteren vorteilhaften Ausführungsform kann wenigstens ein Kalibrierbereich nach einem invasion-percolation-algorithm realisiert sein. Mit einem invasion-percolation-algorithm können Perkolationscluster schnell und effizient realisiert werden.In a further advantageous embodiment, at least one calibration area can be implemented according to an invasion percolation algorithm. With an invasion percolation algorithm, percolation clusters can be implemented quickly and efficiently.

Bei einer weiteren vorteilhaften Ausführungsform kann wenigstens ein Bereich des wenigstens einen Kalibrierobjekts außerhalb des wenigstens einen Kalibrierbereichs zumindest für Abtastsignale des wenigstens einen Abstands-Bildsystems wenigstens teilweise durchlässig sein. Auf diese Weise kann ein Kontrast zwischen dem wenigstens einen Kalibrierbereich und den umgebenden Bereichen verbessert werden.In a further advantageous embodiment, at least one area of the at least one calibration object outside of the at least one calibration area can be at least partially transparent at least for scanning signals of the at least one distance imaging system. In this way, a contrast between the at least one calibration area and the surrounding areas can be improved.

Bei einer weiteren vorteilhaften Ausführungsform kann wenigstens ein Kalibrierbereich auf einem Trägermaterial realisiert sein, welches wenigstens für Abtastsignale des wenigstens einen Abstands-Bildsystems wenigstens teilweise durchlässig ist und/oder wenigstens ein Kalibrierbereich kann als dreidimensionaler Körper realisiert sein. Mit dem Trägermaterial kann der wenigstens eine Kalibrierbereich mechanisch gehalten werden. Aus einem dreidimensionalen Körper können zusätzlich Abstandsinformationen gewonnen werden.In a further advantageous embodiment, at least one calibration area can be implemented on a carrier material, which is at least partially permeable to scanning signals of the at least one distance imaging system and / or at least one calibration area can be implemented as a three-dimensional body. The at least one calibration area can be held mechanically with the carrier material. Distance information can also be obtained from a three-dimensional body.

Vorteilhafterweise kann wenigstens ein Kalibrierbereich mittels Beschichtung, mittels einem Ätzverfahren oder dergleichen auf dem wenigstens einen Trägermaterial realisiert sein.Advantageously, at least one calibration area can be implemented on the at least one carrier material by means of coating, by means of an etching process or the like.

Alternativ oder zusätzlich kann vorteilhafterweise wenigstens ein Kalibrierbereich aus einem Vollmaterial ausgeschnitten oder gestanzt sein. Alternativ oder zusätzlich kann wenigstens ein Kalibrierbereich aus einem spritz- und/ oder gießbaren Material geformt, insbesondere gespritzt, gegossen oder mittels einem 3D-Druckverfahren oder dergleichen, hergestellt sein.Alternatively or additionally, at least one calibration area can advantageously be cut out or punched from a solid material. Alternatively or additionally, at least one calibration area can be formed from an injectable and / or castable material, in particular injected, cast or produced by means of a 3D printing process or the like.

Vorteilhafterweise kann das Kalibrierobjekt aus wenigstens einem Kalibrierbereich bestehen, welcher als dreidimensionaler Körper realisiert ist. Auf diese Weise kann das Kalibrierobjekt in einem Stück gefertigt werden.The calibration object can advantageously consist of at least one calibration area which is implemented as a three-dimensional body. In this way, the calibration object can be manufactured in one piece.

Bei einer weiteren vorteilhaften Ausführungsform kann das Kalibrierobjekt innerhalb und/oder außerhalb von wenigstens einem Kalibrierbereich wenigstens eine Struktur aufweisen, deren Ausdehnung in der Größenordnung einer räumlichen Auflösung des wenigstens einen Abstands-Bildsystems bei der bestimmungsgemäßen Verwendung des Kalibrierobjekts liegt. Auf diese Weise kann die Genauigkeit der Kalibrierung verbessert werden.In a further advantageous embodiment, the calibration object can have at least one structure inside and / or outside of at least one calibration area, the extent of which is in the order of magnitude of a spatial resolution of the at least one distance imaging system when the calibration object is used as intended. In this way, the accuracy of the calibration can be improved.

Bei einer weiteren vorteilhaften Ausführungsform kann das Kalibrierobjekt innerhalb und/oder außerhalb wenigstens eines Kalibrierbereichs Strukturen mit unterschiedlichen Abmessungen aufweisen. Auf diese Weise kann die Optimierung der Gütefunktion zur Quantifizierung der Abweichung der Ausrichtung insbesondere von entsprechenden Koordinatensystemen zwischen dem zu kalibrierenden wenigstens einen Abstands-Bildsystem und eine Referenzposition, insbesondere einem Referenz-Bildsystem, besonders zuverlässig durchgeführt werden.In a further advantageous embodiment, the calibration object can have structures with different dimensions inside and / or outside of at least one calibration area. In this way, the optimization of the quality function for quantifying the deviation of the alignment, in particular from corresponding coordinate systems between the at least one distance image system to be calibrated and a reference position, in particular a reference image system, can be carried out particularly reliably.

Bei einer weiteren vorteilhaften Ausführungsform kann sich wenigstens ein Kalibrierbereich und/oder wenigstens ein Bereich außerhalb des wenigstens eines Kalibrierbereichs in wenigstens einer Richtung über mehr als die Hälfte der Ausdehnung des Kalibrierobjektes erstrecken. Auf diese Weise können auch größere Abweichung der Ausrichtung insbesondere von entsprechenden Koordinatensystemen zwischen dem wenigstens einen zu kalibrierenden Abstands-Bildsystem und einer Referenzposition, insbesondere einem Referenz-Bildsystem, genauer bestimmt werden.In a further advantageous embodiment, at least one calibration area and / or at least one area outside the at least one calibration area can extend in at least one direction over more than half the extent of the calibration object. In this way, larger deviations in the alignment, in particular from the corresponding Coordinate systems between the at least one distance image system to be calibrated and a reference position, in particular a reference image system, can be determined more precisely.

Bei einer weiteren vorteilhaften Ausführungsform kann zwischen wenigstens einem Kalibrierbereich und Bereichen des Kalibrierobjekts außerhalb des wenigstens einen Kalibrierbereichs ein für ein Referenz-Bildsystem, welches als Referenz zur Kalibrierung des wenigstens einen Abstands-Bildsystems dient, erfassbarer Kontrast bestehen. Auf diese Weise kann das Kalibrierobjekt außer mit dem zu kalibrierenden Abstands-Bildsystem auch mit einem weiteren Bildsystem, insbesondere einem bereits kalibrierten Abstands-Bildsystem, welches als Referenz-Bildsystem wirken kann, oder einem separaten Referenz-Bildsystem erfasst werden.In a further advantageous embodiment, between at least one calibration area and areas of the calibration object outside the at least one calibration area, there can be a detectable contrast for a reference image system that serves as a reference for calibrating the at least one distance image system. In this way, in addition to the distance imaging system to be calibrated, the calibration object can also be captured with a further imaging system, in particular an already calibrated distance imaging system, which can act as a reference imaging system, or a separate reference imaging system.

Vorteilhafterweise kann der wenigstens eine Kalibrierbereich dunkel, insbesondere schwarz, vor hellem Hintergrund oder hell, insbesondere weiß, vor dunklem Hintergrund sein. Auf diese Weise können Kontraste insbesondere für sichtbares Licht verbessert werden.The at least one calibration area can advantageously be dark, in particular black, in front of a light background or light, in particular white, in front of a dark background. In this way, contrasts can be improved, especially for visible light.

Ferner wird die Aufgabe erfindungsgemäß bei dem Verfahren dadurch gelöst, dass die Abstands-Bildsystem-Koordinaten und die Referenzkoordinaten von wenigstens einem Perkolationscluster ermittelt werden, welches wenigstens einen Kalibrierbereich wenigstens mit bildet.Furthermore, the object is achieved according to the invention in the method in that the distance image system coordinates and the reference coordinates of at least one percolation cluster are determined, which at least also forms at least one calibration area.

Erfindungsgemäß wird ein Perkolationscluster zur Kalibrierung verwendet. Auf diese Weise können Mehrdeutigkeiten, welche durch unterschiedliche Ausrichtungen des Abstands-Bildsystems und/oder des Referenz-Bildsystems und/oder entsprechenden Koordinatensystemen relativ zu dem wenigstens einen Kalibrierbereich entstehen könnten, vermieden werden.According to the invention, a percolation cluster is used for calibration. In this way, ambiguities which could arise due to different orientations of the distance image system and / or the reference image system and / or corresponding coordinate systems relative to the at least one calibration area can be avoided.

Bei einer vorteilhaften Ausgestaltung des Verfahrens können Abtastsignale des wenigstens einen Abstands-Bildsystems zur Abtastung des wenigstens einen Kalibrierobjekts an dem wenigstens einen Kalibrierbereich reflektiert und von dem wenigstens einen Abstands-Bildsystem empfangen werden. Auf diese Weise kann die Position des wenigstens einen Kalibrierbereichs im dreidimensionalen Raum erfasst werden. So können zusätzlich zu dem zweidimensionalen Bild des Kalibrierobjektes auch Abstandsinformationen gewonnen werden.In an advantageous embodiment of the method, scanning signals of the at least one distance imaging system for scanning the at least one calibration object can be reflected on the at least one calibration area and received by the at least one distance imaging system. In this way, the position of the at least one calibration area can be detected in three-dimensional space. In this way, in addition to the two-dimensional image of the calibration object, distance information can also be obtained.

Bei einer weiteren vorteilhaften Ausgestaltung des Verfahrens können Abtastsignale, welche auf Bereiche des wenigstens einen Kalibrierobjekts außerhalb des wenigstens einen Kalibrierbereichs treffen, wenigstens teilweise durchgelassen werden. Auf diese Weise kann ein Kontrast zwischen dem wenigstens einen Kalibrierbereich und den Bereichen außerhalb des wenigstens ein Kalibrierbereichs vergrößert werden. So kann die Erfassung des Kalibrierobjekts und eine Kalibrierung verbessert werden. Ferner können die durchgelassenen Abtastsignale weitere Kalibrierbereiche, welche in einer größeren Entfernung hinter den durchlässigen Bereichen des wenigstens einen Kalibrierobjekts angeordnet sein können, reflektiert werden. Auf diese Weise können zusätzlich Abstandsinformationen über das Kalibrierobjekt gewonnen werden.In a further advantageous embodiment of the method, scanning signals which strike areas of the at least one calibration object outside the at least one calibration area can be at least partially allowed to pass. In this way, a contrast between the at least one calibration area and the areas outside the at least one calibration area can be increased. In this way, the detection of the calibration object and a calibration can be improved. Furthermore, the transmitted scanning signals can be reflected from further calibration areas, which can be arranged at a greater distance behind the transparent areas of the at least one calibration object. In this way, additional distance information about the calibration object can be obtained.

Bei einer weiteren vorteilhaften Ausgestaltung des Verfahrens können mithilfe wenigstens einer Gütefunktion aus den Abstands-Bildsystem-Koordinaten und den Referenzkoordinaten eine Abweichung zwischen der Ausrichtung des wenigstens einen Abstands-Bildsystems und einer Ausrichtung des wenigstens einen Referenz-Bildsystems quantifiziert werden. Die quantifizierte Abweichung kann zur Kalibrierung des wenigstens einen Abstands-Bildsystems herangezogen werden. Auf diese Weise können die Objektdaten mehrerer (Abstands-) Bildsysteme insbesondere eines Fahrzeugs zusammengebracht und zur weiteren Verarbeitung herangezogen werden.In a further advantageous embodiment of the method, a deviation between the alignment of the at least one distance imaging system and an alignment of the at least one reference imaging system can be quantified with the aid of at least one quality function from the distance image system coordinates and the reference coordinates. The quantified deviation can be used to calibrate the at least one distance imaging system. In this way, the object data of several (distance) image systems, in particular of a vehicle, can be brought together and used for further processing.

Im Übrigen gelten die im Zusammenhang mit dem erfindungsgemäßen Kalibrierobjekt und dem erfindungsgemäßen Verfahren und deren jeweiligen vorteilhaften Ausgestaltungen aufgezeigten Merkmale und Vorteile untereinander entsprechend und umgekehrt. Die einzelnen Merkmale und Vorteile können selbstverständlich untereinander kombiniert werden, wobei sich weitere vorteilhafte Wirkungen einstellen können, die über die Summe der Einzelwirkungen hinausgehen.In addition, the features and advantages shown in connection with the calibration object according to the invention and the method according to the invention and their respective advantageous configurations apply mutually and vice versa. The individual features and advantages can of course be combined with one another, whereby further advantageous effects can arise that go beyond the sum of the individual effects.

FigurenlisteFigure list

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der Ausführungsbeispiele der Erfindung anhand der Zeichnung näher erläutert werden. Der Fachmann wird die in der Zeichnung, der Beschreibung und den Ansprüchen in Kombination offenbarten Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen. Es zeigen schematisch

1 eine Vorderansicht eines Fahrzeugs mit einem LiDAR-Bildsystem, einem Kamerasystem und einem Fahrerassistenzsystem;
2 die Koordinatenachsen eines LiDAR-Koordinatensystems des LiDAR-Bildsystems und eines Kamera-Koordinatensystems des Kamerasystems des Fahrzeugs aus der 1 ;
3 eine Draufsicht des Fahrzeugs aus der 1 in einem Kalibierstand zum kalibrieren des LiDAR-Systems;
4 eine Seitenansicht des Fahrzeugs aus der 1 in dem Kalibrierstand aus der 3;
5 ein Kamerabild eines Kalibrierobjekts, welches in dem Kalibrierstand aus den 3 und 4 mit dem Kamerasystem des Fahrzeugs aus der 1 aufgenommen ist;
6 ein LiDAR-Bild des Kalibrierobjekts, welches in dem Kalibrierstand aus den 3 und 4 mit dem LiDAR-Bildsystem des Fahrzeugs aus der 1 aufgenommen ist;
7 eine Überlagerung des Kamerabildes aus der 5 und des LiDAR-Bildes aus der 6 vor einer Kalibrierung des LiDAR-Bildsystems;
8 eine Überlagerung des Kamerabildes aus der 5 und des LiDAR-Bildes aus der 6 nach einer Kalibrierung des LiDAR Bildsystems;
9 eine Gütefunktion, welche zur Kalibrierung des LiDAR-Bildsystems verwendet wird.

Further advantages, features and details of the invention emerge from the following description, in which exemplary embodiments of the invention are explained in more detail with reference to the drawing. The person skilled in the art will expediently consider the features disclosed in combination in the drawing, the description and the claims also individually and combine them into meaningful further combinations. It show schematically

1 a front view of a vehicle with a LiDAR imaging system, a camera system and a driver assistance system;
2 the coordinate axes of a LiDAR coordinate system of the LiDAR image system and a camera coordinate system of the camera system of the vehicle from the 1 ;
3 a top view of the vehicle from FIG 1 in a calibration stand for calibrating the LiDAR system;
4th a side view of the vehicle from FIG 1 in the calibration stand from the 3 ;
5 a camera image of a calibration object, which in the calibration stand from the 3 and 4th with the vehicle's camera system from the 1 is included;
6th a LiDAR image of the calibration object, which in the calibration stand from the 3 and 4th with the vehicle's LiDAR imaging system from the 1 is included;
7th an overlay of the camera image from the 5 and the LiDAR image from the 6th before a calibration of the LiDAR imaging system;
8th an overlay of the camera image from the 5 and the LiDAR image from the 6th after a calibration of the LiDAR imaging system;
9 a quality function which is used to calibrate the LiDAR imaging system.

In den Figuren sind gleiche Bauteile mit gleichen Bezugszeichen versehen.In the figures, the same components are provided with the same reference symbols.

Ausführungsform(en) der ErfindungEmbodiment (s) of the invention

In der 1 ist ein Fahrzeug 10 in Form eines Personenkraftwagens in der Vorderansicht gezeigt. Das Fahrzeug 10 verfügt über ein Abstands-Bildsystem in Form eines LiDAR-Bildsystems 12, ein 2D-Bildsystem in Form eines Kamerasystems 14 und ein Fahrerassistenzsystem 16.In the 1 is a vehicle 10 shown in the form of a passenger car in the front view. The vehicle 10 has a distance imaging system in the form of a LiDAR imaging system 12th , a 2D imaging system in the form of a camera system 14th and a driver assistance system 16 .

Das LiDAR-System 12 und das Kamerasystem 14 befinden sich beispielhaft auf der in Fahrtrichtung vorderen Seite des Fahrzeugs. Das LiDAR-System 12 ist dabei beispielhaft unterhalb des Kamerasystems 10 angeordnet. Mit dem LiDAR-System 12 und dem Kamerasystem 14 kann ein Überwachungsbereich in Fahrtrichtung vor dem Fahrzeug 10 auf Objekte, beispielsweise Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten, insbesondere Schlaglöcher oder Steine, Fahrbahnbegrenzungen, Verkehrszeichen, Freiräume, insbesondere Parklücken, oder dergleichen, überwacht werden.The LiDAR system 12th and the camera system 14th are located, for example, on the front side of the vehicle in the direction of travel. The LiDAR system 12th is an example below the camera system 10 arranged. With the LiDAR system 12th and the camera system 14th can be a monitoring area in the direction of travel in front of the vehicle 10 objects, for example vehicles, people, animals, plants, obstacles, uneven road surfaces, in particular potholes or stones, road boundaries, traffic signs, open spaces, in particular parking spaces, or the like, can be monitored.

Das LiDAR-System 12 kann beispielsweise ein Laserscanner sein. Mit einem Sender des LiDAR-System 12 werden Abtastsignale 17 beispielsweise in Form von Laserpulsen erzeugt, welche mithilfe einer entsprechenden Umlenkeinrichtung in den Überwachungsbereich gelenkt werden. Dabei werden die Richtungen der Laserpulse so geschwenkt, so dass der Überwachungsbereich abgetastet werden kann. Abtastsignale 17, welche an etwaigen Objekten reflektiert werden, werden mit wenigstens einem Empfänger des LiDAR-Systems 12 empfangen. Aus der Laufzeit der Abtastsignale 17, also der Zeit zwischen dem Zeitpunkt des Aussendens und dem Zeitpunkt des Empfangs des entsprechenden reflektierten Abtastsignals 17, wird die Entfernung zwischen dem LiDAR-System 12 und dem erfassten Objekt ermittelt. Ferner wird dem LiDAR-System 12 die Richtung und Geschwindigkeit des erfassten Objekts relativ zu dem Fahrzeug 10 ermittelt. Mit dem Abstands-Bildsystem in Form des LiDAR-Systems 12 können sowohl ein zweidimensionales Bild des Objektes als auch Abstandsinformationen über das Objekt gewonnen werden.The LiDAR system 12th can for example be a laser scanner. With a transmitter of the LiDAR system 12th become scanning signals 17th generated for example in the form of laser pulses, which are guided into the monitoring area with the help of a corresponding deflection device. The directions of the laser pulses are swiveled so that the monitoring area can be scanned. Scanning signals 17th , which are reflected on any objects, are with at least one receiver of the LiDAR system 12th receive. From the transit time of the scanning signals 17th , ie the time between the time of transmission and the time of receipt of the corresponding reflected scanning signal 17th , will be the distance between the LiDAR system 12th and the detected object. Furthermore, the LiDAR system 12th the direction and speed of the detected object relative to the vehicle 10 determined. With the distance imaging system in the form of the LiDAR system 12th Both a two-dimensional image of the object and distance information about the object can be obtained.

Bei dem Kamerasystem 14 handelt es sich um ein 2D-Bildsystem, mit dem zweidimensionale Bilder von Objekten erzeugt werden können. Anstelle des Kamerasystems 14 kann auch ein anderes Bildsystem, auch ein anderes Abstands-Bildsystem, vorgesehen sein.With the camera system 14th is a 2D image system that can be used to generate two-dimensional images of objects. Instead of the camera system 14th Another image system, also another distance image system, can also be provided.

Mit dem Fahrerassistenzsystem 16 können Fahrfunktionen des Fahrzeugs unterstützt werden, sodass dieses autonom oder teilautonom betrieben werden kann.With the driver assistance system 16 driving functions of the vehicle can be supported so that it can be operated autonomously or partially autonomously.

Das LiDAR-System 12 und das Kamerasystem 14 sind jeweils fest an dem Fahrzeug 10 montiert. Die Ausrichtung des LiDAR-Systems 12 wird beispielhaft mit einem LiDAR-Koordinatensystem 18 charakterisiert. Die Ausrichtung des Kamerasystems 14 wird beispielhaft mit einem Kamera-Koordinatensystem 20 charakterisiert. Das LiDAR-Koordinatensystem 18 und das Kamera-Koordinatensystem 20 sind beispielhaft jeweils als kartesische Koordinatensysteme ausgelegt. Das LiDAR-Koordinatensystem 18 umfasst die Koordinatenachsen xo, yo und zo. Das Kamera-Koordinatensystem 20 umfasst die Koordinatenachsen x, y und z.The LiDAR system 12th and the camera system 14th are each firmly attached to the vehicle 10 assembled. The alignment of the LiDAR system 12th is exemplified with a LiDAR coordinate system 18th characterized. The alignment of the camera system 14th is exemplified with a camera coordinate system 20th characterized. The LiDAR coordinate system 18th and the camera coordinate system 20th are each designed, for example, as Cartesian coordinate systems. The LiDAR coordinate system 18th includes the coordinate axes xo, yo and zo. The camera coordinate system 20th includes the coordinate axes x, y and z.

Bei der Montage des LiDAR-Systems 12 und des Kamerasystems 14 in das Fahrzeug 10 werden die x-Achse und die xo-Achse etwa parallel zu einer Fahrzeuglängsachse 22 des Fahrzeugs 10 ausgerichtet. Die y-Achse und die yo-Achse werden etwa parallel zu einer Fahrzeugquerachse 24 ausgerichtet. Die z-Achse und die zo-Achse werden etwa parallel zu einer Fahrzeugvertikalachse 26 ausgerichtet. Dabei ist das LiDAR-Koordinatensystem 18 gegenüber dem Kamera-Koordinatensystem 20 verschoben und in der Regel auch verdreht. In der 2 sind beispielhaft die entsprechenden Koordinatenachsen des LiDAR-Koordinatensystems 18 und des Kamera-Koordinatensystems 20 relativ zueinander gezeigt.When assembling the LiDAR system 12th and the camera system 14th in the vehicle 10 the x-axis and the xo-axis become approximately parallel to a longitudinal axis of the vehicle 22nd of the vehicle 10 aligned. The y-axis and the y-axis are approximately parallel to a vehicle transverse axis 24 aligned. The z-axis and the zo-axis become approximately parallel to a vehicle vertical axis 26th aligned. Here is the LiDAR coordinate system 18th compared to the camera coordinate system 20th shifted and usually also twisted. In the 2 are examples of the corresponding coordinate axes of the LiDAR coordinate system 18th and the camera coordinate system 20th shown relative to each other.

Um Objektinformationen, welche mit dem LiDAR-System 12 und dem Kamerasystem 14 aus dem Überwachungsbereich gewonnen werden, zusammenbringen zu können, müssen das LiDAR-System 12 und das Kamerasystem 14 bezüglich ihrer Ausrichtung im Fahrzeug 10 kalibriert werden. Hierzu wird eine Transformationsvorschrift beispielsweise in Form einer Transformationsgröße ermittelt, mit welcher LiDAR-Koordinaten von Objekten, die mit dem LiDAR-System 12 erfasst werden, aus dem LiDAR-Koordinatensystem 18 in das Kamera-Koordinatensystem 20 transformiert werden können. Bei der Transformationsvorschrift kann es sich beispielsweise um einen oder mehrere Drehwinkel handeln, um den oder die das LiDAR-Koordinatensystem 18 um seinen Koordinatenursprung gedreht werden muss, um auf dem Kamera-Koordinatensystem 20 zu liegen. Die Kalibrierung erfolgt auf einem Kalibrierstand 28.To object information, which with the LiDAR system 12th and the camera system 14th The LiDAR system must be obtained from the surveillance area 12th and the camera system 14th regarding their orientation in the vehicle 10 be calibrated. For this purpose, a transformation rule is determined, for example, in the form of a transformation variable which LiDAR coordinates of objects created with the LiDAR system 12th from the LiDAR coordinate system 18th into the camera coordinate system 20th can be transformed. The transformation rule can be, for example, one or more angles of rotation, the one or more the LiDAR coordinate system 18th must be rotated around its coordinate origin in order to be on the camera coordinate system 20th to lie. The calibration takes place on a calibration stand 28 .

In der 3 ist das Fahrzeug 10 auf dem Kalibrierstand 28 in der Draufsicht und in der 4 in der Seitenansicht gezeigt. Auf dem Kalibrierstand 28 wird das LiDAR-System 12 unter definierten stationären und zeitunabhängigen Bedingungen bei stehendem Fahrzeug 10 kalibriert.In the 3 is the vehicle 10 on the calibration stand 28 in plan view and in the 4th shown in side view. On the calibration stand 28 becomes the LiDAR system 12th under defined stationary and time-independent conditions with the vehicle stationary 10 calibrated.

Der Kalibrierstand 28 umfasst beispielhaft ein Kalibrierobjekt 30, welches in einem definierten Abstand vor dem Fahrzeug 10 angeordnet ist. Zur Kalibrierung des LiDAR-Systems 12 wird das Kalibrierobjekt 30 jeweils mit dem LiDAR-System 12 und dem Kamerasystem 14 erfasst. Aus den Objektinformationen wird mittels einer in der 10 dargestellten Gütefunktion 32 die Transformationsvorschrift ermittelt, mit welcher die Ausrichtung des LiDAR-Systems 12 relativ zum Kamerasystem 14 kalibriert werden. Das Kamerasystem 14 dient dabei als Referenz-Bildsystem. Die Gütefunktion 32 kann im englischsprachigen auch als „Cost function“ oder „Fit qualitiy function“ bezeichnet werden.The calibration stand 28 includes, for example, a calibration object 30th , which is at a defined distance in front of the vehicle 10 is arranged. For calibrating the LiDAR system 12th becomes the calibration object 30th each with the LiDAR system 12th and the camera system 14th detected. From the object information, an in the 10 shown quality function 32 the transformation rule with which the alignment of the LiDAR system is determined 12th relative to the camera system 14th be calibrated. The camera system 14th serves as a reference image system. The quality function 32 can also be referred to in English as "cost function" or "fit quality function".

Ein zweidimensionales Kamera-Bild 31a des Kalibrierobjekts 30, welches mit dem Kamerasystem 14 aufgenommen ist, ist in der 5 gezeigt. Ein entsprechendes LiDAR-Bild 31b des Kalibrierobjekts 30, welches mit dem LiDAR-System 12 aufgenommen ist, ist in der 7 gezeigt. Die Objektinformationen, welche mit dem LiDAR-System 12 über das Kalibrierobjekt 30 gewonnen werden können, umfassen darüber hinaus noch Abstandsinformationen.A two-dimensional camera image 31a of the calibration object 30th , which with the camera system 14th is included is in the 5 shown. A corresponding LiDAR image 31b of the calibration object 30th , which with the LiDAR system 12th is included is in the 7th shown. The object information, which with the LiDAR system 12th via the calibration object 30th can also include distance information.

Das Kalibrierobjekt 30 umfasst einen zusammenhängenden Kalibrierbereich 34, welcher in der 5 schwarz dargestellt ist. Der Kalibrierbereich 34 ist als Perkolationscluster beispielsweise mithilfe eines sogenannten „invasion-percolation-algorithm“ realisiert. Der Kalibrierbereich 34 wird beispielhaft mithilfe eines (Quasi-)Zufallszahlengenerators erzeugt. Der Kalibrierbereich 34 ist frei von Translationssymmetrien und Rotationssymmetrien.The calibration object 30th includes a contiguous calibration area 34 , which in the 5 is shown in black. The calibration range 34 is implemented as a percolation cluster with the help of a so-called “invasion percolation algorithm”, for example. The calibration range 34 is generated using a (quasi) random number generator, for example. The calibration range 34 is free from translational symmetries and rotational symmetries.

Der Kalibrierbereich 34 ist für die Abtastsignale 17 des LiDAR-Systems 12 reflektierend. Außerhalb des Kalibrierbereichs 34 ist das Kalibrierobjekt 30 in Durchlässigkeitsbereichen 36 für die Abtastsignale 17 des LiDAR-Systems 12 durchlässig.The calibration range 34 is for the scanning signals 17th of the LiDAR system 12th reflective. Outside the calibration range 34 is the calibration object 30th in permeability areas 36 for the scanning signals 17th of the LiDAR system 12th permeable.

Ferner sind der Kalibrierbereich 34 und die Durchlässigkeitsbereiche 36 des Kalibrierobjekts 30 für Licht, welches mit dem Kamerasystem 14 erfasst werden kann, unterschiedlich reflektierend, sodass sich zwischen dem Kalibrierbereich 34 und den Durchlässigkeitsbereichen 36 ein Kontrast bildet, welcher mit dem Kamerasystem 14 erfasst werden kann. Beispielsweise kann der Kalibrierbereich 34 schwarz vor einem weißen Hintergrund sein oder umgekehrt.Furthermore, the calibration range 34 and the permeability areas 36 of the calibration object 30th for light, which is with the camera system 14th can be detected, reflecting differently, so that between the calibration range 34 and the permeability areas 36 a contrast that forms with the camera system 14th can be captured. For example, the calibration range 34 black against a white background or vice versa.

Der Kalibrierbereich 34 ist beispielsweise aus Vollmaterial herausgeschnitten. Die Durchlässigkeitsbereiche 36 enthalten kein Material und sind für die Abtastsignale 17 durchlässig. Auf diese Weise enthält der Kalibrierbereich 34 dreidimensional Informationen. Mithilfe des LiDAR-Systems 12 werden unterschiedliche Abstandsinformationen von dem Kalibrierobjekt 30 gewonnen.The calibration range 34 is cut out of solid material, for example. The permeability areas 36 do not contain any material and are for the scanning signals 17th permeable. In this way, the calibration area contains 34 three-dimensional information. With the help of the LiDAR system 12th different distance information from the calibration object 30th won.

Der Kalibrierbereich 34 enthält Strukturen 38, 42 und 46 in unterschiedlichen Größenordnungen. The calibration range 34 contains structures 38 , 42 and 46 in different orders of magnitude.

Das Kalibrierobjekt 30 weist innerhalb des Kalibrierbereichs 34 und außerhalb des Kalibrierbereichs 34, also in den Durchlässigkeitsbereichen 36, Strukturen 38 auf, deren Ausdehnung 40 in der Größenordnung einer räumlichen Auflösung des LiDAR-Systems 12 bei der Verwendung in dem Kalibrierstand 28 entspricht. In der 6 sind beispielhaft einige dieser kleinen Strukturen 38 bezeichnet.The calibration object 30th points within the calibration range 34 and outside the calibration range 34 , i.e. in the permeability areas 36 , Structures 38 on, its extent 40 in the order of magnitude of the spatial resolution of the LiDAR system 12th when used in the calibration stand 28 corresponds to. In the 6th are exemplary of some of these small structures 38 designated.

Ferner weist das Kalibrierobjekt 30 innerhalb und außerhalb des Kalibrierbereichs 34 große Strukturen 42 auf, deren Ausdehnung 44 sich über mehr als die Hälfte der Ausdehnung des Kalibrierobjekts 30 erstreckt. In der 6 ist beispielhaft eine dieser großen Strukturen 42 in einem Durchlässigkeitsbereich 36 gezeigt.Furthermore, the calibration object 30th inside and outside the calibration range 34 large structures 42 on, its extent 44 extends over more than half the extent of the calibration object 30th extends. In the 6th is an example of one of these large structures 42 in a permeability range 36 shown.

Außerdem weist das Kalibrierobjekt 20 innerhalb und außerhalb des Kalibrierbereichs 34 mittlere Strukturen 46 mit Abmessungen 48 auf.In addition, the calibration object 20th inside and outside the calibration range 34 medium structures 46 with dimensions 48 on.

Zur Kalibrierung wird der Kalibrierbereich 34 des Kalibrierobjekts 30 mit dem Kamerasystem 14 erfasst und Koordinaten des Kalibrierbereichs 34 in dem Kamera-Koordinatensystem 20 ermittelt. Das zweidimensionale Kamerabild 31a des Kalibrierobjekts 30 ist in der 5 gezeigt.The calibration range is used for calibration 34 of the calibration object 30th with the camera system 14th recorded and coordinates of the calibration area 34 in the camera coordinate system 20th determined. The two-dimensional camera image 31a of the calibration object 30th is in the 5 shown.

Ferner wird mit dem LiDAR-System 12 der Kalibrierbereich 34 des Kalibrierobjekts 30 abgetastet und die Koordinaten der Abtaststellen im LiDAR-Koordinatensystem 18 ermittelt. Das zweidimensionale LiDAR-Bild 31b des Kalibrierobjekts 30 ist in der 6 gezeigt.Furthermore, with the LiDAR system 12th the calibration range 34 of the calibration object 30th scanned and the coordinates of the scanning points in the LiDAR coordinate system 18th determined. The two-dimensional LiDAR image 31b of the calibration object 30th is in the 6th shown.

Das Kamerasystem 14 dient als Referenz-Bildsystem für die Kalibrierung des LiDAR-Systems 12. Entsprechend kann das Kamera-Koordinatensystem 20 als Referenzkoordinatensystem und die entsprechenden Koordinaten als Referenzkoordinaten bezeichnet werden.The camera system 14th serves as a reference image system for the calibration of the LiDAR system 12th . The camera coordinate system can correspond accordingly 20th are referred to as the reference coordinate system and the corresponding coordinates as reference coordinates.

In der 7 ist eine Überlagerung der Objektinformationen des LiDAR-Systems 12 und der Objektinformationen des Kamerasystems 14 ohne Kalibrierung gezeigt, bei der das LiDAR-Koordinatensystem 18 und das Kamera-Koordinatensystem 20 übereinandergelegt sind. Aufgrund von einbaubedingten Verdrehungen der Ausrichtung des LiDAR-Systems 12 gegenüber dem Kamerasystem 14 ist ohne vorherige Kalibrierung das Kamera-Bild 31a gegenüber dem LiDAR-Bild 31b verdreht.In the 7th is an overlay of the object information of the LiDAR system 12th and the object information of the camera system 14th shown without calibration using the LiDAR coordinate system 18th and the camera coordinate system 20th are superimposed. Due to installation-related twisting of the alignment of the LiDAR system 12th compared to the camera system 14th is the camera image without prior calibration 31a compared to the LiDAR image 31b twisted.

Um die Objektinformationen des LiDAR-Systems 12 und des Kamerasystems 14 zusammenbringen zu können, müssen die LiDAR-Koordinaten des LiDAR-Systems 12 mithilfe der Transformationsvorschrift in das Kamera-Koordinatensystems 20 transformiert werden. Die Transformationsvorschrift wird im Folgenden Hilfe der Kalibrierung ermittelt.To get the object information of the LiDAR system 12th and the camera system 14th To be able to bring together the LiDAR coordinates of the LiDAR system 12th using the transformation rule in the camera coordinate system 20th be transformed. The transformation rule is determined in the following with the help of the calibration.

Die in der 9 gezeigte Gütefunktion 32 gibt das Maß der Übereinstimmungen des Kamera-Bildes 31a und des LiDAR-Bildes 31b bei unterschiedlichen Ausrichtungen relativ zueinander an. Hierzu werden beispielsweise auf rechnerischen Wege bei unterschiedliche Ausrichtungen des LiDAR-Bildes 31b zu dem Kamerabild 31a das jeweilige Maß an Übereinstimmung ermittelt. Die unterschiedlichen Ausrichtungen werden jeweils als sogenannter „Musterversatz“ quantifiziert. Das Maß an Übereinstimmung wird mit Gütefunktionswerten charakterisiert.The one in the 9 shown quality function 32 gives the degree of similarity of the camera image 31a and the LiDAR image 31b at different orientations relative to each other. For this purpose, for example, different orientations of the LiDAR image are computed 31b to the camera image 31a the respective degree of agreement is determined. The different orientations are each quantified as a so-called "sample offset". The degree of agreement is characterized with quality function values.

In der 9 gibt die horizontale Achse den Musterversatz zwischen dem Kamera-Bild 31a und dem LiDAR-Bild 31b an. Die vertikale Achse entspricht den zugehörigen Gütefunktionswerten. Ein globales Minimum 50 der Gütefunktion 32 gibt den Musterversatz zwischen dem Kamera-Bild 31a und dem LiDAR-Bild 31b an, bei dem die größte Übereinstimmung erzielt wird. Aus dem Musterversatz im globalen Minimum 50 der Gütefunktion 32 wird die Transformationsvorschrift ermittelt. In der 8 sind das Kamera-Bild 31a und das LiDAR-Bild 31b in der Ausrichtung mit der größten Übereinstimmung gezeigt. In dem beschriebenen Ausführungsbeispiel bildet beispielhaft ein Drehwinkel p zwischen der zo-Achse des LiDAR-Koordinatensystems 18 und der z-Achse des Kamera-Koordinatensystems 20 die Transformationsvorschrift. In der Regel wird die Transformationsvorschrift eine Kombination aus mehreren Drehwinkeln und Verschiebevektoren sein.In the 9 the horizontal axis gives the pattern offset between the camera image 31a and the LiDAR image 31b at. The vertical axis corresponds to the associated quality function values. A global minimum 50 the quality function 32 gives the pattern offset between the camera image 31a and the LiDAR image 31b where the closest match is obtained. From the pattern offset in the global minimum 50 the quality function 32 the transformation rule is determined. In the 8th are the camera image 31a and the LiDAR image 31b shown in the orientation with the closest match. In the exemplary embodiment described, for example, an angle of rotation p forms between the zo axis of the LiDAR coordinate system 18th and the z-axis of the camera coordinate system 20th the transformation rule. As a rule, the transformation rule will be a combination of several angles of rotation and displacement vectors.

Die kleinen Strukturen 38 des Kalibrierobjekts 30 ermöglichen bei der Kalibrierung einen kleinen Musterversatz 52 zwischen dem Kamera-Bild 31a und dem LiDAR-Bild 31b zu identifizieren, welche in der 9 beispielhaft mit einem Doppelpfeil angedeutet sind. Mittlere Strukturen 46 führen zu einem mittleren Musterversatz 54, welcher in der 9 ebenfalls durch einen Doppelpfeil angedeutet ist. Große Strukturen 42 des Kalibrierobjekts 30 führen zu einem großen Musterversatz 56, welcher ebenfalls in der 10 mit einem Doppelpfeil angedeutet ist.The small structures 38 of the calibration object 30th allow a small pattern offset during calibration 52 between the camera image 31a and the LiDAR image 31b identify which ones in the 9 are indicated by way of example with a double arrow. Medium structures 46 lead to a medium pattern offset 54 , which in the 9 is also indicated by a double arrow. Big structures 42 of the calibration object 30th lead to a large pattern misalignment 56 , which is also in the 10 is indicated with a double arrow.

Dadurch, dass die Durchlässigkeitsbereiche 36 im Unterschied zum Kalibrierbereich 34 für die Abtastsignale 17 des LiDAR-Systems 12 durchlässig sind, kann eine dritte Raumdimension realisiert werden. Auf diese Weise kann mit dem LiDAR-System 12 ein deutlich höherer Kontrast zwischen dem Kalibrierbereich 34 und den Durchlässigkeitsbereichen 36 erfasst werden.By having the permeability areas 36 in contrast to the calibration range 34 for the scanning signals 17th of the LiDAR system 12th are permeable, a third spatial dimension can be implemented. In this way you can use the LiDAR system 12th a significantly higher contrast between the calibration area 34 and the permeability areas 36 are recorded.

Optional können hinter den Durchlässigkeitsbereichen 36 weitere Kalibrierbereiche des Kalibrierobjekts 30 angeordnet sein. Auf diese Weise können mit dem LiDAR-System 12 zusätzliche Abstandsinformationen über das Kalibrierobjekt 30 erfasst werden. So kann insgesamt die Kalibrierung weiter verbessert werden.Optionally, behind the permeability areas 36 further calibration areas of the calibration object 30th be arranged. In this way you can use the LiDAR system 12th additional distance information about the calibration object 30th are recorded. In this way the calibration can be further improved overall.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102004033114 A1 [0003]

Claims

Calibration object (30) for calibrating at least one alignment of at least one distance imaging system (18), with at least one calibration area (34) which has a reflective effect at least for scanning signals (17) of the at least one distance imaging system (18), characterized in that at least a calibration area (34) is a percolation cluster.

Calibration object after Claim 1 , characterized in that at least one calibration area (34) has no symmetries, at least with regard to translations and / or rotations.

Calibration object after Claim 1 or 2 , characterized in that at least one calibration area (34) is implemented according to an invasion percolation algorithm.

Calibration object according to one of the preceding claims, characterized in that at least one area (36) of the at least one calibration object (30) outside the at least one calibration area (34) is at least partially permeable to scanning signals (17) of the at least one distance imaging system (18) is.

Calibration object according to one of the preceding claims, characterized in that at least one calibration area (34) is implemented on a carrier material which is at least partially transparent at least for scanning signals (17) of the at least one distance imaging system (18) and / or at least one calibration area ( 34) is realized as a three-dimensional body.

Calibration object according to one of the preceding claims, characterized in that the calibration object (30) has at least one structure (38) inside and / or outside of at least one calibration area (34), the extent (40) of which is in the order of magnitude of a spatial resolution of the at least one Distance imaging system (18) is in the intended use of the calibration object (30).

Calibration object according to one of the preceding claims, characterized in that the calibration object (30) has structures (38, 42, 46) with different dimensions (40, 44, 48) inside and / or outside of at least one calibration area (34).

Calibration object according to one of the preceding claims, characterized in that at least one calibration area (34) and / or at least one area (36) outside the at least one calibration area (34) extends in at least one direction over more than half the extent of the calibration object (30 ) extends.

Calibration object according to one of the preceding claims, characterized in that between at least one calibration area (34) and areas (36) of the calibration object (30) outside the at least one calibration area (34) a reference image system (14), which is used as a reference for Calibration of the at least one distance imaging system (18) is used, there is detectable contrast.

Method for calibrating at least one alignment of at least one distance imaging system (18) with respect to at least one reference imaging system (14), which are arranged on a vehicle (10), in which - with the at least one distance imaging system (18) at least one calibration object (30) and distance image system coordinates (xo, yo, zo) of at least one calibration area (34) of the at least one calibration object (30) in a distance image system coordinate system (18) of the at least one distance image system (18 ) - with the at least one reference imaging system (14) the same calibration object (30) is recorded and reference coordinates (x, y, z) of the same at least one calibration area (34) of the same at least one calibration object (30) in a reference Coordinate system (20) of the at least one reference image system (14) can be determined - at least from the distance image system coordinates (xo, yo, zo) and the reference coordinates (x, y, z) s a transformation rule (p) is determined which characterizes the alignment of the at least one distance image system (18) relative to the at least one reference image system (14), characterized in that the distance image system coordinates (xo, yo, zo ) and the reference coordinates (x, y, z) of at least one percolation cluster are determined, which at least also forms at least one calibration area (34).

Procedure according to Claim 10 , characterized in that scanning signals (17) of the at least one distance imaging system (18) for scanning the at least one calibration object (30) are reflected on the at least one calibration area (34) and are received by the at least one distance imaging system (18).

Procedure according to Claim 10 or 11 , characterized in that scanning signals (17) which strike areas (36) of the at least one calibration object (30) outside the at least one calibration area (34) are at least partially allowed to pass.

Method according to one of the Claims 10 to 12th , characterized in that with the aid of at least one quality function (32) from the distance image system coordinates (xo, yo, zo) and the reference coordinates (x, y, z), a deviation between the alignment of the at least one distance image system (18) and an alignment of the at least one reference image system (14) can be quantified.