DE102021123201A1

DE102021123201A1 - Verfahren und Steueranordnung zur extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera

Info

Publication number: DE102021123201A1
Application number: DE102021123201.5A
Authority: DE
Inventors: Nazr-e- Batool; Stefan Hellander; Stefanos Kokogias
Original assignee: Scania CV AB
Current assignee: Scania CV AB
Priority date: 2020-09-30
Filing date: 2021-09-08
Publication date: 2022-03-31
Also published as: SE544405C2; SE2051140A1

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren und eine Steueranordnung zur extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera. Gemäß einem ersten Aspekt betrifft die Offenbarung ein Verfahren zur extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera. Das Verfahren umfasst ein Aufnehmen (S1), mittels der Kamera, eines oder mehrerer Bilder eines bekannten Musters auf einer Kalibrierungsfläche einer Kalibrierungstafel und ein Gewinnen (S2), von einem an der Kalibrierungstafel befestigten ersten Orientierungssensor, von Daten, die indikativ für eine Pose der Kalibrierungsfläche beim Aufnehmen des zugehörigen einen oder der mehreren Bilder sind. Das Verfahren umfasst ferner ein Gewinnen (S3), von einem an dem Fahrzeug angeordneten zweiten Orientierungssensor, von Orientierungsdaten, die indikativ für eine Pose des Fahrzeugs sind, und ein Ermitteln (S4) einer Pose der Kamera in Bezug auf das Fahrzeug, basierend auf wenigstens einem des einen oder der mehreren aufgenommenen Bilder, der Pose der Kalibrierungsfläche und der Pose des Fahrzeugs. Die Offenbarung betrifft auch ein entsprechendes Computerprogramm, ein computerlesbares Medium und ein Fahrzeug mit der Steueranordnung.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft ein Verfahren und eine Steueranordnung zur extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera. Die Offenbarung betrifft auch ein entsprechendes Computerprogramm, ein computerlesbares Medium und ein die Steueranordnung aufweisendes Fahrzeug.
Hintergrund
Autonome mobile Plattformen, wie etwa autonom fahrende Fahrzeuge, benötigen eine Echtzeitinformationen über statische und dynamische Merkmale und Gegenstände in ihrer Umweltumgebung. Ein Sensorsystem mit verschiedenen Sensortypen (z. B. Kameras, Lidare und Radare) wird zum Sammeln dieser Information benutzt, um den gesamten Bereich um das Fahrzeug herum abzudecken. Die Sensoren sind typischerweise in unterschiedlichen Posen angebracht, um einen guten Überblick zu erhalten. Um das Beste aus all den Informationen zu machen, werden die Daten aller Sensoren in das Fahrzeugkoordinatensystem umgesetzt. Um diese Transformation korrekt durchführen zu können, ist es wichtig, die relativen Posen aller Sensoren bezüglich des Fahrzeugs zu kennen, sodass die Sensordaten korrekt in das Fahrzeugkoordinatensystem umgesetzt werden können. Eine genaue Kenntnis über die Sensorposen ist deshalb typischerweise für ein autonomes Fahren erforderlich. Deshalb werden typischerweise ausgeklügelte Kalibrierungsverfahren angewendet, um die Relativposen der Sensoren bezüglich des Fahrzeugs abzuschätzen.
Das Sensorsystem enthält unterschiedliche Sensoren einschließlich Kameras zur Umgebungsbeobachtung, die an verschiedenen Stellen am Fahrzeug angebracht sind. Die Kalibrierung der Kameras umfasst einen intrinsischen und einen extrinsischen Kalibrierungsschritt. Der intrinsische Kalibrierungsschritt beinhaltet ein Auffinden von Parametern für das mathematische Modell, welches den Sensor intern beschreibt (z. B. Brennweite, Verzeichnungsparameter etc.) und der extrinsische Kalibrierungsschritt beinhaltet eine Feststellung der Pose jeder Kamera in Fahrzeugkoordinaten. Insbesondere der extrinsische Kalibrierungsschritt kann ziemlich komplex sein. Die Komplexität hängt üblicherweise unter anderem von der Anzahl von Kameras, der Art der Kamera, dem Bildfeld, der Anbringungsposition und der Ausrichtung bezüglich des Fahrzeugs, zusammen als Pose der Kamera bezeichnet, und der Größe des Fahrzeugs ab. Ein weiterer die Komplexität beeinflussender Faktor ist die Überlappung der Bildfelder der in der Konfiguration enthaltenen Kameras.
Einige existierende Kalibrierungsansätze erfordern, dass Kameras rechtwinklig zu oder in Ausrichtung mit Fahrzeugseiten montiert werden müssen und schließen andere, kompliziertere Kameraposen aus. Einige der komplizierteren Ansätze beinhalten sogar den Aufbau eines Kalibrierungsraumes oder ein Herumfahren des Fahrzeugs, manchmal unter Zuhilfenahme von Orientierungssensoren und Lidaren, um die Pose zu berechnen (auch bekannt als Onlinekalibrierung). Eine Onlinekalibrierung ist beispielsweise beschrieben in dem Artikel „Automatic intrinsic and extrinsic calibration of a rig with multiple generic cameras and odometry“ von Lionel Heng, Bo Li, Marc Pollefeys, der 2013 anlässlich der IEEE/RSJ International Conference on Intelligent Robots and Systems publiziert wurde.
Ein relativ einfacherer Ansatz für den extrinsischen Kamerakalibrierungsschritt beinhaltet ein Platzieren irgendeiner Art eines Kalibrierungsmusters mit einem bekannten Muster (z. B. ein Schachbrettmuster) auf dem Boden und dann ein Auffinden der Kamerapose, indem zunächst die Pose des Musters in dem Fahrzeugrahmen (Muster~Fahrzeug) aufgefunden wird und dann die Kamerapose in dem Musterrahmen (Kamera~Muster) aufgefunden wird. Dieser Ansatz führt einen Zwischenschritt des Auffindens der Pose des Musters auf dem Weg zum Auffinden der Kamerapose ein, was eine extrinsische Kalibrierung sehr zeitaufwendig und schwierig für jemanden macht, der im genauen Kalibrieren der Kameras unerfahren ist.
Ferner können sich die Kameras im Betrieb oder während einer erforderlichen Wartung eines Fahrzeugs geringfügig verschieben, was die Möglichkeit einer genauen Aftermarket-Kalibrierung zur Notwendigkeit macht. Folglich existiert ein Bedürfnis nach verbesserten Verfahren zur extrinsischen Kamerakalibrierung.
Kurzfassung
Es ist ein Ziel der Offenbarung, zumindest einige der Nachteile des Standes der Technik zu mildern. Es ist somit ein Ziel dieser Offenbarung, ein weniger kompliziertes und weniger zeitaufwendiges Verfahren zum Durchführen einer extrinsischen Kamerakalibrierung bereitzustellen. Es ist ein weiteres Ziel, ein Verfahren zur extrinsischen Kalibrierung anzugeben, dass von jemandem mit geringer Kalibrierungserfahrung durchgeführt werden kann und das zur Aftermarket-Kalibrierung geeignet ist.
Zur Erreichung dieser Ziele schlägt diese Offenbarung Methoden vor, bei denen intrinsische und extrinsische Kalibrierung kombiniert sind. Gemäß einem ersten Aspekt betrifft die Offenbarung ein Verfahren zur extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera. Das Verfahren umfasst ein Aufnehmen, unter Verwendung der Kamera, eines oder mehrerer Bilder eines bekannten Musters auf einer Kalibrierungsfläche einer Kalibrierungstafel und ein Gewinnen von Daten, von einem an der Kalibrierungstafel befestigten ersten Orientierungssensor, die indikativ für eine Pose der Kalibrierungsfläche beim Aufnehmen des zugehörigen einen oder der mehreren Bilder ist. Das Verfahren umfasst ferner ein Gewinnen von Orientierungsdaten, von einem an dem Fahrzeug angeordneten zweiten Orientierungssensor, die indikativ für eine Pose des Fahrzeugs sind, sowie ein Ermitteln einer Pose der Kamera in Bezug auf das Fahrzeug, basierend auf wenigstens einem des einen oder der mehreren aufgenommenen Bilder, der Pose der Kalibrierungsfläche und der Pose des Fahrzeugs. Der Kalibrierungsprozess wird sehr schnell und einfach durchzuführen sein und wird nur ein geringes Maß an Training erfordern. Ferner werden keine Beschränkungen hinsichtlich der Anbringungsposen von Kameras auferlegt, um den extrinsischen Kalibrierungsprozess zu erleichtern, was die Möglichkeit eröffnet, weniger Sensoren mit geringeren Kosten und geringerem Aufwand bei der Installation und Verkabelung zu verwenden.
In manchen Ausführungsformen umfasst das Verfahren ein Durchführen einer intrinsischen Kalibrierung der Kamera basierend auf wenigstens einem des einen oder der mehreren Bilder. Durch Kombinieren von intrinsischer und extrinsischer Kalibrierung ist es möglich, ein Fahrzeug in einem Bruchteil der Zeit zu kalibrieren.
In manchen Ausführungsformen umfasst das Verfahren ein Liefern der ermittelten Pose an eine Steueranordnung des Fahrzeugs zur Verwendung beim autonomen Fahren. Im Fall von Sensoren, die an autonomen Fahrzeugen angebracht sind, kann das Erfordernis des Aufbauens großer, anspruchsvoller Kalibrierungsräume eliminiert werden. Dies kann zusammen mit der Einfachheit des Verfahrens das Kalibrierungsproblem im Aftermarket lösen. Das vorgeschlagene Verfahren wird auch für sehr viel kompliziertere Kameraposen funktionieren, die für Nutzfahrzeuge typisch sind.
In manchen Ausführungsformen umfassen die Daten Orientierungsdaten und Positionsdaten. Dadurch kann die Kalibrierung eine größere Genauigkeit haben.
In manchen Ausführungsformen ist eine Beziehung zwischen Orientierungsdaten, die von dem ersten und zweiten Orientierungssensor erhalten werden, bekannt. Dadurch ist es einfacher, zwei Orientierungssensormessungen zum Auffinden der Pose zu vergleichen als einen komplizierten extrinsischen Kalibrierungsalgorithmus zu finden, was wiederum einen geringeren Entwicklungsaufwand bedeutet.
In manchen Ausführungsformen umfasst das Aufnehmen ein Aufnehmen mehrerer Bilder aus ähnlichen und/oder unterschiedlichen Richtungen. Die Genauigkeit wird sich typischerweise verbessern, wenn mehrere Bilder verwendet werden.
In manchen Ausführungsformen umfasst das Ermitteln ein Identifizieren einer Pose des bekannten Musters in einem Koordinatensystem des Fahrzeugs und ein Kalibrieren der Pose der Kamera in dem Koordinatensystem des Fahrzeugs. Auf diese Weise kann die Kamerapose auf eine einfache Art ermittelt werden.
Gemäß einem zweiten Aspekt betrifft die Offenbarung eine Kalibrierungstafel zum Ermöglichen einer extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera. Die Kalibrierungstafel umfasst eine Kalibrierungsfläche mit einem bekannten Muster darauf, einen ersten Orientierungssensor, der an der Kalibrierungstafel angebracht ist, und eine erste Steueranordnung, die dazu eingerichtet ist, Orientierungsdaten an eine zweite Steueranordnung zu liefern, die indikativ für eine Pose der Kalibrierfläche sind.
In manchen Ausführungsformen umfasst die Kalibriertafel eine Benutzerschnittstelleneinrichtung, welche dazu ausgeführt ist, Benutzerdaten zwischen einem Benutzer und der zweiten Steueranordnung über die erste Steueranordnung zu kommunizieren. Dadurch kann die Kalibrierungstafel auch dazu verwendet werden, einen Benutzer während des Kalibrierungsvorgangs zu instruieren, beispielsweise um sicherzustellen, dass die Kalibrierung auf korrekte Weise durchgeführt wird.
Gemäß einem dritten Aspekt betrifft die Offenbarung eine Steueranordnung, die dazu eingerichtet ist, das Verfahren nach dem ersten Aspekt auszuführen.
Gemäß einem vierten Aspekt betrifft die Offenbarung ein Fahrzeug mit der Steueranordnung nach dem dritten Aspekt.
Gemäß einem fünften Aspekt betrifft die Offenbarung ein Computerprogramm mit Anweisungen, die dann, wenn das Programm durch einen Computer ausgeführt wird, den Computer dazu veranlassen, das Verfahren nach dem ersten Aspekt durchzuführen.
Gemäß einem sechsten Aspekt betrifft die Offenbarung ein computerlesbares Medium mit Anweisungen, die dann, wenn sie von einem Computer ausgeführt werden, den Computer dazu veranlassen, das Verfahren nach dem ersten Aspekt durchzuführen.
Figurenliste

1 stellt ein Fahrzeug 1 dar, bei dem das vorgeschlagene Verfahren zur extrinsischen Kalibrierung einer Kamera implementiert werden kann.
2 zeigt eine Seitenansicht des Fahrzeugs aus 1.
3 illustriert ein computerimplementiertes Verfahren zur extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera.
4 zeigt eine erste Steueranordnung einer Kalibrierungstafel gemäß einem Ausführungsbeispiel.
5 zeigt eine zweite Steueranordnung des Fahrzeugs aus 1 gemäß einem Ausführungsbeispiel.

Detaillierte Beschreibung
Diese Offenbarung schlägt ein Orientierungssensor-basiertes Verfahren vor, das einen an einer Kalibrierungstafel angeordneten Orientierungssensor dazu verwendet, die Pose des Kalibrierungsmusters in dem Fahrzeugrahmen (Muster~Fahrzeug-Beziehung) zu ermitteln. Das vorgeschlagene Verfahren kann während des intrinsischen Kamerakalibrierungsvorgangs die Notwendigkeit für einen zusätzlichen extrinsischen Kalibrierungsschritt vollständig eliminieren durch Berechnen von Posen von Kameras, die an einem Fahrzeug angebracht sind.
Genauer gesagt wird hierin vorgeschlagen, einen Orientierungssensor an einer Kalibrierungstafel anzubringen. Ein ähnlicher Orientierungssensor ist typischerweise bereits am Fahrzeug befestigt. Während Bilder von an dem Fahrzeug angeordneten Kameras aufgenommen werden, werden Messwerte der an der Kalibrierungstafel und an dem Fahrzeug angebrachten Orientierungssensoren gespeichert. Durch zeitsynchrones Vergleichen der Messwerte der zwei Orientierungssensoren (d. h. ein Messwert von der Kalibrierungstafel und ein Messwert von dem Fahrzeug) kann die relative Pose des Musters bezüglich des Fahrzeugs ermittelt werden. Dies entspricht dem Zwischenschritt eines Auffindens der oben genannten Muster~Fahrzeug-Pose.
Der normale Ansatz für den intrinsischen Kalibrierungsschritt einer Kamera besteht im Aufnehmen von Bildern eines Kalibrierungsmusters (z. B. Schachbrettmuster) und Verarbeiten derselben online oder offline. Falls ein Orientierungssensor an der Kalibrierungstafel befestigt ist, die während des intrinsischen Kalibrierungsschritts verwendet wird, dann ist es möglich, die extrinsische Kalibrierung während der intrinsischen Kalibrierung durchzuführen. Genauer kann, da jede Kamera separat intrinsisch kalibriert wird, jede Kamera ohne zusätzlichen Aufwand zur selben Zeit extrinsisch kalibriert werden.
Die intrinsische Kalibrierung hängt nicht von der Kamerapose ab und kann deshalb sogar vor einem Anbringen der Sensoren in dem Fahrzeug durchgeführt werden. Um jedoch die intrinsische und die extrinsische Kalibrierung kombinieren zu können, ist es natürlich notwendig, dass die intrinsische Kalibrierung stattfindet, nachdem die Kameras am Fahrzeug angebracht worden sind.
1 zeigt konzeptionell ein Fahrzeug 1, hier ein Lastwagen, in das das vorgeschlagene Verfahren zur extrinsischen Kalibrierung einer an einem Fahrzeug angeordneten Kamera implementiert werden kann. 2 zeigt eine Seitenansicht des Fahrzeugs aus 1. Das Fahrzeug 1 kann ein Transportmittel im breiten Sinne sein. Genauer gesagt ist die vorgeschlagene Methode sowohl auf Einkörperfahrzeuge (z. B. Busse oder Lastwagen) als auch auf Gelenkfahrzeuge (z. B. Zugfahrzeug-Auflieger-Kombinationen und Gelenkbusse) anwendbar. Die vorgeschlagene Methode wird vorliegend unter Bezugnahme auf autonomes Fahren vorgestellt. Es ist jedoch zu erwarten, dass die Methode auf eine jegliche an dem Fahrzeug 1 angeordnete Kamera anwendbar ist.
In 1 ist das Fahrzeug 1 zur kombinierten intrinsischen und extrinsischen Kamerakalibrierung unter Verwendung einer Kalibrierungstafel 2 vorgesehen. Die Kalibrierungstafel 2 ist im Bildfeld wenigstens einer an dem Fahrzeug 1 angeordneten Kamera 11 positioniert.
Die Kalibrierungstafel 2 ist typischerweise ein plattenförmiges eigenständiges Gerät. Die Kalibrierungstafel 2 weist eine Kalibrierungsfläche 21, einen ersten Orientierungssensor 23 und eine erste Steueranordnung 22 auf. Die Kalibrierungstafel 2 kann handgehalten oder am Boden über einen Ständer, eine Wand oder ähnliches befestigt sein.
Die Kalibrierungsfläche 21 hat auf sich ein bekanntes Muster, welches auch als ein Kalibrierungsmuster bezeichnet wird. Mit anderen Worten ist das Muster einer Steueranordnung 10 bekannt, die die Kalibrierung ausführen soll. Das Kalibrierungsmuster ist typischerweise ein zweidimensionales Muster. Das Kalibrierungsmuster ist mittels einer Kamera erfassbar. In dem dargestellten Beispiel ist das bekannte Muster ein Schachbrettmuster. Alternativ kann eine ChArUco-Platte verwendet werden. Eine ChArUco-Platte ist eine ebene Tafel, auf der die Markierungen innerhalb der weißen Quadrate eines Schachbretts angeordnet sind. Die Vorteile von ChArUco-Platten liegen darin, dass sie sowohl Vielseitigkeit als auch Schachbretteckenpräzision bieten, was zur Kalibrierung und Posenermittlung wichtig ist. Mit anderen Worten ist in manchen Ausführungsformen das Muster indikativ für eine Orientierung der Kalibrierungstafel 2.
Der erste Orientierungssensor 23 ist an der Kalibrierungstafel 2 angebracht. Der erste Orientierungssensor 23 ist dazu eingerichtet, die Orientierung des bekannten Musters der Kalibrierungsfläche 21 in Bezug auf ein Referenzkoordinatensystem zu messen. Der erste Orientierungssensor 23 umfasst z. B. ein Magnetometer und einen Beschleunigungsmesser. Der erste Orientierungssensor 23 ist typischerweise ein absoluter Orientierungssensor, der die Orientierung des bekannten Musters hinsichtlich einer absoluten Referenz wie beispielsweise ein Trägheitsrahmen angibt. In manchen Ausführungsformen ist der erste Orientierungssensor 23 ein Trägheitsnavigationssystem, IMU, welches dazu konfiguriert ist, eine absolute Orientierung anzugeben. Der erste Orientierungssensor 23 ist an der Kalibrierungstafel 2 solchermaßen angebracht, dass die Beziehung zwischen dem Muster und dem ersten Orientierungssensor 23 bekannt oder vorhersagbar ist. Zum Beispiel ist die Beziehung zwischen dem ersten Orientierungssensor 23 und der Kalibrierungsfläche 21 mit einem Muster darauf feststehend. Die Beziehung ist beispielsweise im Voraus kalibriert worden.
Die erste Steueranordnung 22 ist dazu eingerichtet, Orientierungsdaten, die indikativ für eine Pose der Kalibrierungsfläche 21 sind, an eine zweite Steueranordnung 10 zu liefern, die z. B. in dem Fahrzeug 1 angeordnet ist (siehe 2). In manchen Ausführungsformen ist die erste Steueranordnung 2 auch dazu eingerichtet, Orientierungsdaten an andere Steueranordnungen zu liefern, beispielsweise an irgendeine nicht im Fahrzeug befindliche Einheit. Genauer ist die erste Steueranordnung 22 dazu eingerichtet, Orientierungsdaten aus dem ersten Orientierungssensor 23 auszulesen und die Orientierungsdaten mittels einer Kommunikationsschnittstelle 223 (siehe 4) zu übertragen. Wenn die Beziehung zwischen der Kalibrierungsfläche 21 und dem ersten Orientierungssensor 23 bekannt ist, entspricht die Pose der Kalibrierungsfläche 21 der Pose des ersten Orientierungssensors 23. Typischerweise sind sowohl der erste Orientierungssensor 23 als auch die Kalibrierungsfläche 21 an der Kalibrierungstafel 2 fixiert und ihre Posen werden dann alle die gleichen sein. In manchen Ausführungsformen sind die erste Steueranordnung 22 und der erste Orientierungssensor 23 als eine integrierte Einheit implementiert.
In manchen Ausführungsformen weist die Kalibrierungstafel eine Benutzerschnittstelleneinrichtung 24 auf. Die Benutzerschnittstelleneinrichtung 24 umfasst zum Beispiel eine Anzeige und eine Eingabevorrichtung, beispielsweise Tasten. In manchen Ausführungsformen weist die Benutzerschnittstelleneinrichtung 24 einen Berührungsbildschirm auf. Die Benutzerschnittstelleneinrichtung 24 ist dazu eingerichtet, Benutzerdaten zwischen einem Benutzer und der zweiten Steueranordnung 10 über die erste Steueranordnung 22 zu kommunizieren. Auf diese Weise können über die Kalibrierungstafel Anweisungen an eine die Kalibrierung durchführende Person gegeben werden, wie im Folgenden näher erläutert werden wird.
Das Fahrzeug 1 enthält die für ein autonomes Fahren notwendige Ausrüstung. Ein solches Fahrzeug 1 umfasst typischerweise ein autonomes Fahrsystem, ein Navigationssystem, Sensoren, Instrumente etc. Das autonome Fahrsystem ist dazu eingerichtet, das Fahrzeug autonom zu betreiben. Die Sensoren und Instrumente sind dazu eingerichtet, Fahrzeugparameter zur Verwendung durch das autonome Fahrsystem bereitzustellen. Das Navigationssystem ist dazu eingerichtet, eine Krümmung einer vorausliegenden Straße zu ermitteln. Aus Gründen der Einfachheit sind nur Teile des Fahrzeugs 1 in den 1 und 2 gezeigt und hierin beschrieben, die von der vorgeschlagenen Methode betroffen sind.
Das dargestellte Fahrzeug 1 weist eine oder mehrere Kameras 11, einen zweiten Orientierungssensor 12 und eine zweite Steueranordnung 10 auf. Die eine oder die mehreren Kameras 11 dienen beispielsweise zur Verwendung beim autonomen Fahren. Die Kameras sind zum Beispiel Bildsensoren oder eine jegliche Kamera, die das Kalibrierungsmuster erfassen kann. Der zweite Orientierungssensor 12 ist ein Sensor, der dazu ausgeführt ist, eine Orientierung des Fahrzeugs 1 bezüglich eines Koordinatensystems zu messen. Typischerweise stellen der erste und der zweite Orientierungssensor 12, 23 die Orientierung in demselben Koordinatensystem bereit. Der zweite Orientierungssensor 12 ist beispielsweise ein IMU, was eine Komponente ist, die typischerweise in vielen Fahrzeugen bereits vorhanden ist.
Die zweite Steueranordnung 10 ist eine Vorrichtung, die dazu ausgeführt ist, das vorgeschlagene Verfahren zur extrinsischen Kalibrierung unter Verwendung der Kalibrierungstafel durchzuführen. Die zweite Steueranordnung 10 wird im Zusammenhang mit 5 genau beschrieben.
Das vorgeschlagene Verfahren zur extrinsischen Kalibrierung einer an einem Fahrzeug 1 angeordneten Kamera 11 wird nun unter Bezugnahme auf das Fließbild in 3 und das Fahrzeug in den 1 und 2 beschrieben. Das Verfahren wird in einer Steueranordnung 10 ausgeführt. In diesem Beispiel ist die zweite Steueranordnung 10 in dem Fahrzeug 1 angeordnet. Es versteht sich jedoch, dass die zweite Steueranordnung 10 alternativ zumindest teilweise außerhalb des Fahrzeugs angeordnet sein kann, solange sie mit der Kamera 11 und den Orientierungssensoren 12, 23 kommunizieren kann.
Das Verfahren kann als ein Computerprogramm implementiert sein, welches Anweisungen enthält, die dann, wenn das Programm durch einen Computer (z. B. einen Prozessor in der zweiten Steueranordnung 10 (5)) ausgeführt wird, den Computer dazu veranlasst, das Verfahren durchzuführen. Gemäß manchen Ausführungsformen ist das Computerprogramm auf einem computerlesbaren Medium (z. B. ein Speicher oder eine CD) gespeichert, welches Anweisungen enthält, die dann, wenn sie von einem Computer ausgeführt werden, den Computer dazu veranlassen, das Verfahren durchzuführen.
Das Verfahren wird zum Beispiel während der Herstellung durchgeführt, nachdem die meisten Bauteile zusammengebaut worden sind. Alternativ oder zusätzlich kann das Verfahren im Aftermarket durchgeführt werden, um Kameras zu rekalibrieren, die im Betrieb verkippt worden sein können. Das Verfahren wird für eine Kamera 11 durchgeführt, es versteht sich jedoch, dass das Verfahren typischerweise für alle Kameras wiederholt wird.
Vor einem Durchführen der Kalibrierung wird das Fahrzeug 1 typischerweise an einem geeigneten Ort geparkt, beispielsweise in einer Garage. Die Kalibrierungstafel 2 wird dann in dem Bildfeld der Kamera 11 positioniert. Beispielsweise werden Anweisungen darüber, wie die Kalibrierungstafel 2 zu positionieren ist, über die Benutzerschnittstelleneinrichtung 24 der Kalibrierungstafel 2 ausgegeben. Ein Beispiel für eine solche Anweisung ist beispielsweise „Bewege die Tafel x cm nach rechts oder neige die Tafel von der Oberseite 5 Grad nach vorne“. Diese Anweisungen werden hauptsächlich während der Kalibrierung gegeben, aber sie könnten natürlich auch vor einem Beginn gegeben werden. Die Kalibrierung wird dann gestartet, zum Beispiel wird die Kalibrierung gestartet, wenn der Benutzer (wie etwa ein Techniker) einen Befehl an die zweite Steueranordnung 10 gibt. In manchen Ausführungsformen erfolgt der Befehl auch über die Benutzerschnittstelleneinrichtung 24 der Kalibrierungstafel.
Das vorgeschlagene Verfahren zur extrinsischen Kalibrierung beginnt nun. Das vorgeschlagene Verfahren umfasst ein Aufnehmen S1, mittels der Kamera 11, eines oder mehrerer Bilder des bekannten Musters auf der Kalibrierungsfläche 21 der Kalibrierungstafel 2. Mit anderen Worten, es werden mittels der Kamera 11 ein oder mehrere Bilder gemacht, die das bekannte Muster zeigen. In manchen Ausführungsformen umfasst somit das Aufnehmen S1 ein Aufnehmen mehrerer Bilder aus ähnlichen und/oder unterschiedlichen Richtungen.
Um die extrinsische Kalibrierung durchführen zu können, muss die Orientierung des Musters in den Fahrzeugrahmen ermittelt werden. Dies geschieht mittels der Orientierungssensoren 12, 23, die an dem Fahrzeug 1 und an der Kalibrierungstafel 2 angeordnet sind. Mit anderen Worten umfasst das Verfahren ferner ein Gewinnen S2 von Orientierungsdaten, von einem an der Kalibrierungstafel 2 angebrachten ersten Orientierungssensor 23, die indikativ für eine Pose der Kalibrierungsfläche 21 beim Aufnehmen des zugehörigen einen oder der mehreren Bilder sind, und ein Gewinnen S3 von Orientierungsdaten, von einem an dem Fahrzeug 1 angebrachten zweiten Orientierungssensor 12, die indikativ für eine Pose des Fahrzeugs 1 sind. Die Reihenfolge dieser Sensormessungen ist typischerweise unwichtig. Die Orientierungsdaten sind eine Angabe einer Orientierung hinsichtlich eines Bezugsrahmens. Während dieser Messungen können weitere Daten geliefert werden, wie etwa Positionsdaten, Beschleunigungsdaten, Rotationsdaten etc., die die Kalibrierung weiter verbessern können. Zum Beispiel wird typischerweise auch der Abstand zwischen den Kameras für die Umsetzung benötigt, er ändert sich jedoch typischerweise nicht so stark wie die Winkel, da die Kameras typischerweise an vorbestimmten Positionen am Fahrzeug angebracht sind. Es kann deshalb zum Ermitteln der Pose der Kamera ausreichen, nur die Orientierung der Sensoren zu erhalten. Die Positionen müssen dann auf eine andere Weise erhalten werden (eventuell unter Benutzung der CAD Konstruktion des Fahrzeugs selbst). Weitere Daten, die von dem Orientierungssensor (z. B. ein IMU) bereitgestellt werden können, können jedoch ebenfalls zum Ermitteln der Pose verwendet werden, sofern verfügbar. Beispielsweise kann ein IMU Informationen über Beschleunigung, Position etc. liefern.
Eine Pose der Kamera 11 bezüglich des Fahrzeugs 1 wird dann basierend auf wenigstens einem des einen oder der mehreren aufgenommenen Bilder, der Pose der Kalibrierungsfläche und der Pose des Fahrzeugs ermittelt S4. Die Pose der Kalibrierungsfläche und die Pose des Fahrzeugs sind aus den Orientierungsdaten verfügbar, die in den vorhergehenden Schritten S2, S3 erhalten worden sind. In manchen Ausführungsformen ist eine Beziehung zwischen Orientierungsdaten bekannt, die von dem ersten und zweiten Orientierungssensor 12, 23 gewonnen wurden. Zum Beispiel wird dasselbe Koordinatensystem verwendet oder eine andere bekannte Beziehung.
Eine Art und Weise des Ermittelns der Pose wird nun beschrieben, es versteht sich jedoch, dass dies auf andere Art und Weisen durchgeführt werden kann. Aus jedem aufgenommenen Bild des Kalibrierungsmusters ist es möglich, eine Kamera~Muster-Pose zu ermitteln. Eine Kamera~Muster-Pose meint die Kamerapose in einem Koordinatensystem des Musters 8 (1). Mit anderen Worten, die Kamera~Muster-Pose legt eine Beziehung zwischen der Pose des Kalibrierungsmusters 21 und der Pose der Kamera 11 fest.
Für jedes Bild werden dann die Sensormessungen des ersten und zweiten Orientierungssensors verglichen, um eine Muster~Fahrzeug-Pose für jedes Bild zu erhalten. Eine Muster~Fahrzeug-Pose, oder Beziehung, meint die Pose des Musters in dem Koordinatensystem 9 des Fahrzeugs 1. Mit anderen Worten, die Muster~Fahrzeug-Pose legt eine Beziehung zwischen dem Koordinatensystem des Musters 8 und dem Koordinatensystem 9 des Fahrzeugs 1 fest.
Durch Kombinieren der Kamera~Muster- und Muster~Fahrzeug-Posen ist es dann möglich, eine Kamera~Fahrzeug-Pose für jedes Bild zu erhalten. Somit meint eine Kamera~Fahrzeug-Pose die Pose der Kamera in dem Koordinatensystem 9 des Fahrzeugs 1. Die Kamera~Fahrzeug-Pose ist die in der extrinsischen Kalibrierung erwünschte Information. Mit anderen Worten legt die Kamera~Fahrzeug-Pose eine Beziehung zwischen der Pose der Kamera und der Pose des Fahrzeugs fest, die zum Beispiel zur Objekterkennung beim autonomen Fahren benutzt werden kann.
Ein für alle Bilder berechneter Mittelwert von Kamera~Fahrzeug-Posen ergibt dann die Kamera~Fahrzeug-Pose. Mit anderen Worten umfasst das Ermitteln S4 in manchen Ausführungsformen ein Identifizieren einer Pose des bekannten Musters in einem Koordinatensystem des Fahrzeugs 1 und ein Kalibrieren der Pose der Kamera 11 in dem Koordinatensystem des Fahrzeugs 1 basierend auf der Pose des bekannten Musters in einem Koordinatensystem des Fahrzeugs 1.
Wie zuvor erwähnt können dieselben Bilder sowohl zur intrinsischen als auch zur extrinsischen Kalibrierung verwendet werden. Mit anderen Worten umfasst das Verfahren in manchen Ausführungsformen ein Durchführen S5 einer intrinsischen Kalibrierung der Kamera basierend auf wenigstens einem des einen oder der mehreren Bilder. Die intrinsische und extrinsische Kalibrierung kann in jeder Reihenfolge oder sogar parallel ausgeführt werden. Somit kann dieser Schritt vor, nach oder zur selben Zeit wie die Schritte S2 bis S4 ausgeführt werden.
Falls die Kalibrierung nicht von der Steueranordnung ausgeführt wird, die das autonome Fahren steuert, dann sollte die kalibrierte Pose dem autonomen Fahrsystem bereitgestellt werden. Mit anderen Worten umfasst in manchen Ausführungsformen das Verfahren ein Liefern S6 der ermittelten Pose an eine zweite Steueranordnung 10 des Fahrzeugs zur Verwendung beim autonomen Fahren.
Es wird nun auf 4 eingegangen, die ein Beispiel einer an der Kalibrierungstafel 2 angeordneten ersten Steueranordnung 22 genauer zeigt. Die erste Steueranordnung 22 umfasst Hardware und Software. Die Hardware umfasst im Wesentlichen verschiedene elektronische Bauteile auf einer gedruckten Leiterplatte, PCB. Das wichtigste dieser Bauteile ist typischerweise ein oder mehrere Prozessoren 221, z. B. ein Mikroprozessor, zusammen mit einem Speicher 222, z. B. ein EPROM oder ein Flash-Speicherchip.
Die erste Steueranordnung 22 umfasst auch eine Kommunikationsschnittstelle 223 zur Kommunikation mit einem Orientierungssensor und eine zweite Steueranordnung 10 in dem Fahrzeug, die zum Ausführen einer extrinsischen Kalibrierung eingerichtet ist. Die Kommunikationsschnittstelle kann drahtlos oder drahtgebunden sein. Typischerweise ist eine drahtlose Schnittstelle bequemer. Die Kommunikationsschnittstelle 103 kann unter Verwendung irgendeines geeigneten Kommunikationsprotokolls wie etwa Ethernet, Bluetooth, Wifi, einem 3GPP-Protokoll oder ein proprietäres Protokoll implementiert werden. Mit anderen Worten ist die erste Steueranordnung 22 dazu ausgeführt, Orientierungsdaten von dem ersten Orientierungssensor 23 auszulesen und Orientierungsdaten, die für eine Pose eines bekannten Musters auf einer Kalibrierungsfläche 21 der Kalibrierungstafel 2 indikativ sind, unter Verwendung der Kommunikationsschnittstelle 223 an eine zweite Steueranordnung 10 zu liefern.
Es wird nun eingegangen auf 5, welche die zweite Steueranordnung 10, die zur extrinsischen Kalibrierung einer an einem Fahrzeug 1 angeordneten Kamera 11 eingerichtet ist, genauer darstellt. In manchen Ausführungsformen ist die zweite Steueranordnung 10 eine „Einheit“ in einem funktionalen Sinne. Somit ist in manchen Ausführungsformen die zweite Steueranordnung 10 eine Steueranordnung, die mehrere physische Steuergeräte umfasst, die zusammenarbeiten.
Die zweite Steueranordnung 10 umfasst Hardware und Software. Die Hardware umfasst im Wesentlichen verschiedene elektronische Bauteile auf einer gedruckten Leiterplatte, PCB. Das wichtigste dieser Bauteile ist typischerweise ein oder mehrere Prozessoren 101, z. B. ein Mikroprozessor, zusammen mit einem Speicher 102, z. B. ein EPROM oder ein Flash-Speicherchip. Aus Gründen der Einfachheit ist in der zweiten Steueranordnung 10 nur ein Prozessor 101 und ein Speicher 102 dargestellt, jedoch könnten es in einer realen Ausführung natürlich mehr sein.
Die zweite Steueranordnung 10 kann eine oder mehrere ECUs umfassen. Eine ECU ist im Wesentlichen ein digitaler Computer, der ein oder mehrere elektrische Systeme (oder elektrische Untersysteme) des Fahrzeugs 1 steuert basierend z. B. auf Informationen, die aus Sensoren und Instrumenten ausgelesen werden, die an verschiedenen Teilen und in unterschiedlichen Komponenten des Fahrzeugs 1 platziert sind. ECU ist ein Oberbegriff, der in der Automobilelektronik für ein jegliches eingebettetes System verwendet wird, das eine oder mehrere Funktionen des elektrischen Systems oder Untersystems in einem Transportfahrzeug steuert. Die zweite Steueranordnung 10 umfasst beispielsweise eine automatisierte Fahrsteuerungseinheit, ADAS, oder jegliche andere geeignete ECU. Die Steueranordnung kann darüber hinaus oder alternativ Hardware und Software umfassen, die sich nicht am Ort des Fahrzeugs befindet.
Die zweite Steueranordnung 10 oder genauer der Prozessor 101 der zweiten Steueranordnung 10 ist dazu eingerichtet, die zweite Steueranordnung 10 dazu zu veranlassen, alle Aspekte des vorstehend beschriebenen Verfahrens auszuführen. Dies geschieht typischerweise, indem ein in dem Datenspeicher oder Speicher 102 gespeicherter Computerprogrammcode in dem Prozessor 101 der zweiten Steueranordnung 10 ausgeführt wird. Der Datenspeicher 102 kann auch dazu ausgeführt sein, semistatische Fahrzeugparameter wie etwa Fahrzeugabmessungen zu speichern.
Die zweite Steueranordnung 10 umfasst auch eine Kommunikationsschnittstelle 103 zur Kommunikation mit beispielsweise einer ersten Steueranordnung 22 einer Kalibrierungstafel. Die Kommunikationsschnittstelle kann drahtlos oder drahtgebunden sein. Typischerweise wird eine drahtlose Schnittstelle bequemer sein. Die Kommunikationsschnittstelle 103 kann unter Verwendung eines jeglichen geeigneten Kommunikationsprotokolls wie etwa Bluetooth, Wifi, ein 3GPP-Protokoll oder ein proprietäres Protokoll implementiert werden.
Genauer gesagt ist die zweite Steueranordnung 10 dazu eingerichtet, unter Verwendung der Kamera 11 ein oder mehrere Bilder eines bekannten Musters auf einer Kalibrierungsfläche 21 einer Kalibrierungstafel 2 aufzunehmen und von einem ersten Trägheitsnavigationssystem, IMU, das an der Kalibrierungstafel 2 angebracht ist, Daten zu erhalten, die indikativ für eine Pose der Kalibrierungstafel 2 beim Aufnehmen des zugehörigen eines oder der mehreren Bilder sind. Die zweite Steueranordnung 10 ist dazu eingerichtet, von einem am Fahrzeug 1 angeordneten zweiten Orientierungssensor 12 Sensordaten zu erhalten, die indikativ für eine Pose des Fahrzeugs 1 sind, und eine Pose der Kamera 11 in Bezug auf das Fahrzeug 1, basierend auf zumindest einem des einen oder der mehreren aufgenommenen Bilder, der Pose der Kalibrierungstafel und der Pose des Fahrzeugs zu ermitteln.
In manchen Ausführungsformen ist die zweite Steueranordnung 10 dazu eingerichtet, eine intrinsische Kalibrierung der Kamera basierend auf wenigstens einem oder mehreren Bildern durchzuführen.
In manchen Ausführungsformen ist die zweite Steueranordnung 10 dazu eingerichtet, die ermittelte Pose an eine Steueranordnung des Fahrzeugs zur Verwendung beim autonomen Fahren zu liefern.
Die in der Beschreibung der in den beigefügten Figuren dargestellten Ausführungsformen verwendete Terminologie ist nicht dazu gedacht, hinsichtlich des beschriebenen Verfahrens, der Steueranordnung oder des Computerprogramms einschränkend zu sein. Diverse Änderungen, Substitutionen und/oder Abwandlungen können erfolgen, ohne von offenbarten Ausführungsformen wie in den anhängenden Ansprüchen definiert abzuweichen.
Der Ausdruck „oder“ wie hierin verwendet ist als ein mathematisches OR zu verstehen, d. h. als eine inklusive Disjunktion, nicht als ein mathematisch exklusives OR (XOR), falls nicht ausdrücklich anders angegeben. Darüber hinaus sind die Singularformen „ein“, „eine“ und „der/die/das“ als „mindestens ein/eine“ zu verstehen, und umfassen somit eventuell mehrere Einheiten derselben Art, falls nicht ausdrücklich anders angegeben. Es versteht sich ferner, dass die Ausdrücke „enthält“, „umfasst“, „enthaltend“ und/oder „umfassend“ das Vorhandensein angegebener Merkmale, Aktionen, Ganzzahlen, Schritte, Operationen, Elemente und/oder Bauteile angibt, jedoch nicht das Vorhandensein oder die Hinzufügung eines oder mehrerer weiterer Merkmale, Aktionen, Ganzzahlen, Schritte, Operationen, Elemente, Bauteile und/oder Gruppen daraus ausschließt. Eine einzelne Einheit wie beispielsweise ein Prozessor kann die Funktionen mehrere in den Ansprüchen angegebener Gegenstände bewerkstelligen.

Claims

Verfahren zur extrinsischen Kalibrierung einer an einem Fahrzeug (1) angeordneten Kamera (11), wobei das Verfahren umfasst: - Aufnehmen (S1) eines oder mehrerer Bilder eines bekannten Musters auf einer Kalibrierungsfläche (21) einer Kalibrierungstafel (2) mittels der Kamera (11), - Gewinnen (S2), von einem an der Kalibrierungstafel (2) angebrachten, ersten Orientierungssensor (23), von Daten, die indikativ für eine Pose der Kalibrierungsfläche (21) beim Aufnehmen des zugehörigen einen oder der mehreren Bilder sind, - Gewinnen (S3), von einem an dem Fahrzeug (1) angeordneten, zweiten Orientierungssensor (12), von Orientierungsdaten, die indikativ für eine Pose des Fahrzeugs (1) sind, und - Ermitteln (S4) einer Pose der Kamera (11) in Bezug auf das Fahrzeug (1) basierend auf wenigstens einem des einen oder der mehreren Bilder, der Pose der Kalibrierungsfläche und der Pose des Fahrzeugs.
Verfahren nach Anspruch 1, wobei das Verfahren umfasst: - Ausführen (S5) einer intrinsischen Kalibrierung der Kamera basierend auf wenigstens einem des einen oder der mehreren Bilder.
Verfahren nach Anspruch 1 oder 2, wobei das Verfahren umfasst: - Liefern (S6) der ermittelten Pose an eine Steueranordnung (10) des Fahrzeugs zur Verwendung beim autonomen Fahren.
Verfahren nach einem der vorherigen Ansprüche, wobei die Daten Orientierungsdaten und/oder Positionsdaten umfassen.
Verfahren nach einem der vorherigen Ansprüche, wobei eine Beziehung zwischen Orientierungsdaten, die von dem ersten und zweiten Orientierungssensor (12, 23) erhalten wurden, bekannt ist.
Verfahren nach einem der vorherigen Ansprüche, wobei das Aufnehmen (S1) ein Aufnehmen mehrerer Bilder aus ähnlichen und/oder unterschiedlichen Richtungen umfasst.
Verfahren nach einem der vorherigen Ansprüche, wobei das Ermitteln (S4) ein Identifizieren einer Pose des bekannten Musters in einem Koordinatensystem des Fahrzeugs (1) und ein Kalibrieren der Pose der Kamera (11) in dem Koordinatensystem des Fahrzeugs (1) umfasst.
Computerprogramm mit Anweisungen, die dann, wenn das Computerprogramm von einem Computer ausgeführt wird, den Computer dazu veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Computerlesbares Medium mit Anweisungen, die dann, wenn sie von einem Computer ausgeführt werden, den Computer dazu veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kalibrierungstafel (20) zum Ermöglichen einer extrinsischen Kalibrierung einer an einem Fahrzeug (1) angeordneten Kamera, wobei die Kalibrierungstafel aufweist: - eine Kalibrierungsfläche (21) mit einem bekannten Muster darauf, - einen an der Kalibrierungstafel angebrachten, ersten Orientierungssensor (23), und, - eine erste Steueranordnung (22), die dazu ausgeführt ist, für eine Pose der Kalibrierungsfläche indikative Orientierungsdaten an eine zweite Steueranordnung (10) zu liefern.
Kalibrierungstafel nach Anspruch 10, mit: - einer Benutzerschnittstelleneinrichtung (24), die dazu eingerichtet ist, Benutzerdaten zwischen einem Benutzer und der zweiten Steueranordnung (10) über die erste Steueranordnung (22) zu kommunizieren.
Kalibrierungstafel nach Anspruch 10 oder 11, wobei das Muster indikativ für eine Orientierung der Kalibrierungstafel (2) ist.
Zweite Steueranordnung (10), die zur extrinsischen Kalibrierung einer an einem Fahrzeug (1) angeordneten Kamera (11) ausgeführt ist, wobei die zweite Steueranordnung (10) dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.
Fahrzeug (1), welches zumindest einen Teil der zweiten Steueranordnung (10) nach Anspruch 13 aufweist.