-
Die Erfindung betrifft ein Verfahren zum Kalibrieren mindestens einer Kamera in einem Fahrzeug und eine Anordnung zum Durchführen des Verfahrens.
-
Stand der Technik
-
Als Kamera werden fototechnische Apparaturen bezeichnet, die statische oder bewegte Bilder auf einem fotografischen Film oder elektronisch auf einem Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln können.
-
Als Kalibrierung wird ein Messprozess bezeichnet, der dazu eingesetzt wird, um eine Abweichung eines Messgeräts gegenüber einem anderen Gerät, einem Referenzgerät, festzustellen. Diese Abweichung wird dann bei der anschließenden Benutzung des Messgeräts zur Korrektur der abgelesenen Werte berücksichtigt. Im Rahmen der Kalibrierung einer Kamera wird somit deren Abbildungsverhalten im Vergleich zum Abbildungsverhalten einer Referenzkamera festgestellt.
-
Fahrzeuge verwenden Videokameras, um das Umfeld des Fahrzeugs zu erfassen und bspw. automatisierte und/oder automatische Fahrfunktionen ermöglichen zu können. Hierbei ist es wichtig, dass das Umfeld des Fahrzeugs geometrisch vermessen wird, um für das Fahrzeug, im Fall des automatischen Fahrens, durch Fahrsituationen einen Pfad planen und navigieren zu können.
-
Grundlage einer geometrischen Vermessung ist die Kalibrierung der Erfassungskameras, damit aus den Bildinhalten der Kameras die tatsächliche Geometrie der Szene berechnet werden kann. Die Kalibrierung einer Kamera lässt sich aufteilen in:
- a. Die Kalibrierung der äußeren Orientierung, d. h. in welche Richtung schaut die Kamera, wie ist sie zum Fahrzeug orientiert. Dies wird auch als extrinsische Kalibrierung bezeichnet.
- b. Die Kalibrierung des Strahlengangs durch die Kameraoptik einschließlich des Bildaufnahmesensors bzw. Imagers, d. h. wie verläuft das Licht innerhalb der Kamera bzw. wie bildet sich die dreidimensionale bzw. 3D-Welt vor der Kamera in das zweidimensionale bzw. 2D-Bild der Kamera ab. Dies wird auch als intrinsische Kalibrierung bezeichnet.
-
Der Bildaufnahmesensor bzw. Imager stellt den Senor, d. h. die Einheit dar, die das erfasste Licht in ein elektrisches Signal wandelt. Sensoren sind grundsätzlich technische Bauteile, die bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit ihrer Umgebung qualitativ oder als Messgröße quantitativ erfassen können. Die erfassten Größen werden dann in ein typischerweise elektrisches Signal umgewandelt, das die erfassten Größen repräsentiert. Videosensoren sind Sensoren, die elektromagnetische Strahlen, insbesondere im sichtbaren Bereich, erfassen. Typischerweise umfassen Kameras oder auch Videokameras solche Videosensoren.
-
Da die Kalibrierung für die geometrische Rekonstruktion der Szene von großer Bedeutung ist, werden Kameras bislang im Zuge der Kameraproduktion intrinsisch am Ende der Montage kalibriert. Es wird dann davon ausgegangen, dass sich der optische Strahlenverlauf innerhalb der Kamera und damit die intrinsische Kalibrierung nicht mehr ändert.
-
Nach der Installation der Kamera im Fahrzeug, bspw. im Werk bei der Fahrzeugproduktion oder nach einem Scheibentausch in einer Werkstatt, wird die Kamera extrinsisch kalibriert. Hierbei kommen sog. Kalibriertargets zum Einsatz. Auf diesen ist eine 3D-Geometrie aufgebracht, mit deren Hilfe die extrinsische Geometrie bzw. Kalibrierung der Kamera ermittelt wird.
-
Sind an einem Fahrzeug Multi-Kamera-Systeme mit mehreren Kameras zur Szenenerfassung installiert, so werden auch diese Kameras relativ zueinander kalibriert. Sehr häufig wird dann ebenfalls davon ausgegangen, dass die extrinsische Kalibrierung anschließend konstant bleibt.
-
Es sind Verfahren bekannt, bei denen im Betrieb der Kameras teilweise deren extrinsische Kalibrierung nachkalibriert wird. So ist bspw. auch eine extrinsische Online-Nachkalibrierung bekannt. Es ist weiterhin ein Verfahren bekannt, das aus einer vorgegebenen Szenen-Geometrie der Infrastruktur eine extrinsische Kamerakalibrierung durchführt. Dieses Verfahren benötigt jedoch zwingend eine Lokalisierung des Fahrzeugs, was einen Nachteil darstellt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden ein Verfahren nach Anspruch 1 und eine Anordnung gemäß Anspruch 10 vorgestellt. Ausführungsformen ergeben sich aus den abhängigen Ansprüchen und aus der Beschreibung.
-
Das vorgestellte Verfahren dient zum Kalibrieren einer Kamera in einem Fahrzeug, insbesondere einem Kraftfahrzeug. Bei diesem ist vorgesehen, dass während des Betriebs des Fahrzeugs eine intrinsische Kalibrierung der Kamera vorgenommen wird, wobei bspw. während der Fahrt oder im Stillstand des Fahrzeugs ein dreidimensionales Kalibriertarget erzeugt wird, auf dessen Grundlage die intrinsische Kalibrierung durchgeführt wird.
-
Ein Kalibriertarget ist bspw. eine Tafel, die zur Kalibrierung in das Sichtfeld der Kamera gehalten wird. Es können aber auch Objekte aus der Umgebung als Kalibriertarget verwendet werden, wie bspw. ein Ampelpfosten, dessen Ausrichtung bekannt ist, was wiederum bei der Kalibrierung genutzt werden kann. Ein Kalibriertarget ist somit ein im Kamerabild sichtbares Objekt, das definierte geometrische Randbedingungen besitzt, wie z. B. feste quadratische Rasterflächen, bekannte Abstände und Geometrien, bspw. Linien, von Objekten.
-
Das Kalibriertarget kann auf unterschiedliche Weise erzeugt werden, so kann bspw. auf eine digitale Karte zugegriffen werden. Es kann somit gemäß dem vorgestellten Verfahren eine intrinsische Kamerakalibrierung unter Berücksichtigung von Daten bzw. Inhalten von digitalen Karten vorgenommen werden.
-
Unter einer intrinsischen Kalibrierung wird die Kalibrierung des Strahlengangs durch die Kameraoptik einschließlich des Bildaufnahmesensors bzw. Imagers verstanden. Es wird somit überprüft, wie das Licht innerhalb der Kamera verläuft bzw. wie sich die 3D-Welt vor der Kamera in das 2D-Bild der Kamera abbildet. Eine extrinsische Kalibrierung hingegen kalibriert die äußere Orientierung der Kamera.
-
Während des Betriebs des Fahrzeugs bedeutet, dass die Kalibrierung einmal, wiederholt in Abständen oder ständig bzw. permanent während der Nutzung des Fahrzeugs, d. h. insbesondere während der Fahrt des Fahrzeugs, durchgeführt wird. Entsprechend kann das Verfahren auch im Stillstand des Fahrzeugs durchgeführt werden.
-
Zu beachten ist, dass Kalibrierung sowohl den Prozess der Bestimmung der unterliegenden Modellparameter als auch diese Parameter selbst beschreibt.
-
In Ausgestaltung werden zusätzlich Multi-Kamerakalibrierungen durchgeführt. Eine extrinsische Multi-Kamerakalibrierung ist die relative Kalibrierung zwischen mehreren Kameras. Die extrinsische Kalibrierung bezieht sich oft auf ein externes Koordinatensystem.
-
Die beschriebene Anordnung dient zum Durchführen des vorgestellten Verfahrens und ist bspw. in einer Hardware und/oder Software implementiert. Die Anordnung kann bspw. in einem Steuergerät des Fahrzeugs integriert oder als solches ausgebildet sein.
-
Es wurde somit erkannt, dass die Annahme, wonach sich die Kamerakalibrierung während des Betriebs nicht ändert, in vielen Fällen nicht zulässig ist. So muss insbesondere die extrinsische Kalibrierung nachgeführt werden, da sich die Orientierung der Kamera oft relativ zur Szene ändert. Ein Beispiel hierfür ist die Beladung oder dynamische Bewegung des Fahrzeugs, was sowohl die Winkel, nämlich Nick- Roll- und Gierwinkel, der Kamera zur Szene als auch die Höhe über der Fahrbahn beeinflusst.
-
Bei bekannten Verfahren wird durch einfache Annahmen der Szenengeometrie, wie z. B. die Annahme einer ebenen, geraden Fahrbahn, eine Nachkalibrierung der Kamera berechnet. Oft sind die verwendeten Annahmen jedoch nicht exakt. Dies trifft somit auch auf die resultierende Kalibrierung zu. Die Effekte dieser Fehler sind aktuell nur deswegen so gering und akzeptabel, weil die Funktionen keine hohe Genauigkeit benötigen.
-
So wird eine Fahrspurwechsel- oder Fahrspurhaltefunktion, die auch als Lane-Departure oder -Keeping Funktion bezeichnet wird, als Fahrer-Assistenz-Funktion vom Fahrer überwacht. Diese funktioniert auch mit einer Ungenauigkeit von mehreren Zentimetern. Bei einer automatischen Fahrfunktion hingegen, die ohne dauerhafte Überwachung durch den Fahrer zuverlässig funktionieren muss, sind solche Ungenauigkeiten nicht akzeptabel.
-
Auch die Annahme, dass sich die intrinsische Kalibrierung der Kamera nicht ändert, ist in vielen Fällen nicht zulässig. So führen bspw. starke Lichtbestrahlungen, Temperaturschwankungen und/oder mechanische Belastungen zu permanenten oder temporären Veränderungen des mechanischen und optischen Systems der Kamera bzw. der Kameras.
-
Diese Einflüsse führen zu einer Alterung oder Veränderung von optischen und mechanischen Elementen der Kamera und somit zu einer Änderung bei dem intrinsischen Kalibrierwert einer Kamera. Derartige Änderungen können zeitlich träge Änderungen sein, durch langfristige Einflüsse, bspw. durch mechanisch dauerhafte Verformungen, und/oder zeitlich kurzfristig sein, bspw. durch schnelle Temperaturwechsel.
-
Zur Erhöhung der Robustheit, Verfügbarkeit und/oder der Genauigkeit einer Szenengeometrie-Vermessung ist es folglich sehr vorteilhaft und in vielen Fällen erforderlich, neben der extrinsischen Kalibrierung auch die intrinsische Kalibrierung der Kamera nachzuschätzen. Hier setzt die Erfindung an.
-
Hierbei kann auch die Kalibrierung weiterer optischer Elemente erfolgen, durch die das Licht der Szene auf die Kamera fällt. Es wird bspw. der Einfluss der Scheibe oder anderer transparenter Schutzvorrichtungen vor der Kamera oft nicht ausreichend berücksichtigt. Das vorgestellte Verfahren kann auch solche zusätzlichen optischen Elemente bei der Kalibrierung berücksichtigen.
-
Das vorgeschlagene Verfahren kann die Nutzung von dreidimensionalen Informationen aus digitalen Karten nutzen. Es kann auch die Kenntnis der Fahrzeugposition innerhalb der Karte nutzen. Jedoch sind diese beiden Informationen nicht unbedingt erforderlich, was einen Vorteil gegenüber dem Stand der Technik darstellt.
-
Ebenfalls neu ist der Fokus auf eine intrinsische Kalibrierung mit Betrachtung aller optischen Elemente der Kamera und des optischen Pfades.
-
Es wird somit eine dauerhafte Kalibrierung einer oder mehrerer Kameras während der Fahrt durch Fahrsituationen und -szenen vorgeschlagen. Hierbei wird die Szene als dreidimensionales Kalibriertarget interpretiert und dieses zur Kalibrierung genutzt.
-
Es gibt verschiedene Möglichkeiten, dieses dreidimensionale Kalibriertarget zu erzeugen. Diese können alternativ oder ergänzend angewendet werden:
- a. Nutzung von regulären Strukturen und Abständen einer Fahrsituation:
- Hierbei werden Strukturen wie konstante Größen und Abstände von Leitpfosten und Fahrbahnmarkierungen genutzt, siehe 3. Es besteht keine Notwendigkeit einer Lokalisierung bzw. Posenschätzung, d. h. Position und Orientierung, oder einer extrinsischen Kalibrierung. Aus der Regularität der 3D-Objekte wird ein virtuelles 3D-Kalibriertarget erzeugt. Ein Beispiel für ein Kalibriertarget, was im Stand der Technik verwendet wird, ist ein reguläres Schachbrettmuster, siehe 4.
- b. Nutzung von bekannten Geometrien eines Objekts in der Szene: Es sind bspw. Hauskanten in der Regel gerade Objekte in der Welt. Die Abbildung dieser Struktur im Bild kann dazu genutzt werden, die Kamera zu kalibrieren, siehe 5: Die Objekte sind als verzerrte Abbildung gestrichelt im Bild der Kamera eingezeichnet. Die Linien im Kamerabild sind bereits durch die Kalibrierung korrigiert: Die gerade Linie der Hauskante wird als gerade Linie im Bild abgebildet, Die Form der Straßenlaterne entspricht der erwarteten Geometrie, der Verlauf der Straße entspricht den Erwartungen.
- c. Nutzung von geometrisch bekannten Objekten aus der digitalen Karte in der Szene: Ist das Fahrzeug innerhalb einer digitalen Karte lokalisiert, d. h. ist eine Pose innerhalb der dreidimensionalen Kartenstruktur bekannt, so können aus den Positionen dieser Objekte im Bild die Kalibrierung der Kamera berechnet werden, siehe 6. Dabei wird die Karte direkt als Kalibrierobjekt genutzt. Da eine Nachkalibrierung auf diese Art und Weise Einfluss auf die ermittelte Lokalisierung haben kann, in Abhängigkeit von der für die Lokalisierung, genutzter Sensorik, muss dieser Schritt unter Umständen mehrfach wiederholt werden, bis Konvergenz erreicht wird.
-
Die Verfahren a.) und b.) arbeiten mit und ohne Lokalisierung innerhalb einer digitalen Karte, das Verfahren c.) benötigt diese Lokalisierung.
-
Ein Schwerpunkt des hierin beschriebenen Verfahrens liegt in der Schätzung einer intrinsischen Kalibrierung, die in auch um eine extrinsische Kalibrierung erweitert werden kann. Von Bedeutung hierbei ist, dass eine hochgenaue digitale Karte ausgenutzt bzw. gefordert wird. Einige Verfahren nutzen Linienmarkierungen auf der Straße und nehmen dabei implizit Linearität, d. h. die Markierungen sind grade, und Parallelität an. Dies muss allerdings nicht der Fall sein und ist durch ein dekalibriertes System nicht verifizierbar. Für Fahrzeuge bzw. Systeme mit hohen Sicherheitsanforderungen stellt dies ein grundsätzliches Problem und Risiko dar.
-
Es kann die Information aus der hochgenauen Karte genutzt werden, um die damit bekannte Linearität, Regelmäßigkeit, oder entsprechende Abweichungen Krümmungsradien usw. von Objekten korrekt, d. h. fehlerfrei, in den Kalibrierprozess einfließen lassen zu können.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Figurenliste
-
- 1 zeigt in schematischer Darstellung ein Fahrzeug mit einer Anordnung zum Durchführen des Verfahrens.
- 2 zeigt einen Signalflussplan.
- 3 zeigt eine Nutzung von regulären Strukturen und Abständen einer Fahrsituation zur direkten Kalibrierung einer Kamera.
- 4 zeigt ein Beispiel für eine Kalibriertafel.
- 5 zeigt eine Abbildung von Objekten mit bekannter Geometrie im Bild der Kamera.
- 6 zeigt eine Nutzung von Objekten einer Karte als Kalibrierobjekt.
-
Ausführungsformen der Erfindung
-
Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
-
1 zeigt ein Fahrzeug 10 mit einer Anordnung 12 zum Durchführen des vorgestellten Verfahrens. Die Darstellung zeigt weiterhin Kameras 14, 16, 18, 20 . Diese liefern Daten zur Erfassung des Fahrzeugumfeldes und damit eine Beschreibung des Fahrzeugumfeldes. Die Montagepositionen der Kameras 14, 16, 18, 20 können beispielhaft, wie dies in 1 gezeigt ist, um das Fahrzeug 10 angeordnet sein. Mindestens eine Kamera, z. B. die nach vorne gerichtete Kamera 14, ist im Fahrzeug 10 integriert. Neben den Kameras 14, 16, 18, 20, die typischerweise Videosensoren umfassen, sind auch andere bildgebende Sensoren zur Umfelderfassung denkbar, wie beispielsweise Radar- und/oder Lidar-Sensoren.
-
Mindestens eine der Kameras, 14, 16, 18, 20, bspw. alle Kameras 14, 16, 18, 20, liefert Ergebnisse der jeweiligen Umfelderkennung an die Anordnung 12, die eine intrinsische Kalibrierung der einzelnen Kameras 14, 16, 18, 20 durchführt. Dazu werden verschiedene Verfahren genutzt, die im Signalfluss in 2 beschrieben sind. Neben dem Fokus intrinsischer Kalibrierungen können auch extrinsische Kalibrierungen und Multi-Kamerakalibrierungen von der Anordnung 12 durchgeführt werden. Multi-Kamerakalibrierungen sind Kalibrierungen mehrerer Kameras. So umfasst eine sogenannte Stereokamera zwei Kameras, die zueinander kalibriert werden sollten.
-
Hierzu werden virtuelle 3D-Kalibriertargets benötigt, die mithilfe einer digitalen Karte 22 und/oder geometrischer Annahmen aus den aufgenommenen Bildern der Kameras 14, 16, 18, 20 erzeugt werden können. Zur Generierung von virtuellen Kalibriertargets aus der digitalen Karte 22 werden geometrische Elemente an der Fahrzeugposition aus der digitalen Karte 22 extrahiert und zur Kalibrierung genutzt. Der Inhalt der digitalen Karte 22 kann über einen geeigneten Aktualisierungs- bzw. Update-Mechanismus auf dem aktuellen Stand gehalten werden. Updates können dabei über geeignete Schnittstellen, beispielsweise Funk-Kommunikations-Einrichtungen, eingespielt werden. Der Austausch von Karteninformationen kann zwischen dem Fahrzeug 10 und einem zentralen Kartenspeicher in beide Richtungen erfolgen.
-
Die Anordnung 12 kann zur Lokalisierung des Fahrzeuges 10 oder zur Berechnung der Eigenbewegung des Fahrzeuges auf weitere Sensoren 24 zurückgreifen, wie bspw. GNSS, z. B. GPS, Galileo, GLONASS, ... und/oder Fahrzugdynamiksensoren, z. B. Radrehzahlmessung und/oder Beschleunigungssensoren und/oder eine Trägheitsplattform (IMU: inertial measurement unit). Zusätzlich können weitere optionale Sensoren 26 zur Szeneninterpretation angeschlossen sein, die die Anordnung 12 zur robusten und zuverlässigen Umfelderkennung nutzen kann.
-
Die Anordnung 12 liefert Daten und Informationen an eine Funktionskomponente 28 oder weitere Komponenten zur Szenenanalyse und zum Szenenverständnis, die die Kalibrierinformationen zweckmäßig nutzen können.
-
2 beschreibt einen möglichen Signalfluss bei Durchführung einer Ausführung des vorgestellten Verfahrens zur intrinsischen Kamerakalibrierung durch Inhalte von digitalen Karten. In der Darstellung sind die Kameras 14, 16, die weiteren optionalen Sensoren 26, die digitale Karte 22, die weiteren Sensoren 24 und die Funktionskomponente 28 aus 1 wiedergegeben.
-
Zunächst wird der Signalfluss oberhalb einer gestrichelten Linie beschrieben, der eine Kalibrierung von einer oder mehreren Kameras 14, 16 zunächst ohne digitale Karten 22 und Lokalisierung ermöglicht:
- Der Kamera 14 und/oder weitere Kameras, von denen hier die Kamera 16 dargestellt ist, liefern Informationen über das Fahrzeugumfeld an eine erste Einheit 32, die aus den Kamera- bzw. Sensordaten Merkmale und Objektinformationen zur Umfeldrepräsentation extrahiert. Diese Repräsentation kann durch die weiteren optionale Sensoren 26 zur Szeneninterpretation ergänzt werden. Die extrahierte Umfeldrepräsentation kann enthalten:
- zweidimensionale (2D) oder dreidimensionale (3D) Beschreibungen von Szenenobjekten, z. B. durch geometrische Daten, in geeigneten Kamera- und/oder Umfeld-Koordinatensystemen,
- Größen von Objekten, z. B. metrische Größe, wie bspw. Höhe/Breite, von Leitpfosten oder auch Pixelgröße und/oder-ausdehnung im Bild, vgl. hierzu 3,
- Bedeutungen bzw. Klasse von Objekten der Repräsentation, z. B. „Objekt ist Leitpfosten“, und/oder die Semantik von Szeneninhalten,
-
Positionsbeschreibung von folgenden Objektklassen:
- - linienartige Straßenmarkierungen, z. B. Fahrspurmarkierungen, vgl. 3,
- - sonstige Straßenmarkierungen, wie bspw. Pfeile, Piktogramme, Schrift, Zeichen ...,
- - Leitpfosten, vgl. 3,
- - Straßenlaternen, vgl. 5,
- - Verkehrszeichen,
- - Ampelanlagen,
- - Leitplanken,
- - Masten / Mobilfunkmasten / Streben / Strommasten,
- - weitere reguläre Infrastrukturobjekte,
- - Häuser und/oder Gebäude, vgl. 5,
- - Brücken und/oder Schilderbrücken,
- - weitere Objekte im Bild, die gerade Kanten aufweisen,
- - weitere Objekte im Bild, die bekannte geometrische Formen aufweisen,
- - Horizontdaten, Fluchtpunkte, Fluchlinien.
-
Linien gleicher Höhenverläufe im Bild, z. B. sind alle Leitpfosten in einer Szene näherungsweise auf der gleichen Höhe über der Straße, vgl. 3.
-
Eine zweite Einheit 34 kann die Information von der ersten Einheit 32 zusätzlich (optional) zur Stabilisierung zeitlich verfolgen, tracken und/oder prädizieren. Dadurch können sich wiederholende Strukturen, d. h. repetitive Muster, erkannt werden:
- - Informationen von erkannten sich wiederholenden Mustern,
- - Abstände, metrisch und/oder Pixelmaße, zwischen periodisch auftretenden Objekten, z. B. in regelmäßigem Abstand aufgestellte Leitpfosten, vgl. 3,
- - Abstände, metrisch und/oder Pixelmaße, zwischen periodisch auftretenden Fahrbahnmarkierungen, z. B. in regelmäßigem Abstand aufgezeichnete Straßenlinien, vgl. 3,
- - Ausnutzung und Modellierung von weiteren periodisch auftretenden Strukturen in der Szene.
-
Die geometrischen Informationen von der ersten Einheit 32 und/oder die Regularität von Objekten aus der zweiten Einheit 34 wird in einer dritten Einheit 36 dazu genutzt, um ein synthetisches Kalibriermuster zu erzeugen. Dieses ist vergleichbar mit einem statischen Muster, vgl. 4, das während Kalibrierprozessen vor die Kamera gehalten wird.
-
Die Informationen aus der ersten Einheit 32, der zweiten Einheit 34 und der dritten Einheit 36 werden gemäß dem vorgestellten Verfahren zur intrinsischen Kalibrierung der Kamera 14 bzw. 16 genutzt.
-
Aus den
- - regulären Mustern, vergleichbar einem Schachbrett nach 4,
- - Geradheitsannahme von Objekten,
- - Formannahmen von Objekten, z. B. „Rechteck“, „Kreis“, „Gerade“, „Dreieck“, „gleichschenkliges Dreieck“,
- - Größeninformationen,
- - Abstandsinformationen
- - Größenverhältnissen,
- - Abstandsverhältnissen,
- - definierten Objektformen, z. B. „Form bzw. Krümmung einer Straßenlaterne oder der Fahrbahn“, vgl. 5,
- - weiteren sinnvollen geometrischen Randbedingungen
können intrinsische Parameter 40 der Kameras 14 und/oder 16 bestimmt werden. Die intrinsischen Parameter 40 definieren dabei die Abbildung des 3D-Raumes, den die Kamera 14 und/oder 16 aufnimmt, in die 2D-Bildebene des Kamerasensors.
-
Mindestens folgende intrinsische Parameter werden dabei bestimmt:
- Kamerasensor:
- - Pixel-Abstände (Pitch),
- - Hauptpunkt, optisches Zentrum der Kamera,
- - Auflösung des Sensors, horizontal und vertikal,
- - invalide Pixel,
- optische Abbildung:
- - radiale Verzeichnung: Verzeichnungsparameter, z. B. für Kissen-/Tonnen-Verzeichnung, radialer Linsenfehler,
- - tangentiale Verzeichnung,
- - Brennweite, in horizontaler und vertikaler Richtung,
- - Sichtfeld (Field of View),
- - Verdrehung (Rotation) des Sensors, relativ zur Kamera,
- - Verschiebung (Translation) des Sensors, relativ zur Kamera,
weitere intrinsische Kameraparameter.
-
Neben der intrinsischen Kalibrierung lässt sich auch eine extrinsische Kalibrierung 42 aus den Informationen der ersten Einheit 32, der zweiten Einheit 34 und der intrinsischen Kalibrierung 40 schätzen. Dabei wird bspw. die äußere Ausrichtung der Kamera 14 und/oder 16 zu einem Welt-Koordinatensystem geschätzt.
-
Mindestens folgende extrinsische Parameter werden dabei bestimmt:
- Rotation der Kamera, Nick-, Wank-, Gierwinkel,
- Translation der Kamera, longitudinaler, lateraler, Höhen-Versatz der Kamera.
-
Für Multikamera-Anordnungen oder Multi-Sensor-Anordnungen können die Sensoren wechselseitig relativ mittels einer vierten Einheit 38 zueinander extrinsisch kalibriert werden.
-
Die Kalibrierergebnisse der intrinsischen Kalibrierung 40, der extrinsischen Kalibrierung 42 und der wechselseitigen Kalibrierung mit der vierten Einheit 38 können über eine externe Schnittstelle bzw. die Funktionskomponente 28 an weiter verarbeitende Module, Messverfahren oder Funktionen weiter gegeben werden. Rückkanäle von diesen Modulen können zur Bewertung und/oder Verbesserung der Kalibrierung genutzt werden.
-
Unterhalb der gestrichelten Line 30 ist ein weiterer Signalpfad eingezeichnet. Dieser macht die Daten der digitalen Karte 22 insbesondere zur intrinsischen Kalibrierung nutzbar:
- Features zur Lokalisierung des Fahrzeuges werden durch eine fünfte Einheit 50 aus der Karte 22 extrahiert. Eine sechste Einheit 52 lokalisiert das Fahrzeug innerhalb der Karte durch:
- 1. die genannten Kartenfeatures durch die fünfte Einheit 50,
- 2. geeignete Informationen zur Fahrzeugposition, z. B. GPS, und Fahrdynamik, z. B. Beschleunigungsinformationen aus einem ESP oder Geschwindigkeitsinformationen aus Raddrehzahlsensoren, insbesondere durch die weiteren Sensoren 24,
- 3. Features aus einer oder mehreren Kameras 14 und/oder 16 zur Umfelderfassung, die zur Lokalisierung herangezogen werden können.
-
Liegt die Lokalisierung vor, so ist die Pose der Kamera innerhalb der 3D-Welt bekannt. Mittels der Beschreibung der Karte kann aus deren Elementen ebenfalls ein virtuelles Kalibriertarget 54, typischerweise durch die dritte Einheit 36, berechnet werden. Dieses kann präziser als das bisher (ohne Karteninformation) berechnete Target sein, weil zu dessen Erzeugung 3D-Informationen aus der Karte 22 berücksichtigt werden können.
-
3 zeigt die Nutzung von regulären Strukturen und Abständen einer Fahrsituation zur direkten Kalibrierung einer Kamera. Die Darstellung zeigt ein entsprechendes Kamerabild 70.
-
4 zeigt ein Beispiel für eine Kalibriertafel, in diesem Fall ein Schachbrett 80.
-
5 zeigt die Abbildung von Objekten mit bekannter Geometrie im Bild der Kamera, einem Kamerabild 100. Die Objekte sind als verzerrte Abbildung mit punktierten Linien im Kamerabild 100 eingezeichnet. Die durchgezogenen Linien im Kamerabild 100 sind bereits durch die Kalibrierung korrigiert. So wird bspw. eine gerade Linie der Hauskante als gerade Linie abgebildet.
-
6 zeigt eine Nutzung von Objekten der Karte als Kalibrierobjekt, insbesondere rückprojizierte Ecken-Positionen von Objekten aus der Karte in ein Kamerabild 120. Es handelt sich hierbei um eine korrekt kalibrierte Kamera. In 6 sind die Endpunkte der Straßenmarkierung in der Karte enthalten, im Bild als Kreuz 122 dargestellt. Bringt man durch die insbesondere intrinsische Kalibrierung der Kamera die Kreuze 122 in Deckung mit der Bildaufnahme, so ist die Kamera kalibriert. Analoges gilt für die Positionen der Leitpfosten.
-
Die Inhalte, d. h. Features, Attribute, der digitalen Karte können dabei für unterschiedliche Einsatzzwecke genutzt werden:
- 1. Ein Feature wird nur zur Lokalisierung der Kamera bzw. des Fahrzeugs innerhalb der Karte genutzt.
- 2. Ein Feature wird zur Lokalisierung und zur Kalibrierung der Kamera genutzt.
- 3. Ein Feature wird nur zur Kalibrierung der Kamera genutzt.
-
Die Entscheidung, wozu ein Feature genutzt wird, kann so vorteilhaft erzeugen, dass der beabsichtigte Zweck optimiert wird. So kann ein weit entfernt liegendes „Einzelfeature“ wie z. B. ein Pfosten einer Ampel, ggf. sehr gut zum Lokalisieren genutzt werden, während repetitiv auftretende Strukturen, wie bspw. Pfosten einer Leitplanke, sich gut zur intrinsischen Kalibrierung der Kamera eignen können.
-
Wird die Lokalisierung in der Karte zumindest teilweise durch die zu kalibrierende Kamera gestützt, so ist bei einer Dekalibrierung ein negativer Einfluss auf die Lokalisierung zu erwarten. Diese würde im besten Fall ungenau und im schlechtesten Fall systematisch gestört sein. Daher ist es im Fall (c), siehe 6, vorzuziehen, die Lokalisierung und Kalibrierung gleichzeitig und gemeinsam zu bestimmen, um die Rückwirkung der Kalibrierung aus die Lokalisierung direkt einfließen lassen zu können. Alternativ kann dies auch in einem wechselseitigen Schema erfolgen, indem abwechselnd die Kalibrierung und Lokalisierung angepasst werden.
-
Das vorgestellte Verfahren und die beschriebene Anordnung können bei Produkten eingesetzt werden, bei denen eine Kalibrierung von einer oder mehreren Kameras bspw. zur Umfelderfassung verwendet werden. Dies ist insbesondere bei Multi-Sensor- bzw. Kamera-Anordnungen aus verschiedenen Sensormessprinzipien, bspw. Kameras, Radarsensoren, Lidarsensoren, Ultraschallsensoren, Lasermesstechnik, Beschleunigungssensoren, Navigationsgeräte, der Fall.
-
Auch wenn eine digitale Karte zur Lokalisierung in Kombination mit Kameras bzw. Sensoren zur Umfelderfassung zum Einsatz kommt, kann das Verfahren angewendet werden. Dies kann bspw. auch bei der Realisierung von assistierten, automatisierten und automatischen Fahren der Fall sein. Dies kommt bspw. bei Nutzfahrzeugen, Personenfahrzeugen, Taxi-Fahrzeugen, Flurförderfahrzeugen, Offroad-Fahrzeugen, Landwirtschaftsfahrzeugen und Offshore-Fahrzeugen in Betracht.
