DE102016104729A1

DE102016104729A1 - Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Info

Publication number: DE102016104729A1
Application number: DE102016104729.5A
Authority: DE
Inventors: Pantelis ERMILIOS; Bryan McNamara; William O'Grady; Myles Friel
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-03-15
Filing date: 2016-03-15
Publication date: 2017-09-21

Abstract

Die Erfindung betrifft ein Verfahren zur extrinsischen Kalibrierung einer Kamera (4) eines Kraftfahrzeugs (1) auf der Basis von mindestens zwei Bildern (14) eines Umgebungsbereichs (9) des Kraftfahrzeugs (1), die nacheinander von der Kamera (4) aufgenommen werden, wobei die Bilder zumindest teilweise eine Textur eine Straßenoberfläche (11) anzeigen, und wobei die folgenden Schritte im Verfahren durchgeführt werden: a) Bestimmen von mindestens zwei ersten Blöcken in einem ersten Bild als erste Bildbereiche, die jeweilige Straßenoberflächenbereiche darstellen, b) Identifizieren von zwei zu den jeweiligen ersten Blöcken korrespondierenden zweiten Blöcken in mindestens einem zweiten Bild als zweite Bildbereiche, die zumindest teilweise den Straßenoberflächenbereich des entsprechenden ersten Blocks darstellen, c) Bestimmen von jeweiligen Bewegungsvektoren (vi) für jedes Paar der zwei entsprechenden Blöcke (14) (S3), d) Kalibrieren der Kamera (4) auf der Basis der Bewegungsvektoren (vi). Die Erfindung betrifft auch eine Rechenvorrichtung (3), ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).

Description

Die Erfindung betrifft ein Verfahren zur extrinsischen Kalibrierung einer Kamera eines Kraftfahrzeugs auf der Basis von mindestens zwei Bildern eines Umgebungsbereichs des Kraftfahrzeugs, die nacheinander durch die Kamera aufgenommen werden. Außerdem betrifft die Erfindung eine Rechenvorrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
Vorliegend ist das Interesse auf Kalibrierungsverfahren, insbesondere auf extrinsische und zielobjektlose Selbstkalibrierungsverfahren, für Kameras eines Kraftfahrzeugs gerichtet. Die Kameras sind so ausgelegt, dass sie den dreidimensionalen Umgebungsbereich des Kraftfahrzeugs in einem zweidimensionalen Bild oder Abbild darstellen. Daher wird gewöhnlich ein Kameramodell bereitgestellt, um die 3D-Weltkoordinaten des Umgebungsbereichs auf 2D-Pixelkoordinaten des Bildes abzubilden. Das Kameramodell hängt gewöhnlich von intrinsischen Kameraparametern, wie der Brennweite, dem Bildsensorformat und dem Bildmittelpunkt, und extrinsischen Kameraparametern, wie der Orientierung und der Höhe der Kamera, die auch als Lage der Kamera bezeichnet werden, ab, wobei die extrinsischen Parameter im Allgemeinen durch Vorgabe festgelegt sind. Diese extrinsischen Parameter können die realen und aktuellen extrinsischen Parameter der Kamera nicht darstellen, beispielsweise aufgrund von mechanischen Toleranzen im Fahrzeugherstellungsprozess, aufgrund einer Airmatic-Aufhängung oder aufgrund von Beladungsänderungen im Fahrzeug wie z. B. der Anzahl von Fahrgästen oder des Gewichts in einem Kofferraum des Fahrzeugs. Diese fehlerhaften extrinsischen Parameter können eine negative Auswirkung auf den Wiedergabeprozess oder die Bildsynthese haben. Folglich ist es erforderlich, die Kamera zu kalibrieren, um zuverlässige Bilder zu erhalten, die einem Fahrerassistenzsystem des Kraftfahrzeugs bereitgestellt werden können. Das Fahrerassistenzsystem ist beispielsweise dazu ausgelegt, Objekte oder Hindernisse für das Kraftfahrzeug im Umgebungsbereich des Kraftfahrzeugs mittels der Abbilder zu erkennen.
Die meisten zielobjektlosen Online-Kalibrierungsverfahren für an Fahrzeugen montierte Kameras, die aus dem Stand der Technik bekannt sind, beruhen auf der Anwesenheit von sogenannten starken Merkmalen, die zuverlässig auf einer Straßenoberfläche oder in der Umgebung über eine Sequenz von Abbildern oder Einzelbildern von einer oder mehreren fahrzeugseitigen Kameras verfolgt werden können. Typischerweise werden Linienmarkierungen oder punktartige Merkmale als starke Merkmale verwendet. Die bekannten Verfahren erfordern gewöhnlich Wendemanöver des Fahrzeugs zusätzlich zu einer geraden Bewegung, um die vollständige Orientierung der Kamera in drei Freiheitsgraden (DOF) wiederzugewinnen, sowie die Odometrie des Fahrzeugs als zusätzliche Eingabe, um die Kalibrierung zu lösen.
Der Nachteil der Verwendung von Linien besteht darin, dass sie nicht immer vorhanden sind. Außerdem liefern sie typischerweise nicht genügend Informationen für eine 3-DOF-Kalibrierung von einer einzelnen Kamera, z. B. ergibt ein einfaches Fluchtpunktverfahren, das auf Straßenlinienmarkierungen beruht, nur eine teilweise 2-DOF-Kalibrierung. Der Nachteil der Verwendung von starken punktartigen Merkmalen besteht darin, dass diese Merkmale nicht mit hoher Frequenz und Dichte auf der Straßenoberfläche erscheinen könnten und folglich die Kalibrierung verlangsamen. Die Verwendung von schwächeren Merkmalen erhöht die Anzahl von Merkmalen, aber auch die Anzahl von Ausreißern und erzeugt folglich weitere Probleme. Die Erfassung der vollständigen Trajektorien von solchen Merkmalen durch Verfolgen derselben über eine erweiterte Sequenz von Einzelbildern erfordert überdies viele Rechenressourcen und erlegt Laufzeiteinschränkungen auf.
Während eines Wendemanövers ändert sich außerdem die Lage des Fahrzeugs relativ zur Straßenoberfläche wesentlich. Dies führt einen Fehler in die Kalibrierung ein, der schwierig zu kompensieren ist. Verfahren, die auf Wendemanövern beruhen, sind gewöhnlich aufgrund der Fahrzeugodometrie ungenügend, da die odometrischen Informationen typischerweise ungenau sind. Diese ungenauen odometrischen Informationen erzeugen unbefriedigende Ergebnisse, wenn sie als kritische Eingabe für die Kalibrierung verwendet werden. Vereinfachte kinematische Modelle für Wendemanöver führen auch weitere Fehler ein, da sie die komplexe Lenkgeometrie und Dynamik des Kraftfahrzeugs oder Autos nicht gut nähern.
Es ist die Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, wie eine Kalibrierung einer Kamera in besonders schneller, sehr verfügbarer und zuverlässiger Weise durchgeführt werden kann.
Gemäß der Erfindung wird diese Aufgabe durch ein Verfahren, eine Rechenvorrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsbeispiele der Erfindung sind der Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
In einem Ausführungsbeispiel der Erfindung wird ein Verfahren bereitgestellt, das zur extrinsischen Kalibrierung einer Kamera eines Kraftfahrzeugs insbesondere auf der Basis von mindestens zwei Bildern eines Umgebungsbereichs des Kraftfahrzeugs, die nacheinander von der Kamera aufgenommen werden, dient. Dabei zeigen die Bilder zumindest teilweise eine Textur einer Straßenoberfläche an. Ferner können in einem Schritt a) mindestens zwei erste Blöcke in einem ersten Bild als erste Bildbereiche bestimmt werden, die jeweilige Straßenoberflächenbereiche darstellen, in einem Schritt b) können zu den jeweiligen ersten Blöcken korrespondierende zweite Blöcke in mindestens einem zweiten Bild als zweite Bildbereiche, die zumindest teilweise den Straßenoberflächenbereich des entsprechenden ersten Blocks darstellen, identifiziert werden, und in einem Schritt c) können Bewegungsvektoren für jedes Paar der zwei entsprechenden Blöcke bestimmt werden. Insbesondere wird in einem Schritt d) die Kamera auf der Basis der Bewegungsvektoren kalibriert.
In einem bevorzugten Ausführungsbeispiel der Erfindung wird ein Verfahren bereitgestellt, das zur extrinsischen Kalibrierung einer Kamera eines Kraftfahrzeugs auf der Basis von mindestens zwei Bildern eines Umgebungsbereichs des Kraftfahrzeugs dient, die nacheinander von der Kamera aufgenommen werden. Dabei zeigen die Bilder zumindest teilweise eine Textur einer Straßenoberfläche an. Ferner werden in einem Schritt a) mindestens zwei erste Blöcke in einem ersten Bild als erste Bildbereiche bestimmt, die jeweilige Straßenoberflächenbereiche darstellen, in einem Schritt b) werden zu den jeweiligen ersten Blöcken korrespondierende zweite Blöcke in mindestens einem zweiten Bild als zweite Bildbereiche, die zumindest teilweise den Straßenoberflächenbereich des entsprechenden ersten Blocks darstellen, identifiziert, und in einem Schritt c) werden Bewegungsvektoren für jedes Paar der zwei entsprechenden Blöcke bestimmt. Überdies wird in einem Schritt d) die Kamera auf der Basis der Bewegungsvektoren kalibriert.
Das extrinsische Kalibrierungsverfahren oder die Bewegungsverfolgungskalibrierungs-(MTC – „motion tracking calibration“)Operation dient zur Online-Kalibrierung von mindestens einer fahrzeugseitigen Kamera durch Analysieren einer Sequenz von mindestens zwei Bildern, die durch die Kamera aufgenommen werden, während sich das Fahrzeug insbesondere näherungsweise geradlinig bewegt. Mit anderen Worten besteht der Zweck des Verfahrens darin, mindestens einen extrinsischen Parameter der Kamera während der Bewegung des Kraftfahrzeugs mittels der Zeitsequenz aufweisend mindestens ein Paar von Bildern zu bestimmen und zu kalibrieren. Die extrinsischen Parameter können beispielsweise eine räumliche Orientierung der Kamera relativ zur Straßenoberfläche oder Bodenebene und eine Höhe der Kamera relativ zum Boden oder relativ zu einer anderen Kamera des Fahrzeugs umfassen. Das Verfahren kann durch eine fahrzeugseitige Rechenvorrichtung durchgeführt werden, die dazu ausgelegt ist, jede Kamera des Fahrzeugs individuell zu kalibrieren. Das Fahrzeug kann beispielsweise vier Kameras umfassen, die ein Rundumsichtkamerasystem bilden, wobei eine erste Kamera in einem vorderen Bereich des Kraftfahrzeugs angeordnet sein kann, eine zweite Kamera in einem hinteren Bereich des Kraftfahrzeugs angeordnet sein kann, eine dritte Kamera auf einer Fahrerseite des Kraftfahrzeugs, insbesondere an einem Seitenspiegel auf der Fahrerseite, angeordnet sein kann und eine vierte Kamera auf einer Beifahrerseite des Kraftfahrzeugs, insbesondere an einem Seitenspiegel auf der Beifahrerseite, angeordnet sein kann. Die Kameras können Fischaugenlinsen umfassen, um einen Blickwinkel und folglich einen Detektionsbereich der Kameras zu vergrößern.
Die Bilder zeigen zumindest teilweise die Straßenoberfläche oder Bodenoberfläche in einer Umgebung des Kraftfahrzeugs sowie die Textur, die auf der Oberfläche vorhanden ist, wie z. B. Asphalt. Im Gegensatz zu anderen Verfahren, die aus dem Stand der Technik bekannt sind, erfordert das Verfahren gemäß der Erfindung insbesondere nicht, dass irgendwelche speziellen interessierenden Merkmale wie z. B. Ecken, Konturen, Kanten oder Linien im Bild vorhanden sind. Mindestens ein Kalibrierungszyklus wird durchgeführt, der eine Sequenz von Schritten a) bis c) umfasst, die zu einem einzelnen Kalibrierungsergebnis, z. B. in Form eines Korrekturwerts, in Schritt d) durch Analysieren eines Paars von aufeinander folgenden Videoeinzelbildern von der Kamera, während sich das Auto bewegt, führen. Im Fall des Kraftfahrzeugs mit weiteren Kameras, z. B. dem Rundumsichtkamerasystem, kann ein Kalibrierungszyklus für jede Kamera individuell durchgeführt werden.
In den Schritten a) bis c) wird eine Blockvergleichsoperation („block matching operation“) durchgeführt. Die Blockvergleichsoperation vergleicht entsprechende Blöcke von Pixeln zwischen den Bildern oder Videoeinzelbildern in einem Abschnitt, der für die Kamera relevant ist. Entsprechende Blöcke werden als Bildbereiche zweier Bilder oder Videoeinzelbilder verstanden, die zumindest teilweise denselben Umgebungsbereich darstellen. Daher können in Schritt a) die mindestens zwei ersten Blöcke als Referenzblöcke an vordefinierten festen Stellen im ersten Bild gewählt werden. Insbesondere werden mehrere Referenzblöcke an vordefinierten festen Stellen im ersten Bild definiert. Jeder erste Block umfasst eine Darstellung eines bestimmten Straßenoberflächenbereichs, welche die Textur anzeigt. Die Referenzblöcke können benachbart oder überlappend sein und ihre Form kann rechteckig, kreisförmig oder irgendetwas anderes sein. Vorzugsweise sind benachbarte rechteckige Blöcke in einem regelmäßigen Gitter angeordnet. Die Blockgröße kann variieren, z. B. 8×8 Pixel, 16×16 Pixel, 24×24 Pixel, 32×32 Pixel oder mehr, insbesondere in Abhängigkeit von der Bildqualität. Dann wird in Schritt b) das mindestens eine zweite Bild nach den entsprechenden zweiten Blöcken durchsucht, die denselben Straßenoberflächenbereich zumindest bereichsweise anzeigen. Pixel innerhalb jedes Blocks können während der Vergleichsoperation übersprungen oder unterabgetastet werden, um die Berechnung in vorteilhafter Weise zu beschleunigen.
Eine solche Blockvergleichsoperation kann eine Vollsuchoperation („full-search operation“), die auch als Algorithmus einer erschöpfenden Suchoperation („exhaustive-search operation algorithm“) bezeichnet wird, wobei alle möglichen Stellen innerhalb des Bildes oder innerhalb eines ernannten Suchbereichs im Bild geprüft werden, sowie Verfahren auf Gradientengefällebasis („gradient-descent based methods“) wie z. B. Rautensuche („diamond-search”) oder Suche auf Hexagonbasis („hexagon-based-search“) sein. Um die entsprechenden Blöcke in den mindestens zwei Bildern zu identifizieren, kann eine Kostenfunktion, die auch als Blockverzerrungsmaß bezeichnet wird, verwendet werden, wie z. B. Kreuzkorrelation, Summe von absoluten Differenzen, Summe von quadratischen Differenzen oder fortschrittlichere Verfahren wie z. B. Summe von absoluten transformierten Differenzen, Rang-, Zensus-, Frequenzbereichsverfahren und mehr.
Es erweist sich als vorteilhaft, wenn Teilbereiche des zweiten Bildes als Suchbereiche in dem mindestens einen zweiten Bild definiert werden, die nach den zweiten Blöcken durchsucht werden, um die zu den mindestens zwei ersten Blöcken korrespondierenden zweiten Blöcke zu identifizieren. Die Suchbereiche sind Bildbereiche in dem mindestens einen zweiten Abbild aufweisend die erwartete Stelle der zweiten Blöcke. Durch Definieren der Suchbereiche können die zweiten Blöcke in sehr schneller Weise gefunden werden. Insbesondere werden eine Position und/oder eine Größe der Suchbereiche in dem mindestens einen zweiten Bild in Abhängigkeit von einer aktuellen Geschwindigkeit des Kraftfahrzeugs bestimmt oder eine vorbestimmte Position und/oder Größe der Suchbereiche werden in dem mindestens einen zweiten Bild vorbestimmt. Die Suchbereiche können in jedem Einzelbild gemäß einer Vorhersage dynamisch positioniert werden, die vom gegenwärtigen Wert der Geschwindigkeit des Kraftfahrzeugs abgeleitet ist. Alternativ können feste Suchbereiche verwendet werden, wobei die Position und/oder Größe vorgegeben werden, so dass ein vorbestimmter Betriebsgeschwindigkeitsbereich des Kraftfahrzeugs und die erwartete Verschiebung der Blöcke innerhalb der zwei Bilder abgedeckt sind.
Nach dem Identifizieren der einander entsprechenden Blöcke in den mindestens zwei Bildern werden die Bewegungsvektoren für jedes Paar von einander entsprechenden Blöcken bestimmt. Der Bewegungsvektor ergibt sich aus der Bewegung des Fahrzeugs und beschreibt die Verschiebung der Pixelpositionen von zwei entsprechenden Blöcken zwischen zwei aufeinander folgenden Bildern. Insbesondere wird angenommen, dass die Bewegungsvektoren in der Ebene der Straßenoberfläche liegen und durch einen zweidimensionalen Vektor, der in Bildkoordinaten gegeben ist, mit einer ersten x-Komponente und einer zweiten y-Komponente beschrieben werden können. Die Bewegungsvektoren, die auf der Basis der mindestens zwei durch die fahrzeugseitige Kamera aufgenommenen Bilder bestimmt werden, stellen eine Angabe über die aktuelle Lage der Kamera und daher über eine Dekalibrierung der Kamera bereit. Die Erfindung basiert auf der Erkenntnis, dass Bewegungsvektoren, die in Abhängigkeit von Bildern bestimmt werden, die durch eine perfekt kalibrierte Kamera aufgenommen werden, eine spezielle Richtung und eine spezielle Länge aufweisen. Insbesondere ist die Kamera perfekt kalibriert, wenn die extrinsischen Vorgabeparameter der Kamera, die für die Bildsynthese angenommen werden, den aktuellen, realen extrinsischen Parametern der Kamera entsprechen.
Durch Analysieren der Bewegungsvektoren, insbesondere der Richtung und der Länge der Bewegungsvektoren, innerhalb eines Kalibrierungszyklus kann daher die Kalibrierung der Kamera durchgeführt werden oder vielmehr kann das Kalibrierungsergebnis bestimmt werden. Mehrere Kalibrierungszyklen können jedoch durchgeführt werden, wobei die Kalibrierungen oder Kalibrierungsergebnisse gemittelt werden, um Schwankungen aufgrund der Fahrzeugdynamik und von Rauschen von verschiedenen Quellen zu unterdrücken. Daher kann ein Filtermechanismus verwendet werden, um die Variation in den Ergebnissen zu verringern oder idealerweise zu beseitigen, die durch dynamische Änderungen in der Lage des Fahrzeugs in Richtung der Straße, Unvollkommenheiten der Bodenoberfläche, die insbesondere als planar angenommen wird, nicht geradliniges Fahren, Beobachtungsrauschen und Ausreißer verursacht wird. Dann wird die extrinsische Kalibrierung der Kamera durch Kompensieren der Abweichung oder des Fehlers zwischen den aktuellen und realen extrinsischen Kameraparametern und den extrinsischen Vorgabekameraparametern durchgeführt.
Zusammengefasst weist das Verfahren gemäß der Erfindung den Vorteil auf, dass es nur eine texturierte Oberfläche wie z. B. Asphalt erfordert, auf der es gleichzeitig eine große Anzahl von Merkmalen anstelle von Linien oder punktartigen Merkmalen verfolgt. Diese Merkmale sind besonders kleine Texturblöcke an vordefinierten Stellen in einem Gitter, deren Anwesenheit immer angenommen werden kann, ohne darauf zu warten. Sie werden in einem Paar von Einzelbildern unter Verwendung einer Blockvergleichsoperation verglichen, die einen ziemlich dichten Satz von Bewegungsvektoren als Eingabe in die Kalibrierung gibt. Mit anderen Worten wird nicht gewartet, dass gute starke Merkmale zufällig im Bild erscheinen. Vielmehr wird ihre Anwesenheit immer angenommen und die Merkmale werden bedingungslos zwischen den Einzelbildern verglichen. Im Gegensatz zu anderen Algorithmen, die die verfolgten Merkmale als unabhängige Beobachtungen betrachten, profitiert die MTC-Operation von ihrer Fähigkeit, viele Merkmale gleichzeitig oder parallel zu verfolgen, und verwendet diese Informationen, um die Kalibrierung sehr effizient zu lösen, ohne den Bedarf, sich auf die Fahrzeugodometrie oder Wendemanöver zu verlassen. Folglich stellt das Verfahren eine sehr verfügbare und zuverlässige Kalibrierung der Kamera bereit.
In einer Weiterentwicklung der Erfindung wird zum Kalibrieren der Kamera eine Rotationskalibrierung durchgeführt, wobei eine Kostenfunktion, die eine Abweichung zwischen den Bewegungsvektoren und einem vorbestimmten Vektor beschreibt, bestimmt wird und rotationskompensierte Bewegungsvektoren durch Minimieren der Kostenfunktion bestimmt werden. Mit anderen Worten bedeutet dies, dass die Rotationskalibrierung durch Finden der räumlichen 3-DOF-Orientierung der Kamera oder jeder Kamera unabhängig relativ zur Bodenebene durch Analysieren der in Schritt c) erzeugten Bewegungsvektoren durchgeführt wird. Die Orientierung der Kamera ist ein zu kalibrierender erster extrinsischer Parameter. Die Orientierung kann beispielsweise in einem Roll-Nick-Gier-Rotationsschema ausgedrückt werden, das sich der Reihe nach um die festen X-, Y- und Z-Achsen des Weltkoordinatensystems dreht, wobei die X-Achse entlang einer Fahrzeuglängsachse orientiert ist, die Y-Achse entlang einer Fahrzeugquerachse orientiert ist und die Z-Achse entlang einer Fahrzeughochachse orientiert ist.
Dann wird die zu minimierende Kostenfunktion oder Verlustfunktion formuliert, die insbesondere geometrische Eigenschaften der Bewegungsvektoren auf der Straßenoberfläche oder Bodenebene und insbesondere die Einschränkung für ungefähr geradliniges Fahren ausnutzt. Die Summe von quadratischen Fehlern oder die Summe von absoluten Fehlern vom Mittelwert oder Median wird mit Hilfe eines iterativen Algorithmus wie z. B. Gradientengefälle, Gauß-Newton, Levenberg-Marquardt oder anderen minimiert, wobei dieses iterative, nicht-lineare Verfahren eine große Flexibilität dessen gibt, wie die Kostenfunktion formuliert werden kann, um die Lösung zu optimieren. Es ist auch möglich, das Problem als überbestimmtes System von linearen Gleichungen anzugeben und in einer Hinsicht kleinster Quadrate mit verschiedenen Verfahren zu lösen. Die Erfindung basiert auf der Tatsache, dass ein kalibriertes System Bewegungsvektoren erzeugen sollte, die von einer perspektivischen Verzerrung frei sind, d. h. Bewegungsvektoren, die alle zur horizontalen x-Achse (im Einzelbild) parallel sind beziehungsweise im Fall der auf die Bodenoberfläche projizierten Bewegungsvektoren zur Fahrzeuglängsachse parallel sind und die gleiche Länge aufweisen, während auf einem ebenen Boden geradeaus gefahren wird. Folglich ist der vorbestimmte Vektor der von Verzerrung freie Vektor parallel zur horizontalen oder Längsachse. Dieses Ziel kann durch die Quadratsumme der y-Komponenten und die Varianz der x-Komponenten aller Bewegungsvektoren ausgedrückt werden. Für eine kalibrierte Kamera unter idealen Bedingungen wäre dies null. Daher gibt die Kostenfunktion die Differenz zwischen der vorhandenen, realen Bedingung und der idealen Bedingung an. Durch Finden der Kostenfunktion kann folglich eine gegenwärtige Kameraorientierung, die von der Vorgabekameraorientierung abweicht, leicht als erster extrinsischer Parameter der Kamera bestimmt werden. Durch Minimieren der Kostenfunktion können rotationskompensierte Bewegungsvektoren abgeleitet werden. Die rotationskompensierten Bewegungsvektoren in Bezug auf alle Paare von entsprechenden Blöcken können erneut auf die Ebene der Straßenoberfläche projiziert werden, wobei die erneut projizierten, kalibrierten Bewegungsvektoren insbesondere parallel zur Fahrzeuglängsachse orientiert sind und auch die gleiche Länge aufweisen.
Besonders bevorzugt wird zum Kalibrieren der Kamera eine Höhenkalibrierung durchgeführt, wobei die Höhe der Kamera in Abhängigkeit von einer Länge der rotationskompensierten Bewegungsvektoren und einem erwarteten Wert der Länge der rotationskompensierten Bewegungsvektoren bestimmt wird. Die Höhe der Kamera ist ein zweiter zu kalibrierender extrinsischer Parameter. Die Höhe wird durch Analysieren der rotationskompensierten Bewegungsvektoren bestimmt, die von der Minimierung der Kostenfunktion abgleitet sind. Dies bedeutet, dass die Höhenkalibrierung durchgeführt wird, um die absolute Höhe jeder Kamera von der Bodenoberfläche oder die relative Höhe zwischen den Kameras durch Analysieren der rotationskompensierten, kalibrierten und erneut projizierten Bewegungsvektoren vom vorherigen Schritt zu finden.
Die Länge der korrigierten, rotationskalibrierten und erneut projizierten Bewegungsvektoren der Kamera ist proportional zur Geschwindigkeit oder Schnelligkeit des Fahrzeugs und umgekehrt proportional zur Höhe der Kamera von der Bodenebene. Daher wird der erwartete Wert für die Länge in vorteilhafter Weise in Abhängigkeit von der Geschwindigkeit des Fahrzeugs vorgegeben. Insbesondere wird die Geschwindigkeit des Kraftfahrzeugs mittels Odometrie des Kraftfahrzeugs und/oder basierend auf mindestens einem weiteren Bewegungsvektor bestimmt, der auf der Basis von Bildern bestimmt wird, die durch mindestens eine weitere Kamera des Kraftfahrzeugs aufgenommen werden. Die Odometrie ist die Verwendung von Daten von Bewegungssensoren des Kraftfahrzeugs, z. B. Radumdrehung, Lenkwinkel usw., um die Positionsänderung eines Fahrzeugs über die Zeit abzuschätzen. Zusätzlich oder alternativ können Bewegungsvektoren von mehr als einer Kamera betrachtet werden. Daher kann die Höhe der Kamera durch Einstellen des Werts der Höhe jeder Kamera derart, dass die erneut projizierten Bewegungsvektoren bei allen Kameras die gleiche Länge aufweisen, bestimmt werden. Für diesen Zweck erweist es sich als vorteilhaft, wenn eine mittlere Länge der Bewegungsvektoren der linken und rechten Spiegelkameras als Referenz genommen werden und der Wert der Höhe der anderen Kameras eingestellt wird, um sie anzupassen, da die Spiegelkameras durch Beladungsänderungen des Kraftfahrzeugs am wenigsten beeinflusst werden. Zusammenfassend stellt die MTC die Kalibrierung so ein, dass die projizierten Bewegungsvektoren auf der Bodenebene zur Fahrzeuglängsachse parallel sind und auch die gleiche Länge aufweisen.
Es erweist sich als vorteilhaft, wenn im Fall von Bildern, die durch eine Kamera mit einer Fischaugenlinse aufgenommen werden, ein Schritt e) vor Schritt a) ausgeführt wird, in welchem Schritt e) eine Fischaugenverzerrung der Bilder entfernt wird. In diesem Schritt wird eine sogenannte virtuelle Draufsicht des Umgebungsbereichs oder vielmehr der Straßenoberfläche, die durch die Fischaugenkamera aufgenommen wird, vor dem Durchführen der Blockvergleichsoperation erzeugt. Dabei können die Kamerabilder in Form von fischaugenverzerrten Bildern gemäß der bekannten intrinsischen Kalibrierung oder intrinsischen Parameter jeder Kamera und der aktuellen extrinsischen Kalibrierung, die anfänglich z. B. in einer unkalibrierten Kamera gleich der nominalen extrinsischen Vorgabekalibrierung ist, transformiert werden. Folglich kann die sogenannte Fischaugenverzerrung vollständig aus den Bildern entfernt werden. Die virtuelle Draufsicht kann mit Hilfe einer Nachschlagetabelle („look up table“) erzeugt werden und kann ein Antialiasing-Filter während der Wiedergabe beinhalten, um die Bildqualität und folglich die Verfolgungsleistung zu verbessern. Dies ist sehr vorteilhaft, da es rechteckige interessierende Bereiche (ROI – „region of interst“) oder Blöcke in den Bildern ermöglicht.
Es normiert das Aussehen von Texturen zwischen Einzelbildern, was die Verfolgungsleistung wesentlich verbessert und eine systematische Abweichung auf Pixelniveau oder systematische Fehler aus der Kalibrierung entfernt. Folglich stellt die virtuelle Draufsicht automatisch eine Maßstabs-, Rotations-, affine und perspektivische Invarianz für alle Merkmale auf der Bodenoberfläche bereit.
Vorzugsweise werden die mindestens zwei Bilder in mehrere Blöcke unterteilt, wobei die einander entsprechenden Blöcke in den Schritten a) und b) identifiziert werden und ein Bewegungsvektor für jedes Paar von zwei einander entsprechenden Blöcken in Schritt c) bestimmt wird und wobei Ausreißer unter den Bewegungsvektoren identifiziert werden. Insbesondere werden jene Bewegungsvektoren als Ausreißer identifiziert, deren geometrische Abweichung von mindestens einem weiteren Bewegungsvektor innerhalb eines vorbestimmten Toleranzbereichs liegt. Dies bedeutet, dass nur jene Bewegungsvektoren für die Kalibrierung der Kamera verwendet werden, deren geometrische Abweichung von dem mindestens einen benachbarten Bewegungsvektor innerhalb eines vorbestimmten Toleranzbereichs liegt. Diese Ausreißer, die unter der Vielzahl von Bewegungsvektoren existieren, können ausgemustert werden. Ausreißer können sich aus Bordsteinen, Wänden oder anderen Objekten nahe der Straßenoberfläche ergeben. Da das Verfahren unter der Annahme durchgeführt wird, dass die Bewegungsvektoren in einer Ebene der Straßenoberfläche liegen, werden Bewegungsvektoren jenseits der Ebene der Straßenoberfläche als Ausreißer identifiziert und folglich ausgemustert. Die Ausreißer werden durch Analysieren der geometrischen Abweichung jedes Bewegungsvektors im Hinblick auf seine unmittelbaren Nachbarn identifiziert. Die unmittelbaren Nachbarn sind Bewegungsvektoren von benachbarten Blöcken. Wenn eine geometrische Abweichung, die größer ist als eine gewisse Toleranz, gefunden wird, wird der zugehörige Bewegungsvektor als Ausreißer gekennzeichnet. Eine nicht-lineare Methode kann verwendet werden, wobei ein Treffer für einen Ausreißer aus jedem Vergleich mit einem benachbarten Bewegungsvektor gemäß einer geometrischen Toleranz gezählt wird. Wenn die Anzahl von Treffern einen gewissen Schwellenwert überschreitet, dann wird der geprüfte Bewegungsvektor ausgemustert.
Insbesondere wird das Verfahren durchgeführt, wenn eine Dekalibrierung der Kamera auf der Basis der mindestens zwei Bilder detektiert wird. Insbesondere wird eine plötzliche Dekalibrierung der Kamera detektiert, die sich z. B. aus Beladungsänderungen des Kraftfahrzeugs ergibt oder aus Fehlausrichtungen der Kamera aufgrund von Stößen oder einer Vibration während der Bewegung des Kraftfahrzeugs ergibt. Aufgrund der Dekalibrierung weichen die extrinsischen Vorgabekameraparameter oder vielmehr die extrinsischen Kameraparameter, die von einem vorherigen Kalibrierungszyklus abgeleitet sind, von den aktuellen, geänderten extrinsischen Parametern ab. Nach dem Erkennen der Dekalibrierung kann der Kalibrierungszyklus durchgeführt werden, um den geänderten extrinsischen Parameter zu bestimmen und die Kamera zu kalibrieren. Folglich können zuverlässige Bilder, die den Umgebungsbereich des Kraftfahrzeugs anzeigen, trotz einer Fehlausrichtung der Kamera synthetisiert werden.
In einem vorteilhaften Ausführungsbeispiel der Erfindung werden die mindestens zwei Bilder kombiniert, um ein Gesamtbild zu bilden, und die Dekalibrierung der Kamera wird auf der Basis einer fehlerhaften Kombination des Gesamtbildes detektiert. In diesem Schritt wird ein sogenanntes Bild-Stitching durchgeführt, wobei das Gesamtbild mittels Kombinieren der mindestens zwei Bilder erzeugt wird. Ein Stitching-Fehler, der eine fehlerhafte Kombination der mindestens zwei Bilder charakterisiert, wird erkannt, was auf die Dekalibrierung hinweist. Mit anderen Worten weist die Stitching-Qualität auf die Dekalibrierung hin. Folglich kann die Dekalibrierung leicht aus der Darstellung des Gesamtbildes abgeleitet werden.
Alternativ oder zusätzlich wird ein Gütefaktor, der eine Kalibrierungsqualität beschreibt, bestimmt, wobei die Dekalibrierung auf der Basis eines Werts des Gütefaktors identifiziert wird. Der Gütefaktor ist eine Kalibrierungsqualitätsmetrik, die von der Kostenfunktion selbst nach der Minimierung durch erneutes Projizieren der Bewegungsvektoren auf die Bodenebene mit dem gefilterten Kalibrierungsergebnis erhalten werden kann, wobei dann die Summe der Reste genommen und normiert wird, so dass sie von der Anzahl von Bewegungsvektoren und der Fahrzeuggeschwindigkeit unabhängig ist. Je niedriger dieser Fehler ist, desto besser sind die Kalibrierung und folglich auch die Stitching-Qualität der virtuellen Draufsicht. Insbesondere wird die Dekalibrierung detektiert, wenn ein niedrigerer Qualitätswert für eine Zeitdauer bestehen bleibt.
Es sollte beachtet werden, dass die MTC den Effekt des Rolling-Shutter während der Kalibrierung berücksichtigt und Fehler, die dadurch verursacht werden, kompensiert. Kraftfahrzeug-CMOS-Kameras verwenden typischerweise ein Rolling-Shutter-Verfahren, um jedes Bild aufzunehmen. Dies bedeutet, dass jede Pixelzeile im Bild zu einem späteren Zeitpunkt als die vorherigen Pixelzeilen belichtet wird. Wenn sich das Fahrzeug bewegt, kann dasselbe Merkmal, das in einem Einzelbild aufgenommen wird (durch seinen Mittelpunkt genähert), in einer anderen Abtastzeile im nächsten Einzelbild aufgenommen werden, da die Sensorebene typischerweise nicht auf die Bodenebene und die Längsachse des Fahrzeugs ausgerichtet ist (perspektivische Verzerrung), und auch aufgrund der Fischaugenverzerrung. Daher variiert die Zeit, die es dauert, um die zwei Fälle desselben Merkmals aufzunehmen, gemäß der Anzahl von Abtastzeilen, die im Roh-Fischaugenbild aufgespannt sind. Dies verursacht Inkonsistenzen in den resultierenden Bewegungsvektoren und weist eine beträchtliche Auswirkung auf die Kalibrierung auf, wenn sie nicht berücksichtigt wird. Die MTC kompensiert diese Fehler, während die Kalibrierung gelöst wird, und gibt genauere und unverfälschte Ergebnisse.
Zusammengefasst kann die MTC, insbesondere ohne Klassifizierung, Bordsteine, Wände, Vegetation und andere dauerhafte Objekte mit Höhe neben der Straßenoberfläche detektieren und ausmustern, die ansonsten die Kalibrierung verfälschen würden, durch Annehmen, dass die Mehrheit der verglichenen Merkmale und entsprechenden Bewegungsvektoren auf der Straßenoberfläche angeordnet sind. Überdies kann die MTC, insbesondere ohne Klassifizierung, schlechte Verfolgungsbedingungen, z. B. aufgrund von Bildrauschen bei geringem Licht oder ungünstigem Wetter, detektieren und automatisch ihre Parametrisierung umschalten, um unter solchen Bedingungen effizienter zu arbeiten. Die MTC kann die Kalibrierungsqualität aller Kameras abschätzen und eine einzige Metrik ausgeben, die auch als Rückkopplung für die Algorithmensteuerung und automatische Einstellung ihrer Ausgangsfilterparameter verwendet wird.
Ferner verwendet die MTC einen einfachen Filtermechanismus, um die Variation in den Kalibrierungsergebnissen, die durch dynamische Änderungen der Lage des Fahrzeugs bezüglich der Straße, Unvollkommenheiten der Straßenoberfläche, nicht geradliniges Fahren, Beobachtungsrauschen und Ausreißer verursacht wird, zu verringern oder idealerweise zu beseitigen. Es besteht ein Kompromiss zwischen der Varianz und Latenz der Ergebnisse. Ergebnisse mit geringer Varianz oder vielmehr höherer Qualität erfordern eine stärkere Glättung und weisen eine höhere Latenz auf. Die Filterparameter, die sich auf diesen Kompromiss auswirken, können automatisch gemäß der aktuellen Kalibrierungsqualität und/oder nach dem Detektieren einer plötzlichen Dekalibrierung eingestellt werden. Die Kalibrierungsergebnisse können auch auf einer Vorkalibrierungsbasis gemäß der abgeschätzten Qualität der jüngsten Kalibrierung und auch dem Fahrzeuglenkwinkel gewichtet werden. Der letztere kompensiert Fehler, die durch die Annahme von geradem Fahren verursacht werden, und ermöglicht das Tolerieren eines kleinen Ausmaßes von Lenken während der Verfolgung ohne Beeinträchtigung der Kalibrierungsgenauigkeit.
Die MTC kann weiterhin unendlich kalibrieren, solange sie durch ihr Hauptrechnersystem oder die Rechenvorrichtung (im Gegensatz zu Rechenverfahren) aktiviert ist, kann jedoch ihre Ausgangsfilterparameter anpassen, um die gesamte Zeit zu optimieren, die es dauert, um eine reife Kalibrierung zu erreichen. Daher wird eine annehmbare Qualität für kritische Algorithmen so schnell wie möglich sowie eine höhere Qualität mit einer langsameren Rate im Fall von annehmbaren längeren Wartezeiten erreicht.
Die MTC verwendet einen Mechanismus, der das schnelle Detektieren und Wiederherstellen von einer plötzlichen Dekalibrierung ermöglicht. Die Detektion basiert auf einem dauerhaften Abfall der Kalibrierungsqualität, und eine schnelle Wiederherstellung wird, wie vorstehend erläutert, durch Einstellen der Filterparameter erreicht. Eine solche Dekalibrierung kann passieren, wenn sich die Fahrzeugbeladungsbedingungen wesentlich ändern oder wenn eine dauerhafte Änderung der Position von einer oder mehreren Kameras aus irgendeinem Grund besteht.
Die Erfindung betrifft außerdem eine Rechenvorrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs, die dazu ausgelegt ist, ein Verfahren gemäß der Erfindung durchzuführen. Die Rechenvorrichtung kann in eine fahrzeugseitige Steuereinheit integriert sein. Die Rechenvorrichtung ist dazu ausgelegt, eine fahrzeugseitige Kamera, insbesondere jede fahrzeugseitige Kamera, mittels der von der Kamera während der Fahrzeugbewegung aufgenommenen Bilder zu kalibrieren.
Überdies betrifft die Erfindung außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug mit mindestens einer Kamera und einer Rechenvorrichtung gemäß der Erfindung. Die Fahrerassistenz unterstützt einen Fahrer des Fahrzeugs mittels der Kameras, die den Umgebungsbereich des Fahrzeugs überwachen. Das Fahrerassistenzsystem kann vier Kameras umfassen, die ein Rundumsichtkamerasystem bilden. Die Kameras können auch Fischaugenlinsen umfassen, die einen Detektionsbereich der Kameras vergrößern. Das Fahrerassistenzsystem kann Objekte in den durch die kalibrierten Kameras aufgenommenen Bildern zuverlässig detektieren und kann folglich den Fahrer des Fahrzeugs unterstützen, beispielsweise durch Erzeugen eines Warnsignals oder automatisches Bremsen des Kraftfahrzeugs, wenn eine bevorstehende Kollision mit dem detektierten Objekt erfasst wird. Außerdem können die durch die kalibrierte Kamera aufgenommenen Bilder insbesondere als Video auf einer fahrzeugseitigen Anzeigevorrichtung angezeigt werden. Mit anderen Worten kann die Kamera als Videokamera konfiguriert sein.
Ein Kraftfahrzeug gemäß der Erfindung umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
Die mit Bezug auf das erfindungsgemäße Verfahren dargestellten bevorzugten Ausführungsbeispiele und deren Vorteile gelten entsprechend für die Rechenvorrichtung, für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die Erfindung wird nun auf der Basis von bevorzugten Ausführungsbeispielen sowie mit Bezug auf die beigefügten Zeichnungen genauer erläutert.
Diese zeigen in:
1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs gemäß der Erfindung;
2 eine schematische Darstellung eines Ablaufplans eines Ausführungsbeispiels eines Verfahrens gemäß der Erfindung;
3a, 3b eine schematische Ansicht von Bildern, die in Blöcke unterteilt sind, sowie eine schematische Ansicht von Bewegungsvektoren; und
4 eine schematische Ansicht eines Graphs, der ein Ausgangssignal aufträgt.
1 zeigt ein Kraftfahrzeug 1 gemäß der vorliegenden Erfindung. Im vorliegenden Fall ist das Kraftfahrzeug 1 als Personenkraftwagen ausgestaltet. Das Kraftfahrzeug 1 weist ein Fahrerassistenzsystem 2 zum Unterstützen eines Fahrers des Kraftfahrzeugs 1 auf. Das Fahrerassistenzsystem 2 umfasst eine Rechenvorrichtung 3, die beispielsweise durch eine fahrzeugseitige Steuereinheit gebildet sein kann. Außerdem umfasst das Fahrerassistenzsystem 2 mindestens eine Kamera 4. Im vorliegenden Fall umfasst das Fahrerassistenzsystem 2 vier Kameras 4, wobei eine erste Kamera 4 in einem vorderen Bereich 5 des Kraftfahrzeugs 1 angeordnet ist, eine zweite Kamera 4 in einem hinteren Bereich 6 des Kraftfahrzeugs 1 angeordnet ist, eine dritte Kamera 4 auf einer Fahrerseite 7 des Kraftfahrzeugs 1, insbesondere an einem Seitenspiegel der Fahrerseite 7, angeordnet ist und eine vierte Kamera 4 auf einer Beifahrerseite 8 des Kraftfahrzeugs 1, insbesondere an einem Seitenspiegel der Beifahrerseite 8, angeordnet ist. Die Kameras 4, die auf der Fahrerseite 7 und der Beifahrerseite 8 angeordnet sind, können auch die Seitenspiegel ersetzen, wodurch das Kraftfahrzeug 1 als spiegelloses Fahrzeug 1 ausgelegt sein kann, das spiegelloses Fahren ermöglich. Mittels der Kameras 4 kann ein Umgebungsbereich 9 des Kraftfahrzeugs 1 in Bildern erfasst werden. Die Kameras 4 können Fischaugenlinsen umfassen, um einen Blickwinkel und folglich einen Detektionsbereich der Kameras 4 zu vergrößern.
Die Kameras 4 sind dazu ausgelegt, den dreidimensionalen Umgebungsbereich 9 des Kraftfahrzeugs 1 in Form von zweidimensionalen Bildern anzuzeigen. Daher können die Kameras 4 die 3D-Weltkoordinaten in 2D-Pixelkoordinaten auf der Basis der Kenntnis von intrinsischen und extrinsischen Parametern der Kamera 4 transformieren. Solche intrinsischen Parameter sind beispielsweise die Brennweite und das Bildsensorformat der Kamera 4. Extrinsische Parameter umfassen insbesondere eine Lage der Kamera 4, die eine räumliche Orientierung der Kameras 4 beschreibt, und eine Höhe der Kameras 4, die in einem Roll-Nick-Gier-Koordinatensystem, X, Y, Z-Achsen, gegeben ist. Da die Kameras 4 ihre Lage aufgrund der Beladung des Fahrzeugs oder aufgrund von Stößen während der Bewegung des Kraftfahrzeugs 1 ändern können, ist die Rechenvorrichtung 3 dazu ausgelegt, eine extrinsische Kalibrierung jeder Kamera 4 individuell während der Bewegung des Fahrzeugs 1, insbesondere während einer ungefähr geradlinigen Bewegung, auf einer Straße 10 durchzuführen.
Daher nimmt die zu kalibrierende Kamera 4 mindestens zwei Bilder der Reihe nach auf, wobei die Bilder zumindest teilweise eine Textur einer Straßenoberfläche 11 der Straße 10 anzeigen. Die Textur umfasst insbesondere Asphalt. Überdies ist es nicht erforderlich, dass die Abbilder starke Merkmale wie einen Bordstein 12 anzeigen. Um die Kameras 4 unter Verwendung der mindestens zwei Bilder zu kalibrieren, ist die Rechenvorrichtung 3 dazu ausgelegt, ein Verfahren, eine sogenannte Bewegungsverfolgungskalibrierung, MTC, durchzuführen, die schematisch in 2 demonstriert ist. 2 zeigt einen Ablaufplan eines Kalibrierungszyklus für die Kamera 4, wobei der Kalibrierungszyklus als folgende Sequenz von Schritten S1 bis S8 definiert ist, die zu einem einzigen Kalibrierungsergebnis durch Analysieren des Paars von aufeinander folgenden Bildern oder Abbildeinzelbildern, insbesondere von jeder Kamera 4, während sich das Kraftfahrzeug 1, insbesondere innerhalb annehmbarer Geschwindigkeits- und Lenktoleranzen, bewegt, führen.
In einem ersten Schritt S1 kann eine virtuelle Draufsicht der Straßenoberfläche 11 oder Bodenoberfläche in der Nähe des Kraftfahrzeugs 1 durch Transformieren der Kamerabilder gemäß der bekannten intrinsischen Kalibrierung jeder Kamera 4 und der aktuellen extrinsischen Kalibrierung, die anfänglich, insbesondere in einem unkalibrierten System, gleich der nominalen extrinsischen Vorgabekalibrierung ist, erzeugt werden. Insbesondere wird Schritt S1 im Fall von Kameras 4 mit Fischaugenlinsen durchgeführt, um die Fischaugenverzerrung von den Bildern, die von der Kamera 4 aufgenommen werden, vollständig zu entfernen. Ein perspektivischer und Zoomfehler, der auch einen Stitching-Fehler verursacht, ist anfänglich wahrscheinlich aufgrund von Abweichungen der Rotation und Höhe der Kamera 4 vorhanden. Dies liegt daran, dass die nominale extrinsische Vorgabekalibrierung aufgrund von mechanischen Toleranzen im Fahrzeugherstellungsprozess keine tatsächliche Montageposition der Kamera 4 darstellt. Wenn die Kameras 4 exakt in ihren nominalen Vorgabepositionen montiert worden wären, wäre die anfängliche Draufsicht perfekt zusammengeheftet worden, wäre eben und gleichmäßig und keine Kalibrierung wäre erforderlich.
Die virtuelle Draufsicht kann für ein Paar von Bildern oder Einzelbildern von jeder Kamera 4 erzeugt werden, d. h. zwei virtuelle Draufsichten werden im System für die Weiterverarbeitung auf einmal gespeichert. Die Draufsicht kann mit Hilfe einer Nachschlagetabelle erzeugt werden und kann ein Antialiasing-Filter während der Wiedergabe umfassen, um die Bildqualität und folglich die Verfolgungsleistung zu verbessern. Der Maßstab der Draufsicht in Bezug auf die reale Welt kann fest sein oder gemäß der Fahrzeuggeschwindigkeit oder anderen Bedingungen dynamisch angepasst werden, um die Verfolgungsleistung zu optimieren. Mehrere Draufsichten in verschiedenen Maßstäben können auch für eine Mehrmaßstabs-Blockvergleichsmethode erzeugt werden, wobei der kleinere Maßstab Informationen in den größeren Maßstab in der Hierarchie zuführt.
Die virtuelle Draufsicht ist kein obligatorischer Schritt des Kalibrierungsverfahrens, das direkt an den nicht zusammengehefteten und fischaugenverzerrten Kamerabildern arbeiten könnte. Es ist jedoch sehr vorteilhaft, da es einen rechteckigen interessierenden Bereich (ROI) ermöglicht und auch andere Verarbeitungsschritte vereinfacht. Am bedeutendsten normiert es das Aussehen von Texturen zwischen Einzelbildern, was die Verfolgungsleistung wesentlich verbessert und eine systematische Abweichung auf Pixelniveau oder systematische Fehler aus der Kalibrierung entfernt. Es ist zu beachten, dass fortschrittliche Merkmalsdetektoren wie z. B. SIFT und SURF eine komplexe Verarbeitung durchführen, um eine Maßstabs- und Rotationsinvarianz zu erreichen, so dass verzerrte Merkmale zuverlässig zwischen Einzelbildern verglichen werden können. Die virtuelle Draufsicht stellt eine automatische Maßstabs-, Rotations-, affine und perspektivische Invarianz für alle Merkmale auf der Bodenoberfläche 11 bereit und macht in Kombination mit weiteren Verarbeitungsschritten von fortschrittlichen Merkmalsdetektoren meist redundant Gebrauch.
Sie ermöglicht auch, dass räumliche Filteroperationen mit einem gleichmäßigen Maßstab in Bezug auf die Koordinaten der realen Welt X, Y, Z durchgeführt werden, und sie gibt eine unmittelbare und wertvolle visuelle Rückmeldung an den Entwickler oder Algorithmenprüfer über die Kalibrierungsqualität. Eine schlecht zusammengeheftete Draufsicht auf ebenem Boden ist ein direktes Ergebnis eines Kalibrierungsfehlers. Das Erscheinen eines physikalischen Gitters oder Schachbrettmusters in der Draufsicht gibt mehr Informationen über die Komponenten dieses Fehlers, z. B. Drehachsen, durch Beobachten des Trends der perspektivischen Verzerrung.
Ein zweiter Schritt S2 des MTC-Verfahrens kann eine räumliche Filterung und Bildverbesserung umfassen: Daher werden die Bilder der virtuellen Draufsicht wahlweise mit einem räumlichen Filter mit bandpassartigen Eigenschaften verarbeitet, das Rauschen unterdrückt und nützliche Details verstärkt, während es eine gute radiometrische Invarianz bereitstellt und schließlich die Verfolgungsleistung verbessert. Ein Laplace-of-Gaussian oder Difference-of-Gaussian, welcher das erstere nähert, wurde als gute Anpassung für diesen Zweck festgestellt, dies sollte jedoch andere Filter nicht ausschließen. Komplexe Blockvergleichstechniken und nicht-lineare Transformationen können auch anstelle des räumlichen Filters mit vergleichbarer oder sogar besserer Leistung verwendet werden.
In einem dritten Schritt S3 des MTC-Verfahrens wird eine Blockvergleichsoperation durchgeführt, die kleine rechteckige Blöcke 14 (siehe 3a und 3b) von Pixeln zwischen den zwei Bildern 13, insbesondere den virtuellen Draufsichten, in einem Bereich vergleicht, der für jede Kamera 4 relevant ist. Die Bilder 13 werden in Bildkoordinaten x, y beschrieben. Stitching ist für diese Operation irrelevant. Die Algorithmusvorteile der Fischaugen- und perspektivischen Korrektur wurden vorher erläutert. Das Stitching ist nur eine zweckmäßige Darstellung für den Entwickler und Prüfer. Ansonsten könnten die Kamerabilder für Fischauge und Perspektive unabhängig korrigiert und separat für den Blockvergleich gespeichert worden sein.
Referenzblöcke können an vordefinierten festen Stellen in einem Bild, einem ersten Bild, gewählt werden und innerhalb bestimmter Suchbereiche im anderen Bild, einem zweiten Bild, gesucht werden. Die Referenzblöcke können benachbart oder überlappend sein und ihre Form kann rechteckig, kreisförmig oder irgendetwas anderes sein. Typischerweise werden benachbarte rechteckige Blöcke, die in einem regelmäßigen Gitter angeordnet sind, verwendet. Die Blockgröße kann variieren (z. B. 8×8, 16×16, 24×24, 32×32 Pixel oder mehr) in Abhängigkeit von der Bildqualität und dem Maßstab der Draufsicht. Pixel innerhalb jedes Blocks 14 können während der Vergleichsoperation übersprungen, insbesondere unterabgetastet werden, um die Berechnung zu beschleunigen. Nach dem Identifizieren von zwei einander entsprechenden Blöcken 14 in den zwei Bildern wird für jedes Paar von entsprechenden Blöcken 14 ein Bewegungsvektor v_i oder Verschiebungsvektor bestimmt, der die Verschiebung der Stelle von einem Bildbereich, welcher einen bestimmten Straßenoberflächenbereich anzeigt, zwischen den Bildern aufgrund der Fahrzeugbewegung beschreibt. Mit anderen Worten erzeugt der Blockvergleichsschritt S3 einen Satz von Bewegungsvektoren v_i für jede Kamera 4. Insbesondere wird angenommen, dass die Bewegungsvektoren v_i in der Ebene der Straßenoberfläche 11 liegen.
Es kann erwünscht sein, die Bilddaten innerhalb jedes Blocks 14 zu analysieren und sie von dem Vergleich zu disqualifizieren, wenn eine schlechte Übereinstimmung z. B. aufgrund einer sehr schlechten Textur wahrscheinlich ist. Die Disqualifikation von Bilddaten kann in vorteilhafter Weise übersprungen werden, da sie Mehraufwand hinzufügt und da es schwierig ist, eine gute oder schlechte Übereinstimmung zuverlässig vorherzusagen. Vorzugsweise werden alle Blöcke verglichen und Ausreißer, sogenannte schlechte Übereinstimmungen, werden detektiert und danach ausgemustert (siehe Schritt S4). Dies ist auch ein wichtiger Punkt, der die MTC von anderen aus dem Stand der Technik bekannten Algorithmen unterscheidet. Es wird nicht darauf gewartet, dass gute Merkmale erscheinen, sondern vielmehr werden viele Merkmale parallel verfolgt. Gemäß der Erfindung werden folglich mehrere Merkmale parallel verfolgt.
Die Suchbereiche können dynamisch in jedem Einzelbild gemäß einer Vorhersage angeordnet werden, die von der aktuellen Kalibrierung und einer Fahrzeugodometrie abgeleitet ist, die auf einem fahrzeugseitigen Netzwerk, z. B. CAN oder FlexRay, veröffentlicht sein kann. Die Verwendung der Fahrzeugodometrie ist nicht verpflichtend, aber vereinfacht die Algorithmenkonstruktion. Alternativ können große feste Suchbereiche verwendet werden, die einen vorbestimmten Betriebsgeschwindigkeitsbereich und folglich die erwartete Verschiebung von Blöcken 14 innerhalb der zwei Bilder 13 abdecken. Eine Mehrfachmaßstab-Blockvergleichsmethode („multi-scale block matching approach“) oder andere intelligente Verfahren könnten auch verwendet werden, um die Suche ohne Verwendung der Odometrie zu beschleunigen.
Typische Blockvergleichsalgorithmen können verwendet werden, wie z. B. jene, die bei der Bewegungsabschätzung für Videokompression verwendet werden. Diese umfassen, sind jedoch nicht begrenzt auf die Vollsuche, die auch als Algorithmus mit erschöpfender Suche bezeichnet wird, wobei alle möglichen Stellen innerhalb des ernannten Suchbereichs geprüft werden, und auch Verfahren auf Gradientengefällebasis, wie z. B. Rautensuche oder Suche auf Hexagonbasis. Eine typische Kostenfunktion, die auch als Blockverzerrungsmaß bezeichnet wird, kann verwendet werden, wie z. B. Kreuzkorrelation, Summe von absoluten Differenzen, Summe von quadratischen Differenzen, oder fortschrittlichere Verfahren wie z. B. Summe von absoluten transformierten Differenzen, Rang-, Zensus-, Frequenzbereichsverfahren und mehr.
In einem vierten Schritt S4 werden Ausreißer unter den Bewegungsvektoren v_i ausgemustert. Es ist sehr wahrscheinlich, dass Ausreißer unter diesen Bewegungsvektoren v_i, d. h. Bewegungsvektoren v_i, die wesentlich von einer erwarteten Mehrheit von guten Bewegungsvektoren auf der Bodenoberfläche 11 abweichen, existieren. Es ist möglich, alle Bewegungsvektoren v_i zu verwenden und den Kalibrierungsalgorithmus entscheiden zu lassen, welche wahrscheinlich Ausreißer sind, einschließlich Bewegungsvektoren v_i von Objekten außerhalb der Bodenoberfläche 11 wie z. B. Bordsteine 12 oder Wände, die die Kalibrierung verfälschen oder ruinieren würden. Es ist jedoch sehr vorteilhaft, offensichtliche Ausreißer ab einer frühen Stufe zu detektieren und auszumustern. Für diesen Zweck kann ein heuristisches Verfahren verwendet werden. Die geometrische Abweichung jedes Bewegungsvektors v_i wird mit allen seinen unmittelbaren Nachbarn geprüft, und wenn sie als größer als eine gewisse Toleranz festgestellt wird, wird der Bewegungsvektor v_i als Ausreißer gekennzeichnet. Vorzugsweise wird eine nicht-lineare Methode verwendet, wobei eine Stimme für einen Ausreißer von jedem Vergleich mit einem Nachbarn gemäß einer geometrischen Toleranz abgegeben wird. Wenn die Anzahl von Stimmen einen gewissen Schwellenwert überschreitet, dann wird der geprüfte Vektor ausgemustert. Dies ist eine effektive Methode, die die meisten der guten Bewegungsvektoren v_i beibehält, während die echten Ausreißer ausgemustert werden. Die geometrische Toleranz sollte so festgelegt werden, dass in der Perspektive verzerrte Bewegungsvektoren in einem unkalibrierten System angenommen und nicht als Ausreißer ausgemustert werden, da dies den Algorithmus zum Stillstand bringen würde.
Bewegungsvektoren v_i, die zu sich bewegenden Objekten oder großen Objekten gehören, werden typischerweise durch diesen Schritt S4 ausgemustert. Bordsteine 12, Wände, Gras, Gräben oder ähnliche Merkmale längs der Straße 10 erzeugen jedoch Bewegungsvektoren v_i, die nicht immer eine große Abweichung von ihren Nachbarn aufweisen, oder sie weisen viele konsistente Nachbarn auf. Diese können über ein Verfahren ausgemustert werden, das entwickelt wurde und das die Anwesenheit von unebenem Boden im Allgemeinen detektiert. Ein solcher Boden verursacht eine signifikante systematische Abweichung in der Kalibrierung, hauptsächlich dem Rollwinkel, aufgrund der Annahme des Kalibrierungsalgorithmus, dass alle Bewegungsvektoren v_i in derselben Ebene liegen.
In einem fünften Schritt S5 wird die räumliche 3-DOF-Orientierung jeder Kamera 4 unabhängig durch Analysieren der Bewegungsvektoren v_i, die durch die vorherigen Schritte S1 bis S4 erzeugt werden, relativ zur Bodenebene 11 gefunden. Die Orientierung der Kameras 4 kann im Roll-Nick-Gier-Rotationsschema, das sich der Reihe nach um die festen X-, Y- und Z-Achsen des Weltkoordinatensystems dreht, ausgedrückt werden, wobei X die Fahrzeuglängsachse ist, Y die Fahrzeugquerachse ist und Z die Fahrzeughochachse ist, wie in 1 gezeigt. Dies ermöglicht in vorteilhafter Weise eine unabhängige Kalibrierung um die Y-Z-Achsen und X-Achse, wenn erforderlich.
Eine zu minimierende Kostenfunktion wird formuliert, die die geometrischen Eigenschaften der Bewegungsvektoren v_i auf der Bodenebene 11 ausnutzt, insbesondere in Anbetracht der Einschränkung für ungefähr geradliniges Fahren. Die Summe von quadratischen Fehlern oder die Summe von absoluten Fehlern vom Mittelwert oder Median wird mit Hilfe eines iterativen Algorithmus minimiert, wie z. B. Gradientengefälle, Gauß-Newton, Levenberg-Marquardt oder anderen. Es ist auch möglich, das Problem als überbestimmtes System von linearen Gleichungen anzugeben und in einer Hinsicht kleinster Quadrate mit verschiedenen Verfahren zu lösen, aber das nicht-lineare Verfahren stellt eine größere Flexibilität dafür bereit, wie die Kostenfunktion formuliert werden kann oder die Lösung optimiert werden kann.
Während auf einem ebenen Boden geradeaus gefahren wird, sollte ein kalibriertes System Bewegungsvektoren in der virtuellen Draufsicht erzeugen, die frei sind von einer perspektivischen Verzerrung, d. h. Bewegungsvektoren, die alle zur horizontalen x-Achse parallel sind und die gleiche Länge aufweisen. Am einfachsten kann dieses Ziel durch die Summe von Quadraten der y-Komponenten y_i und die Varianz der x-Komponenten x_i aller Bewegungsvektoren v_i ausgedrückt werden. Für eine kalibrierte Kamera unter idealen Bedingungen wäre dies null. Wie vorher gesagt, ist die virtuelle Draufsicht nicht obligatorisch, aber in vielen Weisen vorteilhaft. Alternativ könnten die Bewegungsvektoren v_i im Roh-Fischaugenbild blockverglichen und danach individuell auf die Bodenebene mit demselben Effekt projiziert worden sein. 3a zeigt unkalibrierte Bewegungsvektoren v_i, wobei die Bewegungsvektoren v_i nicht zur horizontalen x-Achse parallel sind.
Für einen Satz von Bewegungsvektoren {v₁, v₂, v₃, ..., v_n} mit Gewichten {w₁, w₂, w₃, ..., w_n}
ist der gewichtete Mittelwert der x-Komponenten x_i
Die zu minimierende Summe von quadratischen Fehlern ist
oder die zu minimierende Summe von absoluten Fehlern (unter Verwendung von Mittelwert oder Median von x) ist
Der Kalibrierungsfehler des quadratischen Mittelwerts, RSME, ist definiert als
Der RSME ist, wie später erörtert (siehe Schritt S8), eine zweckmäßige Metrik, von der die Kalibrierungsqualität abgeleitet werden kann.
Es ist möglich, die Lösung durch Entfernen von Bewegungsvektoren v_i mit einem Rest, der höher ist als ein gewisser Schwellenwert, zu verfeinern und den Optimierer ein zweites Mal erneut zu betreiben oder diesen Prozess mehrere Male zu wiederholen. Es ist auch möglich und manchmal erwünscht, die Kalibrierung in zwei Schritte aufzuteilen. Im ersten Schritt werden nur die Nick- und Gierwinkel durch Minimieren des Fehlers in der y-Komponente y_i der Bewegungsvektoren v_i kalibriert. Im zweiten Schritt wird der Rollwinkel durch Minimieren des Fehlers in der x-Komponente x_i der Bewegungsvektoren v_i unter Verwendung der obigen Formeln kalibriert. Dies ist beispielsweise zum anfänglichen Erhalten der korrekten Nick- und Gierwinkel in Gegenwart von Bordsteinen 12 nützlich, was den Rollwinkel verfälscht. Nach dieser anfänglichen Nick-Gier-Kalibrierung kann der Bordsteindetektionsalgorithmus zuverlässiger arbeiten.
Durch Minimieren der Kostenfunktion können die Bewegungsvektoren auf rotationskompensierte und kalibrierte Bewegungsvektoren v_i,c abgebildet und erneut projiziert werden, wie in 3b gezeigt. Die erneut projizierten Bewegungsvektoren v_i,c sind frei von einer perspektivischen Verzerrung und sind alle zur horizontalen x-Achse parallel.
In einem sechsten Schritt S6 wird die Höhe der Kameras 4 kalibriert. Der Zweck dieses Schritts S6 besteht darin, die absolute Höhe jeder Kamera 4 von der Bodenoberfläche 11 oder die relative Höhe zwischen den fahrzeugseitigen Kameras 4 durch Analysieren der kalibrierten und erneut projizierten Bewegungsvektoren v_i,c vom vorherigen Schritt S5 zu finden. Die Höhe der Kameras 4 kann von der nominalen Vorgabe aufgrund einer Airmatic-Aufhängung oder aufgrund von Beladungsänderungen im Kraftfahrzeug 1 wie z. B. der Anzahl von Fahrgästen oder des Gewichts in einem Kofferraum des Fahrzeugs abweichen.
Die absolute Höhe einer einzelnen Kamera 4 kann auf der Basis der Fahrzeugodometrie oder von Bildmerkmalen mit bekanntem Maßstab abgeschätzt werden. Die Länge der korrigierten, rotationskalibrierten und erneut projizierten Bewegungsvektoren v_i,c einer einzelnen Kamera 4 ist proportional zur Geschwindigkeit oder Schnelligkeit des Fahrzeugs 1 und umgekehrt proportional zur Höhe dieser Kamera 4 von der Bodenebene 11. In Anbetracht der Odometrie des Fahrzeugs vom fahrzeugseitigen Netzwerk, z. B. CAN oder FlexRay, kann eine erwartete Länge der Bewegungsvektoren v_i,c auf dem Boden 11 berechnet werden und die Höhe der Kamera 4 kann eingestellt werden, um sie an die erneut projizierten Bewegungsvektoren v_i,c anzupassen. Die folgende Formel wird verwendet, um die Höhe der Kamera 4 zu berechnen.
∆x ist die abgeschätzte Länge für alle Bewegungsvektoren v_i von der Fahrzeugodometrie, h ist die aktuelle Höhe, die zum Erzeugen der Draufsicht und zum erneuten Projizieren der Bewegungsvektoren v_i,c auf die Bodenebene 11 nach der Rotationskalibrierung verwendet wird (siehe Schritt S5). Der Nenner x ist der gewichtete Mittelwert oder Median der x-Komponente x_i, und gleichbedeutend mit der Länge aller Bewegungsvektoren. Die Gewichtung wird angewendet, um den Effekt von rauschbehafteten Vektoren gemäß ihrem Rest nach der Rotationskalibrierung zu verringern.
Alternativ kann unter Betrachtung der Bewegungsvektoren v_i von mehr als einer Kamera 4 und ohne Verwendung der Fahrzeugodometrie die Höhe jeder Kamera 4 derart eingestellt werden, dass die erneut projizierten Bewegungsvektoren v_i,c eine gleiche Länge bei allen Kameras 4 aufweisen. Für diesen Zweck kann die mittlere Länge der Bewegungsvektoren v_i,c der linken Spiegelkamera, der Kamera 4 auf der Fahrerseite 7, und der rechten Spiegelkamera, der Kamera 4 auf der Beifahrerseite 8, als Referenz verwendet werden und die Höhe der anderen Kameras 4 kann eingestellt werden, um sie anzupassen. Dies ergibt in der Praxis eine gute Näherung, da die Spiegelkameras 4 durch Beladungsänderungen des Fahrzeugs 1 am wenigsten beeinflusst werden. Ein anderes Verfahren zum Abschätzen der fehlenden Referenz oder Bereitstellen einer gesamten Verfeinerung für die Kalibrierung würde darin bestehen, die Merkmale im Überlappungsbereich zwischen den Kameras 4, oder wenn sie die Kameragrenzen in der virtuellen Draufsicht kreuzen, aufeinander abzustimmen.
Ein siebter Schritt S7 mit dem Filtern von Ergebnissen und einer Rückkopplungsschleife kann durchgeführt werden. Ein Kalibrierungsergebnis in Form eines Korrekturwerts wird für jedes Paar von Einzelbildern, die durch den Algorithmus während eines Kalibrierungszyklus analysiert werden, erzeugt. Ein einfacher Filtermechanismus kann verwendet werden, um Variationen in den Ergebnissen, die durch dynamische Änderungen in der Lage des Fahrzeugs 1 in Richtung der Straße 10, Unvollkommenheiten der Bodenoberfläche 11, die als planar angenommen wird, nicht geradliniges Fahren, Beobachtungsrauschen und Ausreißer verursacht werden, zu verringern oder idealerweise zu beseitigen. Ein rekursives exponentielles Glättungsfilter der Form s_t = α·x_t + (1 – α)·s_t−1 kann verwendet werden. Der Parameter α ist der Glättungsfaktor im Bereich von (0, 1), s_t ist die Filterausgabe, x_t ist das Ergebnis der aktuellen Kalibrierung und s_t-1 ist die vorherige Filterausgabe. Dies kann auf jeden Kalibrierungsparameter unabhängig angewendet werden. Der Glättungsfaktor kann dynamisch gemäß dem Lenkwinkel angepasst werden, so dass Kalibrierungen mit mehr Lenkung weniger gewichtet werden. Er kann auch gemäß den verschiedenen Kalibrierungsniveaus angepasst werden. Diese Niveaus legen den Kompromiss zwischen der Qualität, insbesondere Glätte, und der Latenz der Ergebnisse, d. h. wie schnell das System auf dauerhafte Änderungen in der Position der Kameras 4 aufgrund der Beladung oder anderen Bedingungen reagiert, fest. Ein Ziel besteht darin, die Gesamtzeit, die für die Kalibrierung gebraucht wird, zu optimieren, wobei eine annehmbare Qualität für andere Algorithmen so schnell wie möglich und eine höhere Qualität mit einer langsameren Rate erreicht wird, wobei eine längere Wartezeit gewährt werden kann. Kalibrierungen, die eine bestimmte Toleranz in den Rotationen, der Höhe oder dem RMSE überschreiten, können verworfen werden und schaffen es niemals in das Filter. Dies stellt einen weiteren Schutz vor Ausreißern bereit.
Nach jedem Zyklus kann die virtuelle Draufsicht vom letzten gefilterten Kalibrierungsergebnis aktualisiert werden. Dies schließt eine Rückkopplungsschleife und ermöglicht, dass der Algorithmus fortschreitend auf eine sehr genaue Endlösung konvergiert. Das momentane Kalibrierungsergebnis kann von perspektivischen Fehlern in der virtuellen Draufsicht verfälscht werden, die kleine systematische Versätze beim Blockvergleich verursachen. Es ist zu beachten, dass die Verfolgung im Roh-Fischaugenbild aufgrund von stärkeren Verzerrungen größeren Fehlern unterliegen kann. Der Blockvergleich und die Verfolgungsvorhersage werden beide genauer, wenn die Kalibrierung konvergiert und die Draufsicht besser wird.
In einem achten Schritt S8 kann ein empfindliches Maß der Kalibrierungsqualität jeder Kamera 4, eine Kalibrierungsqualitätsmetrik, von der Kostenfunktion selbst nach der Minimierung durch erneutes Projizieren der Bewegungsvektoren v_i,c auf die Bodenebene 11 mit dem gefilterten Kalibrierungsergebnis, dann Nehmen der Summe der Reste und Normieren derselben, so dass sie von der Anzahl von Bewegungsvektoren und der Fahrzeuggeschwindigkeit unabhängig ist, erhalten werden. Je niedriger dieser Fehler ist, desto besser sind die Kalibrierung und folglich auch die Stitching-Qualität der virtuellen Draufsicht. Die gesamte Kalibrierungsqualität des Systems wird insbesondere von der Kamera 4 mit der geringsten Qualität abgeleitet.
Die Kalibrierungsqualität, der Gütefaktor Q, jeder Kamera 4 ist als Kehrwert des Reprojektionsfehlers (RMSE) der Bewegungsvektoren auf die Bodenebene 11 mit der gefilterten Kalibrierung definiert. Dieser wird im Bereich von [0, 100) normiert durch die Formel Q = tanh( s / RMSE) × 100
Der hyperbolische Tangens tanh wird als kontinuierliche Dämpfungsfunktion verwendet, um den Bereich von Werten zwischen [0, 1) einzuschränken. Der Skalierungsfaktor s bestimmt die Form des Ausgangssignals 15 und des Grenzpunkts. Mit einem Skalierungsfaktor von 5 wird, wenn der RMSE ungefähr unter zwei Einheiten fällt, beispielsweise eine vollständige Kalibrierungsqualität erreicht, wie auf der Basis des Graphen 16, der das Ausgangssignal 15 aufträgt, in 4 gezeigt.
Die vorstehend beschriebene momentane Kalibrierungsqualitätsmetrik kann zwischen Kalibrierungszyklen aufgrund von Rauschen von verschiedenen Quellen wesentlich schwanken. Es ist erwünscht, ein stabiles Signal für die interne Rückkopplung und für die Ausgabe an das System bereitzustellen. Daher kann die momentane Qualität unter Verwendung des vorher beschriebenen exponentiellen Glättungsfilters geglättet werden. Der Algorithmus verwendet dieses Signal, um das Kalibrierungsniveau zu bestimmen und die Filterparameter anzupassen, wie vorher erläutert, und auch zum Detektieren von plötzlichen Dekalibrierungen, z. B. aufgrund von Beladungsänderungen. Eine Dekalibrierung wird detektiert, wenn ein niedrigerer Qualitätswert für eine Zeitdauer bestehen bleibt. In diesem Fall passt der Algorithmus die Filterparameter an, um die Wiederherstellung zu beschleunigen.

Claims

Verfahren zur extrinsischen Kalibrierung einer Kamera (4) eines Kraftfahrzeugs (1) auf der Basis von mindestens zwei Bildern (14) eines Umgebungsbereichs (9) des Kraftfahrzeugs (1), die nacheinander von der Kamera (4) aufgenommen werden, wobei die Bilder zumindest teilweise eine Textur eine Straßenoberfläche (11) anzeigen, und wobei die folgenden Schritte im Verfahren durchgeführt werden: a) Bestimmen von mindestens zwei ersten Blöcken in einem ersten Bild als erste Bildbereiche, die jeweilige Straßenoberflächenbereiche darstellen, b) Identifizieren von zwei zu den jeweiligen ersten Blöcken korrespondierenden zweiten Blöcken in mindestens einem zweiten Bild als zweite Bildbereiche, die zumindest teilweise den Straßenoberflächenbereich des entsprechenden ersten Blocks darstellen, c) Bestimmen von jeweiligen Bewegungsvektoren (v_i) für jedes Paar der zwei entsprechenden Blöcke (14) (S3), d) Kalibrieren der Kamera (4) auf der Basis der Bewegungsvektoren (v_i).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Kalibrieren der Kamera (4) eine Rotationskalibrierung durchgeführt wird, wobei eine Kostenfunktion, die eine Abweichung zwischen den Bewegungsvektoren (v_i) und einem vorbestimmten Vektor beschreibt, bestimmt wird und rotationskompensierte Bewegungsvektoren (v_i,c) durch Minimieren der Kostenfunktion bestimmt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zum Kalibrieren der Kamera (4) eine Höhenkalibrierung durchgeführt wird, wobei die Höhe der Kamera (4) in Abhängigkeit von einer Länge der rotationskompensierten Bewegungsvektoren (v_i,c) und einem erwarteten Wert der Länge der rotationskompensierten Bewegungsvektoren (v_i,c) bestimmt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der erwartete Wert für die Länge in Abhängigkeit von einer Geschwindigkeit des Kraftfahrzeugs (1) vorgegeben wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Geschwindigkeit des Kraftfahrzeugs (1) mittels Odometrie und/oder auf der Basis mindestens eines weiteren Bewegungsvektors (v_i,c) bestimmt wird, der auf der Basis von Bildern (13) bestimmt wird, die durch mindestens eine weitere Kamera (4) des Kraftfahrzeugs (1) aufgenommen werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass im Fall von Bildern (13), die durch eine Kamera (4) mit einer Fischaugenlinse aufgenommen werden, ein Schritt e) vor Schritt a) ausgeführt wird, in welchem Schritt e) eine Fischaugenverzerrung der Bilder (13) entfernt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in dem mindestens einen zweiten Bild Teilbereiche des zweiten Bildes als Suchbereiche definiert werden, welche nach den zweiten Blöcken durchsucht werden, um diejenigen zweiten Blöcke zu identifizieren, welche den mindestens zwei ersten Blöcken entsprechen, wobei eine Position und/oder eine Größe der Suchbereiche in dem mindestens einen zweiten Bild in Abhängigkeit von einer aktuellen Geschwindigkeit des Kraftfahrzeugs (1) bestimmt werden oder wobei eine vorbestimmte Position und/oder Größe der Suchbereiche in dem mindestens einen zweiten Bild vorbestimmt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens zwei Bilder in mehrere Blöcke (14) unterteilt werden, wobei die einander entsprechenden Blöcke (14) in den Schritten a) und b) identifiziert werden und ein Bewegungsvektor (v_i) für jedes Paar von zwei einander entsprechenden Blöcken (14) in Schritt c) bestimmt wird und wobei Ausreißer unter den Bewegungsvektoren (v_i) identifiziert werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass jene Bewegungsvektoren (v_i) als Ausreißer identifiziert werden, deren geometrische Abweichung von mindestens einem weiteren Bewegungsvektor innerhalb eines vorbestimmten Toleranzbereichs liegt.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren durchgeführt wird, wenn eine Dekalibrierung der Kamera (4) auf der Basis der mindestens zwei Bilder (13) detektiert wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die mindestens zwei Bilder (13) kombiniert werden, um ein Gesamtbild zu erzeugen, und die Dekalibrierung der Kamera (4) auf der Basis einer fehlerhaften Kombination des Gesamtbildes detektiert wird.
Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass ein Gütefaktor, der eine Kalibrierungsqualität beschreibt, bestimmt wird, wobei die Dekalibrierung auf der Basis eines Werts des Gütefaktors identifiziert wird.
Rechenvorrichtung (3) für ein Fahrerassistenzsystem (2) eines Kraftfahrzeugs (1), die dazu ausgelegt ist, ein Verfahren nach einem der vorangehenden Ansprüche durchzuführen.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1) mit mindestens einer Kamera (4) und einer Rechenvorrichtung (3) nach Anspruch 13.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.