DE102015107677A1

DE102015107677A1 - Rundum-Sicht-Kamerasystem- (VPM-) Online-Kalibrierung

Info

Publication number: DE102015107677A1
Application number: DE102015107677.2A
Authority: DE
Inventors: Jinsong Wang; Wende Zhang; Bakhtiar Brian Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-05-16
Filing date: 2015-05-15
Publication date: 2015-11-19
Anticipated expiration: 2035-05-16
Also published as: DE102015107677B4; CN105141945B; CN105141945A; US9986173B2; US20150329048A1

Abstract

Ein System und ein Verfahren zur Bereitstellung einer Online-Kalibrierung einer Mehrzahl von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug. Das Verfahren stellt aufeinanderfolgende Bilder von jeder der Kameras im Rundum-Sicht-Kamerasystem bereit und identifiziert Überlappungsbildbereiche für benachbarte Kameras. Das Verfahren identifiziert übereinstimmende Merkmalpunkte in den Überlappungsbereichen der Bilder und schätzt Kameraparameter in Weltkoordinaten für jede der Kameras. Das Verfahren schätzt danach eine Fahrzeugpose des Fahrzeugs in Weltkoordinaten und berechnet die Kameraparameter in Fahrzeugkoordinaten unter Verwendung der geschätzten Kameraparameter in den Weltkoordinaten und der geschätzten Fahrzeugpose, um die Kalibrierung bereitzustellen.

Description

Diese Anmeldung beansprucht die Priorität der provisorischen US-Patentanmeldung mit der fortlaufenden Nr. 61/994,649 mit dem Titel ”Surround-View Camera System (VPM) Online Calibration”, eingereicht am 16.05.14.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Diese Erfindung bezieht sich im Allgemeinen auf ein System und ein Verfahren zur Kalibrierung der Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug und insbesondere auf ein System und ein Verfahren zur Bereitstellung einer Online-Kalibrierung der Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug.
Erörterung des verwandten Standes der Technik
Moderne Fahrzeuge enthalten im Allgemeinen eine oder mehrere Kameras, die eine Sicherungsunterstützung bereitstellen, Bilder des Fahrzeugfahrers aufnehmen, um die Schläfrigkeit oder Achtsamkeit des Fahrers zu bestimmen, Bilder der Straße bereitstellen, während sich das Fahrzeug bewegt, um Kollisionen zu vermeiden, eine Strukturerkennung bereitstellen, z. B. Straßenzeichen, usw. Andere Fahrzeugsichtanwendungen umfassen Fahrzeugspurerfassungssysteme, um die aktuelle Fahrzeugspur zu erfassen und das Fahrzeug in der Mitte der Spur zu fahren. Viele dieser bekannten Spurerfassungssysteme erkennen Spurmarkierungen auf der Straße für diverse Anwendungen, z. B. Spurverlasswarnung (LDW), Spurbeibehaltung (LK), Spurzentrierung (LC) usw., und verwenden für gewöhnlich eine einzelne Kamera, entweder vorne oder hinten am Fahrzeug, um die Bilder bereitzustellen, die zum Erkennen der Spurmarkierungen verwendet werden.
Auf dem Gebiet wurde vorgeschlagen, ein Rundum-Sicht-Kamerasystem auf einem Fahrzeug bereitzustellen, das eine Vorderkamera, eine Rückkamera und linke und rechte Seitenkameras enthält, wobei das Kamerasystem unter Verwendung der Bilder von den Kameras eine Ansicht des Fahrzeugs und umgebender Bereiche von oben nach unten erzeugt und wobei die Bilder einander an den Ecken des Fahrzeugs überlappen. Die Ansicht von oben nach unten kann für den Fahrzeugfahrer angezeigt werden, damit dieser die Umgebung des Fahrzeugs sieht, für eine Sicherung, zum Parken usw. Künftige Fahrzeuge verwenden ggf. keine Rückspiegel, sondern enthalten stattdessen digitale Bilder, die von den Rundum-Sicht-Kameras bereitgestellt werden.
Die US-Patentanmeldung mit der Veröffentlichungs-Nr. 2013/0293717 von Zhang et al., eingereicht am 9. April 2013, mit dem Titel ”Full Speed Lane Sensing With A Surrounding View System”, die dem Zessionar dieser Anmeldung übertragen ist und hier durch Bezugnahme berücksichtigt ist, offenbart ein System und ein Verfahren zur Bereitstellung einer Spurerfassung auf einem Fahrzeug durch Erkennen von Straßenspurmarkierungen, wobei das System ein Rundum-Sicht-Kamerasystem verwendet, das ein Bild einer Von-oben-nach-unten-Ansicht um das Fahrzeug herum bereitstellt. Das Verfahren umfasst das Erkennen von links- und rechtsseitigen Spurgrenzlinien im Bild einer Von-oben-nach-unten-Ansicht und danach das Bestimmen, ob die Spurgrenzlinien im Bild von einem Bildframe zum nächsten Bildframe ausgerichtet sind und ob sie im Bild einer Von-oben-nach-unten-Ansicht von Bild zu Bild ausgerichtet sind.
Bei vielen kamerabasierten Fahrzeuganwendungen ist es entscheidend, die Position und Ausrichtung der Kamera in Bezug auf das Fahrzeug genau zu kalibrieren. Die Kamerakalibrierung bezieht sich im Allgemeinen auf das Schätzen einer Anzahl von Kameraparametern, einschließlich sowohl intrinsischer als auch extrinsischer Parameter, wobei die intrinsischen Parameter Brennweite, optische Mitte, Parameter der radialen Verzerrung usw. umfassen und die extrinsischen Parameter Kameraposition, Kameraausrichtung usw. umfassen. Die Kalibrierung von extrinsischen Kameraparametern umfasst für gewöhnlich das Ermitteln eines Satzes von Parametern, die Kamerabildkoordinaten mit Fahrzeugkoordinaten in Bezug setzen und umgekehrt. Manche Kameraparameter wie Kamerabrennweite, optische Mitte usw. sind stabil, andere Parameter wie Kameraausrichtung und -position hingegen nicht. Beispielsweise hängt die Höhe der Kamera von der Last des Autos ab, die sich von Zeit zu Zeit verändert.
Bei den bekannten Rundum-Sicht-Kamerasystemen überlappen sich die Bilder von den Kameras an den Ecken der Fahrzeuge, wobei der Kamerakalibrierungsprozess die benachbarten Bilder ”zusammennäht”, so dass gemeinsame Elemente in den einzelnen Bildern direkt überlappen, so dass die gewünschte Von-oben-nach-unten-Ansicht bereitgestellt wird. Während der Herstellung des Fahrzeugs werden diese Kamerabilder zusammengenäht, um dieses Bild bereitzustellen, wobei eine beliebige Anzahl von Kalibrierungstechniken verwendet wird, so dass die Kameras ordnungsgemäß kalibriert sind, wenn das Fahrzeug zum ersten Mal in Betrieb genommen wird. Eine Kalibrierungstechnik wird verwendet, um das Fahrzeug auf einem Schachbrettmuster von abwechselnden hellen und dunklen Quadraten zu positionieren, wobei jeder Punkt der Quadrate entsprechend identifiziert ist. Die Verwendung dieser Punkte in den entwickelten Bildern ermöglicht, dass die Kamerakalibrierungssoftware die Position der Bilder korrigiert, so dass sich überlappende Punkte in benachbarten Bildern an der gleichen Stelle identifiziert werden.
Wenn das Fahrzeug in Betrieb genommen wird, können jedoch diverse Dinge passieren, die eine Änderung der Ausrichtung und Position der Kameras bewirken können, wobei die Kalibrierung der Kamera Fehler umfasst, die eine Fehlausrichtung im Von-oben-nach-unten-Bild bewirken. Diese Dinge können die Beladung des Fahrzeugs, die eine Änderung der Kameraposition, z. B. der Höhe, und/oder der Kameraausrichtung, z. B. Nicken, in Bezug auf die Weltkoordinaten bewirken kann, kleine Einwirkungen auf das Fahrzeug, die die Position und Ausrichtung der Kameras verändern können, usw. umfassen. Aktuelle Videoverarbeitungsmodule (VPMs), die die Bilder von den Kameras verarbeiten, um die Von-oben-nach-unten-Ansicht zu erzeugen, sind nicht in der Lage, die Kameras online neu zu kalibrieren, wenn das Fahrzeug verwendet wird. Im Gegenteil, der Fahrzeugführer muss das Fahrzeug zu einem Händler oder einem anderen berechtigten Servicecenter bringen, der bzw. das in der Lage ist, die Kameras auf die gleiche Weise neu zu kalibrieren, wie dies während der Fahrzeugherstellung erfolgt ist, was offensichtlich mit Nachteilen verbunden ist.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Offenbarung beschreibt ein System und ein Verfahren zur Bereitstellung einer Online-Kalibrierung einer Mehrzahl von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug. Das Verfahren stellt aufeinanderfolgende Bilder von jeder der Kameras im Rundum-Sicht-Kamerasystem bereit und identifiziert Überlappungsbildbereiche für benachbarte Kameras. Das Verfahren identifiziert übereinstimmende Merkmalpunkte in den Überlappungsbereichen der Bilder und schätzt Kameraparameter in Weltkoordinaten für jede der Kameras. Das Verfahren schätzt danach eine Fahrzeugpose des Fahrzeugs in Weltkoordinaten und berechnet die Kameraparameter in Fahrzeugkoordinaten unter Verwendung der geschätzten Kameraparameter in den Weltkoordinaten und der geschätzten Fahrzeugpose, um die Kalibrierung bereitzustellen.
Weitere Merkmale der vorliegenden Erfindung gehen aus der folgenden Beschreibung und den beiliegenden Ansprüchen in Zusammenschau mit den beiliegenden Zeichnungen besser hervor.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Veranschaulichung eines Fahrzeugs, das ein Rundum-Sicht-Kamerasystem mit mehreren Kameras enthält;
2 ist eine isometrische Ansicht eines Fahrzeugs, das ein Koordinatensystem für Weltkoordinaten, Fahrzeugkoordinaten und Kamerakoordinaten zeigt;
3 ist ein Ablaufplan, der einen Prozess zur Bereitstellung einer Online-Rundum-Sicht-Kamerakalibrierung bereitstellt;
4 ist eine Veranschaulichung von vier unbearbeiteten Bildern von vier Kameras für das Rundum-Sicht-Kamerasystem, die abgeglichene Merkmalpaare zeigt;
5 ist ein Blockschaubild eines Systems, das einen Prozess zur Abgleichung von Merkmalpunkten zeigt;
6 ist eine Veranschaulichung eines Fahrzeugs auf einer Straße und zeigt einen Prozess zur Ermittlung einer Fahrzeugpose; und
7 ist ein Ablaufplan, der einen Prozess zur Kalibrierungsvalidierung und -verfeinerung zeigt.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Erörterung der Ausführungsformen der Erfindung, die auf ein System und ein Verfahren zur Bereitstellung einer Online-Kalibrierung von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug gerichtet sind, ist lediglich beispielhaft und soll die Erfindung oder deren Anwendungen oder Verwendungen in keinster Weise einschränken. Wie beispielsweise erörtert, weisen das System und das Verfahren eine bestimmte Anwendung für die Bereitstellung einer Online-Kalibrierung von Kameras auf einem Fahrzeug auf. Wie der Fachmann jedoch verstehen wird, können das System und das Verfahren Anwendung auf andere mobile Plattformen wie Züge, Maschinen, Traktoren, Schiffe, Freizeitfahrzeuge usw. haben.
1 ist eine Veranschaulichung eines Fahrzeugs 10 von oben, das ein Rundum-Sicht-Kamerasystem mit einer Vordersichtkamera 12, einer Rücksichtkamera 14, einer linksseitigen Fahrersichtkamera 16 und einer rechtsseitigen Insassensichtkamera 18 enthält. Die Kameras 12–18 können eine beliebige Kamera sein, die sich für die hier beschriebenen Zwecke eignet, wobei viele davon auf dem Automobilgebiet bekannt sind, die in der Lage sind, Licht oder andere Strahlung aufzunehmen und die Lichtenergie in elektrische Signale in einem Pixelformat umzuwandeln, z. B. unter Verwendung von Charged Coupled Devices (CCD). Die Kameras 12–18 erzeugen Frames von Bilddaten in einer gewissen Datenframerate, die für eine darauffolgende Bildverarbeitung in einem Videoverarbeitungsmodul (VPM) 20 gespeichert werden können. Die Kameras 12–18 können innerhalb oder auf einer beliebigen geeigneten Struktur befestigt werden, die Teil des Fahrzeugs 10 ist, z. B. Stoßdämpfer, Armaturenbrett, Kühlergrill, Seitenspiegel, Türverkleidung usw., wie vom Fachmann auf dem Gebiet hinlänglich verstanden. Bei einer nicht-einschränkenden Ausführungsform sind die Seitenkameras 16 und 18 unter den Seitenspiegeln angebracht und zeigen nach unten.
Die Kameras 12–18 erzeugen Bilder von gewissen beschränkten Bereichen um das Fahrzeug 10 herum, die sich teilweise überlappen. Insbesondere ist ein Bereich 24 der Bildbereich für die Kamera 12, ist ein Bereich 26 der Bildbereich für die Kamera 14, ist ein Bereich 28 der Bildbereich für die Kamera 16 und ist ein Bereich 30 der Bildbereich für die Kamera 18, wobei ein Bereich 32 ein Überlappungsbereich der Bilder 24 und 28 ist, ein Bereich 34 ein Überlappungsbereich der Bilder 24 und 30 ist, ein Bereich 36 ein Überlappungsbereich der Bilder 28 und 26 ist und ein Bereich 38 ein Überlappungsbereich der Bilder 30 und 26 ist. Bilddaten von den Kameras 12–18 werden an das VPM 20 gesendet, das die Bilddaten verarbeitet, um die Bilder zusammenzunähen, die danach auf einer Fahrzeuganzeige als einzelnes Bild einer Von-oben-nach-unten-Ansicht um das Fahrzeug 10 herum angezeigt werden können.
Wie nachstehend ausführlicher erörtert, schlägt die vorliegende Erfindung eine Online-Kalibrierungstechnik zur Kalibrierung der Kameras 12–18 vor, während das Fahrzeug 10 in Betrieb ist. Softwarealgorithmen sind bekannt, die Rotationsmatrizen R und Transitionsvektoren t verwenden, um die Bilder von benachbarten Kameras auszurichten und neu zu konfigurieren, so dass die Bilder sich ordnungsgemäß überlappen. Im Allgemeinen definiert die vorgeschlagene Kalibrierungstechnik drei Koordinatensysteme, nämlich ein Weltkoordinatensystem, ein Fahrzeugkoordinatensystem und ein Kamerakoordinatensystem, die jeweils in einer X-Y-Z-Positionsorientierung definiert sind. 2 ist eine Veranschaulichung eines Fahrzeugs 50, das eine Kamera 52 enthält, die diese Koordinatensysteme zeigt, wobei das tiefgestellte V die Fahrzeugkoordinaten darstellt, das tiefgestellte W die Weltkoordinaten darstellt und das tiefgestellte C die Kamerakoordinaten darstellt, und wobei i die bestimmte Kamera der vier Kameras im Rundum-Sicht-System darstellt.
Wie erörtert wird, findet die Kalibrierungstechnik übereinstimmende Merkmalpunkte (u, v) in den Überlappungsbereichen 32, 34, 36 und 38 für zwei Kamerabilder und verwendet einen Transformationsprozess auf Basis der übereinstimmenden Merkmalpunkte (u, v), um Kameraparameter in Weltkoordinaten, Fahrzeugpose, d. h. Kurs und Versatz, in Weltkoordinaten und von dort aus Kameraparameter in Fahrzeugkoordinaten zu schätzen. Jeder Merkmalpunkt (u, v) ist eine Darstellung einer bestimmten Pixelstelle in einem Bild von einer bestimmten Kamera für einen Punkt X in einer Überlappungsregion im bestimmten Koordinatensystem. Der Kalibrierungsalgorithmus stellt dann eine Feedbackvalidierung und Verfolgungsverfeinerung bereit.
Für einen bestimmten Punkt X in der Überlappungsregion identifiziert der Algorithmus eine Beziehung zwischen diesem Punkt im Weltkoordinatensystem und dem Fahrzeugkoordinatensystem und danach zwischen Fahrzeugkoordinatensystem und dem Kamerakoordinatensystem, wie anhand der nachstehenden Gleichungen (1) bis (3) gezeigt und definiert, wobei R eine 3-x-3-Rotationsmatrix ist, die Wanken, Nicken und Gieren identifiziert und neun Werte enthält, die das Nicken, Gieren und Wanken des Koordinatensystems definieren, und wobei z. B. R_V2Ci die Kamerapose identifiziert, und wobei t ein 1-x-3-Translationsvektor ist, der die X-, Y-, Z-Position im bestimmten Koordinatensystem identifiziert. Insbesondere zeigt die Gleichung (1), wie der Punkt X im Weltkoordinatensystem zu Fahrzeugkoordinaten translatiert wird, und zeigt die Gleichung (2), wie Punkt X in Fahrzeugkoordinaten zu Kamerakoordinaten translatiert wird. X_V = R_orient·X_W + t ' / W2V, (1) X_Ci = R_V2Ci·X_V + t ' / V2Ci, (2) = R_V2Ci·R_orient·X_W·t ' / W2Ci. (3)
3 ist ein Ablaufplan 60, der einen Prozess zur Bereitstellung einer Online-Kamerakalibrierung im VPM 20 zeigt, wobei die Fahrzeugparameter von Fahrzeuggeschwindigkeit und Fahrzeuggierrate in einem Kästchen 62 bereitgestellt sind. Die vorherigen Frames von Bildern von allen Kameras 12–18 sind im Kästchen 64 bereitgestellt, das die Fahrzeugparameter des Kästchens 62 empfängt. Diese Frames von Bildern werden an ein Kästchen 66 bereitgestellt, das die übereinstimmenden Merkmalpunkte (u, v) und -muster in den Überlappungsbereichen 32, 34, 36 und 38 identifiziert, wie nachstehend erörtert.
4 ist eine Veranschaulichung 80 des Fahrzeugs 10 in einem Parkplatz, der anderen Fahrzeugen benachbart ist, wobei die Parkplatzlinien 78 verwendet werden können, um übereinstimmende Merkmalpunkte (u, v) in zwei überlappenden Kamerabildern zu identifizieren. Die übereinstimmenden Merkmalpunkte (u, v) müssen nicht auf dem Boden vorliegen, sondern können auf einem beliebigen Objekt über dem Boden oder anderweitig vorliegen, z. B. auf der Fahrzeugkarosserie. Punkte 82 und 84 stellen den gleichen Punkt im Überlappungsbereich 32 für die Bilder dar, die von der Vorderkamera 12 bzw. der linksseitigen Kamera 16 bereitgestellt werden. Punkte 86 und 88 stellen den gleichen Punkt im Überlappungsbereich 34 für die Bilder von der Kamera 12 bzw. der rechtsseitigen Kamera 18 dar. Punkte 90 und 92 stellen den gleichen Punkt im Überlappungsbereich 36 zwischen der linksseitigen Kamera 16 bzw. der Rückkamera 14 dar. Punkte 94 und 96 stellen die gleichen Punkte im Überlappungsbereich 38 zwischen der rechtsseitigen Kamera 18 bzw. der Rückkamera 14 dar.
5 ist ein Blockschaubild eines Systems 100, das eine allgemeine Darstellung des Prozesses über die Art und Weise zeigt, wie der Online-Kalibrierungsalgorithmus übereinstimmende Merkmalpunkte (u, v) in den Überlappungsbereichen 32, 34, 36 und 38 im Kästchen 66 identifiziert. Im System 100 stellt ein Kästchen 102 das Bild von der Vorderkamera 12 dar, stellt ein Kästchen 104 das Bild von der linksseitigen Kamera 16 dar, stellt ein Kästchen 106 das Bild von der rechtsseitigen Kamera 18 dar und stellt eine Box 108 das Bild von der Rückkamera 14 dar. Ein Synchronisierungsblock 110 synchronisiert die zeitliche Abfolge der Bilder 102–108 von den Kameras 12–18, so dass alle Bilder 32, 34, 36 und 38 zeitlich ausgerichtet sind, bevor sie im Kalibrierungsprozess räumlich ausgerichtet werden. Die Bilder 102 und 104 von den Kameras 12 bzw. 16 erzeugen eine Region von Interesse 112 im Überlappungsbereich 32, die Bilder 102 und 106 von den Kameras 12 bzw. 18 erzeugen eine Region von Interesse 114 im Überlappungsbereich 34, die Bilder 104 und 108 von den Kameras 16 bzw. 14 erzeugen eine Region von Interesse 116 im Überlappungsbereich 36 und die Bilder 106 und 108 von den Kameras 14 bzw. 18 erzeugen eine Region von Interesse 118 im Überlappungsbereich 38. Die Regionen von Interesse 112, 114, 116 und 118 werden danach an einen Prozessor 120 bereitgestellt, der die mehreren übereinstimmenden Merkmalpunkte (u, v) in den Regionen von Interesse 112, 114, 116 und 118. Der Fachmann wird verstehen, dass viele Computersicht- und -bildgebungssysteme Merkmalpunkterkennungs- und -abgleichungstechniken und Algorithmen wie SIFT, SURF, ORB usw. verwenden, die für die hier erörterten Zwecke anwendbar sein können.
Nachdem die übereinstimmenden Merkmalpunkte (u, v) oben identifiziert wurden, verwendet der Algorithmus die übereinstimmenden Merkmalpunkte (u, v) in benachbarten Bildern, um die Kameraparameter in Weltkoordinaten in einem Kästchen 68 von 3 zu schätzen, unter Verwendung der nachstehenden Gleichung (4), wobei X_C ein Pixel im bestimmten Überlappungsbild in Kamerakoordinaten identifiziert, unter Verwendung der vorherigen Frames von Bilddaten aus dem Kästchen 64. Die übereinstimmenden Merkmalpunkte (u, v) in zwei Bildern im Überlappungsbereich sind räumlich nahe, wie Gleichung (5) zeigt. Darüber hinaus fällt ein bestimmter übereinstimmender Punkt von zwei Kameras mit einem bestimmten Punkt in Weltkoordinaten zusammen, wie in den nachstehenden Gleichungen (6) und (7) gezeigt. X_C = R_w2C·X_W·t ' / W2C, (4) (u, v)_Ci ~ (u, v)_cj, (5) (u, v)_Ci → X_Ci, (6) (u, v)_Cj → X_Cj, (7) wobei ci und cj zwei bestimmt Kameras identifizieren.
Der Algorithmus ermittelt übereinstimmende Merkmalpunkte (u, v) in Kamerakoordinaten für beide Kameras, der den gleichen Weltpixelpunkt X_w wie folgt abgleicht: X_Ci = R_W2Ci·X_W + t ' / W2Ci, (8) X_Cj = R_W2Cj·X_W + t ' / W2Cj, (9)
Anhand der Gleichungen (8) und (9), die auf die vollständige Matrix erweitert werden können, ermittelt der Algorithmus N übereinstimmende Merkmalpunkte (u, v). Bei Berücksichtigung aller vier Kameras ist die Auflösung der Gleichungen (8) und (9) für vier Kameras N Weltkoordinatenpunkte, die in den Überlappungsregionen zu sehen sind, wobei 6 × 4 unbekannte Kamerakalibrierungsparameter (α, β, γ, x_c, y_c, z_c) und 3 × N unbekannte Weltkoordinatenpunktwerte (x_i, y_i, z_i) bereitgestellt werden. Da diese N Weltkoordinatenpunktwerte in den überlappenden Bereichen von zwei der Kameras liegen, zeigt sich jeder Punkt in zwei Bildern mit bekannten Pixelstellen
Somit gibt es 2 × 2 × N Gleichungen, um diese 6 × 4 + 3 × N unbekannten Parameter mit den 2 × 2 × N bekannten Pixelstellen zu verbinden. Wenn das VPM 20 in der Lage ist, zumindest 24 übereinstimmende Merkmalpunkte in den Überlappungsbereichen zu erkennen, können die Gleichungen (8) und (9) aufgelöst werden, um die Kalibrierungsparameter zu schätzen. Diese 24 übereinstimmenden Merkmalpunkte können entweder aus einem einzelnen Frame (z. B. einer komplexen Szene in einer städtischen Umgebung mit einer Vielzahl von Merkmalpunkten) oder aus mehreren Frames stammen. Die Verwendung mehrerer Frames stellt kein Problem dar, da die Kameraparameter nicht zeitveränderlich sind.
Unter Verwendung der geschätzten Kameraparameter in den Weltkoordinaten schätzt der Algorithmus danach die Pose, d. h. Kurs und Versatz, des Fahrzeugs 10 in Weltkoordinaten in einem Kästchen 70 in 3 unter Verwendung einer nachstehenden Gleichung (10), so dass der Algorithmus die relative Drehung (Ausrichtung/Gieren) und Verschiebung (seitlicher Versatz) der Fahrzeugkoordinaten zu Weltkoordinaten kennt. X_V = R_orient·X_W + t ' / W2V (10)
Gleichung (10) hat zwei Unbekannte, nämlich Ausrichtung und seitlicher Versatz.
Der Algorithmus kann einen beliebigen geeigneten Prozess zur Schätzung eines Fahrzeugkurswinkels für die hier erörterten Zwecke verwenden. 6 ist eine Darstellung 130 des Fahrzeugs 10, das sich auf einer Straße 132 bewegt, die das Fahrzeug 10 in zwei unterschiedlichen Positionen zeigt. Bei einer ersten Technik wird ein statisches Objekt, das sich vor dem Fahrzeug 10 und entlang dessen Seite oder hinter dem Fahrzeug 10 und entlang dessen Seite befindet, z. B. ein Baum 134, in einem Abstand zum Fahrzeug 10 identifiziert, um ein Objekt bereitzustellen, dessen seitliche Position in Fahrzeugkoordinaten sich nicht verändert, wenn das Fahrzeug 10 gerade fährt. Eine der Kameras 12–18 verfolgt einen Merkmalpunkt, der eine Projektion einer Weltpunktstelle X_W auf dem Baum 134 entlang einer konstanten Y-Position in Fahrzeugkoordinaten ist, insbesondere der laterale Versatz des Fahrzeugs 10. Da sich der seitliche Versatz des Fahrzeugs 10 nicht verändert, ist die Y-Position des Fahrzeugs 10 konstant, und somit kennt der Algorithmus den Fahrzeugkurswinkel, indem er die erkannte Merkmalpunktpositionsänderung in Weltkoordinaten als Θ = atan((y_w2 – y_w1)/(x_w2 – x_w1)) berechnet. Wenn eine Änderung der Y-Position des Fahrzeugs 10 über einem vorab festgelegten Schwellenwert in Bezug auf den Punkt X_W erfolgt, weiß der Algorithmus, dass sich der Kurswinkel des Fahrzeugs 10 verändert hat, und kann die Kalibrierungsberechnungen dementsprechend korrigieren.
Bei einer zweiten Technik verwendet der Algorithmus die Vorderkamera 12 und die Rückkamera 14, um einen optischen Fluss des Fahrzeugs 10 zu berechnen, indem er einen Fluchtpunkt 136 vor dem Fahrzeug 10 mit einem Fluss von null erkennt, der verwendet werden kann, um den Kurswinkel des Fahrzeugs 10 zu schätzen. Der Fluchtpunkt 136, der in den Bildern von der Vorderkamera 12 und der Rückkamera 14 erkannt wurde, kann verwendet werden, um die Anbringungsausrichtung der Kameras 12 und 14 in Fahrzeugkoordinaten durch Subtrahieren des Kameraanbringungswinkels in Weltkoordinaten, wie oben ermittelt, berechnet werden, um den Fahrzeugkurswinkel zu erhalten.
Bei einer dritten Technik verwendet der Algorithmus Fahrzeugkarosseriereferenzpunkte oder -linien von beispielsweise den Seitenkameras 16 und 18, um Komponenten auf dem Fahrzeug 10 zu sehen, z. B. Vorder- und Hinterräder, Karosserieframelinien, Fahrzeugstoßdämpfer, um Fahrzeugkarosseriereferenzpunkte zu erhalten, die für eine Schätzung des Fahrzeugkurses und -versatzes verwendet werden können.
In einem Kästchen 72 in 3 berechnet der Algorithmus die extrinsischen Kameraparameter in Fahrzeugkoordinaten unter Verwendung der Beziehung: X_c = R_V2C·X_V + t ' / V2C. (11)
Der Algorithmus verwendet die Schätzungen der Kameraparameter in Weltkoordinaten und die Fahrzeugpose, wie oben erörtert, um die extrinsischen Kameraparameter in Fahrzeugkoordinaten zu berechnen, um die Online-Kamerakalibrierung unter Verwendung der nachstehenden Gleichungen (12) bis (15) bereitzustellen. X_V = R_orient·X_W + t ' / W2V, (12) X_Ci = R_V2Ci·X_V + t ' / V2Ci (13) = R_V2Ci·R_orient·X_W + t ' / W2Ci, (14) = R_W2Ci·X_W + t ' / W2Ci. (15)
Anhand der Gleichungen (12) bis (15) können die Rotationsmatrix R_V2Ci für die Pose der bestimmten Kamera i, d. h. Nicken, Gieren und Wanken, in Kamerakoordinaten und der Translationsvektor t ' / V2Ci der Position der Kamera i in Kamerakoordinaten x, y und z ermittelt werden.
In einem Kästchen 74 in 3 stellt der Algorithmus eine Validierung, Verfolgung und Verfeinerung durch Feedback der Online-Kamerakalibrierung bereit. 7 ist ein Ablaufplan 140, der eine solche Feedbackvalidierung und -verfeinerung für den Algorithmus zeigt. Der Validierungsprozess validiert die Kalibrierungsschätzung für sowohl gerades als auch ruckfreies Fahren, um zu verifizieren, dass die Punkte in den überlappten Bildern von den Kameras 12–18 ausgerichtet sind. Der Prozess umfasst das Durchführen der Online-Kalibrierung in einem Kästchen 142 auf die oben erörterte Weise, um die Ausrichtung der Kameras 12–18 zu kalibrieren, und stellt danach eine Spurerfassung in einem Kästchen 144 bereit, um erkannte Spurmarkierungen von den Kameras 12–18 zu identifizieren, um zu ermitteln, ob sie in den Überlappungsbildbereichen miteinander ausgerichtet sind, nachdem der Kalibrierungsprozess durchgeführt wurde. Der Algorithmus bestimmt in einer Entscheidungsraute 146, ob eine Ausrichtung innerhalb eines vorab festgelegten Schwellenwerts vorliegt, und ist dies nicht der Fall, so informiert er ein Feedbackkästchen 148, um eine zeitliche Glättung und Feedbackverfeinerung bereitzustellen, wenn die Kalibrierungsparameter nicht zeitveränderlich sind, so dass eine Verfeinerung der Kalibrierung durch zeitliche Glättung erreicht werden kann. Die zeitliche Glättung und Verfeinerung der Online-Kalibrierung von dem Kästchen 142 wird danach im Kästchen 148 zur Durchführung angewiesen, wobei im Kästchen 142 eine aktualisierte Kalibrierung an den Kalibrierungsprozess bereitgestellt wird.
Wie der Fachmann verstehen wird, können sich die mehreren und diversen Schritte und Prozesse, die hier für eine Beschreibung der Erfindung erörtert sind, auf Vorgänge beziehen, die von einem Computer, einem Prozessor oder einer anderen elektronischen Recheneinheit durchgeführt werden, die Daten unter Verwendung des elektrischen Phänomens manipulieren und/oder transformieren. Diese Computer und elektronischen Einheiten können diverse flüchtige und/oder nicht-flüchtige Speicher verwenden, z. B. ein nicht-flüchtiges computerlesbares Medium, auf dem ein ausführbares Programm gespeichert ist, das diverse Codes oder ausführbare Anweisungen enthält, die vom Computer oder Prozessor ausführbar sind, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Typen von Speicher und anderen computerlesbaren Medien beinhalten können.
Die vorstehende Erörterung offenbart und beschreibt lediglich beispielhafte Ausführungsformen der Erfindung. Der Fachmann wird anhand dieser Erörterung und den beiliegenden Zeichnungen und Ansprüchen schnell erkennen, dass diverse Änderungen, Modifikationen und Abweichungen daran vorgenommen werden können, ohne sich vom in den folgenden Ansprüchen definierten Geist und Umfang der Erfindung zu entfernen.

Claims

Verfahren zur Bereitstellung einer Online-Kalibrierung einer Mehrzahl von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug, wobei das Verfahren umfasst: – Bereitstellen von aufeinander folgenden Bildern von jeder der Kameras im Rundum-Sicht-Kamerasystem, wobei sich ein Bild von einer nach vorne ausgerichteten Kamera mit einem Bild einer nach rechts ausgerichteten Kamera überlappt, sich ein Bild von der nach vorne ausgerichteten Kamera mit einem Bild von einer nach links ausgerichteten Kamera überlappt, sich ein Bild von einer rückwärts ausgerichteten Kamera mit einem Bild von der nach rechts ausgerichteten Kamera überlappt und sich ein Bild von der rückwärts gerichteten Kamera mit einem Bild von der nach links ausgerichteten Kamera überlappt; – Identifizieren von übereinstimmenden Merkmalpunkten in Überlappungsbereichen der Bilder von der nach vorne gerichteten Kamera, der nach links gerichteten Kamera, der nach rechts gerichteten Kamera und der rückwärts gerichteten Kamera; – Schätzen von Kameraparametern in Weltkoordinaten für jede der Kameras; – Schätzen einer Fahrzeugpose des Fahrzeugs in Weltkoordinaten; und – Ermitteln von extrinsischen Kameraparametern in Fahrzeugkoordinaten unter Verwendung der geschätzten Kameraparameter in den Weltkoordinaten und der geschätzten Fahrzeugpose in den Weltkoordinaten, wobei die extrinsischen Kameraparameter eine Online-Kalibrierung der bestimmten Kamera definieren.
Verfahren nach Anspruch 1, wobei das Schätzen der Kameraparameter in Weltkoordinaten das Definieren einer Rotationsmatrix und eines Translationsvektors für jede Kamera umfasst.
Verfahren nach Anspruch 2, wobei die Rotationsmatrix Nicken, Wanken und Gieren jeder Kamera in Weltkoordinaten definiert.
Verfahren nach Anspruch 1, wobei das Schätzen einer Fahrzeugpose das Verwenden von Eingaben von Fahrzeuggeschwindigkeit und Fahrzeuggierrate umfasst, um zu ermitteln, ob das Fahrzeug gerade fährt.
Verfahren nach Anspruch 1, wobei das Schätzen einer Fahrzeugpose das Verfolgen eines Punkts auf einem fixen Referenzobjekt umfasst, in einem signifikanten Abstand vor dem Fahrzeug oder entlang dessen Seite oder hinter dem Fahrzeug oder entlang dessen Seite.
Verfahren nach Anspruch 1, wobei das Schätzen einer Fahrzeugpose das Berechnen eines optischen Flusses eines Bildes in Bezug auf einen Fluchtpunkt vor oder hinter dem Fahrzeug umfasst.
Verfahren nach Anspruch 1, wobei das Schätzen einer Fahrzeugpose das Überwachen von Fahrzeugkarosseriereferenzpunkten auf dem Fahrzeug umfasst.
Verfahren nach Anspruch 1, das ferner das Bereitstellen von Validierungs-, Verfolgungs- und Verfeinerungsprozessen für die Online-Kalibrierung der Kameras umfasst.
Verfahren nach Anspruch 8, wobei der Validierungsprozess die Kalibrierungsschätzung für sowohl ein gerades als auch rückfreies Fahren des Fahrzeugs validiert, um zu verifizieren, dass die übereinstimmenden Merkmalpunkte in den überlappten Bildern von den Kameras ausgerichtet sind.
System zur Bereitstellung einer Online-Kalibrierung einer Mehrzahl von Kameras in einem Rundum-Sicht-Kamerasystem auf einem Fahrzeug, wobei das System umfasst: – Mittel zum Bereitstellen von aufeinander folgenden Bildern von jeder der Kameras im Rundum-Sicht-Kamerasystem, wobei sich ein Bild von einer nach vorne ausgerichteten Kamera mit einem Bild einer nach rechts ausgerichteten Kamera überlappt, sich ein Bild von der nach vorne ausgerichteten Kamera mit einem Bild von einer nach links ausgerichteten Kamera überlappt, sich ein Bild von einer rückwärts ausgerichteten Kamera mit einem Bild von der nach rechts ausgerichteten Kamera überlappt und sich ein Bild von der rückwärts gerichteten Kamera mit einem Bild von der nach links ausgerichteten Kamera überlappt; – Mittel zum Identifizieren von übereinstimmenden Merkmalpunkten in Überlappungsbereichen der Bilder von der nach vorne gerichteten Kamera, der nach links gerichteten Kamera, der nach rechts gerichteten Kamera und der rückwärts gerichteten Kamera; – Mittel zum Schätzen von Kameraparametern in Weltkoordinaten für jede der Kameras; – Mittel zum Schätzen einer Fahrzeugpose des Fahrzeugs in Weltkoordinaten; und – Mittel zum Ermitteln von extrinsischen Kameraparametern in Fahrzeugkoordinaten unter Verwendung der geschätzten Kameraparameter in den Weltkoordinaten und der geschätzten Fahrzeugpose in den Weltkoordinaten, wobei die extrinsischen Kameraparameter eine Online-Kalibrierung der bestimmten Kamera definieren.