DE102015107678A9

DE102015107678A9 - Surround-View-Kamerasystem (VPM) und Fahrzeugdynamik

Info

Publication number: DE102015107678A9
Application number: DE102015107678.0A
Authority: DE
Inventors: Jinsong Wang; Wende Zhang; Bakhtiar Brian Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-05-16
Filing date: 2015-05-15
Publication date: 2016-01-14
Also published as: DE102015107678A1; US20150332446A1; CN105139389B; US9981605B2; CN105139389A

Abstract

System und Verfahren zum Korrigieren der Kalibrierung einer Mehrzahl von Kameras auf einer mobilen Plattform, wie beispielsweise in einem Surround-View-Kamerasystem an einem Fahrzeug, basierend auf Änderungen der Fahrzeugdynamiken. Das Verfahren umfasst ein Lesen von Messwerten von einem oder mehreren Sensoren am Fahrzeug, welche eine Änderung der Fahrzeugdynamiken identifizieren, und Definieren der Mehrzahl von Kameras und einer Fahrzeugkarosserie als einzelnes Bezugskoordinatensystem definieren. Das Verfahren umfasst außerdem ein Identifizieren der Messwerte als eine Drehmatrix und einen Translationsvektor im Koordinatensystem und Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und ein Kamerakoordinatensystem, um die Kalibierungskorrektur der Kameras bereitzustellen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorteil des Prioritätsdatums der am 16. Mai 2014 eingereichten vorläufigen US-Patentanmeldung Seriennummer 61/994,686 mit dem Titel „Surround-View Camera System (VPM) and Vehicle Dynamic”.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Diese Erfindung betrifft im Allgemeinen ein System und ein Verfahren zum Korrigieren der Kalibrierung einer Mehrzahl von Kameras auf einer mobilen Plattform und insbesondere ein System und ein Verfahren zum Korrigieren der Kalibrierung einer Mehrzahl von Kameras in einem Surround-View-Kamerasystem in einem Fahrzeug, die ein Bereitstellen von Korrekturen für Fahrzeugdynamiken, wie durch Sensoren am Fahrzeug detektiert, umfassen.
Erörterung der verwandten Technik
Moderne Fahrzeuge umfassen im Allgemeinen eine oder mehrere Kameras, welche Rückfahrassistenz bereitstellen, Bilder des Autofahrers aufnehmen, um die Schläfrigkeit oder Aufmerksamkeit des Fahrers zu bestimmen, Bilder der Straße zu Kollisionsvermeidungszwecken bereitstellen, während das Fahrzeug fährt, Erkennung von Strukturen, wie beispielsweise Straßenschilder, bereitstellen usw. Andere Bildverarbeitungsanwendungen für Fahrzeuge umfassen Fahrspurabtastsysteme, um die Fahrzeugfahrspur abzutasten und das Fahrzeug in der Fahrspurmitte zu fahren. Viele dieser bekannten Spurabtastsysteme erkennen Fahrspurmarkierungen auf der Straße für verschiedene Anwendungen, wie beispielsweise Spurverlassenswarnung (LDW für engl. lane departure warning), Spurhalten (LK für engl. lane keeping), Spurzentrierung (LC für engl lane centering) usw. und haben typischerweise eine einzige Kamera entweder an der Front oder am Heck des Fahrzeugs eingesetzt, um die Bilder bereitzustellen, die zum Erkennen der Fahrspurmarkierungen verwendet werden.
Auf dem Fachgebiet wurde vorgeschlagen, ein Surround-View-Kamerasystem an einem Fahrzeug bereitzustellen, das eine Frontkamera, eine Heckkamera und Kameras auf der linken und der rechten Seite umfasst, wobei das Kamerasystem eine Draufsicht des Fahrzeugs und umgebender Bereiche unter Verwendung der Bilder von den Kameras erzeugt, und wobei die Bilder einander an den Ecken des Fahrzeugs überlappen. Die Draufsicht kann für den Autofahrer angezeigt werden, damit er zum Rückwärtsfahren, Einparken usw. sieht, was das Fahrzeug umgibt. Künftige Fahrzeuge setzen möglicherweise keine Rückspiegel mehr ein, sondern können stattdessen digitale Bilder umfassen, die von den Surround-View-Kameras bereitgestellt werden.
Die am 9. April 2013 eingereichte US-Patentanmeldeschrift Nr. 2013/0293717 an Zhang et al. mit dem Titel „Full Speed Lane Sensing With A Surrounding View System”, die an den Rechtsnachfolger dieser Anmeldung abgetreten wurde und durch Bezugnahme hierin aufgenommen wird, offenbart ein System und ein Verfahren zum Bereitstellen von Spurabtastung an einem Fahrzeug durch Erkennen von Fahrspurmarkierungen, wobei das System ein Surround-View-Kamerasystem einsetzt, das eine Draufsichtbild um das Fahrzeug herum bereitstellt. Das Verfahren umfasst ein Erkennen von linken und rechten Spurbegrenzungslinien im Draufsichtbild und anschließendes Bestimmen, ob die Spurbegrenzungslinien im Bild von einem Bildrahmen zu einem nächsten Bildrahmen ausgerichtet sind und im Draufsichtbild von Bild zu Bild ausgerichtet sind.
Für viele kamerabasierte Fahrzeuganwendungen ist es entscheidend, die Position und Ausrichtung der Kamera in Bezug auf das Fahrzeug genau zu kalibrieren. Kamerakalibrierung bezieht sich im Allgemeinen auf das Schätzen einer Anzahl von Kameraparametern, die sowohl intrinsische als auch extrinsische Parameter umfassen, wobei die intrinsischen Parameter Parameter wie Brennweite, optischen Mittelpunkt, Radialverzerrung usw. umfassen, und die extrinsischen Parameter Kameraposition, Kameraausrichtung usw. umfassen. Eine Kalibrierung von extrinsischen Kameraparametern umfasst typischerweise ein Bestimmen eines Satzes von Parametern, welche Kamerabildkoordinaten mit Fahrzeugkoordinaten in Beziehung setzen und umgekehrt. Einige Kameraparameter, wie beispielsweise Brennweite, optischer Mittelpunkt usw. der Kamera, sind stabil, während andere Parameter, wie beispielsweise Ausrichtung und Position der Kamera, dies nicht sind. Zum Beispiel hängt die Höhe der Kamera von der Ladung des Fahrzeugs ab, die sich von Zeit zu Zeit ändert.
In den bekannten Surround-View-Kamerasystemen überlappen sich die Bilder von den Kameras an den Ecken des Fahrzeugs, wobei der Kamerakalibrierungsprozess die benachbarten Bilder „zusammenfügt”, so dass gemeinsame Elemente in den getrennten Bildern einander direkt überkappen, um die gewünschte Draufsicht bereitzustellen. Während der Herstellung eines Fahrzeugs werden diese Kamerabilder unter Verwendung einer beliebigen von einer Anzahl von Kalibriertechniken zusammengefügt, um dieses Bild bereitzustellen, damit die Kameras korrekt kalibriert sind, wenn das Fahrzeug erstmals in Betrieb genommen wird. Eine Kalibriertechnik, die eingesetzt wird, besteht im Positionieren des Fahrzeugs auf einem Schachbrettmuster mit abwechselnden hellen und dunklen Quadraten, wobei jeder Punkt der Quadrate in geeigneter Weise identifiziert ist. Unter Verwendung dieser Punkte in den entwickelten Bildern ermöglicht die Kamerakalibrierungssoftware es, die Position der Bilder so zu korrigieren, dass überlappende Punkte in benachbarten Bildern an der gleichen Stelle identifiziert werden.
Sobald das Fahrzeug jedoch in Betrieb genommen wird, können verschiedene Dinge geschehen, die eine Änderung der Ausrichtung und Position der Kameras verursachen könnten, wobei die Kalibrierung der Kamera Fehler enthält, welche Fehlausrichtung im Draufsichtbild verursachen. Diese Dinge können Ladung des Fahrzeugs, die eine Änderung der Kameraposition, wie beispielsweise Höhe, und/oder der Kameraausrichtung, wie beispielsweise Längsneigung, in Bezug auf die Weltkoordinaten verursacht, kleine Stöße gegen das Fahrzeug, welche die Position und Ausrichtung der Kameras verändern können, usw. umfassen. Aktuelle Videoverarbeitungsmodule (VPM für engl. video processing module), welche die Bilder von den Kameras verarbeiten, um die Draufsicht zu erzeugen, sind jedoch nicht imstande, die Kameras online neu zu kalibrieren, während das Fahrzeug in Verwendung ist. Im Gegensatz dazu muss der Fahrzeugbetreiber das Fahrzeug zu einem Händler oder einer anderen autorisierten Reparaturwerkstätte bringen, welche/r die Fähigkeit besitzt, die Kameras in der gleichen Art und Weise, wie dies während der Fahrzeugherstellung geschah, neu zu kalibrieren, was offensichtliche Nachteile hat.
KURZDARSTELLUNG DER ERFINDUNG
Die vorliegende Offenbarung beschreibt ein System und ein Verfahren zum Korrigieren der Kalibrierung einer Mehrzahl von Kameras auf einer mobilen Plattform, wie beispielsweise in einem Surround-View-Kamerasystem an einem Fahrzeug, basierend auf Änderungen der Fahrzeugdynamiken. Das Verfahren umfasst ein Lesen von Messwerten von einem oder mehreren Sensoren am Fahrzeug, welche eine Änderung der Fahrzeugdynamiken identifizieren, und Definieren der Mehrzahl von Kameras und einer Fahrzeugkarosserie als einzelnes Bezugskoordinatensystem definieren. Das Verfahren umfasst außerdem ein Identifizieren der Messwerte als eine Drehmatrix und einen Translationsvektor im Koordinatensystem und Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und ein Kamerakoordinatensystem, um die Kalibierungskorrektur für die Kameras bereitzustellen.
Zusätzliche Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den beiliegenden Zeichnungen ersichtlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Veranschaulichung eines Fahrzeugs, das ein Surround-View-Kamerasystem mit mehreren Kameras umfasst;
2 ist eine isometrische Ansicht eines Fahrzeugs, die ein Koordinatensystem für Weltkoordinaten, Fahrzeugkoordinaten und Kamerakoordinaten darstellt;
3 ist ein Koordinatensystem, das ein Surround-View-Kamerasystem in einer stationären Position darstellt;
4 ist das in 3 dargestellte Koordinatensystem, wobei das Koordinatensystem infolge einer Änderung der Fahrzeugdynamiken geändert wurde;
5 ist eine Darstellung von vier Rohbildern von vier Kameras für das Surround-View-Kamerasystem, welche übereinstimmende Merkmalspaare zeigen;
6 ist ein Blockdiagramm eines Systems, das einen Prozess zum Vergleichen von Merkmalspunkten darstellt;
7 ist eine Darstellung eines Bildes von einer vorwärts oder rückwärts gerichteten Kamera an einem Fahrzeug, das eine Horizontlinie zeigt;
8 ist ein Bild von einer vorwärts oder rückwärts gerichteten Kamera an einem Fahrzeug, das Bewegung der Horizontlinie zeigt, wenn sich das Fahrzeug längs nach unten neigt;
9 ist eine Darstellung eines Bildes von einer vorwärts oder rückwärts gerichteten Kamera an einem Fahrzeug, wobei das Fahrzeug in einer Querneigungskonfiguration ist;
10 ist eine Darstellung eines Bildes von einer vorwärts oder rückwärts gerichteten Kamera an einem Fahrzeug, das eine Driftsituation zeigt.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Erörterung der Ausführungsformen der Erfindung betrifft ein System und ein Verfahren zum Korrigieren der Kalibrierung einer Mehrzahl von Kameras in einem Surround-View-Kamerasystem an einem Fahrzeug, die ein Bereitstellen von Korrekturen für Fahrzeugdynamiken, wie durch Sensoren am Fahrzeug detektiert, umfassen. Wie erörtert, haben das System und das Verfahren zum Beispiel eine bestimmte Anwendung zum Korrigieren der Kalibrierung von Kameras an einem Fahrzeug. Für Fachleute ist jedoch zu erkennen, dass das System und das Verfahren auf andere mobile Plattformen, wie beispielsweise Züge, Maschinen, Traktoren, Boote, Freizeitfahrzeuge usw. Anwendung finden können.
1 ist eine Draufsicht eines Fahrzeugs 10, das ein Surround-View-Kamerasystem mit einer Vorderansichtskamera 12, einer Rückansichtskamera 14, einer fahrerseitigen Linksansichtskamera 16 und einer beifahrerseitigen Rechtsansichtskamera 18 umfasst. Die Kameras 12 bis 18 können beliebige Kameras sein, die für die hierin beschriebenen Zwecke geeignet sind, wobei viele davon auf dem KFZ-Gebiet bekannt sind, und die zum Empfangen von Licht oder anderer Strahlung und Umwandeln der Lichtenergie in elektrische Signale in einem Pixelformat zum Beispiel unter Verwendung von ladungsgekoppelten Bauelementen (CCD für engl. charged coupled device) imstande sind. Die Kameras 12 bis 18 erzeugen Rahmen von Bilddaten in einer bestimmten Datenrahmenrate, die zur anschließenden Bildverarbeitung in einem Videoverarbeitungsmodul (VPM) 20 gespeichert werden können. Die Kameras 12 bis 18 können innerhalb oder auf jeder geeigneten Struktur montiert sein, die Teil des Fahrzeugs 10 ist, wie beispielsweise Stoßstangen, Armaturenbrett, Grill, Seitenspiegel, Türverkleidungen usw., wie den Fachleuten allgemein bekannt und für sie ersichtlich ist. In einer nicht einschränkenden Ausführungsform sind die Seitenkameras 16 und 18 unter den Seitenspiegeln montiert und nach unten gerichtet.
Die Kameras 12 bis 18 erzeugen Bilder von bestimmten begrenzten Bereichen um das Fahrzeug 10 herum, die einander teilweise überlappen. Konkret ist Bereich 24 der Bildbereich für die Kamera 12, Bereich 26 ist der Bildbereich für die Kamera 14, Bereich 28 ist der Bildbereich für die Kamera 16, und Bereich 30 ist der Bildbereich für die Kamera 18, wobei Bereich 32 ein Überlappungsbereich der Bilder 24 und 28 ist, Bereich 34 ein Überlappungsbereich der Bilder 24 und 40 ist, Bereich 36 ein Überlappungsbereich der Bilder 28 und 26 ist, und Bereich 38 ein Überlappungsbereich der Bilder 30 und 26 ist. Die Bilddaten von den Kameras 12 bis 18 werden an das VPM 20 gesendet, das die Bilddaten verarbeitet, um die Bilder zusammenzufügen, die dann auf einer Fahrzeuganzeige als ein einzelnes Draufsichtbild um das Fahrzeug 10 herum angezeigt werden können. Softwarealgorithmen setzen bekanntlich Drehmatrizen R und Translationsvektoren t zum Ausrichten und Rekonfigurieren der Bilder von benachbarten Kameras ein, so dass die Bilder einander genau überlappen.
Fahrzeugdynamiken, z. B. Längsneigung, Querneigung und Höhenänderung, beeinflussen die Ausrichtung der Bilder 24 bis 30 der Kameras 12 bis 18. Zum Beispiel kann sich das Fahrzeug 10 während einer Fahrzeugbremsung längs nach unten neigen, es kann sich bei starken Beschleunigungen längs nach oben neigen, es kann sich in Kurven seitlich quer neigen, es kann sich bei Fahrzeugbeladung längs nach unten oder oben neigen usw., was verursachen kann, dass sich die Bilder von den Kameras 12 bis 18 in Bezug aufeinander ändern, auch wenn die Kameras korrekt kalibriert sind.
Die vorliegende Erfindung schlägt ein System und ein Verfahren zum Integrieren von Informationen über die Fahrzeugdynamiken, die von Sensoren am Fahrzeug verfügbar sind, in den Algorithmus im VPM 20 vor, welches das Surround-View-Bild unter Verwendung der Kameras 12 bis 18 bestimmt, damit das Bild basierend auf diesen Änderungen an den Fahrzeugdynamiken korrigiert werden kann. Im Allgemeinen definiert die vorgeschlagene Kamerakalibrierungskorrekturtechnik drei Koordinatensysteme, nämlich ein Weltkoordinatensystem, ein Fahrzeugkoordinatensystem und ein Kamerakoordinatensystem, die jeweils in einer X-Y-Z-Lageausrichtung definiert sind.
2 ist eine Veranschaulichung eines Fahrzeugs 50 mit einer Kamera 52, die diese Koordinatensysteme zeigt, wobei das tiefgestellte V (für engl. vehicle) die Fahrzeugkoordinaten darstellt; das tiefgestellte W die Weltkoordinaten darstellt, und das tiefgestellte C (für engl. camera) die Kamerakoordinaten darstellt. Das Fahrzeug 50 umfasst einen Sensor 54, der alle der verfügbaren Sensoren in einem beliebigen jeweiligen Fahrzeug repräsentieren soll, welche die Längsneigung, Höhenänderung und Querneigung des Fahrzeugs messen und Signale auf dem Fahrzeugbus bereitstellen können, welche die Fahrzeugdynamiken identifizieren.
Die nachstehenden Gleichungen (1) bis (3) stellen die stationäre Ausrichtung des Surround-View-Kamerasystems dar, und die nachstehenden Gleichungen (4) bis (6) identifizieren die Ausrichtung einer dynamischen Position des Fahrzeugs 50, wobei R_dyn die Drehdynamikmatrix des Fahrzeugs 50 bei jeder von Längsneigung, Querneigung und Höhenänderung ist. Wie zu sehen ist, umfasst die Berechnung des Punktes X_C in Kamerakoordinaten den Translationsvektor t und die Addition der Drehmatrix R für die dynamische Änderung am Fahrzeug 50, wenn das Fahrzeug 50 unter einer dynamischen Änderung, d. h. Längsneigung, Querneigung und Höhenänderung, ist. X_V = X_W + t ' / W2V, (1) X_Ci = R_V2Ci·X_V + t ' / V2Ci, (2) = R_V2Ci·X_W + t ' / W2Ci, (3) X_V = R_dyn·(X_W + t ' / W2V), (4) X_C = R_V2Ci·X_V + t ' / V2Ci, (5) = R_V2Ci·R_dyn·X_W + t '' / W2Ci. (6)
Die Kameras 12 bis 18, die zum Surround-View-Kamerasystem gehören, verbinden sich mit der Fahrzeugkarosserie, um einen starren Karosserieaufbau zu bilden. 3 ist eine Veranschaulichung 150 eines X-, Y- und Z-Koordinatensystems, das vier Kameras 152 umfasst, die zu einem Surround-Kamerasystem gehören, das solch einen verbundenen Bezugsrahmen darstellt. 4 stellt die Veranschaulichung 150 so dar, dass sie in Längs- und Querneigung gedreht ist, wobei sich die Dreh- und Translationsvektoren dementsprechend ändern. Für dieses Koordinatensystem sind die Fahrzeugdynamiken von Längsneigung, Querneigung und Höhenänderung durch eine Drehmatrix R_veh und einen Translationsvektor T_veh definiert, wobei die Drehmatrix R_cam und der Translationsvektor T_cam der Kameras 152 durch die Änderung der Fahrzeugdynamiken korrigiert wird als: (R_cam, T_cam) = f((R_veh, T_veh), (R_cam, T_cam)_stny). (7)
Durch Bereitstellen solch einer Korrektur an der Ausrichtung des Surround-View-Kamerasystems können verbesserte Spurabtastung, Parkassistenz usw. bereitgestellt werden.
Die Änderung der relativen Ausrichtung der Bilder von den Kameras 12 bis 18 im Surround-View-Kamerasystem von der beim Fahrzeughersteller oder Händler bereitgestellten Kalibrierung der Kameras 12 bis 18 kann verwendet werden, um den fahrzeugdynamischen Parameter R_dyn, nämlich Drehdynamiken in zwei Freiheitsgraden für Längsneigung α und Querneigung β des Fahrzeugs 50 und Translationsdynamiken in einem Freiheitsgrad, nämlich, den Höhenversatz Δz des Fahrzeugs 50, zu schätzen. Die vorliegende Erfindung schlägt außerdem ein System und ein Verfahren zum Schätzen von Fahrzeugdynamiken auf diese Art und Weise vor, die den Überlappungsbildbereich für beliebige zwei der Kameras 12 bis 18 im Surround-Kamera-Kamerasystem verwendet, um zu bestimmen, dass gemeinsame Punkte im Überlappungsbildbereich nicht an der gleichen Stelle sind, vorausgesetzt, dass die Kameras korrekt kalibriert sind. Der Algorithmus erkennt übereinstimmende Merkmalspunkte (u, v) in den zwei Bildern und schätzt fahrzeugdynamische Parameter in drei Freiheitsgraden aus der Differenz zwischen den Merkmalspunkten (u, v). Die übereinstimmenden Merkmalspunkte (u, v) in den Bildern von zwei Kameras sind die Projektion der gleichen Punktstelle in Weltkoordinaten. Das Bereitstellen der übereinstimmenden Merkmalspunkte (u, v) für den gleichen Punkt von zwei Kameras und Lösen der dynamischen Gleichungen mit den Unbekannten ergibt eine Schätzung der Längsneigung α, der Querneigung β, und/oder der Höhenänderung des Fahrzeugs 50 basierend auf dem Abstand zwischen den Punkten.
5 ist eine Veranschaulichung 80 des Fahrzeugs 10 auf einem Parkplatz benachbart zu anderen Fahrzeugen, wobei die Parkplatzlinien 78 verwendet werden können, um übereinstimmende Merkmalspunkte (u, v) in zwei überlappenden Kamerabildern zu identifizieren. Die übereinstimmenden Merkmalspunkte (u, v) müssen nicht auf dem Boden sein, sondern können auf jedem geeigneten Objekt über dem Boden oder anderswo, wie beispielsweise an der Fahrzeugkarosserie, sein. Zum Beispiel stellen die Punkte 82 und 84 den gleichen oder gemeinsamen Punkt im Überlappungsbereich 32 für die Bilder dar, die von der Frontkamera 12 bzw. der linken Seitenkamera 16 bereitgestellt werden. Die Punkte 86 und 88 stellen den gleichen oder gemeinsamen Punkt im Überlappungsbereich 34 für die Bilder von der Kamera 12 bzw. der rechten Seitenkamera 18 dar. Die Punkte 90 und 92 stellen den gleichen oder gemeinsamen Punkt im Überlappungsbereich 36 zwischen der linken Seitenkamera 16 bzw. der Heckkamera 14 dar. Die Punkte 94 und 96 stellen den gleichen oder gemeinsamen Punkt im Überlappungsbereich 38 zwischen der rechten Seitenkamera 18 bzw. der Heckkamera 14 dar. Der Abstand zwischen den Punkten 82 und 84 oder den Punkten 86 und 88 oder den Punkten 90 und 92 oder den Punkten 94 und 96, der durch die Änderung der Fahrzeugdynamiken verursacht wird, stellt den Mechanismus zum Bestimmen dieser Änderung der Fahrzeugdynamiken bereit. Fachleute wissen, dass viele Computer-Bildverarbeitungs- und -Abbildungssysteme Merkmalspunkterkennung und Zuordnungstechniken und Algorithmen, wie beispielsweise SIFT, SURF, ORB usw., einsetzen, die für die hierin erörterten Zwecke angewendet werden können.
6 ist ein Blockdiagramm eines Systems 100, das eine allgemeine Darstellung des Prozesses zur Identifizierung der übereinstimmenden Merkmalspunkte (u, v) in den Überlappungsbereichen 32, 34, 36 und 38 veranschaulicht. Im System 100 stellt Feld 102 das Bild von der Frontkamera 12 dar, Feld 104 stellt das Bild von der linken Seitenkamera 16 dar, Feld 106 stellt das Bild von der rechten Seitenkamera 18 dar, und Feld 108 stellt das Bild von der Heckkamera 14 dar. Ein Synchronisationsblock 110 synchronisiert den Takt der Bilder 102 bis 108 von den Kameras 12 bis 18, so dass alle der Bilder 32, 34, 36 und 38 zeitlich ausgerichtet sind, bevor sie vom Kalibrierprozess räumlich ausgerichtet werden. Die Bilder 102 und 104 von den Kameras 12 bzw. 16 erzeugen eine Region von Interesse 112 im Überlappungsbereich 32, die Bilder 102 und 106 von den Kameras 12 bzw. 18 erzeugen eine Region von Interesse 114 im Überlappungsbereich 34, die Bilder 104 und 108 von den Kameras 16 bzw. 14 erzeugen eine Region von Interesse 116 im Überlappungsbereich 36, und die Bilder 106 und 1208 von den Kameras 14 bzw. 18 erzeugen eine Region von Interesse 118 im Überlappungsbereich 38. Die Regionen von Interesse 112, 114, 116 und 118 werden dann an einen Prozessor 120 übermittelt, der die mehreren übereinstimmenden Merkmalspunkte (u, v) in den Regionen von Interesse 112, 114, 116 und 118 auf die hierin erörterte Art und Weise bestimmt.
Die nachstehenden Gleichungen (8) bis (12) stellen diesen Prozess zum Bestimmen der Drehmatrix R_dyn und des Translationsvektors t ' / W2V, die eine Änderung der Fahrzeugdynamiken identifizieren, unter Verwendung der gemeinsamen übereinstimmenden Merkmalspunkte dar, welche dann als eine Eingabe in andere Fahrzeugsysteme verwendet werden können, wobei Gleichung (8) die beiden Merkmalspunkte im Überlappungsbereich darstellt, die an der gleichen Stelle X sein sollten, wenn die Kameras kalibriert sind. Für diesen Prozess können geeignete Algorithmen, wie beispielsweise der Levenberg-Marquardt-Algorithmus, Gradientenabstiegsalgorithmen usw., eingesetzt werden. (u, v)_C1 ~ (u, v)_C2, (8) (u, v)_C1 → X_C1, (9) (u, v)_C2 → X_C2, (10) X_C1 = R_V2C1·R_dyn·(X_W + t ' / W2V) + t ' / V2C1, (11) X_C2 = R_V2C2·R_dyn·(X_W + t ' / W2V) + t ' / V2C2, (12) wobei (u, v)_C1 ein Merkmalspunkt in einem Bild von einer ersten Kamera c1 ist, der eine Projektion des Weltpunkts X_W ist, (u, v)_C2 ein anderer Merkmalspunkt in einem Bild von einer zweiten Kamera c2 ist, der eine Projektion des Weltpunkts X_W ist, R_V2Ci die Drehmatrix der Kamera c_i in Fahrzeugkoordinaten v ist, i der Index der Kameras ist, t der Translationsvektor ist, dyn die Dynamik darstellt, und w Weltkoordinaten darstellt.
Wie erörtert, können die Kameras 12 bis 18 verwendet werden, um zu bestimmen, ob das Fahrzeug 10 entweder in Längsneigung, Querneigung oder Drift in Bezug auf einen Horizont ist. 7 ist zum Beispiel eine Darstellung eines Bildes 160 von einer Kamera an dem auf einer Straße 166 fahrenden Fahrzeug 10 vor dem Fahrzeug 10, das den nichtdynamischen Horizont zwischen Luft und Boden durch eine gestrichelte Linie 162 definiert, wobei das Fahrzeug 10 weder Querneigung noch Längsneigung oder Höhenänderung aufweist. 8 ist eine Darstellung eines Bilds 168, das die nichtdynamische Horizontlinie 162 umfasst, wobei aber der tatsächliche Horizont nun bei Linie 164 ist, was zeigt, dass sich das Fahrzeug 10 längs nach unten geneigt hat. 9 ist eine Darstellung eines Bildes 170 der Straße 166, wobei die Horizontlinie 162 in einer Querneigungsrichtung abgewinkelt dargestellt ist. 10 ist eine Darstellung eines Bildes 172, wobei das Fahrzeug 10 auf der Straße 166 in eine linke Richtung gedriftet ist.
Außerdem kann der Prozess zum Bestimmen der Fahrzeugdynamiken basierend auf Änderungen im Surround-View-Bild zeitliche Verfolgung und Glättung umfassen. Die zeitliche Verfolgung und Glättung kann für nicht-transiente Fahrzeugänderungserkennung, wie beispielsweise Reifenpanne, schlechte Aufhängung, Abschleppen und hohe Belastung, bereitgestellt werden. Ferner kann Verfolgung durchgeführt werden, um gefährliche fahrzeugdynamische Änderungen, wie beispielsweise Erkennung und Verhütung von Überschlagen, Zickzackfahren usw. zu erkennen. Wenn sich die Quer- oder Längsneigungsdynamiken drastisch ändern, können Stabilisatorsysteme oder andere Fahrzeugsysteme benachrichtigt werden, um Korrekturmaßnahmen zu ergreifen.
Wie für Fachleute leicht zu verstehen ist, können sich die mehreren und verschiedenen Schritte und Prozesse, die hierin erörtert werden, um die Erfindung zu beschreiben, auf Vorgänge beziehen, die von einem Computer, einem Prozessor oder einer anderen elektronischen Rechenvorrichtung durchgeführt werden, welche Daten unter Verwendung des elektrischen Phänomens handhaben und/oder umwandeln. Diese Computer und elektronischen Vorrichtungen können verschiedene flüchtige und/oder nichtflüchtige Speicher einsetzen, die ein nicht-transitorisches, computerlesbares Medium mit einem darauf gespeicherten ausführbaren Programm umfassen, das diversen Code oder ausführbare Anweisungen umfasst, die vom Computer oder Prozessor ausgeführt werden können, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Typen von Speicher und anderen computerlesbaren Medien umfassen können.
Die vorstehende Erörterung offenbart und beschreibt lediglich beispielhafte Ausführungsformen der vorliegenden Erfindung. Für einen Fachmann ist aus dieser Erörterung und den beiliegenden Zeichnungen und Ansprüchen leicht zu erkennen, dass verschiedene Änderungen, Modifikationen und Abwandlungen daran vorgenommen werden können, ohne vom Wesen und Schutzbereich der Erfindung, wie in den folgenden Ansprüche definiert, abzuweichen.

Claims

Verfahren zum Korrigieren einer Kalibrierung einer Mehrzahl von Kameras in einem Surround-View-Kamerasystem an einem Fahrzeug, wobei das Verfahren umfasst: – Lesen von Messwerten von einem oder mehreren Sensoren am Fahrzeug, die eine Änderung von Fahrzeugdynamiken identifizieren; – Definieren der Mehrzahl von Kameras und einer Fahrzeugkarosserie als ein einzelnes Bezugskoordinatensystem; – Identifizieren der Messwerte als eine Drehmatrix und einen Translationsvektor im Bezugskoordinatensystem; und – Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und einem Kamerakoordinatensystem, um die Korrektur der Kamerakalibrierung bereitzustellen.
Verfahren nach Anspruch 1, wobei das Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und einem Kamerakoordinatensystem ein Definieren einer stationären Ausrichtung des Surround-View-Kamerasystems durch X_V = X_W + t ' / W2V, X_Ci = R_V2Ci·X_V + t ' / V2Ci, = R_V2Ci·X_W + t ' / W2Ci, und Definieren einer dynamischen Ausrichtung des Fahrzeugs durch X_V = R_dyn·(X_W + t ' / W2V), X_C = R_V2Ci·X_V + t ' / V2Ci, = R_V2Ci·R_dyn·X_W + t '' / W2Ci, umfasst, wobei X ein Abtastpunkt ist, i ein Kameraindex ist, V eine Bezeichnung für Fahrzeugkoordinaten ist, W eine Bezeichnung für Bezugskoordinaten ist, C eine Bezeichnung für Kamerakoordinaten ist, dyn eine Bezeichnung für Fahrzeugdynamiken in allen von Längsneigung, Querneigung und Höhenänderung ist, R die Drehmatrix ist, und t der Translationsvektor ist.
Verfahren nach Anspruch 2, wobei das Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und einem Kamerakoordinatensystem zum Bereitstellen der Kamerakalibrierung ein Korrigieren der Kamerakalibrierung unter Verwendung der folgenden Gleichung umfasst: (R_cam, T_cam) = f((R_veh, T_veh), (R_cam, T_cam)_stny), wobei stny eine Bezeichnung für stationär ist, die Fahrzeugdynamiken von Längsneigung, Querneigung und Höhenänderung durch die Drehmatrix R_veh und den Translationsvektor T_veh definiert sind, R_cam die Drehmatrix in Kamerakoordinaten ist, und T_cam der Translationsvektor in Kamerakoordinaten ist.
Verfahren nach Anspruch 1, wobei das Lesen von Messwerten von einem oder mehreren Sensoren ein Lesen von Messwerten von einem oder mehreren Sensoren umfasst, welche Längsneigungs-, Querneigungs- und Höhenänderungsdynamiken von Fahrzeug oder Kamera und Fahrzeugkarosserie bereitstellen.
Verfahren nach Anspruch 1, wobei das Surround-View-Kamerasystem vier Kameras umfasst, wobei eine erste Kamera an einer Front des Fahrzeugs positioniert ist, eine zweite Kamera an einem Heck des Fahrzeugs positioniert ist, eine dritte Kamera an einer linken Seite des Fahrzeugs positioniert ist, und eine vierte Kamera an einer rechten Seite des Fahrzeugs positioniert ist.
Verfahren nach Anspruch 5, wobei Bilder von der ersten Kamera sich mit Bildern von der dritten Kamera überlappen, Bilder von der ersten Kamera sich mit Bilden von der vierten Kamera überlappen, Bilder von der zweiten Kamera sich mit Bildern von der dritten Kamera überlappen, und Bilder von der zweiten Kamera sich mit Bildern von der vierten Kamera überlappen.
Kalibriersystem zum Korrigieren einer Kalibrierung einer Mehrzahl von Kameras in einem Surround-View-Kamerasystem an einem Fahrzeug, wobei das System umfasst: – Mittel zum Lesen von Messwerten von einem oder mehreren Sensoren am Fahrzeug, die eine Änderung von Fahrzeugdynamiken identifizieren; – Mittel zum Definieren der Mehrzahl von Kameras und einer Fahrzeugkarosserie als ein einzelnes Bezugskoordinatensystem; – Mittel zum Identifizieren der Messwerte als eine Drehmatrix und einen Translationsvektor im Bezugskoordinatensystem; und – Mittel zum Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und einem Kamerakoordinatensystem, um die Korrektur der Kamerakalibrierung bereitzustellen.
Kalibriersystem nach Anspruch 7, wobei das Mittel zum Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und einem Kamerakoordinatensystem eine stationäre Ausrichtung des Surround-View-Kamerasystems durch X_V = X_W + t ' / W2V, X_Ci = R_V2Ci·X_V + t ' / V2Ci, = R_V2Ci·X_W + t ' / W2Ci, definiert, und eine dynamische Ausrichtung des Fahrzeugs durch X_V = R_dyn·(X_W + t ' / W2V), X_C = R_V2Ci·X_V + t ' / V2Ci, = R_V2Ci·R_dyn·X_W + t '' / W2Ci, definiert, wobei X ein Abtastpunkt ist, i ein Kameraindex ist, V eine Bezeichnung für Fahrzeugkoordinaten ist, W eine Bezeichnung für Bezugskoordinaten ist, C eine Bezeichnung für Kamerakoordinaten ist, dyn eine Bezeichnung für Fahrzeugdynamiken in allen von Längsneigung, Querneigung und Höhenänderung ist, R die Drehmatrix ist, und t der Translationsvektor ist.
Kalibriersystem nach Anspruch 8, wobei das Mittel zum Integrieren der Drehmatrix und des Translationsvektors in eine Beziehung zwischen einem Fahrzeugkoordinatensystem und einem Kamerakoordinatensystem zum Bereitstellen der Kamerakalibrierung die Kamerakalibrierung unter Verwendung der folgenden Gleichung korrigiert: (R_cam, T_cam) = f((R_veh, T_veh), (R_cam, T_cam)_stny), wobei stny eine Bezeichnung für stationär ist, die Fahrzeugdynamiken von Längsneigung, Querneigung und Höhenänderung durch die Drehmatrix R_veh und den Translationsvektor T_veh definiert sind, R_cam die Drehmatrix in Kamerakoordinaten ist, und T_cam der Translationsvektor in Kamerakoordinaten ist.
Kalibriersystem nach Anspruch 7, wobei das Mittel zum Lesen von Messwerten von einem oder mehreren Sensoren Messwerte von einem oder mehreren Sensoren liest, welche Längsneigungs-, Querneigungs- und Höhenänderungsdynamiken von Fahrzeug oder Kamera und Fahrzeugkarosserie bereitstellen.